임직원 AI 역량을 데이터로 진단하는 방법 — 500인 이상 기업 전사 설계 가이드

이 글은 프로그래머스 AI 역량평가가 실제로 적용하는 구조를 바탕으로, 전사 AI 역량 진단을 무엇을 측정할 것인지 정의하는 단계부터, 직군별 설계, 대규모 운영, 결과를 성과 지표로 연결하는 단계까지 순서대로 정리합니다.

• 측정 항목은 활용 수준(깊이)과 역량 영역(넓이) 두 축으로 나눠 정의해야, 도구가 아닌 우리 조직 기준으로 역량을 측정할 수 있습니다.

• 지식·활용 단계는 전 직군에 공통 기준을, 전문 단계부터는 직무 맥락을 반영한 시나리오로 나눠 설계해야 변별력이 생깁니다.

• 500인 이상 규모에서는 10~20명 파일럿으로 먼저 검증한 뒤 단계적으로 전사 운영까지 확장해야 오차 증폭을 막을 수 있습니다.

• 진단 결과는 교육 배정에서 끝나지 않고, 활용 목적을 미리 정의해두면 KPI·승진 심사 같은 인사 제도로도 연결할 수 있습니다.

AI 교육 예산은 편성됐지만, 정작 그 예산을 어디에 먼저 써야 할지는 판단하기 어렵습니다. 임직원들이 AI를 얼마나, 어떻게 쓰고 있는지 데이터로 갖고 있는 조직이 드물기 때문입니다. 실제로 교육 효과가 나지 않는 조직들을 보면, 결과가 아닌 과정을 먼저 진단하는 단계를 건너뛴 경우가 많습니다. 

문제는 진단부터 시작하려 해도 무엇을 측정할지조차 정의되지 않은 채로는, 도구만 바뀔 뿐 제자리걸음이 반복된다는 점입니다.

1. 전사 AI 역량, 무엇을 기준으로 측정해야 할까?

측정 기준은 활용 수준(깊이)과 역량 영역(넓이), 두 축으로 나눠 정의해야 합니다. 왜냐하면 도구를 먼저 선택하면 해당 도구가 측정하는 항목이 곧 우리 조직의 역량 기준이 되기 쉽고, 정작 조직에 필요한 데이터를 확보하지 못할 수 있기 때문입니다. 프로그래머스 AI 역량평가가 바로 이 두 축을 기준으로 삼는 서비스입니다.

깊이 — 구성원이 AI를 어느 수준까지 활용하는가

먼저 깊이입니다. 같은 AI 교육을 받은 두 사람이라도 한 사람은 AI의 기본 개념을 이해하는 수준에 머물러 있는 반면, 다른 사람은 실제 업무에 AI를 적용하고 결과의 오류까지 검증할 수 있습니다. 이 둘을 하나의 점수로만 평가하면 실제 역량 차이를 확인하기 어렵습니다.

문제는 이 차이가 교육 설계에도 그대로 이어진다는 점입니다. 역량 수준을 구분하지 않으면 두 사람에게 동일한 교육을 배정하게 되고, 한 사람에게는 이미 아는 내용이 반복되고 다른 사람에게는 여전히 부족한 내용이 제공될 수 있습니다. 결국 깊이를 구분하지 않은 진단은 교육의 비효율로 이어집니다.

따라서 구성원이 AI를 어느 수준까지 활용할 수 있는지 3단계로 나눠 측정해야 합니다.

1. 지식 단계: AI가 무엇을 할 수 있고 어떤 리스크가 있는지에 대한 이해

2. 활용 단계: 프롬프트를 실제로 설계하고 결과를 다루는 수행력

3. 전문 단계: 직무 맥락이 반영된 실무 과제에서 프로세스 전체를 완결하는 능력

이 세 단계를 구분해야 ‘이 사람은 현재 어디까지 와 있고, 다음으로 어떤 역량을 강화해야 하는가’를 구체적으로 파악할 수 있습니다.

넓이 — AI 역량은 어떤 항목들로 이루어지는가

깊이를 정했다고 측정 항목 정의가 끝나는 것은 아닙니다. 같은 '활용' 단계에 있는 두 사람이라도, 한 사람은 프롬프트를 정교하게 설계하지만 결과 검증에는 약할 수 있고, 다른 사람은 그 반대일 수 있습니다. 즉 AI 역량은 하나의 능력이 아니라 여러 항목이 모여 이루어지는데, 이 항목들을 나눠 보지 않으면 '전체적으로 부족하다'는 뭉뚱그려진 결론만 남고, 정작 어떤 항목이 부족한지는 알 수 없습니다.

실제로 프로그래머스 AI 역량평가는 응시자가 LLM과 나눈 대화 로그 전체를 아래 다섯 가지 기준으로 나눠 분석합니다.

단순히 ‘좋은 프롬프트를 작성했는가’만 보는 것이 아니라, AI를 업무의 협업 도구로 얼마나 체계적으로 활용하는지를 여러 영역에서 확인하는 구조입니다.

이처럼 AI 역량을 여러 영역으로 나눠 정의하는 접근은 MAILS(Meta AI Literacy Scale), AICOS, A-Factor Model처럼 해외 연구진이 학술 논문으로 개발·검증한 AI 리터러시 측정 척도에서도 공통으로 확인됩니다. 다만 항목을 세분화하는 것만으로는 충분하지 않습니다. 나눈 항목을 결과가 아닌 과정 데이터로 채점할 기준까지 정해야, 나열된 항목이 측정 가능한 데이터로 이어집니다. 

그렙이 국내 HR 담당자 354명을 대상으로 진행한 ‘2026 기업 AI 역량평가 현황 조사’에서도 이러한 흐름을 확인할 수 있습니다. 기업들이 가장 선호하는 평가 방식은 실무 과제 평가(40.5%)였으며, 이론 지식 평가(7.5%)에 대한 선호도는 가장 낮았습니다. 단순히 지식을 알고 있는지를 확인하기보다, 실제 업무에서 지식을 어떻게 활용하고 결과를 만들어내는지 확인하려는 요구가 커지고 있다는 의미입니다.

이제 깊이와 넓이라는 두 축이 정해졌습니다. 그렇다면 다음으로는 이 기준을 전 직원에게 동일하게 적용할지, 아니면 직무에 따라 다르게 적용할지를 결정해야 합니다.

2. 직무별로 어떻게 나눠 측정해야 할까?

지식·활용 단계는 전 직군에 공통 기준을 적용하고, 전문 단계부터는 직무별 특성을 반영한 기준을 적용해야 합니다. 왜냐하면 직군마다 AI를 활용하는 업무 맥락과 요구되는 역량이 다르기 때문입니다.

예를 들어 마케팅 직군에서는 AI를 활용해 캠페인 데이터를 분석하고 인사이트를 도출하는 능력이 중요하지만, 개발 직군에서는 AI를 활용해 코드를 작성하고 오류를 검증하는 능력이 더 중요합니다. 같은 AI 활용 역량이라도 직무에 따라 평가해야 할 업무 상황과 기준이 달라지는 것입니다.

실제로 프로그래머스 AI 역량평가도 이러한 차이를 반영해 제조 DX, HR, 마케팅, 금융, 에너지 등 산업군·직무별로 2천 개 이상의 문항 풀을 별도로 운영하고 있습니다.

공통 기준과 직무별 기준의 경계

그렇다고 모든 항목을 직무별로 따로 설계할 필요는 없습니다. 앞서 정의한 깊이 축을 기준으로 보면, 단계에 따라 전 직군에 공통으로 적용할 영역과 직무별로 구분해야 할 영역이 나뉩니다.

변별력이 필요해지는 지점은 전문 단계부터입니다. 마케팅 직군에는 캠페인 데이터를 분석해 예산 배분을 결정하는 과제를, HR 직군에는 인사 데이터를 기반으로 역량 격차를 진단하는 과제를 배정하는 식으로 설계가 갈라지는 것도 이 때문입니다.

전사 평균이 아닌 조직 대시보드로 봐야 하는 이유

직무별로 평가 기준을 나눴다면, 결과 역시 직무·부서 단위로 나눠서 봐야 합니다. 전사 평균 점수 하나만으로는 조직 안에 존재하는 역량 편차를 확인하기 어렵기 때문입니다.

• 전사 평균: 준수한 수준으로 나올 수 있음

• 특정 직군: 검증·비판적 사고 항목 점수가 유독 낮게 나올 수 있음

이런 편차는 전사 평균에 묻히지만, 직무·부서 단위로 결과를 세분화하면 구체적으로 확인할 수 있습니다.

결국 직무별 진단의 목적은 단순히 직무마다 다른 점수를 부여하는 데 있지 않습니다. 어떤 직군에서 어떤 역량이 부족한지를 데이터로 확인하고, 그 결과를 다음 의사결정으로 연결하는 데 있습니다. 이렇게 도출된 편차가 다음 단계에서 ​어떤 직군부터 진단을 시작하고, 어떤 순서로 전사로 확대할지를 결정하는 근거가 됩니다.

3. 500인 이상 규모, 파일럿부터 전사 운영까지 어떻게 설계해야 할까?

500인 이상 규모에서는 파일럿으로 먼저 검증한 뒤, 단계적으로 전사 운영까지 확장해야 합니다. 왜냐하면 문항 난이도나 소요 시간이 조직 상황과 맞지 않는 상태에서 전사에 한 번에 적용하면, 작은 설계 오류도 수백~수천 명 단위로 확대될 수 있기 때문입니다.

왜 파일럿부터 시작해야 할까?

전사 진단을 처음 도입하는 조직이라면 10~20명 규모의 파일럿을 먼저 진행하는 것이 안전합니다. 문항 난이도와 소요 시간, 응시 과정에서 발생하는 문제를 소규모로 먼저 확인해야 전사 운영 전에 설계를 보완할 수 있기 때문입니다.

실제로 포스코DX는 결과가 아닌 과정을 검증하는 방식을 경력 공채에서 먼저 파일럿으로 검증한 뒤, 검증된 방식을 재직자 평가로 확장했습니다. 전사 적용에 앞서 실제 평가 환경에서 방식을 검증하고, 이후 적용 범위를 넓힌 사례입니다.

대규모 동시 운영에서는 무엇을 확인해야 할까?

파일럿에서 문항과 시간 설계를 검증했다고 해서 전사 운영 준비가 끝나는 것은 아닙니다. 10~20명 규모에서는 드러나지 않던 시스템 부하나 부정행위 문제가 수백~수천 명이 동시에 접속하는 환경에서는 진단 결과의 신뢰도 자체를 흔드는 문제로 이어질 수 있습니다.

따라서 본 운영으로 확대하기 전에는 다음 세 가지를 별도로 확인해야 합니다.

이 세 가지가 확보되지 않으면, 아무리 문항을 정교하게 설계해도 평가 환경에서 발생한 변수 때문에 결과를 신뢰하기 어려워집니다.

프로그래머스 AI 역량평가는 대규모 전사 진단에 필요한 운영 환경을 다음과 같이 갖추고 있습니다.

• 동시 접속 안정성: 최대 2만 명의 동시 접속을 지원하는 인프라

• 부정행위 방지: 화면 공유로 확인하기 어려운 프로그램까지 자동으로 감지·차단하는 온라인 감독 솔루션

• 감독 방식 선택: 무인 감독과 유인 감독 중 기업의 운영 환경에 맞는 방식 선택 가능

포스코DX, KB국민은행, KT 등 대규모 인원이 참여하는 실제 기업 평가에서 운영 경험을 축적한 인프라를 기반으로 안정적인 전사 진단을 지원합니다.

운영 주기는 어떻게 설계해야 할까?

파일럿부터 본 운영까지 순서를 정했다면, 마지막으로는 진단을 일회성 평가로 끝낼지, 반복 가능한 주기로 운영할지를 결정해야 합니다. 한 번의 진단만으로는 특정 시점의 역량 수준만 확인할 수 있기 때문입니다. 교육이나 인사 제도와 연계해 역량 변화를 확인하려면, 이전 결과와 비교할 수 있는 다음 진단이 필요합니다.

따라서 목적 정의부터 결과 리포트 확보까지의 흐름을 처음부터 반복 가능한 형태로 설계해두는 것이 좋습니다.

이렇게 진단을 운영하면 결과를 단순히 ‘현재 AI 역량 수준을 확인하는 자료’​로 남기지 않고, 직군·팀별 격차를 파악하고 교육이나 인사 제도에 연결하는 데이터로 활용할 수 있습니다. 결국 중요한 것은 진단을 실시하는 것 자체가 아니라, 진단 결과를 다음 의사결정으로 어떻게 연결할 것인지입니다.

4. 진단 결과를 교육을 넘어 성과 지표로 어떻게 연결할까?

진단 결과는 교육 대상자를 선별하는 데 그치지 않고, 활용 목적을 미리 정의하면 KPI나 승진 심사 등 인사 제도와도 연결할 수 있습니다. 다만 이를 위해서는 단순히 AI를 얼마나 사용했는지가 아니라, AI를 업무에 어떻게 활용하고 그 결과를 어떻게 검증했는지까지 확인할 수 있어야 합니다.

실제로 많은 조직이 진단 결과를 부족한 직군에 교육을 배정하는 데 활용하고 있습니다. 하지만 진단 데이터를 인사 제도까지 확장하려면, ‘AI를 사용했는가’보다 ‘AI를 활용해 어떤 결과를 만들어냈는가’를 판단할 수 있는 데이터가 필요합니다.

'활용 여부'에서 '성과 기여도'로, 무엇이 달라지고 있을까?

AI 활용 데이터는 크게 두 가지 층위로 나눌 수 있습니다.

• 사용 빈도 데이터: AI 도구를 얼마나 자주 썼는지. 로그만 있으면 바로 집계됩니다.

• 성과 기여도 데이터: 그 활용이 실제 업무 성과로 이어졌는지. 그 사람이 AI를 '어떻게' 다뤘는지를 봐야만 판단할 수 있습니다.

조직이 궁극적으로 알고 싶은 것은 대부분 후자입니다. AI를 많이 사용하는 사람이 반드시 업무 성과가 높은 것은 아니기 때문입니다. 어떤 문제에 AI를 적용하고, 프롬프트를 어떻게 설계하며, 생성된 결과를 어떻게 검증·개선했는지가 실제 활용 수준을 가르는 기준이 될 수 있습니다.

따라서 진단 결과를 채용이나 교육을 넘어 인사 제도와 연결하려면, 처음부터 이러한 과정 데이터를 측정하고 활용할 수 있도록 진단 목적과 평가 기준을 설계해야 합니다.

다만 이때 직무별로 AI를 활용하는 방식과 성과를 판단하는 기준이 다르다는 점도 함께 고려해야 합니다.

진단 결과를 어떤 구조로 연결해야 할까?

결국 다시 처음의 질문으로 돌아갑니다. 이 데이터를 어디까지 활용할 것인지 진단을 설계하는 단계에서부터 정해두어야 합니다. 교육 우선순위를 결정하기 위한 진단과 KPI·승진 심사 등 인사 제도에 활용할 진단은 요구되는 평가 기준과 데이터의 정교함이 다르기 때문입니다.

따라서 진단 목적을 먼저 정하고, 그 목적에 맞춰 평가 항목 → 데이터 수집 방식 → 결과 리포트 → 활용 기준을 하나의 구조로 설계해야 합니다. 그래야 진단 결과를 단순한 현황 파악 자료가 아니라, 교육과 인사 의사결정에 활용할 수 있는 데이터로 만들 수 있습니다.

프로그래머스 AI 역량평가는 채용 단계의 역량 검증부터 재직자 진단까지 동일한 평가 체계를 기반으로 AI 활용 역량을 확인합니다. 특히 AI 활용 역량을 단순 사용 여부가 아닌 실무 적용 과정과 결과를 함께 확인하는 방식으로 평가해, 실제 업무에 AI를 활용할 수 있는 역량을 파악하는 데 초점을 두고 있습니다.

5. 자주 묻는 질문 (FAQ)

Q. 진단 항목을 우리 조직에 맞게 커스텀할 수 있나요?

네, 가능합니다. 표준 문항은 라이브러리에서 선택해 빠르게 적용할 수 있고, 커스텀 문항은 기업의 JD·직무 특성을 공유받아 이를 반영한 문항을 설계해 제안하는 방식입니다. 도입 일정이 촉박하다면 표준 문항을 먼저 활용하고 이후 커스텀 문항으로 전환하는 방식도 가능하며, 커스텀 문항은 의뢰 후 약 1~2개월이 소요됩니다.

Q. 500명 이상이 동시에 응시해도 시스템이 안정적으로 운영되나요?

프로그래머스 AI 역량평가는 최대 2만 명 동시 접속 인프라를 보유하고 있습니다. 감독 방식은 무인 감독과 유인 감독 중 선택할 수 있고, 화면 공유에 잡히지 않는 방식으로 작동하는 외부 프로그램까지 자동 감지·차단하는 온라인 감독 솔루션을 함께 운영합니다.

Q. 진단 결과를 나중에 KPI나 승진 심사 자료로 활용할 수도 있나요?

가능하지만, 이 활용 목적은 진단 설계 초기에 정의해두는 것을 권장합니다. 단순 교육 우선순위 결정용 진단과, 인사 제도와 연결되는 진단은 문항 난이도와 채점 기준 설계가 달라질 수 있습니다. 처음부터 활용 목적을 명확히 하면 추후 결과를 다른 용도로 재설계하는 부담을 줄일 수 있습니다.

Q. 진단부터 결과 리포트 확보까지, 실제로 얼마나 걸리나요?

평균 2~3주입니다. 목적 정의(3일) → 맞춤 설계(4일) → 파일럿(선택, 3일) → 전사 운영(4일) → 결과 리포트(3일) 순으로 진행되며, 교육 연계까지 포함하면 3주 이상 소요될 수 있습니다. 

전사 AI 역량 진단은 결국 세 가지 질문에 순서대로 답하는 과정입니다. 무엇을 AI 역량으로 볼 것인지, 이를 직군별로 어떻게 다르게 적용할 것인지, 그리고 어떤 규모와 주기로 운영해 어디까지 활용할 것인지​를 먼저 정해야 합니다. 이 순서를 건너뛰고 도구부터 도입하면, 진단 결과를 확보하고도 정작 그 데이터를 교육이나 인사 의사결정에 어떻게 활용할지 결정하기 어려워집니다.

프로그래머스 AI 역량평가는 결과뿐 아니라 AI를 실제 업무에 어떻게 활용하는지 그 과정까지 검증하는 방식으로, 전 직군을 대상으로 한 전사 AI 역량 진단 설계를 지원합니다.

우리 조직에 맞는 전사 AI 역량 진단 설계가 필요하다면, 지금 바로 문의해 보세요.

더 많은 AI·HR 인사이트가 궁금하신가요?

AI가 업무와 인재의 역할을 어떻게 바꾸고 있는지, HR은 어떤 기준으로 구성원의 역량을 살펴봐야 하는지 정리해 전해드립니다. 채용·평가에 필요한 최신 사례와 실무 인사이트를 프로그래머스 뉴스레터에서 확인해 보세요.