전사 AI 역량 진단 도입을 고민하는 대기업이 반드시 확인해야 할 5가지와 솔루션 비교까지

전사 AI 역량 진단 도입을 검토하는 대기업이 놓치기 쉬운 문제가 있습니다. 이 부분을 확인하지 않고 도입하면, 진단을 마친 뒤 수천 명의 점수는 나와도 어느 직무부터 교육을 시작해야 하는지, 어떤 부서의 역량 격차가 가장 큰지는 ​점수만으로 판단하기 어려운 경우가 많습니다.

전사 단위로 AI 역량을 진단할 때는 무엇을 평가하는지만큼 진단 결과가 어떤 데이터로 남고, 이후 교육이나 인재 관리에 어떻게 활용할 수 있는지​를 확인하는 것이 중요합니다. 이 글에서는 도입 전에 확인해야 할 자료 5가지를 정리하고, 국내 AI 역량 진단 솔루션 3가지 유형이 이를 어떻게 제공하는지 비교합니다.

1. AI 역량 진단 도입 전, 무엇을 확인해야 할까? 반드시 확인해야 할 5가지

확인해야 할 것은 솔루션이 어떤 기능을 제공하는지가 아니라, 그 기능이 실제 평가와 운영에서 어떻게 구현되는지를 보여주는 자료입니다. ‘실무 과정을 본다’는 설명만으로는 실제로 무엇을 측정하고 어떤 데이터가 남는지 알기 어렵기 때문입니다.

도입 전 다음 다섯 가지 자료를 요청해야 합니다.

*루브릭: Rubric, 학습자의 과제 수행 결과물이나 성취 정도를 공정하고 객관적으로 평가하기 위해 사용하는 구체적인 평가 기준표

① 역량 프레임 근거: 무엇을 AI 역량으로 정의하는지

진단 결과를 신뢰하려면 무엇을 AI 역량으로 정의하고, 그 기준을 어디에서 가져왔는지​부터 확인해야 합니다. 솔루션사에서 자체적으로 만든 기준인지, 검증된 연구나 프레임워크를 근거로 하는지에 따라 진단 결과를 사내에서 활용할 때의 설명력도 달라집니다.

② 채점 기준서: 채점 항목과 배점을 사전에 열람할 수 있는가

채점 기준이 사전에 문서화되어 있는지도 확인해야 합니다. 최근 LLM을 채점자로 활용하는 방식(LLM-as-a-judge)을 다룬 연구에서는 긴 답변이나 유창한 문체를 실제 내용보다 높게 평가하는 등 여러 편향 가능성이 지적되고 있습니다. 따라서 어떤 항목을 어떤 기준으로 평가하고, 항목별 배점은 어떻게 구성되는지 사전에 확인할 수 있어야 합니다.

③ 남는 데이터의 형태: 점수만 남는가, 과정까지 남는가

같은 90점이라도 어떻게 그 점수를 받았는지 확인할 수 있는지에 따라 활용도는 달라집니다. 프롬프트를 어떻게 설계했는지, AI가 생성한 결과를 어떻게 검증하고 수정했는지 등 수행 과정이 데이터로 남는지 확인해야 합니다. 이는 진단 결과를 교육이나 인사에 활용할 때 중요한 기준이 됩니다

④ 대규모 운영 실증: 대상 인원 전체가 동시에 응시한 사례가 있는가

수십 명 규모의 파일럿에서 문제가 없었다고 해서 수천 명 규모의 운영에서도 같은 결과를 보장할 수 있는 것은 아닙니다. 동시 접속 안정성, 부정행위 방지, 감독 방식 등이 실제 대규모 운영에서도 문제없이 작동했는지 사례를 통해 확인해야 합니다.

⑤ 조직 리포트 샘플: 직무·부서 단위 결과가 어떤 형태로 나오는가

전사 평균 점수만으로는 조직 내 역량 차이를 파악하기 어렵습니다. 개인별 결과뿐 아니라 직무·부서별로 결과를 나눠 볼 수 있는지, 실제 리포트가 어떤 형태로 제공되는지 확인해야 합니다. 그래야 어떤 조직부터 교육을 시작할지, 어디에 예산을 우선 배정할지 판단할 수 있습니다.

2. 국내 AI 역량 진단 솔루션 비교 3종, 진단 후 어떤 데이터가 남을까?

국내 AI 역량 진단 솔루션은 진단·컨설팅형, 교육 연계형, 채용·진단 통합형으로 나눠볼 수 있으며, 유형에 따라 진단 결과의 단위와 활용 범위가 달라집니다. 같은 ‘실무 역량 진단’이라도 개인의 수행 과정까지 확인하는지, 조직 단위 결과에 집중하는지에 따라 진단 이후 할 수 있는 일이 달라집니다.

조직 단위 결과만 남는 경우

진단·컨설팅형은 조직의 AX 준비 수준을 진단하고, 필요한 역량이나 스킬 체계를 설계하는 데 초점이 맞춰져 있습니다. 조직 전체의 현황과 방향을 파악하는 데는 유용하지만, 개인별 역량 차이나 교육 우선순위까지 세밀하게 확인할 수 있는지는 별도로 확인할 필요가 있습니다.

진단 점수로만 남는 경우

교육 연계형은 AI 교육과 사전·사후 진단을 함께 운영하는 방식입니다. 교육 전후 점수 변화를 통해 교육 효과를 확인할 수 있지만, 점수가 어떤 수행 과정을 통해 산출됐는지까지 확인할 수 있는지는 솔루션마다 다릅니다.

AI를 어떻게 활용했는지까지 남는 경우

채용·진단 통합형은 채용 과정에서 활용하는 평가 방식을 재직자 진단에도 적용할 수 있는 유형입니다. 프롬프트를 어떻게 설계했는지, AI가 생성한 결과를 어떻게 검증하고 보완했는지 등 응시자의 수행 과정까지 데이터로 남기고, 이를 개인별 결과와 조직 단위 리포트로 활용할 수 있습니다. 

채용부터 재직자까지 같은 기준으로 전사 역량 데이터를 쌓아야 하는 상황이라면, 이 '남는 데이터의 형태'가 판단 기준이 됩니다. 

3. 프로그래머스 AI 역량평가는 진단 결과를 어떻게 남길까?

채용에서 AI 역량을 평가할 때와 재직자의 역량을 진단할 때 서로 다른 기준을 적용하면, 조직의 AI 역량 데이터를 지속적으로 비교하고 활용하기 어렵습니다. 프로그래머스 AI 역량평가는 채용 전형에서 5만 건 이상 축적한 평가 데이터를 기반으로, 동일한 채점 방식을 재직자 수천 명 규모의 전사 진단에도 적용할 수 있도록 설계되어 있습니다.

최종 점수뿐 아니라 응시자가 AI를 활용한 과정까지 데이터로 남긴다는 점이 특징입니다. 어떤 프롬프트를 설계했는지, AI의 결과를 어떻게 검증하고 수정했는지까지 확인할 수 있어 점수만으로는 알기 어려운 AI 활용 역량을 파악할 수 있습니다.

그렇다면 전직군 AI 역량평가 솔루션인 프로그래머스 AI 역량평가는 앞서 살펴본 ‘AI 역량 진단 도입 전, 확인해야할 다섯 가지 기준’을 어떻게 충족할까요?

① 역량 프레임 근거

AI 역량을 기초 이해(Why) → 실무 활용(How) → 성과 창출(Apply)​의 3단계로 구분하고, 이를 AI 지식평가, AI 활용평가, AI 전문평가로 나눠 측정합니다.

AI 지식평가는 기초 리터러시와 AI 윤리를, AI 활용평가는 프롬프트를 활용한 실무 과제를, AI 전문평가는 직무 시나리오에 기반한 과정과 결과를 종합적으로 평가합니다. 지식·활용 단계는 전 직군 공통 기준으로 평가하고, 전문 단계에서는 직무 맥락을 반영합니다. 개발 직군뿐 아니라 제조 DX, HR, 마케팅, 금융, 에너지 등 비개발 직군의 실무 시나리오도 평가에 포함할 수 있습니다.

② 채점 기준

AI 활용 과정을 평가한다면 어떤 행동을 잘한 것으로 판단하는지에 대한 기준이 명확하게 정해져 있어야 합니다. 단순히 최종 결과물의 완성도만 평가하는 것이 아니라, 프롬프트를 어떻게 설계했는지, AI가 생성한 결과를 적절하게 검토했는지, 부족한 부분을 어떻게 보완했는지처럼 과정에서 나타나는 행동을 어떤 기준으로 평가할지 사전에 정의해야 합니다.

프로그래머스 AI 역량평가는 평가 항목과 배점, 항목별 채점 기준을 사전에 설계하고 이를 바탕으로 AI가 1차 채점을 진행한 뒤 사람이 최종 결과를 검수하는 방식으로 운영됩니다. 따라서 결과를 볼 때도 단순히 점수만 확인하는 것이 아니라, 어떤 평가 기준을 적용해 해당 점수가 산출됐는지 확인할 수 있습니다.

③ 남는 데이터의 형태

진단이 끝난 뒤에는 최종 점수뿐 아니라 AI를 활용하는 과정 자체가 데이터로 남습니다. 프롬프트 입력 과정과 AI 결과에 대한 검증·수정 과정 등을 확인할 수 있어, 최종 산출물이 비슷한 응시자 사이에서도 어떤 방식으로 AI를 활용했는지 비교할 수 있습니다.

이를 통해 개인별 역량을 확인하는 데서 그치지 않고, 직무·부서별 AI 역량 차이를 분석할 수 있는 기반을 마련할 수 있습니다.

④ 대규모 운영 실증

최대 2만 명의 동시 접속을 지원하는 인프라를 기반으로 대규모 평가를 운영할 수 있습니다. 포스코DX는 경력 공채에서 이 평가 방식을 먼저 파일럿으로 검증한 뒤, 검증된 방식을 재직자 평가로 확장했습니다. KB국민은행 역시 대규모 인원을 동일한 기준으로 평가하는 데 이 구조를 활용하고 있습니다. 

온라인 감독 기능을 통해 부정행위를 방지할 수 있으며, 조직의 운영 환경에 따라 무인 감독과 유인 감독 방식을 선택할 수 있습니다.

⑤ 조직 리포트 

결과는 개인별 역량 리포트와 조직 단위 AI 역량 리포트로 확인할 수 있습니다. 개인별 역량 수준은 물론 직무·부서별 결과를 비교해 조직 내 AI 역량 분포와 격차를 파악할 수 있습니다.

실제 리포트 구성과 제공 범위는 진단 목적과 규모, 평가 구성에 따라 달라질 수 있으므로 도입 전에 조직 리포트 샘플과 제공 데이터의 범위를 확인하는 것이 좋습니다.

도입은 목적 정의 → 맞춤 설계 → 파일럿 → 전사 운영 → 결과 리포트 제공의 순서로 진행되며, 전체 과정은 평균 2~3주 정도 소요됩니다.

언제, 어떻게 적용할 수 있을까

계열사가 여러 곳이고 직군이 다양한 조직이라면, 전 직원에게 같은 수준의 평가를 한 번에 적용하기보다 AI 지식평가로 먼저 전사 리터러시 수준을 스크리닝하는 방식이 적합합니다. 예를 들어 제조 계열사와 마케팅 계열사를 같은 지식평가로 먼저 진단한 뒤, 실무 활용도가 높은 직군에는 AI 활용평가나 전문평가를 추가로 적용해 역량 격차를 세분화할 수 있습니다.

4. 프로그래머스 AI 역량평가 자주 묻는 질문 (FAQ)

Q. 비개발 직군을 포함한 전사 진단에 쓸 수 있나요? 

가능합니다. 프로그래머스 AI 역량평가는 개발자만을 위한 것이 아니라 전 직군에 적용되는 서비스입니다.

마케팅, 기획, HR, 영업, 재무 등 비개발 직군을 포함해 전 직군에 적용할 수 있으며, AI 전문평가에서는 직무별 실무 시나리오와 산출물 과제를 활용합니다. 비개발 직군에 AI 역량평가를 적용하는 방식은 비개발 직군에 AI 역량평가를 적용하는 방식에서 확인할 수 있습니다.

Q. 과정을 채점한다면, 채점 결과가 사람마다 다르게 나오지는 않나요? 

과정과 결과를 함께 평가하되, 사전에 설계된 루브릭(Rubric, 학습자의 과제 수행 결과물이나 성취 정도를 공정하고 객관적으로 평가하기 위해 사용하는 구체적인 평가 기준표)을 기준으로 AI가 1차 채점을 하고 사람이 최종 결과를 검수·확정하는 구조로 운영됩니다.

과정 평가와 결과 평가의 기준을 구분해 평가의 일관성을 확보하고, 최종 판단에는 사람의 검토가 포함됩니다. 이는 AI를 활용한 평가에서도 사람의 확인과 검토가 가능해야 한다는 최근의 제도적 방향과도 맞닿아 있습니다.

Q. 진단 결과 리포트를 미리 볼 수 있나요? 

문제 유형과 평가 방식을 확인하고 싶다면 단계별 샘플 테스트에서 직접 체험할 수 있습니다. 실제 조직 리포트 샘플은 조직 규모와 진단 목적에 따라 구성이 달라지므로, 도입 상담 과정에서 요청하는 것을 권장합니다.

전사 AI 역량 진단, 무엇이 데이터로 남는지부터 확인하세요.

우리 조직의 규모와 목적에 맞는 진단 설계가 궁금하다면, 지금 문의해 보세요.

더 많은 AI·HR 인사이트가 궁금하신가요?

AI가 업무와 인재의 역할을 어떻게 바꾸고 있는지, HR은 어떤 기준으로 구성원의 역량을 살펴봐야 하는지 정리해 전해드립니다. 채용·평가에 필요한 최신 사례와 실무 인사이트를 프로그래머스 뉴스레터에서 확인해 보세요.