요즘 자주 보이는 'AI 역량평가'라는 말을 잘 살펴보면, 서로 다른 두 가지 의미로 쓰인다는 걸 알 수 있습니다. 첫째는 ‘AI로 사람의 능력을 평가한다’는 의미로 쓰입니다. 둘째는 ‘사람의 AI 활용 능력을 평가한다’는 뜻으로 쓰입니다. 전자의 의미에서 AI는 평가자가 됩니다. 지원자에 대한 신상 정보, 선입견, 그날의 컨디션 등 여러 요인에 영향을 받는 사람을 대신해서 AI가 인재의 직무적합성을 판단하고 합/불 결정을 내리는 방식이지요.
그런데 후자는 전혀 다른 이야기입니다. ‘사람이 AI 도구를 얼마나 잘 쓰느냐’에 대한 것, 말 그대로 AI를 잘 쓰는 인재를 찾는 일이에요. 프로그래머스는 바로 여기에 주목했습니다. 많은 기업이 AI 역량을 갖춘 인재를 원하지만, 이것을 객관적으로 검증할 도구를 갖춘 경우는 많지 않습니다. 그래서 프로그래머스는 원래도 일을 잘하는데 AI를 활용해 일을 더 잘하는, 그런 인재를 찾을 수 있는 'AI 역량평가'를 만들었습니다.
여기서 ‘AI를 잘 쓴다’는 것은 AI 도구의 기능을 많이 안다는 뜻이 아닙니다. AI에게 무엇을 맡기고 어떻게 지시할지, 돌아온 결과를 믿을지 말지 판단하는 일입니다. 다시 말해 어떤 새로운 AI를 써도 여전히 사람의 몫으로 남는 ‘판단력’을 보는 것이지요. 프로그래머스의 AI 역량평가가 인재를 어떻게 평가하고, 도입 기업은 AI 역량평가로 무엇을 할 수 있는지 알려드릴게요.
1️⃣AI와 함께 치르는 시험
프로그래머스의 AI 역량평가는 응시자가 AI 도구를 사용하면서 문제를 푸는 시험입니다. AI를 마음껏 쓸 수 있는 시험이라는 점 때문에 이런 의문이 생기지요.
"AI를 쓰면 누구나 다 잘하지 않나요?"
"AI가 잘 한 건지, 사람이 잘 한 건지 어떻게 구분하죠?"
"AI를 잘 쓰는 인재가 현업을 잘 하리라 보장할 수 있나요?"
① “AI를 쓰면 누구나 다 잘하지 않나요?”
결론부터 말씀드리자면, 누구나 다 잘하는 것은 아닙니다. 프로그래머스의 AI 역량평가는 사람의 판단이 점수에 남도록 정교하게 설계된 시험이기 때문입니다. 응시자에게 제공하는 AI 어시스트가 시중의 범용적 AI 도구와 다른 이유도 여기에 있습니다.
먼저 문항당 AI 질문 횟수가 제한되어 있고, 질문 후 결과 도출까지 30초의 쿨타임이 있습니다. 답이 나올 때까지 반복 질문하는 방식으로는 점수를 얻을 수 없지요. 보안상의 이유로 문제의 지문을 그대로 복사해 붙여넣기도 제한됩니다. 문제 속 자료 파일을 첨부할 수는 있지만, 어떤 자료를 어디까지 AI에게 넘길지 판단하는 것 자체가 평가 대상입니다.
이 장치들은 응시자를 불편하게 하려는 것이 아닙니다. 사람의 판단력만 남기기 위해 일부러 환경을 제한한 것인데요. 글로벌 코딩 평가 플랫폼인 해커랭크(HackerRank)도 시험용 AI 어시스트가 완성된 정답을 내주지 않도록 막아두었습니다. AI를 쓰게 하되, 사람의 설계와 판단이 중요하게 작용하도록 만든 설계지요. 프로그래머스의 AI 역량평가도 응시자가 AI에게 어떤 정보를 주고, 어떤 지시를 내리고, 어떻게 검증하고, 답으로 취하는지를 살펴보기 위해 만든 시험입니다.
② “AI가 잘 한 건지, 사람이 잘 한 건지 어떻게 구분하죠?”
그래서 프로그래머스의 AI 역량평가는 과정과 결과를 모두 채점합니다. 응시자가 AI와 어떻게 협업했는지, 주고 받은 대화도 채점 범위에 넣은 것인데요. 과정 채점은 AI가 수행합니다. AI가 응시자의 대화 기록을 분석해 프롬프트를 어떻게 설계했는지, 도출된 답을 역으로 검증했는지 검수합니다. 이를 통해 응시자의 대화 설계력과 사고력을 함께 채점할 수 있습니다.
실제로 프로그래머스가 진행한 베타 테스트1)에서 응시자 A와 B는 문제를 맞힌 ‘결과 점수’는 71점으로 동점이었지만, ‘과정 점수’는 두 배 이상 차이가 났습니다. 문제를 구조화하고 사실을 검증한 응시자 A는 60점을 받았고 B는 22점에 그쳤는데요. 이로 인해 두 사람의 최종 점수는 각각 73점과 49점으로 갈렸습니다. 단순 결과만이 아니라 일하는 과정까지 살피기 때문에 인재의 진짜 기본기를 확인할 수 있습니다.
③ “AI를 잘 쓰는 인재가 현업을 잘 하리라 보장할 수 있나요?”
시험과 현업에 괴리가 생기는 이유는 사용 환경이 다르기 때문입니다. 실제 하는 일과 시험 문제가 아주 다르면 그 점수는 무의미해지지요.
프로그래머스는 직무별로 AI 역량의 기준선이 다르다는 것을 이해하고, 이에 따라 직무별로 평가되어야 할 업무 영역을 구분하여 문제를 설계했습니다. 직무 특성에 맞춰 실제 업무와 유사한 과제를 제시할 수 있고, 각 기업별 도메인 지식의 깊이를 더한 문항으로 커스터마이징할 수도 있습니다. 시험에서 다루는 과업이 실제 업무와 가깝기 때문에, AI 역량평가 점수를 현업에서 AI를 어떻게 활용할지 가늠하는 시그널로 보기 충분합니다.
2️⃣ 기업 목적에 따라 선택하는 3가지 시험
프로그래머스의 ‘AI 역량평가’에는 세 가지 시험 유형이 있습니다. AI 기본 지식을 측정하는 ‘지식평가’, AI로 실무를 해낼 수 있는지 측정하는 ‘활용평가’, AI로 성과를 낼 수 있는지 더 깊이 있게 평가하는 ‘전문평가’입니다. 쉽게 말해 AI를 잘 알고, 잘 쓰고, 잘 부리는 사람을 가려내는 세 가지 시험입니다.
세 유형은 기업의 목적에 맞게 조합할 수 있습니다. 선택한 항목에 따라 문항 수와 응시 시간도 달라지며, 기업 상황에 맞게 설계할 수 있습니다. AI 역량의 향상도를 측정하려면, 같은 유형으로 교육 전후 두 번 응시해 점수를 비교하는 방식을 권장합니다. 무엇이 얼마나 나아졌는지 정확히 비교할 수 있고, 교육 성과의 근거도 얻을 수 있습니다.
3️⃣ AI 역량평가로 할 수 있는 일
1 - 채용) 진짜 AI 실력자를 뽑습니다.
채용 지원자들이 AI로 서류를 작성하고 있습니다. AI로 다듬어 오기 때문에 서류 단계에서는 변별이 잘 안됩니다. 면접에서 물어봐도 자기 보고(self-report)에 가까운 답변만 들을 수 있고, 포트폴리오에서도 결과물만 확인됩니다. 그런데 AI 역량평가를 채용 프로세스에 추가하면, 지원자가 어떻게 프롬프트를 설계하고 AI가 도출한 결과를 검증하는지까지 확인할 수 있어 진짜 AI 실력자를 뽑을 수 있습니다. 서류만 보고 채용에 실패하는 일을 예방할 수 있습니다.
2 - 조직 진단) 평균 수준 말고, 우리 안의 ‘편차’를 확인합니다.
AI 역량평가로 조직의 AI 역량을 진단할 수 있습니다. 여기서 중요한 것은 조직의 AI 평균치가 아니라 개인별 편차입니다. 개인의 실력을 확인해야 HR 조직은 교육 리소스를 얼마만큼 투입할지 책정할 수 있고, 비용 낭비도 줄일 수 있습니다. 툴 라이선스를 전사에 뿌릴지, 특정 팀 또는 특정 인력부터 시작할지, 감 말고 데이터로 정할 수 있습니다.
3 - 조직 성장) ‘무엇을 가르칠지’가 아니라 누구에게 ‘무엇이 빠졌는지’ 봅니다.
대부분의 사내 AI 교육은 전사적으로 같은 것을 보여줍니다. 문제는 똑같이 배워도 사람마다 막히는 지점이 다 다르다는 사실입니다. 프롬프트가 어려운 직원이 있고, AI가 도출한 결과를 잘 검증하지 못하는 직원이 있습니다. 이 둘에겐 완전히 다른 교육이 필요하지요.
AI 역량평가는 못하는 이유에 따라 다른 처방을 내릴 수 있습니다. 개인별 진단 리포트를 통해, 부족한 역량을 확인하고 필요한 교육 방향을 설계할 수 있습니다. 각자 편한 환경에서 개별 교육을 이수한 뒤, 다시 평가해 교육 성과를 확인할 수도 있습니다. 이 결과는 승진 등 내부 고과에 반영할 수도 있습니다.
누구를 뽑을지, 어디에 교육을 투입할지, 얼마나 나아졌는지.
지금까지 모호함 속에서 판단해야 했다면,
이제 프로그래머스의 ‘AI 역량평가‘와 함께 데이터로 결정하세요.
함께 읽으면 좋은 글
📌 포스코 DX, KB국민은행은 왜 프로그래머스 AI 역량평가를 선택했을까?
📌 2026 기업용 AI 역량 평가 서비스 4종 비교 및 5가지 선택 기준
📌 임직원 AI 역량을 데이터로 진단하는 법 - 500인 이상 기업 전사 설계 가이드
출처
1) 그렙, 2026년 상반기 실제 고객사 응시 데이터 발췌