지원자가 AI를 실제로 잘 쓰는지 검증하는 방법 4가지와 전형 단계별 적용 기준

이 글은 지원자가 AI를 실제로 잘 쓰는지 확인하는 검증 방법을 이력서와 자기소개서, 인적성 검사, AI 실무 과제 전형, 구조화 면접 4가지로 나눠 각각 무엇을 남기는지 비교하고, 이미 서류 필터링이나 인적성 검사를 운영 중인 전형에 어떤 방법을 어느 단계에 배치해야 하는지 정리합니다.

• 지원자의 AI 활용 역량을 확인하는 방법은 이력서와 자기소개서, 인적성 검사, AI 실무 과제 전형, 구조화 면접 4가지로 나뉘며, 각각 남기는 데이터의 형태가 다릅니다.

• 검증 도구를 늘려도 결과가 나아지지 않는 이유는 대부분 같은 항목을 두 번 재거나, 어느 도구도 수행 과정을 기록하지 않기 때문입니다.

• 4가지 방법은 서로를 대체하지 않기 때문에, 어떤 도구를 고를지보다 전형 어느 단계에 무엇을 배치할지를 먼저 정해야 합니다.

• 채용 단계에서 점수만 남기면 활용 범위가 합불 판단에서 끝나지만, 과정 기록을 남기면 배치와 온보딩 판단까지 이어집니다.

AI 인재를 확보하기 위해 채용 단계마다 AI 활용 역량을 확인합니다. 서류에서 AI 활용 경험을 살펴보고, 인적성 검사와 면접에서도 AI를 어떻게 활용하는지 묻습니다.

하지만 이 세 단계를 모두 거쳤는데도, 지원자가 실제로 AI를 잘 다루는 사람인지 확신하기는 어렵습니다.

이유는 간단합니다. 세 단계 모두 지원자의 답변을 확인했을 뿐, 실제로 AI를 활용하는 모습을 본 적은 없기 때문입니다. 결국 지금의 채용 방식만으로는 ‘AI를 써봤다’는 경험과 ‘AI를 업무에 잘 활용할 수 있다’는 역량을 구분하기가 쉽지 않습니다.

1. 지원자의 AI 활용 역량은 어떤 방법으로 검증할 수 있을까?

크게 4가지이며, 방법마다 확인되는 범위와 남는 데이터의 형태가 다릅니다. 왜냐하면 어떤 방법은 지원자의 진술을 받고, 어떤 방법은 지원자의 수행을 직접 관찰하기 때문입니다.

그렙이 국내 HR 담당자 354명을 대상으로 진행한 '2026 기업 AI 역량평가 현황 조사'를 보면, 기업들이 AI 역량을 판단하는 방식은 이력서·포트폴리오(34.3%), 현업 매니저 평가(31.1%), 면접·과제 전형(28.9%) 순이었고 별도 기준 없이 개별 판단한다는 응답도 28.6%였습니다. 여러 방법이 이미 섞여 쓰이고 있다는 뜻입니다.

① 이력서·자기소개서 | 말한 경험은 남지만, 실제 수행은 보이지 않는다

이력서와 자기소개서에서는 지원자의 AI 활용 경험을 빠르게 확인할 수 있습니다. 어떤 도구를 어떤 업무에 활용해봤는지 파악할 수 있고, 별도 비용이나 전형 시간도 거의 들지 않습니다.

하지만 확인할 수 있는 건 ‘무엇을 해봤는가’까지입니다. 실제 업무에서 AI를 얼마나 효과적으로 활용하는지는 알기 어렵습니다. ‘AI 활용에 능숙하다’는 같은 문장을 적은 두 사람이라도 실제 활용 수준은 크게 다를 수 있습니다.

② 인적성 검사 | 성향은 보이지만, AI 활용 과정은 보이지 않는다

새로운 도구를 탐색하는 태도나 문제를 구조화하는 방식처럼 개인의 성향과 사고 패턴을 확인하는 방법입니다. 대규모 인원에게 동일한 기준으로 적용하기 쉽고, 채점도 빠르다는 장점이 있습니다.

다만 여기서 한 가지 구분이 필요합니다. AI를 활용해 사람의 성향이나 성과 가능성을 예측하는 것과, 사람이 AI를 얼마나 잘 활용하는지를 평가하는 것은 서로 다른 영역입니다. 전자는 AI를 평가 도구로 활용하고, 후자는 지원자가 AI를 활용해 과제를 수행하는 과정을 평가합니다. 따라서 어느 한쪽이 다른 한쪽을 대체하기는 어렵습니다.

③ AI 실무 과제 전형 | 실제로 어떻게 활용했는지가 남는다

실제 업무와 유사한 과제를 제시하고, AI를 활용해 해결하도록 하는 방법입니다. 지원자가 어떤 방식으로 문제를 풀고, AI의 결과를 어떻게 검증하고 수정했는지까지 확인할 수 있습니다.

인사선발 분야의 고전적 메타분석인 Schmidt & Hunter(1998)에서도 평가 방법에 따라 실제 업무 수행을 예측하는 정도에 차이가 나타났습니다.

*이 숫자는 해당 방법으로 선발한 사람이 실제로 업무를 잘 수행할지를 얼마나 정확히 예측하는지 나타내는 상관계수로, 0에서 1 사이 값입니다.

실제로 그렙이 중견·대기업 HR 담당자와 경영진 200명을 대상으로 발간한 2026 대한민국 기업의 AI 역량 진단 리포트에서도 기업들이 가장 선호한 평가 방식은 실무 과제 평가(40.5%)​였으며, 이론 지식 평가(7.5%)는 가장 낮은 선호도를 보였습니다.

④ 구조화 면접 | 앞선 데이터가 있어야 검증이 구체화된다

정해진 기준에 따라 지원자의 AI 활용 경험과 행동을 묻는 방법입니다. 앞 단계에서 실제 수행 데이터를 확보했다면 ‘이 과제에서 결과를 이렇게 수정한 이유가 무엇인가’처럼 구체적인 질문으로 이어갈 수 있습니다.

반대로 수행 데이터 없이 면접만 진행하면 결국 지원자가 설명하는 경험과 판단에 의존할 수밖에 없습니다.

4가지 방법이 남기는 데이터 형태 비교

2. 왜 도구를 늘려도 검증이 되지 않을까?

평가 방법을 추가하는 것과 지원자에 대해 더 많은 정보를 얻는 것은 다르기 때문입니다. 전형을 여러 단계로 운영하고 있는데도 판단이 나아지지 않는다면, 대부분 두 가지 문제가 있습니다.

같은 항목을 반복해서 측정하는 경우

서류에서 AI 활용 경험을 확인하고, 면접에서 다시 AI를 어떻게 활용했는지 묻는 경우입니다. 두 단계 모두 지원자의 설명을 바탕으로 판단하기 때문에, 전형은 길어지지만 확인할 수 있는 정보의 범위는 크게 달라지지 않습니다.

성향 검사와 자기보고 방식을 함께 운영하면서 실제 수행을 확인하는 단계가 없는 경우도 마찬가지입니다.

수행 데이터가 비어 있는 경우

앞서 살펴본 것처럼 지원자가 AI를 실제로 어떻게 활용했는지를 기록으로 남길 수 있는 방법은 실무 과제 수행입니다. 이 단계가 없다면 전형 전체에서 프롬프트를 어떻게 설계했는지, AI의 결과를 어떻게 검증하고 수정했는지 확인할 수 있는 데이터가 남지 않습니다.

2026 대한민국 기업의 AI 역량 진단 리포트에서 AI 역량이 성과에 영향을 미친다는 인식은 5점 만점에 평균 3.76점이었지만, 조직의 AI 역량 수준을 실제로 파악하고 있다는 응답은 2.63점에 그쳤습니다. AI 역량의 중요성은 인식하고 있지만, 정작 현재 수준을 측정할 방법은 충분하지 않은 것입니다.

우리 전형의 공백을 확인하는 방법

전형에 어떤 도구를 사용하고 있는지보다 각 단계에서 무엇이 남는지를 살펴보면 공백을 쉽게 찾을 수 있습니다.

1. 전형 단계를 순서대로 나열합니다.

2. 각 단계에서 확보되는 데이터를 적습니다. 텍스트·점수·수행 기록처럼 형태를 구분합니다.

3. 같은 데이터가 반복되는 구간과 수행 기록이 비어 있는 구간을 표시합니다.

3. 전형 단계별로 어떤 방법을 배치해야 할까?

판단이 필요한 순서대로 배치하되, 수행 기록이 남는 단계를 반드시 하나는 확보해야 합니다. 4가지 방법이 서로를 대체하지 않기 때문에, 무엇을 고를지보다 어디에 둘지가 결과를 좌우합니다.

① 서류 전형 | AI 활용 경험을 확인합니다

서류에서는 AI 활용 경험과 그 맥락을 확인하는 데 집중하는 편이 좋습니다. 어떤 도구를 어떤 업무에 활용했는지 파악하고, 구체적인 역량 판단은 후속 전형으로 넘기는 방식입니다.

서류에서 활용 수준까지 판단하려 하면 지원자의 표현력이나 자기소개 방식이 실제 AI 활용 역량으로 해석될 가능성이 있기 때문입니다.

② 인적성 검사 | 지원자를 빠르게 선별합니다

기존 인적성 검사를 운영하고 있다면 이를 없애기보다 대규모 지원자를 빠르게 선별하는 단계로 활용할 수 있습니다.

성향이나 사고 패턴을 기준으로 1차 범위를 좁힌 뒤, 후속 단계에서 AI 활용 역량을 별도로 확인하는 방식입니다. 이렇게 하면 각 전형이 같은 역할을 반복하지 않고 선별과 검증의 역할을 나눌 수 있습니다.

③ AI 실무 과제 전형 | 실제 활용 역량을 확인합니다

후속 전형에서는 실제 업무와 유사한 과제를 제시하고, AI를 활용해 해결하도록 할 수 있습니다. 이때 중요한 것은 단순히 결과물을 제출받는 것이 아니라 지원자가 어떤 방식으로 AI를 활용했는지까지 평가할 수 있도록 설계하는 것입니다.

AI 과제에서는 같은 결과물을 만들어도 프롬프트를 설계하는 방식이나 결과를 검증하고 수정하는 과정이 다를 수 있습니다. 따라서 결과물과 함께 AI와 상호작용한 과정까지 평가할 수 있는 구조가 필요합니다.

이 과정에서 평가 운영을 자동화하거나, LLM과의 대화 기록을 분석해 활용 과정을 평가하는 방식을 활용할 수도 있습니다. 예를 들어 지원자가 AI를 실제로 잘 쓰는지 검증할 수 있는 서비스인 프로그래머스 AI 역량평가는 응시자가 LLM과 나눈 대화 로그를 바탕으로 목표 정의, 맥락 설계, 지시 명확성, 반복 개선, 결과 검증의 5가지 기준에서 AI 활용 과정을 분석합니다.

④ 구조화 면접 | 앞선 평가 결과를 검증합니다

앞선 전형에서 구체적인 평가 결과가 확보되면 면접은 경험을 다시 확인하는 자리가 아니라 실제 판단과 행동을 검증하는 자리가 될 수 있습니다.

예를 들어 과제에서 특정 결과를 수정한 기록이 있다면, ‘왜 이렇게 수정했는가’, ‘당시 어떤 기준으로 결과를 판단했는가’처럼 구체적인 질문으로 이어갈 수 있습니다.

전형의 큰 틀을 정했다면 다음은 직군과 연차에 따라 평가의 깊이를 조정하는 단계입니다. 같은 AI 활용 역량이라도 직무에서 요구하는 수준과 활용 방식이 다르기 때문입니다.

4. 채용 때 확인한 AI 역량, 입사 후에도 쓸 수 있을까?

입사자의 배치와 온보딩 판단에 쓸 수 있으며, 어디까지 쓸 수 있는지는 평가 방법이 정합니다. 어느 팀에 두고 무엇부터 채워야 할지 판단하려면 점수 하나만으로는 부족하고, 그 점수가 나온 과정까지 남아 있어야 하기 때문입니다.

점수만 남은 경우와 과정이 남은 경우의 활용 범위 차이

총점만 남으면 점수가 낮다는 사실은 알 수 있어도 어떤 역량을 보완해야 하는지는 알기 어렵습니다. 반면 항목별 점수나 수행 과정이 남으면 입사자가 어느 영역에서 어려움을 겪었는지 파악하고, 이를 온보딩이나 초기 교육에 반영할 수 있습니다.

채용과 재직자 진단, 같은 기준으로 연결하기

채용과 재직자 평가의 기준이 서로 다르면 두 데이터를 비교하기 어렵습니다. 반대로 같은 역량 기준을 적용하면 채용 당시의 수준과 입사 후 변화까지 연결해서 볼 수 있습니다.

실제로 프로그래머스 AI 역량평가를 경력 공채에서 도입한 포스코DX는 AI 역량을 먼저 검증한 뒤, 해당 평가 방식을 재직자 평가로 확장했습니다. 이처럼 일부 직군이나 인원으로 먼저 검증한 뒤 전사로 확대하는 방식이라면 실제 운영 과정에서 발견되는 문제를 보완하면서 평가 체계를 안정적으로 구축할 수 있습니다.

그렇다면 어떤 평가 서비스를 선택해야 할까요?

앞서 본 것처럼 채용에서 어떤 데이터를 확보하느냐에 따라 입사 후 활용 범위도 달라집니다. 따라서 새로운 평가 서비스를 선택할 때도 단순히 평가 점수를 제공하는지만 볼 것이 아니라, ​채용 이후까지 활용할 수 있는 데이터가 남는지를 확인해야 합니다.

다음 세 가지 조건을 확인해 보세요.

이 중에서도 첫 번째 조건을 가장 먼저 확인해야 합니다. 채용 단계에서 수행 과정이 기록되지 않으면, 나중에 필요한 데이터를 추가로 확보하기 어렵기 때문입니다. 반면 평가 범위나 운영 방식은 도입 후 조직 상황에 맞게 조정할 수 있습니다.

이 세 가지 조건을 기준으로 보면 프로세스 분석형 AI 역량평가를 검토할 수 있습니다. 지원자가 AI를 활용해 과제를 해결한 결과뿐 아니라, 그 과정에서 어떤 방식으로 프롬프트를 설계하고 결과를 검증·수정했는지를 데이터로 남길 수 있기 때문입니다.

전직군 AI 역량 평가 서비스인 프로그래머스 AI 역량평가는 이러한 방식으로 AI 활용 과정을 분석하는 기업용 평가 서비스입니다. 프롬프트 설계와 검증, 보완 과정을 단계별로 분석하며, 누적 5만 건 이상의 평가 데이터와 2천 개가 넘는 문항을 바탕으로 전 직군 평가를 지원합니다. 

대규모 공채에서는 최대 2만 명 동시 접속 인프라를 지원함에 따라 포스코DX, KB국민은행 등 대규모 채용 과정에서도 이미 활용되고 있습니다.

AI 시대, 지원자가 AI를 실제로 잘 쓰는지 검증할 수 있는 서비스를 고를 때는 ‘AI 역량을 평가할 수 있는가?’에서 한 단계 더 나아가, ‘평가한 데이터를 채용 이후에도 활용할 수 있는가?’까지 확인하는 것이 중요합니다.

5. 자주 묻는 질문 (FAQ)

Q. 평가를 하나만 넣어야 하나요, 여러 개를 조합해도 되나요?

조합하는 편을 권장합니다. 4가지 방법이 확인하는 대상이 서로 다르기 때문에, 하나만으로는 판단 근거가 한쪽으로 치우칩니다. 예를 들어 인적성 검사로 대상을 좁히고, AI 실무 과제 전형으로 수행 과정을 확보한 뒤, 그 기록을 근거로 구조화 면접을 진행하는 구성이 가능합니다. 개수보다 중요한 것은 조합 안에 수행 기록이 남는 방법이 하나는 포함되는지입니다.

Q. 지원자가 많은 대규모 공채인데, 과정까지 보는 평가가 부담되지 않을까요?

전형 전체가 아니라 특정 단계에만 적용하면 됩니다. 앞단에서는 채점이 빠른 방법으로 대상을 좁히고, 과정까지 보는 평가는 인원이 줄어든 다음 단계에 배치하는 방식이 일반적입니다. 응시 인원이 수천 명 단위라면 도구를 검토할 때 동시 접속 가능 규모와 채점 소요 기간을 함께 확인해야 합니다.

Q. 이미 실무 과제 전형을 운영 중인데, AI 역량평가를 따로 봐야 하나요?

측정 대상이 달라 대체가 아닌 보완 관계입니다. 기존 과제 전형은 지원자가 제출한 산출물의 완성도를 확인하지만, 그 산출물에 이르기까지 AI를 어떻게 활용했는지는 남지 않습니다. 산출물의 품질이 비슷해도 스스로 판단한 결과인지 AI가 내놓은 답을 그대로 옮긴 것인지 구분되지 않기 때문에, 과제를 그대로 두고 수행 과정이 기록되는 방식으로 운영 형태만 바꾸는 방법도 있습니다.

Q. 평가 결과를 바로 합불 기준으로 써야 하나요?

그렇지 않습니다. 결과를 어디까지 쓸 수 있는지는 리포트가 총점만 주는지, 항목별 분석과 수행 기록까지 주는지에 따라 달라집니다. 항목별 분석이 함께 나오면 합불 기준 대신 면접 참고 자료로 쓸 수 있습니다.

AI 인재를 채용한다고 해서 AI 관련 평가를 여러 단계에 넣는 것만으로 충분하지 않습니다. 중요한 것은 각 단계에서 무엇을 확인하고, 그 결과를 다음 단계에서 어떻게 활용할 것인지입니다.

서류에서는 활용 경험을 확인하고, 인적성 검사에서는 성향과 사고 패턴을 살펴볼 수 있습니다. 그리고 실제 AI 활용 역량을 확인하려면 지원자가 AI를 활용해 문제를 해결하는 과정까지 평가할 수 있어야 합니다.

이렇게 채용 과정에서 쌓인 평가 데이터를 입사 후 온보딩과 역량 개발까지 연결한다면, AI 역량평가는 단순한 선발 도구를 넘어 조직의 AI 역량을 파악하고 키우는 데이터가 될 수 있습니다.

AI 인재를 선발하는 전형을 새롭게 설계하거나 기존 전형을 보완하고 있다면, 우리 조직에 필요한 평가 방식부터 확인해 보세요.

더 많은 AI·HR 인사이트가 궁금하신가요?

AI가 업무와 인재의 역할을 어떻게 바꾸고 있는지, HR은 어떤 기준으로 구성원의 역량을 살펴봐야 하는지 정리해 전해드립니다. 채용·평가에 필요한 최신 사례와 실무 인사이트를 프로그래머스 뉴스레터에서 확인해 보세요.