프로그래머스 AI 역량평가 고득점 획득 노하우

잠시, 전설의 병술을 소환합니다

손자병법의 ‘지피지기면 백전불태(知彼知己 百戰不殆, 적을 알고 나를 알면 백 번 싸워도 위태롭지 않다)’라는 말이 있지요. 이 말이 오랜 세월 명언으로 자리잡은 이유는 이것이 전투 기술을 뛰어넘어 현대 사회에 다양하게 적용할 만한, ‘시대를 초월하는 통찰’이기 때문입니다. 명언 뒤로 이어지는 문장들을 조금 더 살펴볼까요? 

부지피이지기(不知彼而知己), 일승일부(一勝一負). 
부지피부지기(不知彼不知己), 매전필태(每戰必殆).

적도 모르고 나도 모르면, 싸울 때마다 반드시 위태롭습니다. 적은 모르고 나만 알면, 한 번 이기고 한 번 집니다. 결국 적도 알아야 하고, 나도 알아야 이길 수 있는 것인데요. 결론부터 말씀드리자면 바로 이 전설의 병술이 프로그래머스의 AI 역량평가 고득점 획득을 관통하는 비법입니다. AI 역량평가는 어떤 시험이고, 응시자는 자신에 대해 어떤 점을 알아야 하는지 이어지는 글에서 자세히 알려드리겠습니다.

먼저 적을 알아봅시다

① 3가지 평가 유형 

AI를 얼마나 잘 아는지 평가하는 ‘지식평가’와 AI로 문제를 얼마나 잘 해결하는지 평가하는 ‘활용평가’, AI로 성과를 재현해내는 능력을 평가하는 ‘전문평가’인데요. 먼저 지식평가는 AI 어시스트 없이 주어진 문제를 푸는 방식입니다. 활용평가와 전문평가부터 AI 어시스트를 활용해 문제를 풀 수 있고요. 지식평가와 활용평가는 객/주관식으로 구성되어 있지만 전문평가는 서술형입니다. 전문평가는 또한 정답을 맞히는 것 뿐만 아니라 작성한 프롬프트까지 채점됩니다.

② 제한된 응시 환경

프로그래머스 AI 역량평가의 AI 어시스트는 평소에 쓰던 AI 도구와 다르게 느껴질 수 있습니다. 최신 모델에 익숙하신 분이라면 당황할 수도 있는데요. 이 평가가 확인하려는 것은 AI와 함께 문제를 풀어가며 답변을 검토하고 보완하고 방향을 잡는 문제 해결 능력과 판단력입니다. 현재는 이러한 철학에 따라 안정적으로 검증된 하나의 환경을 제공하고 있습니다. 

응시 환경을 좀 더 자세히 살펴보면, 먼저 문항당 AI에게 할 수 있는 질문 횟수가 제한됩니다.  문제의 지문을 그대로 복사해 붙여넣기도 불가능합니다. AI 어시스트가 대화의 모든 히스토리를 저장하지 않아 N차 질문 후에는 맥락을 응시자가 짚어줘야 합니다. 

AI를 쓸 수 있긴 하지만, 응시자의 질문과 판단이 중요하게 작용하도록 만든 설계입니다. AI 역량평가는 성능과 특성이 다른 여러 AI 모델을 제공하고 모델에 맞춰 문제를 내는 방향으로 단계적 확장을 준비 중입니다. AI 어시스트 모델이 달라져도 문항의 난이도와 변별력은 일정하게 유지되도록 검증 체계도 함께 갖춰 나가겠습니다.   

③ 채점 방식

프로그래머스 AI 역량평가는 루브릭 기반 AI 채점 방식을 사용합니다. 루브릭은 ‘채점 기준표’인데요. 문항마다 ‘이런 요소가 있으면 몇 점’이라는 기준이 미리 정해져 있고, AI가 그 기준표에 맞춰 답안을 1차로 채점합니다. 항목별로 나온 점수는 정해진 계산식으로 합산 및 환산해 최종 점수로 만듭니다. 그런 다음 마지막으로 사람이 그 결과를 검토하는 방식입니다.

이때 AI는 점수를 임의로 매기지 않고, 미리 준비한 평가 기준에 맞는 행동이 답안에 담겨 있는지를 확인하는 역할을 수행합니다. ‘적절한가’, ‘괜찮은가’처럼 주관이 개입되기 쉬운 질문 대신, 6~7개의 단계별 확인 질문으로 검증하도록 설계하여 채점 결과가 안정적으로 보장됩니다. 

그 다음 나를 알아봅시다

AI 역량평가를 치르기 전에 반드시 알아야 하는 나에 대한 부분은, 바로 내가 평소 AI 도구를 어떻게 활용하는가에 대한 것입니다. 

📍나의 프롬프트 돌아보기 

프롬프팅 실력에 따른 결과를 검증한 한 연구1)가 있습니다. 이 연구는 ‘기술 용어가 많이 들어간 프롬프트’가 중요한지, ‘많은 정보’가 중요한지 확인하는 연구였는데요. 그 결과 필요한 단서가 빠진 프롬프트는 대부분 좋은 성과를 내지 못했다는 것이 밝혀졌습니다. 
즉, 좋은 프롬프트는 기술적 지식이나 코드 문법이 아니라 AI에게 제공하는 정보량에 있습니다. 만약 내가 AI를 쓸 때 ‘뭐부터 어디까지 알려줘야 하는지 잘 모르는 사람’에 가깝다면, 문제 해결을 위해 필요한 조건을 빠짐없이 알려주는 습관을 길러야 합니다.

위 화면 속 문제는 AI 역량평가의 샘플 문항인데요. A 응시자는 문제에 주어진 모든 파일을 AI 어시스트에 모두 첨부한 후 문제를 풀어달라고 요청했습니다. 이처럼 자료를 모두 첨부하고 문제풀이를 일임하는 방식으로 AI 도구를 활용하고 있지는 않나요?  로우데이터를 모두 제공했으니 많은 정보를 제공했다고 생각할 수 있지만, 정작 AI가 알아야 할 ‘무엇을, 왜, 어떤 기준으로‘ 풀어야 하는지는 빠져 있습니다. 이렇게 질문하면 AI는 그럴듯하지만 의도와는 다른 답을 내놓기 쉽습니다.

📍나의 실패 경험 돌아보기 

AI가 알려준 답이 엉터리였거나 허수가 포함된 경우를 경험한 적 있었나요? 최신 AI 모델에게서도 여전히 환각 문제가 사라지지 않습니다. 그래서 AI가 도출한 결과를 그대로 믿을 수 없는 맹점이 있는데요. 평소 그런 부분에 유의해 바로 확인 가능한 내용은 직접 검색해서 대조하고, 출처를 요구해서 사실에 어긋나지 않는지 확인하는 습관이 중요합니다. 한 마디로 AI가 어디서 틀리는지 아는 감각을 좀 더 예민하게 기르는 것인데요. 하버드경영대학원과 보스턴컨설팅그룹이 진행한 실험2)에 따르면 AI를 활용한 답안은 정답 여부와 상관없이 더 논리 정연하고 설득력 있게 평가됐습니다. 틀린 답도 AI를 거치면 그럴듯해 보일 수 있다는 뜻인데요. 그만큼 AI 결과물을 그대로 믿지 않고 검증하는 습관이 중요합니다.

📍나의 질문 스타일 돌아보기 

평소에 떠오르는 대로 AI에게 질문하고, 마음에 드는 답이 나올 때까지 여러 번 묻는 방식은 AI 역량평가에서 다소 불리할 수 있습니다. 문항당 질문 횟수가 제한되어 있어, 질문 기회를 전략적으로 활용해야 하기 때문이에요. 

좋은 질문은 첫째, 문제의 핵심을 짚어내는 질문이어야 합니다. 그래야 질문할 때 무엇을 알고 싶고, 어떤 자료를 근거로 해야 하는지 명확히 알려줄 수 있습니다. 둘째, 빠짐 없는 질문이어야 합니다. AI에게 문제 해결의 단서를 빠짐 없이 주어야 하는데요. 결과물이 어떠해야 하는지 또한 알려줘야 합니다.  

그런데 질문 습관은 생각보다 잘 바뀌지 않습니다. 대부분의 사람들이 평소 말하던 방식 그대로 AI에게 질문하지요. 사람은 맥락을 알아서 잘 채워 듣지만, AI는 기본적으로 주어진 정보에 충실히 답한다는 차이를 알아야 합니다. 

실전 : 점수 높이기 노하우

(1) AI 역량평가 응시 환경 체험하기 

: 프로그래머스 AI 역량평가는 응시 환경을 직접 체험할 수 있는 페이지를 제공하고 있습니다. 샘플 문제로 문항 수가 많지 않지만, AI 지식평가부터 AI 전문평가까지 평가 유형들을 모두 경험해 볼 수 있습니다. [응시 환경 지금 바로 체험하기 GO]

(2) 질문과 결과 분석 연습하기

: 프로그래머스 AI 역량평가를 만든 팀이 전하는 가장 좋은 연습법을 알려드릴게요. AI에게 질문하고 그 결과를 분석하는 연습을 실제로 직접 해보는 것입니다. AI에게 질문하기 전에 무엇을 알고 싶은지, 어떤 자료를 근거로 답해야 하는지 먼저 정리합니다. 답을 받은 후 그 답이 의도에 맞는지, 근거가 내가 준 자료에서 나왔는지 대조합니다. 질문 횟수를 미리 정해 두고 그 안에서 원하는 결과에 이르는 연습을 하면 금세 익숙해질 거예요. 

앞선 화면과 동일한 문제이지만 질문 프롬프트가 완전히 다릅니다. B 응시자는 AI도구에게 조건을 먼저 제시하고 목표를 공유한 후 필요한 부분을 세부적으로 요청하고 있습니다. 

(3) AI와 일하는 습관 들이기

: AI 역량평가는 인재가 AI와 일할 때 어떤 판단을 내리는지 보는 시험이에요. 그래서 평소 업무에서 아래 세 가지를 습관으로 익혀 두는 편이 유리합니다. 

• 받은 자료는 전부 AI에 넣지말고, 질문에 필요한 것만 골라 넘기는 습관 

• 계산과 정리는 AI에 맡기되, 그 결과를 직접 검증하는 습관 

• 제한된 질문 횟수를 감안하여, 어떤 순서로 질문할지 미리 정해두는 습관

프로그래머스는 이런 습관을 단계별로 익힐 수 있도록 AI 역량평가 관련 교육 과정을 준비하고 있습니다. AI 역량평가 교육 과정은 AI 활용의 기본기를 학습하는 기초 파트와 실제 AI 역량평가 시험에 맞춘 실전 연습으로 구성된 심화 파트로 오픈될 예정인데요. 곧 출시를 앞둔 프로그래머스 AI 역량평가 교육 과정에도 많은 관심을 부탁드립니다. 

출처 

1) Substance Beats Style: Why Beginning Students Fail to Code with LLMs, 2024 

2) Dell’Acqua et al., Organization Science, 2026