AI CoE란? AI 전담 조직을 만드는 5단계

생성형 AI 활용이 빠르게 늘면서 기업 안에서도 변화가 시작되고 있습니다. 각 부서에서 ChatGPT나 Copilot과 같은 도구를 활용하는 수준을 넘어, AI를 업무 프로세스에 적용하거나 별도의 파일럿 프로젝트를 추진하는 식입니다.

이에 따라 여러 AI 프로젝트를 한곳에서 관리하고 전사적인 활용 방향을 만드는 AI CoE(AI Center of Excellence)에 대한 관심도 높아지고 있습니다. Capgemini Research Institute의 2025년 조사에 따르면 생성형 AI를 탐색하거나 활용하고 있는 기업 가운데 25%가 이미 GenAI CoE 또는 Accelerator를 구축한 것으로 나타났습니다.

그렇다면 AI CoE는 정확히 어떤 조직이며, 실제 조직에서 운영하려면 무엇이 필요할까요?

AI CoE란 무엇인가?

AI CoE는 AI Center of Excellence의 약자로, 기업의 AI 전략과 실행을 체계화하는 조직을 의미합니다.

AI CoE가 없다면 각 부서는 필요에 따라 개별적으로 AI 프로젝트를 추진하게 됩니다. 마케팅팀은 콘텐츠 제작에 생성형 AI를 활용하고, 개발팀은 코딩 업무를 자동화하며, HR팀은 채용이나 교육 업무에 AI를 적용할 수 있습니다. 

문제는 이러한 시도가 늘어날수록 부서마다 사용하는 도구와 기준도 달라질 수 있다는 점입니다. 비슷한 프로젝트를 여러 팀이 중복해서 진행하거나 어떤 데이터를 AI에 입력해도 되는지 판단하는 기준이 다를 수도 있습니다.

AI CoE는 이런 문제를 줄이기 위해 공통된 AI 전략과 활용 기준을 만들고, 조직 안에서 검증된 방식이 반복해서 활용될 수 있도록 지원하는 역할을 합니다.

기업마다 구조는 다르지만 AX 조직이 AI를 활용해 조직의 일하는 방식과 업무 프로세스를 어떻게 바꿀지 큰 방향을 정한다면 AI CoE는 이를 실행하기 위한 공통 기술과 기준, 보안 정책, 현업 지원 체계를 마련합니다. 

조직 규모가 커질수록 중앙에서 기준을 관리하고 각 현업 부서가 실제 활용 과제를 실행하는 Hub & Spoke 형태로 나뉘어 운영되기도 합니다.

AI CoE를 만들어도 전사 활용으로 이어지지 않는 이유

Metrigy가 1,104개 기업을 조사한 결과, AI 성과가 높은 기업군은 그렇지 않은 기업군보다 AI CoE를 운영하고 있는 비율이 약 2배 높았습니다. 하지만 AI CoE 조직도를 만들고 담당자를 지정했다고 해서 곧바로 전사적인 AI 활용이 시작되는 것은 아닙니다. AI 전담 조직을 만든 이후 실제 변화로 이어지지 않는 대표적인 이유 3가지를 살펴보겠습니다.

1. AI 도입 자체가 목표가 되는 경우

AI CoE를 만들고 나면 여러 부서에서 AI를 활용해 볼 수 있는 업무와 시도들이 자연스럽게 늘어납니다. 하지만 몇 개의 도구를 도입했는지, 몇 건의 시범 프로젝트를 진행했는지만으로는 실제 성과를 판단하기 어렵습니다.

AI를 적용한 뒤에는 업무 시간이 줄었는지, 결과의 품질이 개선됐는지처럼 실제 변화를 살펴봐야 합니다. 이때 AI CoE는 조직이 해결해야 할 사업 문제를 먼저 정하고, 그중 AI가 실제 가치를 만들 수 있는 과제를 선별하는 역할을 합니다.

2. AI CoE와 현업이 분리되는 경우

AI CoE에서 좋은 활용 과제를 정하고 가이드까지 만들었더라도 실제 현업과 연결되지 않으면 업무 변화로 이어지기 어렵습니다. 결국 AI를 실제 업무에 적용하는 사람은 각 부서의 구성원이기 때문입니다.

예를 들어 AI CoE에서 보고서 작성에 AI를 활용하는 방법을 정해 배포하더라도 부서마다 보고서를 만드는 과정과 결과를 검토하는 기준은 다를 수 있습니다. 현업의 업무 방식을 충분히 이해하지 않은 채 공통된 활용 방법만 제시하면 실제 업무에서는 활용하기 어려울 수 있습니다.

그렇기 때문에 AI CoE는 현업에 일방적으로 활용 방법을 전달하기보다 각 부서가 실제로 어떤 업무를 하고 있고 어디에서 어려움을 겪는지 함께 살펴보면서 AI를 적용할 수 있는 지점을 찾아야 합니다. 

3. AI 활용 역량이 일부 구성원에게만 집중되는 경우

세 번째는 AI 활용 역량이 일부 구성원에게만 집중되는 경우입니다.

CoE 구성원이나 AI 활용에 익숙한 직원은 어떤 업무를 AI에 맡길지 판단하고, 생성된 결과가 적절한지 다시 확인할 수 있습니다. 반면 AI 활용 경험이 적은 구성원은 자신의 업무에 어떻게 적용해야 할지 막막하게 느끼거나 AI가 만든 결과를 충분히 검토하지 못할 수 있습니다.

같은 AI 도구가 주어져도 실제 활용 수준에 차이가 생기면, 좋은 활용 사례가 있어도 조직 전체로 퍼지기 어렵습니다. 전사적인 변화를 만들기 위해서는 현업 구성원이 자신의 업무에서 AI를 활용하고 결과를 판단할 수 있는 역량을 갖춰야 합니다.

AI CoE 구축을 위한 5단계

1단계: AI CoE가 해결해야 할 사업 문제를 정합니다

AI CoE를 만들 때 가장 먼저 정해야 할 것은 조직의 형태가 아니라 어떤 문제를 해결하기 위해 CoE가 필요한가입니다.

업무 생산성을 높이려는 것인지, 부서별로 흩어진 AI 프로젝트의 기준과 우선순위를 정리하려는 것인지에 따라 CoE가 해야 할 일도 달라집니다. 목표가 명확해야 이후 어떤 AI 과제를 먼저 추진할지를 정할 수 있습니다.

2단계: 의사결정 권한을 정합니다

AI CoE는 경영진뿐 아니라 기술, 보안·법무, HR, 현업 등 여러 조직과 협업하며 운영됩니다. 

참여하는 조직이 많은 만큼 역할과 책임이 불분명하면 의사결정이 늦어지거나 같은 문제를 두고 서로 다른 판단을 내릴 수 있습니다. 그래서 AI CoE를 구축할 때는 각 조직이 어떤 역할을 맡고, 누가 최종 결정을 내릴지 미리 정해두는 것이 중요합니다.

3단계: AI 활용과 결과 검증을 위한 공통 기준을 만듭니다

AI를 어디에 활용할 것인지 정했다면, 다음은 조직이 같은 원칙으로 AI를 사용할 수 있도록 기준을 맞추는 단계입니다.

사용할 수 있는 AI 도구와 입력할 수 없는 데이터 범위를 정하는 것뿐 아니라 업무에서 AI에 맡길 수 있는 범위와 사람이 직접 판단해야 하는 영역도 함께 구분해야 합니다.

초안 작성처럼 AI에 맡길 수 있는 업무와 사람이 최종적으로 판단해야 하는 영역을 구분하고, 중요한 의사결정에 AI 결과를 활용할 때는 어떤 검토가 필요한지도 함께 정해두는 방식입니다. 

4단계: 조직의 현재 AI 활용 수준과 스킬 갭을 파악합니다

같은 회사 안에서도 AI를 활용하는 수준은 구성원마다 다릅니다. 이미 AI를 활용해 보고서 초안을 만들고 결과의 오류까지 검토하는 사람이 있지만, 간단한 질문을 입력하거나 검색을 대신하는 수준에 머무르는 사람도 있습니다.

이런 상황에서 전 직원에게 동일한 AI 교육을 제공하면 이미 활용 수준이 높은 구성원에게는 너무 쉬운 교육이 되고, 처음 시작하는 구성원에게는 실제 업무에 적용하기 어려운 교육이 될 수 있습니다.

따라서 교육을 설계하기 전에 임직원에게 필요한 AI 역량이 무엇인지 정의하고 현재 구성원이 어느 수준에 있는지를 확인할 필요가 있습니다.

5단계: 과제로 검증하고 성공 사례를 전사로 확산합니다

처음부터 모든 업무에 AI를 적용하기보다 효과를 확인하기 좋은 업무부터 시작해 실제 변화가 있었는지 살펴보는 편이 좋습니다. 업무 시간이 줄었는지, 결과의 품질이 나아졌는지처럼 실제 성과를 확인하고 효과가 있었던 방식은 한 부서의 경험으로 남겨두지 않고 다른 팀에서도 활용할 수 있도록 정리해 둡니다.

한 부서에서 효과를 확인한 AI 활용 방법을 다른 부서의 비슷한 업무에도 적용하면서 전사 활용 범위를 넓혀갈 수 있습니다.

AI CoE의 전사 확산, 구성원의 AI 역량도 함께 진단해야 합니다

AI CoE는 각 부서가 공통된 기준 안에서 자신의 업무에 AI를 적용하고 활용할 수 있도록 지원하는 역할을 합니다.

그 과정에서 함께 봐야 하는 것이 구성원의 AI 역량 수준입니다. 같은 조직 안에서도 직무에 따라 필요한 역량이 다르고, 같은 도구를 사용하더라도 AI에게 업무를 맡기는 방식이나 결과를 검토하는 수준에는 차이가 있기 때문입니다.

이때 AI를 얼마나 자주 사용하는지 묻는 것만으로는 실제 역량을 파악하기 어렵습니다. 업무와 유사한 과제를 수행하면서 AI에게 어떻게 지시하고, 생성된 결과를 어떻게 판단하고 수정하는지까지 평가해야 합니다.

프로그래머스 AI 역량평가는 이러한 과정을 실제 현업과 유사한 과제를 통해 평가합니다. 결과를 바탕으로 직무별·부서별 스킬 갭을 파악하고, 어떤 영역에 교육이나 투자가 필요한지 우선순위를 정하는 데 활용할 수 있습니다.

예를 들어 마케팅 직무에서는 AI가 만든 초안을 개선하는 과정에서 어려움이 나타나고, HR 직무에서는 AI 결과의 오류를 검토하는 역량이 상대적으로 부족하게 나타날 수 있습니다. 이 경우 마케팅 직무에는 AI 결과를 수정하고 보완하는 실습을, HR 직무에는 결과 검증 중심의 교육을 우선적으로 설계할 수 있습니다. 

이처럼 AI 역량평가 결과는 AI CoE가 어디에 교육과 지원이 필요한지 판단하는 근거가 됩니다. AI CoE 운영에 필요한 역량 데이터를 확보하고 싶다면, 프로그래머스 AI 역량평가로 조직의 AI 역량을 확인해 보세요.

더 많은 AI·HR 인사이트가 궁금하신가요?

AI가 업무와 인재의 역할을 어떻게 바꾸고 있는지, HR은 어떤 기준으로 구성원의 역량을 살펴봐야 하는지 정리해 전해드립니다. 채용·평가에 필요한 최신 사례와 실무 인사이트를 프로그래머스 뉴스레터에서 확인해 보세요.