이번 주 수요일, OpenAI가 기업들의 AI 사용 실태를 분석한 리포트를 공개했어요. 1,500개가 넘는 팀, 1,700만 건이 넘는 메시지를 들여다본 결과예요.

그런데 결론이 조금 의외예요. 모두가 같은 모델에 접근할 수 있게 된 지금, 기업 간 AI 활용의 갭은 좁혀지는 게 아니라 오히려 벌어지고 있었거든요. 그것도 반년 만에 3배로요.

OpenAI는 한 달마다 엔터프라이즈 플랜 사용 기업을 '아웃풋 토큰'(AI가 만들어낸 결과물의 양을 세는 단위)으로 줄 세워요. 상위 10%를 선두 기업, 중간 10% 지점에 있는 기업을 일반 기업으로 정의했어요.

올해 1월만 해도 이 두 그룹의 격차는 2.6배였는데요. 그런데 6월에는 무려 8.3배로 벌어졌어요. 반년 만에 3배가 더 벌어진 거죠.

또 특이한 건 선두 기업의 활용 차이는 산업에 따라 다른 반면 일반 기업의 사용량은 어느 산업이든 비슷했고, 지난 1년간 1.9~2.8배 늘어나는 데 그쳤다는 점이에요.

OpenAI는 이를 여전히 AI를 단순한 챗봇으로 쓰는 팀이 많다는 신호로 읽었어요. 뒤집어 말하면, 더 깊이 쓸 여지가 그만큼 남아 있다는 뜻이기도 하고요.

물론 토큰은 완벽한 지표가 아니에요. 다만 직원이 AI에게 얼마나 많은 일을 넘기고 있는지를 가늠하는 지표로는 충분히 쓸 만해요.

그렇다면 이 AI 격차, 왜 계속 벌어지고 있는 걸까요? 정답은 바로 사용 방식의 변화에 있어요.

격차를 만든 건 모델이 아니라 '연결'이었어요

우선 큰 흐름부터 볼게요. 6월 기준, 엔터프라이즈 고객이 만들어낸 결과물의 64%가 Codex 같은 에이전트에서 나왔어요. 대화형 ChatGPT는 36%로 내려앉았고요.

묻고 답하는 AI에서 일을 처리하는 AI(에이전트 AI)로 넘어가고 있는 거예요.

그런데 이 전환의 속도는 회사마다 달랐어요. 활성 사용자 중 플러그인(Plugins)을 쓰는 비율이 선두 기업은 21%, 일반 기업은 9%. 스킬(Skills)은 19% 대 3%로 격차가 더 커요.

플러그인은 에이전트가 특정 업무를 끝까지 해내도록 기능을 묶어둔 거예요. 재사용 가능한 업무 지침인 스킬에, 회사 데이터·툴·실행 권한을 이어주는 앱을 붙이는 식이죠. 세일즈 플러그인이라면 영업 플레이북에 CRM 접근 권한을 붙인 형태예요. 에이전트가 최신 고객 정보와 과거 제안서를 꺼내 와서, 검토받을 답변 초안까지 만들어 놓죠.

다만 플러그인이 해주는 건 딱 '연결'까지예요. AI에이전트 활용에서 더 중요한 건 비즈니스가 어떻게 굴러가는지 담긴 '맥락'이죠.

AI 에이전트의 첫 무대가 개발이었던 것도 우연이 아니에요. 일의 배경과 규칙은 코드베이스 한곳에 모여 있고, 테스트라는 '잘한 결과인지 판단할 기준'까지 갖춰져 있으니까요. 그러나 많은 업무 내용이 회의록과 메신저, 엑셀, 사람들의 머릿속에 흩어져 있고 검증할 기준도 없는 곳에선 에이전트가 일을 제대로 처리할 수 없었죠.

그런데 올해 들어 이 벽이 무너지기 시작했어요. 모델이 회의록이든 엑셀이든 형식을 가리지 않고 읽어내고, 여러 단계짜리 실무를 끝까지 끌고 갈 만큼 발전했거든요. 여기에 플러그인과 스킬이 흩어진 재료를 에이전트에게 이어주는 통로까지 돼줬고요.

그 결과, 올해 상반기 활성 에이전트(Codex) 유저가 법무팀 108배, 세일즈 41배, HR팀 41배, 마케팅 26배로 늘었어요.

AI에게 묻기만 하는 회사와 AI에게 맡기는 회사의 차이가 시작된거죠.

앞선 OpenAI의 리포트에서 확인하셨듯이, AI 에이전트를 제대로 활용하기 위해선 모델에게 '맥락'을 주는 것이 핵심이에요.

아무리 강력한 LLM 모델이 등장해도, 결국 우리 회사의 히스토리를 담는 그릇이 준비되지 않으면 기업의 언어로 답할 수 없어요.

문제는 모델의 성능이 아니에요. 모든 기업에는 공개 학습 데이터로 채울 수 없는 고유의 맥락이 있고, 범용 에이전트에는 그 맥락이 들어갈 자리가 처음부터 없습니다.

그렇다면 기업이 AI를 더 잘 활용하기 위해서, 다시 말해 맥락을 담기 위해선 어떤 한 것들이 필요할까요? ThinkingAI 아티클에서 한 번 정리해봤어요.