AI를 도입한 뒤 가장 먼저 늘어나는 숫자는 대개 질문 횟수, 생성한 문서, 작성한 코드처럼 ‘활동량’입니다. 그런데 활동이 많아졌다는 사실만으로 업무 성과가 좋아졌다고 말할 수 있을까요? OpenAI가 9월 6일 공개한 연구 현장의 분석은 이 질문에 꽤 현실적인 답을 줍니다. AI 에이전트가 연구자의 일상에 깊이 들어왔지만, 무엇을 연구할지 정하고 결과를 채택할지 판단하며 시스템을 확대·중단·배포하는 결정은 여전히 사람이 맡고 있다는 것입니다.

OpenAI는 사람이 지시한 명확한 연구 과제 중 숙련된 연구자에게 며칠 걸릴 일을 수행하는 수준을 ‘자동화된 연구 인턴’으로 설명했습니다. 연구 조직에서는 사람의 하루 노동시간과 비교해 에이전트 실행 시간이 크게 늘었고, 작성 코드와 실험 횟수도 증가했습니다. 문제 해결과 인프라 지원처럼 반복적이면서 확인 가능한 업무에서 에이전트가 병목을 줄인 정황도 나타났습니다.

하지만 보고서는 측정의 함정도 함께 밝힙니다. 코드량과 실험 횟수는 세기 쉽지만 실제 연구 진전과 어떤 관계인지 해석하기 어렵습니다. 복잡한 과업일수록 사람의 조정이 더 필요했고, 성공한 4~8시간짜리 과업의 절반 이상에는 한 번 이상의 사람 개입이 있었습니다. 즉 ‘AI가 오래 일했다’와 ‘AI가 혼자 일을 끝냈다’는 전혀 다른 지표입니다.

조직의 AX 성과표도 같은 원칙으로 바꿀 필요가 있습니다. 사용 계정 수나 프롬프트 수만 보지 말고, 과업 완료율, 수정 없이 채택된 결과의 비율, 사람이 개입한 횟수, 오류를 발견하고 복구하는 시간까지 함께 기록해 보세요. 특히 고위험 업무에는 시작 전에 성공 조건과 중단 조건을 정하고, 결과를 재현할 수 있도록 입력 자료·도구 사용·검토 이력을 남겨야 합니다.

AX 강사의 시선

교육에서는 같은 과제를 ‘사람만 수행’, ‘AI와 협업’, ‘AI에 위임’의 세 방식으로 진행해 비교해 보시면 좋습니다. 단순히 누가 빨랐는지만 보지 말고 정확성, 수정 시간, 출처 확인, 개입 횟수, 학습자가 결과를 설명할 수 있는지를 평가표에 넣어 주세요. 그러면 수강생은 AI를 많이 쓰는 법보다 어디에 맡기고 어디에서 판단해야 하는지를 배우게 됩니다.

AI 시대의 생산성은 산출물의 개수가 아니라 믿고 사용할 수 있는 결과를 더 빠르게 만드는 능력에 가깝습니다. 여러분의 조직은 지금 AI의 ‘활동’을 세고 있나요, 아니면 사람과 AI가 함께 만든 ‘검증된 성과’를 측정하고 있나요?

출처

Research acceleration: The view inside OpenAI · OpenAI