AI가 보고서 초안을 만들고, 자료를 찾고, 여러 단계의 업무까지 수행하는 시대입니다. 그런데 결과에 붙은 ‘정확도 87점’만 보고 안심해도 될까요? 같은 13점의 감점이라도 표현이 조금 달라진 경우와 승인 단계를 통째로 빠뜨린 경우는 전혀 다른 위험입니다.

Microsoft Research가 10월 25일 공개한 WorkflowPerturb는 바로 이 간극을 다룹니다. 핵심은 평가 점수가 높고 낮은지만 보는 것이 아니라, 실제 업무 절차가 얼마나 심하게 망가졌을 때 점수가 어떻게 움직이는지 함께 확인하는 것입니다.

좋은 답변보다 ‘좋은 절차’를 평가합니다

연구진은 기준이 되는 4,973개의 올바른 워크플로를 준비하고, 여기에 현실적인 오류를 의도적으로 넣어 44,757개의 변형을 만들었습니다. 오류 유형은 필요한 단계가 빠지는 ‘단계 누락’, 여러 단계를 지나치게 합치는 ‘단계 압축’, 지시의 의미가 흐려지는 ‘설명 변경’입니다. 각각의 훼손 정도도 10%, 30%, 50%로 나누었습니다.

점수는 위험의 크기와 함께 읽어야 합니다

이 접근이 중요한 이유는 자동 평가 도구마다 오류에 반응하는 방식이 다르기 때문입니다. 어떤 지표는 작은 표현 변화에도 점수가 크게 떨어지고, 다른 지표는 핵심 단계가 빠져도 변화가 작을 수 있습니다. 따라서 ‘80점 이상이면 통과’ 같은 고정 기준만으로는 실제 위험을 놓칠 수 있습니다. 점수가 낮아진 이유와 업무 영향도를 연결해야 합니다.

우리 업무에도 작은 스트레스 테스트가 필요합니다

수업이나 조직에서는 먼저 정답에 가까운 기준 절차를 하나 정해 보세요. 예를 들어 ‘고객 문의 분류→근거 확인→답변 작성→개인정보 점검→담당자 승인’처럼 단계와 산출물을 명확히 씁니다. 그다음 한 단계를 빼거나, 둘을 합치거나, 모호하게 바꾼 예시를 만들어 AI와 평가표가 위험을 제대로 알아채는지 살펴봅니다. 이 과정을 거치면 평가 기준의 사각지대가 눈에 보입니다.

평가표도 계속 보정해야 합니다

평가 항목은 문장 품질, 사실성, 절차 준수, 안전성으로 나누고, 치명도에 따라 가중치를 달리하는 편이 좋습니다. 오탈자와 개인정보 유출을 같은 감점으로 처리해서는 안 됩니다. 낮은 위험은 자동으로 재작성하게 하고, 승인 누락이나 민감정보 노출처럼 큰 위험은 반드시 사람이 멈추고 판단하도록 기준을 세워 주세요.

AX 강사의 시선

AX 교육에서 평가 실습은 ‘좋은 결과를 고르기’에서 한 걸음 더 나아가야 합니다. 학습자가 일부러 누락·압축·모호화된 절차를 만들고, 동료가 오류 유형과 심각도를 판정하게 해보세요. 그러면 프롬프트 작성 능력뿐 아니라 AI 업무를 안전하게 운영하는 감각도 함께 기를 수 있습니다.

오늘 사용하는 AI 평가 점수는 실제로 어떤 오류에 민감한가요? 다음 실습에서는 점수 하나를 믿기보다, 가장 위험한 한 단계를 지웠을 때 평가 체계가 제대로 경고하는지부터 시험해 보시면 어떨까요?

출처

WorkflowPerturb: Calibrated Stress Tests for Evaluating Multi-Agent Workflow Metrics — Microsoft Research
WorkflowPerturb 논문 페이지 — arXiv