AI와 대화할 때마다 업무 배경과 선호를 처음부터 설명하느라 답답하셨나요? Microsoft는 9월 4일, Microsoft Agent Framework에 Azure Cosmos DB 기반의 장기 기억을 연결하는 프리뷰 기능을 발표했습니다. 에이전트가 대화가 끝난 뒤에도 필요한 사실과 요약, 사용자 프로필을 저장하고 다음 대화에서 관련 정보를 다시 불러오는 방식입니다.

이 변화는 AI가 단순한 ‘한 번 쓰는 답변 도구’에서 관계와 맥락을 이어가는 업무 파트너로 이동하고 있음을 보여줍니다. 다만 무엇을 오래 기억하게 할지 정하지 않으면 편리함이 곧 개인정보·오정보·권한 문제로 바뀔 수 있습니다.

새 기능의 핵심은 기억이 에이전트 실행 과정에 자연스럽게 참여한다는 점입니다. 실행 전에는 현재 질문과 관련된 기억을 찾아 맥락에 넣고, 실행 후에는 새 대화를 저장한 뒤 사실·절차·사건 기억과 요약을 백그라운드에서 추출합니다. 벡터 검색과 전문 검색을 함께 활용해 필요한 기억을 찾는 구조라, 애플리케이션이 매번 별도의 기억 도구 호출을 지시하지 않아도 됩니다.

여기서 ‘대화 기록’과 ‘장기 기억’은 구분해야 합니다. 대화 기록은 한 세션의 원문을 이어 보는 데 가깝고, 장기 기억은 여러 세션에서 재사용할 가치가 있는 정보를 추려 보존합니다. 따라서 모든 대화를 무조건 저장하는 것이 좋은 설계는 아닙니다. 업무 목적에 필요한 정보만 선별하고, 원문과 추출된 사실의 관계를 추적할 수 있어야 합니다.

특히 안정적인 사용자 ID가 기억의 경계를 만듭니다. 새 대화를 시작해도 같은 사용자는 이전 기억을 활용할 수 있지만, 다른 사용자의 기억과는 철저히 분리되어야 합니다. Microsoft 문서도 인증된 사용자·조직 ID에서 식별자를 만들고, 민감정보는 저장 전에 제거하며, 기억을 권한 판단의 직접 근거로 쓰지 말라고 안내합니다. 보존 기간, 삭제 요청, 백업, 지역 정책도 기능 출시 전에 정해야 합니다.

교육 현장에서는 ‘기억 정확도’도 평가 항목이 됩니다. 오래된 선호가 아직 유효한지, 추출한 사실이 원문과 일치하는지, 잘못된 기억을 사용자가 수정하거나 지울 수 있는지 시험해 보세요. 기억을 많이 쌓는 것보다 필요한 기억을 정확한 사람에게, 필요한 순간에만 보여주는 것이 더 중요합니다.

AX 강사의 시선

장기 기억을 가르칠 때는 간단한 비교 실습이 효과적입니다. 1차 대화에서 역할과 선호를 알려 주고, 새 세션에서 같은 사용자와 다른 사용자를 각각 연결해 결과를 비교해 보세요. 이어서 ‘저장해도 되는 정보·기간이 지난 정보·절대 저장하면 안 되는 정보’를 분류하게 하면 기술 이해가 곧 업무 거버넌스 설계로 이어집니다.

기억하는 AI의 경쟁력은 얼마나 많이 아느냐보다 얼마나 책임 있게 잊을 수 있느냐에 달려 있습니다. 여러분의 AI는 오늘 무엇을 기억하고, 언제 누구의 요청으로 잊어야 할까요?

출처

Native memory for Microsoft Agent Framework with Azure Cosmos DB — Microsoft Agent Framework
Azure Cosmos DB context provider — Microsoft Learn