AI 에이전트 망각 방지…마이크로소프트 장기 기억 아키텍처

마이크로소프트 리서치(Microsoft Research)가 지난 6월 29일 AI 에이전트용 장기 기억 아키텍처인 메모라(Memora): A Harmonic Memory Representation Balancing Abstraction and Specificity를 공개했다. 장기간에 걸친 대화나 작업 이력을 AI 에이전트가 효율적으로 보존하고 필요한 정보만을 꺼낼 수 있도록 하는 메모리 시스템으로 구성되어 있다.

많은 AI 에이전트는 대화할 때마다 기억이 제로부터 시작하는 구조로 되어 있어 대규모 프로젝트에서는 긴 이력을 매번 다시 읽거나 외부 데이터베이스에서 관련 정보를 검색할 필요가 있다. 대화나 자료가 늘어날수록 처리에 필요한 토큰 수는 증가하고 정보를 짧게 요약하면 숫자나 조건 같은 세부 정보가 빠지는 경우도 있다. 장기적으로 작동하는 AI 에이전트에게 기억 취급이 큰 병목이 되고 있다.

AI 기억을 개선하는 기존 접근법에는 대화에서 개별 사실을 추출하는 Mem0, 문서나 대화 단편을 검색해 답변에 활용하는 검색 증강 생성(RAG), 사람이나 사물 간 관계를 그래프로 정리하는 젭(Zep)이나 그래프RAG(GraphRAG) 등이 있다.

다만 세부 정보를 남기려 하면 기억의 단편이 지나치게 늘어나 전체 흐름을 파악하기 어려워진다. 반면 요약을 강화하면 검색은 수월해지지만 날짜나 예외 조건, 합의에 이른 경위 등 상세 정보가 사라지기 쉬워진다. 메모라는 세부 정보를 유지하면서 정리의 용이함도 양립시키는 기술이라고 한다.

메모라가 지닌 특징은 무엇을 보존할 것인가와 어떻게 찾을 것인가를 분리하는 설계. 보존되는 내용은 메모리 밸류(memory value)라고 불리며 대화 흐름이나 프로젝트 상세 등을 자세한 내용으로 유지한다. 한편 검색에 사용하는 진입점으로 프라이머리 앱스트랙션(primary abstraction)과 큐 앵커(cue anchors)가 마련된다. 프라이머리 앱스트랙션은 기억의 주제를 짧은 어구로 나타낸 것이고 큐 앵커는 관련된 인물명이나 일정, 화제로부터 기억에 도달하기 위한 단서다.

예를 들어 데이브와 사라가 프로젝트 오리온 시제품을 4월 1일, 시험 도입을 5월 2일, 실용 최소한의 제품인 MVP를 5월 30일로 연기하기로 합의했다는 기억이 있다면 메모라는 상세 내용을 메모리 밸류로 남긴다. 검색용으로는 데이브와 사라가 합의한 프로젝트 오리온 업데이트 스케줄과 같은 주제를 준비하고 데이브, 프로젝트 오리온, 시제품 스케줄, 시험 도입 일정과 같은 별도 진입점도 만든다.

인간이 옛날 일을 떠올릴 때 날짜로부터 떠올리는 경우도 있고 사람 이름이나 프로젝트명으로부터 떠올리는 경우도 있다. 메모라는 복수 단서로부터 같은 기억에 도달할 수 있게 해 단순한 키워드 검색이나 유사 문장 검색만으로는 찾기 어려운 관련 정보에 도달하기 쉽게 하고 있다고 한다.

나아가 메모라는 검색 결과를 한 번에 모아 반환하는 것에 그치지 않고 검색 방침을 단계적으로 재검토하는 폴리시 가이디드 리트리버(policy-guided retriever)를 갖추고 있다. AI 에이전트는 첫 검색에서 부족한 정보가 있으면 단서를 넓혀 관련되어 있지만 표면적으로는 유사하지 않은 기억도 탐색하고 충분한 정보가 모인 시점에서 검색을 멈춘다.

긴 대화를 다루는 벤치마크 로코모(LoCoMo) 결과를 보면 메모라(P)는 생성된 답변이 정답과 의미적으로 일치하는지를 보는 LLM 판정 점수가 86.3%에 달했으며 양 방식 모두 전체 문맥을 읽어 들이는 방식이나 RAG, Mem0 같은 수법을 상회한다. 또 전체 문맥을 읽어 들이는 방식에 비해 최대 98% 적은 컨텍스트 토큰으로 동작했다고 한다. 다만 메모라(P)는 고성능인 대신 검색에 복수 스텝을 사용하기 때문에 메모라(S)보다 처리 시간이 길어진다고 한다. 참고로 메모라(S)는 의미적으로 가까운 기억을 검색하는 심플한 방식이고 메모라(P)는 폴리시 가이디드 리트리버를 사용한 방식이다.

현재 메모라는 아직 마이크로소프트 365 코파일럿 등의 기존 제품에는 추가되지 않았으며 마이크로소프트 리서치에 의한 연구 성과와 코드 공개라는 단계에 머물러 있다.

마이크로소프트 리서치는 향후 방향성으로 기억 검색이나 태스크 실패로부터 기억 시스템을 개선하는 멤루프(MemLoop), 충분한 문맥이 모일 때까지 기억 생성을 지연시키는 디퍼드 메모리(Deferred Memory), 팀이나 복수 에이전트 간에 지식을 공유하면서 출처나 접근 범위를 관리하는 그룹 메모리(Group Memory)도 언급했다. 마이크로소프트 리서치는 AI 에이전트가 매번 모든 걸 잊어버리는 존재가 아니라 장기적으로 협력하고 지식을 축적하는 존재가 되기 위한 토대로 메모라를 공개했다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.