arXiv:2605.11814 MedMemoryBench가 의료 에이전트의 메모리 포화 현상 발견——2,000개 세션, 16,000개 턴

Yihao Wang, Haoran Xu, Renjie Gu, Yixuan Ye, Xinyi Chen, Xinyu Mu 외 연구팀은 2026년 5월 12일 MedMemoryBench를 발표했습니다. 개인화된 헬스케어 AI 에이전트의 메모리 메커니즘에 대한 최초의 체계적인 벤치마크로, 주류 아키텍처가 고위험 의료 시나리오에서 심각한 병목 현상을 보임을 밝혔습니다.

MedMemoryBench는 어떤 공백을 채웁니까?

기존 에이전트 메모리 벤치마크는 일상적인 대화에 초점을 맞추어 실제 의료 애플리케이션의 복잡성을 포착하지 못합니다. 헬스케어 시나리오에는 고유한 요구 사항이 있습니다. 수 주에 걸친 치료 프로토콜 기억, 검사 결과 통합, 금기 사항 추적, 환자 병력 컨텍스트가 그것입니다. MedMemoryBench는 이러한 과제를 중심으로 데이터셋을 구축하며, 임상 기반의 합성 환자 프로필을 활용한 인간-에이전트 협력 파이프라인을 통해 약 2,000개 세션과 16,000개 인터랙션 턴을 생성합니다.

「메모리 포화」란 무엇입니까?

연구의 핵심 발견은 「메모리 포화」 현상입니다. 특정 지점을 넘으면 지속적인 정보 유입이 성능을 향상시키는 것이 아니라 저하시킵니다. 에이전트가 축적된 이력에서 신호를 추출하지 못하여 의료 추론에서 직접적으로 정확도가 감소합니다. 포화 현상은 고전적인 메모리 아키텍처(RAG, 벡터 스토어, 슬라이딩 윈도우)가 고위험 도메인에서 우선순위 지정이나 압축 메커니즘을 갖추지 못하고 있음을 보여줍니다.

「구축하면서 평가」 프로토콜은 어떻게 다릅니까?

새로운 「스트리밍 평가 프로토콜」은 테스트 전에 전체 메모리를 설정하는 기존의 정적 평가가 아니라, 사용 중에 메모리가 증가하는 실제 시스템을 모방합니다. 이 프로토콜을 통해 시간 경과에 따른 성능 저하를 추적하고 포화 지점을 식별할 수 있습니다.

포괄적인 벤치마킹 결과, 주류 아키텍처가 의료 추론 복잡성과 노이즈 데이터에 대한 강건성에서 상당한 병목 현상을 보이는 것으로 나타났습니다. 헬스케어 AI 에이전트가 프로덕션 수준에 도달하려면 도메인 특화된 메모리 설계가 필요함을 시사합니다.