Google Research: ConvApparel 데이터셋, AI 사용자 시뮬레이터와 실제 사용자 간의 '현실성 격차'를 측정하다

Google Research는 ConvApparel을 공개했습니다. 이는 AI 개발에서 종종 간과되는 문제인 LLM 기반 사용자 시뮬레이터의 비설득적 행동에 대응하는 새로운 데이터셋 및 평가 프레임워크입니다. AI 에이전트를 이러한 인공적인 “사용자”와의 대화만으로 훈련시키면, 실제 사람들을 마주했을 때 실패하게 됩니다.

무엇이 문제인가

챗봇이나 AI 에이전트를 훈련할 때는 대화 상대가 필요합니다. 실제 사용자에서의 훈련은 비용이 많이 들고 느리기 때문에, 표준 관행은 LLM을 시뮬레이션된 사용자로 사용하는 것입니다 — 다른 LLM이 최종 사용자를 연기하며 훈련 루프에서 에이전트와 대화합니다. 그러나 이 시뮬레이션된 “사용자”는 실제 인간이 거의 가지지 않는 특성을 보여줍니다. 과도하게 상세한 답변, 완벽한 인격 일관성, 무제한의 인내심, 백과사전적 지식입니다. 그 결과, 테스트에서 뛰어난 성능을 보이는 에이전트가 실제 인터넷의 사용자를 만나는 순간 무너질 수 있습니다.

어떻게 측정했는가

데이터셋에는 의류 쇼핑 시나리오의 4,000건 이상의 멀티턴 대화가 포함되어 있습니다. 듀얼 에이전트 프로토콜이 사용되었으며, 참가자는 자신이 “Good”(유용한) 또는 “Bad”(쓸모없는) 에이전트와 대화하고 있음을 알지 못한 채 대화했습니다 — 이로 인해 만족에서 좌절에 이르는 자연스러운 변화가 생성되었습니다. 프레임워크는 세 가지 검사를 사용합니다. 인구 수준의 통계적 정합성, 인간 유사성 점수화(합성 대화를 식별하려는 훈련된 판별기), 그리고 반사실적 검증 — “good” 에이전트 데이터만으로 훈련된 시뮬레이터가 좌절시키는 “bad” 에이전트에 현실적으로 반응할 수 있는가? — 입니다.

결과와 남은 과제

판별기는 시뮬레이션된 대화를 합성으로 안정적으로 감지했습니다 — 이는 문제가 실제로 존재함을 확인해줍니다. 데이터 기반 시뮬레이터(ICL in-context learning 및 SFT supervised fine-tuning)는 통계적 정합성에서 단순 프롬프팅을 크게 앞섰습니다. 가장 흥미로운 점은, SFT 및 ICL 시뮬레이터가 “주목할 만한 분포 외 일반화”를 보였다는 것입니다 — 훈련 중에 본 적이 없는 좌절시키는 에이전트에 성공적으로 적응했습니다.

미해결 질문: 시뮬레이터에서 훈련된 에이전트가 프로덕션에서 작동하기 위해 필요한 최소 현실성 수준은 무엇인가? Google은 향후 실제 세계 검증 연구를 촉구하고 있습니다.