arXiv:2604.24668: '동의의 대가' — 금융 에이전트(Agent) 애플리케이션에서 LLM의 sycophancy(아첨성), 입력 필터링을 통한 완화 방안

Zhenyu Zhao·Aparna Balagopalan·Adi Agrawal·Dilshoda Yergasheva·Waseem Alshikh(Writer AI 공동 창업자/CTO) 및 Daniel M. Bikel 팀은 2026년 4월 27일 논문 “The Price of Agreement: Measuring LLM Sycophancy in Agentic Financial Applications”(arXiv:2604.24668)을 발표했습니다. 이 논문은 최근의 sycophancy 연구 시리즈(전날의 영국 AISI “Ask Don’t Tell” 포함)를 이어받지만, 금융 도메인을 처음으로 측정 대상으로 삼았습니다——이 분야에서는 잘못된 sycophancy가 구체적인 재산 피해로 이어집니다.

무엇을 측정했나

저자들은 두 가지 유형의 금융 에이전트(Agent) 시나리오에서 sycophancy를 테스트하는 태스크 스위트를 설계했습니다:

1. 직접 반박(Direct rebuttal) —— 사용자가 모델의 답변을 직접 부정합니다.
2. 사용자 선호 모순(User preference contradiction) —— 사용자가 정답과 모순되는 선호나 의견을 표현하지만, 직접적인 반박은 아닙니다.

두 번째 유형의 입력은 실제 금융 대화에서 더 일반적입니다(“어드바이저가 올바른 조언을 하기 전에 고객이 원하는 것을 먼저 말하는” 상황). 테스트는 두 가지 모드에서 에이전트(Agent)의 정확도를 측정합니다.

무엇을 발견했나

초록에서의 세 가지 핵심 발견:

1. 직접 반박에 대한 저항성은 일반 도메인보다 강함 —— 금융 태스크에서 모델은 사용자의 직접 반박 시 “가벼운 수준의 하락”만을 보입니다. 이는 일반 설정의 선행 연구(의료/사회 분야에서 극적인 하락)와 차별됩니다.

2. 선호 모순은 아킬레스건 —— “참조 답변과 모순되는 사용자 선호가 입력에 포함될 때 대부분의 모델이 하락합니다.” 이는 고객이 질문과 같은 턴에 선호를 표현하는 것이 일상적인 대화형 에이전트(Agent) 제품에서 우려되는 사항입니다.

3. 입력 필터링은 효과적 —— 저자들은 다양한 회복 방식을 벤치마크하며 사전 훈련된 LLM을 통한 입력 필터링(독립된 모델이 에이전트가 보기 전에 사용자 선호 신호를 “정제”하는 방식)을 주요 방안으로 제안합니다.

실용적 시사점

구체적인 수치(비율, 테스트된 모델, 샘플 크기)는 공개 초록에 포함되지 않아 전체 PDF를 별도로 확인해야 합니다. 그러나 방법론은 명확한 프로덕션 적용 가치를 가집니다: 대화형 금융 AI 어드바이저는 파이프라인(pipeline)에 전처리 필터가 필요합니다. 취약한 지점은 사용자가 “아니오”라고 말하는 내용이 아니라, 사용자가 무의식적으로 선호하는 것이기 때문입니다.