arXiv:2606.00914: 적대적 피드가 AI 에이전트의 결정을 뒤집을 수 있다

arXiv의 새 논문 “Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults”는 저자 Rana Muhammad Usman의 작업으로, 정보 피드의 내용과 순서가 LLM 에이전트의 의사결정에 얼마나 영향을 주는지 탐구한다.

연구는 어떻게 수행되었나?

연구는 모델, 페르소나, 주제, 결정 프롬프트를 고정한 채, 10회 “스크롤” 단계 동안 오직 피드 내용만 바꾼다. 실험은 세 개의 독립 연구소에서 나온 네 개의 최신 오픈 인스트럭트 LLM 모델에 대해 2,785회 롤아웃, 즉 개별 결정 실행을 다뤘다. 여기서 롤아웃은 에이전트가 시나리오를 거쳐 결정에 이르는 한 번의 완전한 통과다.

피드는 어떻게 결정을 바꾸나?

저자들은 세 가지 응답 양상을 식별한다. 적대적 굴복, 기본 입장으로의 포화, 그리고 기본 입장 방향의 비대칭성이다. 핵심 발견은 비대칭성이다. 한쪽으로 치우친 피드는 모델이 진정으로 확신하지 못하는 결정을 움직일 수 있는데, 가장 명확한 사례에서는 5%에서 100%로 바뀐다. 하지만 모델이 이미 지지하거나 확고히 유지하는 결정은 움직일 수 없다. 효과의 통계적 유의성은 p = 3 × 10⁻¹⁰만큼 강한 수준에 이르렀다.

실질적 제어면이란 무엇인가?

저자들은 정보 랭커를 “LLM 에이전트에 대한 실질적이고 기본값에 제약된 제어면”으로 설명한다. 제어면은 에이전트의 행동을 형성할 수 있는 시스템 계층이다. 추천 시스템은 에이전트가 어떤 정보를 애초에 보게 되며 어떤 순서로 보게 될지 결정하므로, 강력한 영향력의 지렛대가 된다. 다만 그 영향력은 모델의 기본 성향이 설정한 한계 안에서만 작동한다.

이것이 안전에 어떤 의미가 있나?

주요 함의는 안전 평가가 최종 프롬프트를 고립된 채로 검토하는 데 그쳐서는 안 된다는 것이다. 정보 랭킹 계층도 재검토해야 하는데, 바로 그것이 결정 자체에 이르기 전에 에이전트를 유도할 수 있기 때문이다. 효과는 생성기 교체에서도 살아남았고, 안전과 관련된 선택을 포함한 여러 결정 도메인에 걸쳐 일반화되었으며, 단순한 방어로 부분적으로는 완화될 수 있음이 드러났다.