arXiv: 멀티에이전트 시스템의 이점은 환상 — 비용은 최대 10배 높지만 단순 CoT-SC보다 성능이 낮다

멀티에이전트 시스템이 자동으로 더 우수하지는 않다

AI 연구 커뮤니티를 뒤흔드는 소식: 멀티에이전트 시스템(multi-agent systems, MAS)은 어쩌면 더 우수한 접근법이라는 평판을 받을 자격이 없을지도 모릅니다. 「The Illusion of Multi-Agent Advantage」라는 제목의 새 연구는 여러 AI 에이전트의 조율이 반드시 단일 에이전트 접근법보다 더 나은 결과를 가져온다는 주장을 체계적으로 검토하고 — 적어도 자동 생성된 아키텍처의 경우에는 — 그 주장이 성립하지 않는다고 결론짓습니다.

연구진은 전통적인 추론 테스트 세트, BrowseComp-Plus 벤치마크를 포함한 대화형 다단계 워크플로우, MAS가 명확한 이점을 가져야 할 상황을 강조하기 위해 특별히 설계된 합성 데이터셋 등 여러 카테고리의 작업에 대해 평가를 수행했습니다.

결과가 보여주는 것

발견은 예상 밖으로 명확합니다. 자동 생성된 멀티에이전트 시스템은 연쇄 사고와 자기 일관성(Chain-of-Thought with Self-Consistency, CoT-SC) 방법보다 지속적으로 성능이 낮습니다 — 비용은 최대 10배 높음에도 불구하고. CoT-SC는 모델이 여러 응답을 생성하고 투표를 통해 가장 일관된 답을 선택하는 확립된 단일 에이전트 기법으로, 복잡한 조정 인프라가 전혀 필요 없습니다.

전문가가 설계한 MAS가 등장하면 상황이 달라집니다. 멀티에이전트 역량을 테스트하기 위해 설계된 합성 데이터셋에서는 전문가 설계 시스템이 자동 생성 아키텍처를 능가합니다. 그러나 이 우위는 실용적인 추론 작업으로 전이되지 않습니다 — 문제가 멀티에이전트 개념 자체가 아닌 자동화된 설계 프로세스에 특정하게 있음을 시사합니다.

자동화 설계의 약점

연구자들은 MAS가 자동으로 구성되는 방식과 실제 멀티에이전트 협업 원칙 사이의 근본적인 불일치를 규명합니다. 자동화 아키텍처 설계 도구는 저자들이 「아키텍처 비대화」(architectural bloat)라고 부르는 것 — 기능적 이점으로 전환되지 않는 과잉 복잡성 — 을 생산합니다.

구체적으로, 자동화는 명확한 기능적 동기 없이 에이전트 레이어와 조정 단계를 추가하는 경향이 있습니다. 결과는 정교해 보이지만 실제로는 멀티에이전트 접근법이 이론적으로 제공하는 병렬화, 전문화, 검증 메커니즘의 이점을 활용하지 못하는 시스템입니다.

멀티에이전트 방식이 여전히 의미 있는 경우

연구는 멀티에이전트 시스템의 개념적 가치나 단일 에이전트 접근법이 항상 더 낫다는 주장을 부정하지 않습니다. 메시지는 더 정확합니다. MAS 아키텍처의 자동화 설계는 신중하게 조정된 단일 에이전트 방법을 안정적으로 능가할 수 있는 수준으로 성숙하지 않았습니다.

연구진이 도입한 진단용 합성 데이터셋은 연구자들이 개별 아키텍처의 약점을 정확하게 파악하고 비용을 고려한 시스템 비교 — 기존 평가 프레임워크에서 종종 간과되는 차원 — 를 개선하는 데 활용할 수 있습니다.

업계에 대한 시사점

멀티에이전트 시스템은 현재 큰 인기를 누리고 있습니다. 수많은 상용 솔루션과 연구 프로토타입이 복잡한 작업 해결을 위한 여러 AI 에이전트의 자동 오케스트레이션을 기반으로 합니다. 이 연구는 명확한 경고를 담고 있습니다. 비용 대비 효과와 실질적 유용성을 가정하지 말고 체계적으로 평가해야 합니다.

실무자들에게 이는 다음을 의미합니다. 복잡한 멀티에이전트 인프라를 구현하기 전에, CoT-SC를 갖춘 잘 구성된 단일 에이전트 접근법이 더 낮은 비용으로 비슷하거나 더 나은 결과를 달성할 수 있는지 확인할 가치가 있습니다. 멀티에이전트 시스템의 자동화 설계는 유망하지만, 이 연구에 따르면 모든 적용 사례에서 프리미엄 비용을 정당화할 수 있는 수준에는 아직 이르지 못했습니다.