arXiv:2604.22452: 슈퍼마인드 테스트가 밝힌다 — 200만 AI 에이전트 사회에서도 집단 지능은 자연 발생하지 않는다

논문 “Superminds Test: Actively Evaluating Collective Intelligence of Agent Society via Probing Agents” 는 arXiv에 2604.22452로 게재되었으며, 멀티에이전트 커뮤니티 다수의 직관과 상반되는 발견을 담고 있습니다. 논문의 저자는 Xirui Li, Ming Li, Yunze Xiao, Ryan Wong, Dianqi Li, Timothy Baldwin, Tianyi Zhou 입니다.

저자들이 답하려 한 질문은 무엇입니까?

질문은 단순하면서도 근본적입니다: “집단 지능은 규모로부터 자발적으로 나타나는가?” 달리 말하면, 수백만 개의 자율 LLM 에이전트를 하나의 플랫폼에 모아 자유롭게 소통하게 한다면, 사회 전체가 어떤 개별 에이전트보다 더 지능적이 될 수 있을까요?

이는 중요한 질문입니다. 최근 많은 멀티에이전트 시스템이 암묵적으로 그 답을 긍정으로 가정하기 때문입니다. 에이전트가 많을수록 더 나은 추론, 더 풍부한 정보 종합, 더 강한 협조가 이루어진다고 말입니다.

측정을 위한 방법은 무엇입니까?

저자들은 슈퍼마인드 테스트(Superminds Test) 를 제안합니다. 이는 에이전트를 맥락 밖에서 테스트하는 것이 아니라, 프로빙 에이전트가 에이전트의 실제 환경 안에서 능동적으로 테스트하는 계층적 프레임워크입니다. 테스트는 세 단계로 구성됩니다:

1. 공동 추론 — 사회가 복잡한 추론 과제를 함께 해결할 수 있는가?
2. 정보 종합 — 여러 에이전트에 분산된 정보를 종합할 수 있는가?
3. 기본 상호작용 — 여러 참여자 간 기본적인 협조를 수행할 수 있는가?

프로빙 에이전트는 커뮤니티에 개입하여 과제를 설정하고 응답을 측정하는 제어된 외부 주체입니다.

구체적인 결과는 무엇입니까?

연구는 200만 개 이상의 에이전트를 수용하는 MoltBook 플랫폼에서 수행되었습니다. 저자들이 “충격적”이라고 표현한 발견 내용은 다음과 같습니다:

“Our experiments reveal a stark absence of collective intelligence. The society fails to outperform individual frontier models on complex reasoning tasks, rarely synthesizes distributed information, and often fails even trivial coordination tasks.”

즉, 200만 개의 LLM 에이전트로 구성된 사회는 복잡한 추론 과제에서 개별 프론티어 모델을 능가하지 못했고, 여러 에이전트에 분산된 정보를 통합하는 경우도 드물었으며, 사소한 협조 과제조차 자주 실패했습니다.

플랫폼 분석은 그 이유도 드러냅니다:

“Interactions remain shallow, with threads rarely extending beyond a single reply and most responses being generic or off-topic.”

대화 스레드가 한 번의 답변을 넘는 경우는 거의 없었으며, 대부분의 응답은 일반적이거나 주제를 벗어났습니다. 에이전트들은 기술적으로는 소통했지만 서로의 출력 위에 쌓아 올리지는 못했습니다.

왜 중요합니까?

논문의 결론은 다음과 같습니다:

“Collective intelligence does not emerge from scale alone. Instead, the dominant limitation of current agent societies is extremely sparse and shallow interaction, which prevents agents from exchanging information and building on each other’s outputs.”

이 시사점은 중요합니다. 멀티에이전트 시스템에서 더 많은 에이전트가 추론 문제를 자동으로 해결해 줄 것이라는 가정 하에 설계하고 있다면, 이 논문은 그것이 작동하지 않는다는 것을 시사합니다. 에이전트들이 서로의 출력 위에 쌓도록 강제하는 명시적인 아키텍처 결정이 필요하며, 병렬 독백을 생성하는 것에 그쳐서는 안 됩니다.

이는 새로운 세대의 상호작용 프로토콜을 위한 공간을 열어 줍니다. 구조화된 토론, 명시적 인용, 다음 라운드 전에 종합을 수행하는 집계 레이어 등, 인간 사회에서는 암묵적으로 존재하는 메커니즘을 에이전트 사회에서는 설계를 통해 구현해야 합니다.

다음 단계는 무엇입니까?

슈퍼마인드 테스트 자체가 가치 있는 측정 도구입니다. 어떤 멀티에이전트 플랫폼에도 적용할 수 있으며, 해당 사회의 실제 응집력에 대한 정량적 답변을 제공합니다. 커뮤니티의 다음 논리적 단계는 아키텍처 비교입니다: 어떤 종류의 상호작용이 테스트의 세 단계 모두에서 성과를 실질적으로 향상시키는가? 이 논문은 그 질문에 답하지는 않지만, 탐색에 필요한 측정 도구를 제공합니다.