arXiv: Arbor — 자율 에이전트를 위한 인지 계층으로서의 트리 탐색

2026년 6월 10일 연구자들이 arXiv에 Arbor를 소개하는 논문을 발표했습니다. 구조화된 트리 탐색(tree search)을 자율 에이전트의 근본적인 인지 계층으로 재정의하는 멀티 에이전트 프레임워크입니다. 논문의 저자는 Neha Prakriya, Chaojun Hou, Zheng Gong, Huasha Zhao, Xi Zhao, Mou Li, Zhenyu Gu, Emad Barsoum입니다.

기존 에이전트는 왜 인지적으로 맹목적이었는가?

기존의 자율 에이전트 접근 방식들은 공통적인 구조적 결함을 공유합니다. 각 에이전트가 개별 목표를 독립적으로, 상태 없이(stateless) 평가합니다. 에이전트가 평가를 마치면 컨텍스트가 사라지고, 다음 에이전트는 처음부터 시작합니다. 전체 추론 스택 최적화와 같이 광범위하고 상태 유지적인 행동 공간에서는 이 접근 방식이 금세 한계를 드러냅니다.

Arbor는 **점수화된 가설의 명시적 탐색 트리(explicit search tree of scored hypotheses)**를 도입하여 이 문제에 대응합니다. 이는 시스템의 모든 에이전트를 위한 공유 작업 메모리로 기능합니다. 각 에이전트가 진공 상태에서 작업하는 대신, 전체 에이전트 팀이 동일한 구조화된 문제 표현에서 읽고 씁니다.

아키텍처: 두 가지 역할, 명확한 책임 분리

Arbor는 에이전트를 두 가지 조율된 역할로 구성합니다.

Orchestrator 에이전트는 전략적 조율자 역할을 합니다. 애플리케이션 레이어부터 프레임워크, 컴파일러, 커널, 하드웨어에 이르는 추론 스택 레이어 전반에 걸쳐 구체적인 작업을 위임하며 최적화 프로세스를 이끕니다. Orchestrator는 기술적 세부 사항을 직접 해결하지 않습니다. 그 가치는 조율과 분배에 있습니다.

Critic 에이전트는 안정화 역할을 합니다. 모든 제안이나 변경은 Critic의 근본 원인 분석(root-cause analysis)과 검증을 통과합니다. Critic 없이는 시스템이 불안정하다는 것을 저자들이 실험적으로 확인했습니다.

에이전트 능력은 하드 스킬 — 스택의 특정 레이어에 대한 도메인 전문성 — 과 소프트 스킬 — 다일(多日)에 걸친 자율 최적화 캠페인을 가능하게 하는 조율 프로토콜 — 로 나뉩니다.

시스템 안정성에서 Critic의 역할

저자들은 이 아키텍처 결정의 중요성을 명확히 보여주는 절제 연구(ablation study)를 수행했습니다. Critic 없이 단일 에이전트는 처리량 +33% 향상만 달성했으며 이후 충돌했습니다. 안정화 역할 없이는 장기 캠페인이 불가능합니다.

반면, Orchestrator와 Critic을 갖춘 전체 Arbor 시스템은 공급업체 최적화 베이스라인 시스템 대비 처리량-지연 시간 Pareto 경계에서 최대 193% 향상을 달성합니다. 이 결과는 특정 하드웨어 유형에 국한되지 않습니다. 저자들은 여러 세대의 하드웨어에서 재현 가능성을 확인했으며, 실행 간 분산은 2퍼센트 포인트 이내입니다.

일반적인 인지 기본 요소로서의 트리 탐색

저자들은 더 광범위한 논제를 제시합니다. 구조화된 트리 탐색은 LLM 추론 최적화만을 위한 도구가 아닙니다. 에이전트들이 가설을 협력하여 탐색, 점수화, 폐기해야 하는 모든 복잡한 행동 공간에 적용 가능한 일반 인지 계층으로 자리매김합니다.

이 일반화는 실질적 중요성을 가집니다. 오늘날의 에이전트 시스템은 종종 잘 정의된, 비교적 얕은 문제만 해결합니다. Arbor는 트리 탐색의 명시적 메모리 추가가 — 도메인에 관계없이 — 자율 에이전트의 범위를 극적으로 확장할 수 있음을 시사합니다.

응용: 전체 LLM 추론 스택

논문에서 설명하는 구체적인 응용은 풀 스택 LLM 추론 최적화입니다. 애플리케이션 코드, PyTorch와 같은 프레임워크, 컴파일러 파이프라인, CUDA 커널, 하드웨어 자체를 아우르는 다중 레이어 문제입니다. 단 한 명의 전문가가 모든 레이어를 동시에 다룰 수 없으며, 가능한 구성의 조합적 공간은 방대합니다.

Arbor는 트리 탐색을 공통 조율 메커니즘으로 하여 에이전트들 간에 도메인 지식을 조율하여 분배함으로써 이 문제를 해결합니다. 결과는 이러한 접근 방식이 단순히 작동할 뿐만 아니라, 어떤 단일 공급업체 최적화 시스템이 달성할 수 있었던 것을 극적으로 능가함을 확인해줍니다.

이 논문은 arXiv에서 식별자 2606.12563으로 이용 가능합니다.