프로브 캐스케이드, 첫 단계에서 AI 에이전트 실패를 은닉 활성화로 예측하고 토큰 최대 47% 절약

웹 검색, 코드 작성, 비즈니스 프로세스 자동화 등 다단계 작업을 처리하는 AI 에이전트는 결과가 사실상 결정된 이후에도 오랫동안 실패 방향으로 계속 진행하는 경우가 많다. 불필요한 각 단계는 토큰, 메모리, 비용을 소모한다. Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun 연구진은 이러한 「실패 예정」 에피소드를 그 어느 때보다 일찍 — 이상적으로는 에이전트의 첫 번째 환경 상호작용에서, 오류가 가시적 행동으로 나타나기 이전에 — 인식하는 시스템을 개발했다.

은닉 상태: 실패 예측 인자

이 연구의 핵심 통찰은 실패 신호가 에이전트가 말하거나 행하는 것에 있는 것이 아니라, 모델 내부에서 일어나는 일에 있다는 점이다. 신경망의 은닉 활성화에 적용된 경량 프로브 — 트랜스포머 레이어 사이에서 생성되어 매 순간 모델의 내부 상태를 인코딩하는 텐서 — 는 외부에서 관찰 가능한 행동을 분석하는 모든 행동적 접근 방식을 능가한다.

이는 중요한 개념적 차이이다. 행동적 스코어러는 오류가 에이전트의 출력이나 행동에서 가시화될 때까지 기다리며, 이는 여러 단계 또는 라운드가 필요할 수 있다. 내부 프로브는 모델이 첫 번째 환경 상호작용을 처리하는 동안 신호를 포착한다. 은닉 표현은 외부에서 관찰 가능한 신호를 통해 해당 정보를 얻을 수 있기 훨씬 전에 에피소드의 미래 궤적에 대한 정보를 인코딩하며, 행동적 베이스라인과의 실증적 비교가 이를 확인해준다. 행동적 스코어러는 동일한 조건에서 일반적으로 절반 수준의 절약만 달성한다.

보정된 중단 게이트 캐스케이드는 어떻게 작동하는가?

시스템은 에이전트 에피소드의 각 라운드마다 하나의 게이트를 갖는 조기 중단 게이트 캐스케이드로 구현된다. 각 게이트는 분포 자유 방법으로 보정된 프로브를 사용하여 라운드별 리콜 예산, 즉 해당 라운드에서 잘못 중단될 수 있는 성공 에피소드의 정확히 정의된 비율을 보장한다.

단순한 다중 게이트 접근 방식과의 핵심적인 차이는 최적화가 에피소드 전체 수준에서 이루어진다는 점이다. 사용자는 에피소드 수준의 리콜 목표 — 예컨대 90% — 를 설정하면, 시스템은 성공적으로 완료될 에피소드의 최소 해당 비율이 모든 게이트를 통과해 완료됨을 보장한다. 개별 게이트는 각각 독립적으로가 아니라 이 조건을 만족하기 위해 함께 보정된다.

캐스케이드 아키텍처는 라운드별 독립 신호와 프로브를 결합하여 단일 게이트 정책 대비 1.6~1.7배의 효율을 달성한다. 각 게이트는 이전 게이트가 포착하지 못한 실패 예정 에피소드의 일부를 제거하며, 캐스케이드의 전체 정밀도는 에피소드의 최적 지점에 배치된 단일 게이트의 능력을 엄격히 초과한다.

Qwen 및 Llama 모델에서의 실험 결과

저자들은 두 가지 오픈소스 모델에서 90% 리콜 목표 하에 캐스케이드를 평가하여, 총 처리 토큰 수의 절약 비율을 측정했다.

Qwen-2.5-7B의 경우: 캐스케이드가 47.1% ± 10.3% 절약을 달성한다. 총 소비 토큰의 거의 절반이 시스템이 실패 예정으로 올바르게 인식해 조기 중단하는 에피소드에 사용되고 있었으며 — 성공 에피소드가 10% 이상의 비율로 잘못 중단되는 일 없이 이를 달성한다.

Llama-3.2-3B의 경우: 동일한 리콜 목표 하에 절약은 **37.2% ± 8.8%**이다. 모델 간 차이는 더 큰 모델의 내부 표현이 결과 예측에 더 유익하다는 것을 시사하며, 이는 더 큰 모델이 더 풍부한 작업 상태 내부 표현을 인코딩한다는 가설과 일치한다.

두 결과 모두 동일한 조건에서 약 절반 수준의 절약만 달성하는 행동적 스코어러를 크게 능가하며, 이를 통해 은닉 상태가 외부에서 관찰 가능한 행동보다 훨씬 더 많은 예측 정보를 포함한다는 것이 실증적으로 확인된다.

프로덕션 환경에 대한 함의

실패 예정 에피소드의 조기 중단은 에이전트 시스템의 운영 비용에 직접적인 영향을 미친다. 컴퓨팅은 에피소드 길이에 비례하여 소비된다. 어차피 실패로 끝날 경로에 소비된 모든 토큰은 회수 불가능한 비용이다. 대용량 작업 시스템에서는 보수적인 37% 토큰 절약만으로도 인프라 비용이 크게 줄어든다.

리콜 파라미터는 재훈련 없이 다양한 비즈니스 우선순위에 캐스케이드를 적응시킬 수 있게 한다. 성공 에피소드의 잘못된 중단이 컴퓨팅 비효율보다 더 큰 비용을 초래하는 중요 작업의 경우, 리콜을 95~97%로 높여 더 높은 안전성을 위해 소수의 실패 예정 에피소드가 통과하도록 할 수 있다. 대용량, 덜 중요한 환경에서는 공격적인 토큰 절약이 우선순위가 될 수 있다. 이러한 유연성 덕분에 캐스케이드는 기본 아키텍처 타협 없이 광범위한 프로덕션 시나리오에 적용 가능하다.