vLLM: Session-Aware Agentic Routing, 모델 전환 79% 감소

vLLM 프로젝트가 자사 Semantic Router의 새로운 기능인 **Session-Aware Agentic Routing(SAAR)**을 선보였다. SAAR은 각 메시지를 독립적 이벤트로 다루는 대신, 에이전트 대화의 전체 흐름을 고려해 모델 선택 결정을 내린다.

SAAR이 실제로 해결하는 문제는?

기존의 모델 라우팅은 메시지마다 다른 모델을 선택할 수 있었고, 이는 장기 에이전트 대화에서 불필요하고 잠재적으로 안전하지 않은 전환을 초래했다. SAAR은 제어를 개별 메시지에서 세션 전체 수준으로 옮겨 대화의 일관성을 유지한다. 이 메커니즘은 활성 도구 루프 중처럼 금지된 전환과, 유휴 상태나 작업 변경 후에 일어나는 허용된 전환을 구분한다.

테스트 결과는 어떤가?

5개 시드, 시드당 40개 세션, 세션당 18턴으로 분산된 2만 1,600회의 결정론적 턴에서, SAAR은 모델 전환 횟수를 9,709회에서 2,011회로 79.29% 줄였다. 3,836회였던 안전하지 않은 전환은 0회로 감소했다. 추정 비용은 78.71% 떨어졌다. AMD ROCm에서 2,896건의 요청에 대한 실제 적용에서는 연속성 위반이 0건 기록되었다.

SAAR은 무엇으로 구성되는가?

SAAR은 기존 라우팅 프로세스에 다섯 가지 구성 요소를 추가한다. Router Memory는 애플리케이션 자체의 메모리와 분리하여 마지막으로 사용된 모델, 단계, 캐시 증거를 추적한다. Hard Locks는 활성 도구 루프와 제공자가 관리하는 이전 불가능한 상태 중 전환을 막는다. Reset Boundaries는 유휴 상태나 결정 변경 후 모델 선택을 다시 연다. Switch Economics는 prefix 캐시 손실 비용을 반영하여 모델 계층 간 전환을 비대칭으로 만들고, Replay Traces는 감독과 디버깅을 쉽게 하도록 라우팅 결정을 기록한다.

세션 기반 접근이 왜 중요한가?

에이전트 시스템은 점점 더 모델이 도구를 호출하고 여러 턴에 걸쳐 맥락을 쌓아가는 길고 다단계의 대화를 진행한다. 각 메시지를 개별적으로 다루면 그 맥락이 끊기고, 특히 작업 중간에 모델이 바뀔 때 불일치가 생길 수 있다. SAAR의 세션 수준 일관성으로의 전환은 바로 이 문제를 해결하며, 동시에 측정 가능한 비용 절감과 더 높은 에이전트 흐름의 신뢰성을 가져온다.