vLLM：セッション対応エージェントルーティングがモデル切り替えを79%削減

vLLM プロジェクトは、Semantic Router の新機能として セッション対応エージェントルーティング（SAAR） を発表した。SAAR は各メッセージを独立した出来事として扱うのではなく、エージェント対話の流れ全体を考慮してモデル選択の判断を行う。

SAAR は実際に何を解決するのか？

これまでのモデルルーティングは、メッセージごとに異なるモデルを選びうるもので、長時間にわたるエージェント対話では不要かつ危険になりうる切り替えを招いていた。SAAR は制御を個々のメッセージからセッション全体の単位へと移し、対話の一貫性を保つ。この仕組みは、ツールとの能動的なループの最中などで禁止される切り替えと、アイドル後やタスク変更後に生じる許可された切り替えとを区別する。

テストの結果はどうだったか？

5つのシード、各シードあたり40セッション、各セッションあたり18回に分けて配置された21,600の決定論的な回において、SAAR はモデル切り替えの回数を79.29%削減し、9,709回から2,011回へと減らした。3,836回あった危険な切り替えはゼロに減らされた。推定コストは78.71%下がった。AMD ROCm 上での2,896件のリクエストに対する実運用では、連続性違反はゼロ件と記録された。

SAAR は何で構成されているのか？

SAAR は既存のルーティング処理の周りに5つのコンポーネントを加える。Router Memory は、アプリケーション自体のメモリとは別に、直前に使ったモデル、フェーズ、キャッシュの証跡を追跡する。Hard Locks は、ツールとの能動的なループや、提供側が管理する移送不能な状態の最中における切り替えを防ぐ。Reset Boundaries は、アイドルや判断の変更の後にモデル選択を再び開放する。Switch Economics はプレフィックスキャッシュ喪失のコストを織り込み、モデル階層間で切り替えを非対称にする。そして Replay Traces はルーティングの判断を記録し、監視やデバッグを容易にする。

なぜセッション単位の方法が重要なのか？

エージェントシステムは、モデルがツールを呼び出し多くの回にわたって文脈を積み上げる、長く多段階の対話をますます行うようになっている。各メッセージを個別に扱うと、その文脈が断ち切られ、特にタスクの途中でモデルが切り替わると不整合が持ち込まれうる。SAAR がセッション単位の一貫性へと舵を切ったことは、まさにこの問題を解決し、同時に計測可能なコスト削減とエージェントフローの高い信頼性をもたらす。