vLLM: Session-Aware Agentic Routing senkt Modellwechsel um 79 Prozent

Das Projekt vLLM hat Session-Aware Agentic Routing (SAAR) vorgestellt, eine neue Funktion seines Semantic Routers. SAAR trifft Entscheidungen zur Modellauswahl unter Berücksichtigung des gesamten Verlaufs eines agentischen Gesprächs, statt jede Nachricht als unabhängiges Ereignis zu behandeln.

Was löst SAAR eigentlich?

Bisheriges Modell-Routing konnte für jede Nachricht ein anderes Modell wählen, was bei langlaufenden agentischen Gesprächen zu unnötigen und potenziell unsicheren Wechseln führt. SAAR verlagert die Kontrolle von der einzelnen Nachricht auf die Ebene der gesamten Sitzung und bewahrt so die Kohärenz des Gesprächs. Der Mechanismus unterscheidet verbotene Wechsel, etwa während einer aktiven Werkzeugschleife, von erlaubten, die nach Leerlauf oder einem Aufgabenwechsel erfolgen.

Wie sind die Testergebnisse?

Über 21.600 deterministische Runden, verteilt auf fünf Seeds, 40 Sitzungen je Seed und 18 Runden je Sitzung, senkte SAAR die Zahl der Modellwechsel um 79,29 Prozent, von 9.709 auf 2.011. Unsichere Wechsel, von denen es 3.836 gab, wurden auf null reduziert. Die geschätzten Kosten fielen um 78,71 Prozent. Im realen Einsatz über 2.896 Anfragen auf AMD ROCm wurden null Kontinuitätsverletzungen verzeichnet.

Woraus besteht SAAR?

SAAR fügt rund um den bestehenden Routing-Prozess fünf Komponenten hinzu. Router Memory verfolgt das zuletzt genutzte Modell, die Phase und Cache-Belege, getrennt vom Speicher der Anwendung selbst. Hard Locks verhindern Wechsel während aktiver Werkzeugschleifen und bei nicht übertragbarem, vom Anbieter verwaltetem Zustand. Reset Boundaries öffnen die Modellauswahl nach Leerlauf oder einer Entscheidungsänderung erneut. Switch Economics berücksichtigen die Kosten des Verlusts des Prefix-Caches, wodurch Wechsel zwischen Modellstufen asymmetrisch werden, während Replay Traces Routing-Entscheidungen für leichtere Überwachung und Fehlersuche protokollieren.

Warum ist ein sitzungsbasierter Ansatz wichtig?

Agentische Systeme führen zunehmend lange, mehrstufige Gespräche, in denen ein Modell Werkzeuge aufruft und über viele Runden Kontext aufbaut. Jede Nachricht einzeln zu behandeln kann diesen Kontext zerreißen und Inkonsistenzen einführen, besonders wenn das Modell mitten in einer Aufgabe wechselt. SAARs Verschiebung hin zu Kohärenz auf Sitzungsebene löst genau dieses Problem und liefert zugleich messbare Kosteneinsparungen und eine höhere Zuverlässigkeit agentischer Abläufe.