Probe-Kaskade sagt Misserfolg des KI-Agenten aus verborgenen Aktivierungen im ersten Schritt voraus und spart bis zu 47 % der Token

KI-Agenten, die mehrstufige Aufgaben lösen – Websuche, Code-Schreiben, Automatisierung von Geschäftsprozessen – setzen ihren Weg zum Misserfolg oft lange fort, nachdem das Ergebnis de facto feststeht. Jeder unnötige Schritt verbraucht Token, Speicher und Geld. Forscher Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang und Hao Sun haben ein System entwickelt, das solche „zum Scheitern verurteilten” Episoden früher als je zuvor erkennt – idealerweise bereits bei der ersten Umgebungsinteraktion, und nicht erst wenn sich der Fehler als sichtbare Agentenaktion materialisiert.

Verborgene Zustände als Vorhersagefaktor für Misserfolge

Die grundlegende Erkenntnis der Arbeit ist, dass das Misserfolgssignal nicht in dem verborgen liegt, was der Agent sagt oder tut, sondern in dem, was sich innerhalb des Modells selbst abspielt. Leichte Probes auf verborgenen Aktivierungen des neuronalen Netzes – Tensoren, die zwischen den Transformer-Schichten entstehen und den internen Zustand des Modells in jedem Moment kodieren – übertreffen alle Verhaltensansätze, die extern sichtbare Aktionen analysieren.

Das ist ein wichtiger konzeptioneller Unterschied. Verhaltensbasierte Scorer warten, bis der Fehler im Output oder der Agentenhandlung sichtbar wird, was mehrere Schritte oder Runden erfordern kann. Interne Probes fangen das Signal auf, während das Modell noch die erste Umgebungsinteraktion verarbeitet. Verborgene Repräsentationen kodieren Informationen über die zukünftige Episodentrajektorie deutlich früher, als diese Informationen durch extern sichtbare Signale verfügbar werden – und der empirische Vergleich mit dem Verhaltens-Baseline bestätigt das: Verhaltensbasierte Scorer erzielen typischerweise etwa halb so viele Einsparungen.

Wie funktioniert die Kaskade kalibrierter Abbruch-Gates?

Das System ist als Kaskade von Frühabbruck-Gates implementiert, mit einem Gate pro Runde der Agentenepisode. Jedes Gate verwendet eine Probe, die mit einer verteilungsfreien Methode kalibriert ist und ein pro-Runde-Recall-Budget garantiert – einen präzise definierten Prozentsatz erfolgreicher Episoden, der in dieser konkreten Runde fälschlicherweise gestoppt werden darf.

Der entscheidende Unterschied zum naiven Ansatz mit mehreren Gates liegt darin, dass die Optimierung auf Episodenebene durchgeführt wird. Der Nutzer gibt ein Recall-Ziel auf Episodenebene vor – beispielsweise 90 % – und das System garantiert, dass mindestens so viele Episoden, die erfolgreich abschließen würden, alle Gates passieren und abgeschlossen werden. Die einzelnen Gates werden gemeinsam kalibriert, um diese Bedingung zu erfüllen, nicht jedes separat für sich.

Die Kaskadenarchitektur kombiniert Probes mit unabhängigen Signalen pro Runde und erreicht damit eine 1,6-1,7-fach bessere Effizienz als jede Single-Gate-Richtlinie. Jedes Gate eliminiert einen Teil der gescheiterten Episoden, die frühere Gates nicht erkannt haben, und die kollektive Präzision der Kaskade übertrifft strikt die Fähigkeit eines einzelnen Gates, das am optimalen Episodenpunkt platziert ist.

Empirische Ergebnisse auf Qwen- und Llama-Modellen

Die Autoren evaluierten die Kaskade auf zwei Open-Source-Modellen bei einem 90 %-Recall-Ziel und maßen den prozentualen Einsparungsanteil an der Gesamtzahl verarbeiteter Token:

Für Qwen-2.5-7B: Die Kaskade erzielt 47,1 % ± 10,3 % Einsparung. Fast die Hälfte aller verbrauchten Token entfiel auf Episoden, die das System korrekt als gescheitert erkennt und früh abbricht – ohne dass erfolgreiche Episoden mit einer Rate von mehr als 10 % fälschlicherweise gestoppt werden.

Für Llama-3.2-3B: Die Einsparung beträgt 37,2 % ± 8,8 % beim gleichen Recall-Ziel. Der Unterschied zwischen den Modellen deutet darauf hin, dass die internen Repräsentationen des größeren Modells informativer für die Ergebnisvorhersage sind – was konsistent mit der Hypothese ist, dass größere Modelle reichhaltigere interne Repräsentationen des Aufgabenzustands kodieren.

Beide Ergebnisse übertreffen verhaltensbasierte Scorer deutlich, die bei gleichen Bedingungen etwa halb so viele Einsparungen erzielen, was empirisch bestätigt, dass verborgene Zustände deutlich mehr prognostische Informationen tragen als extern sichtbare Aktionen.

Implikationen für die Produktionsumgebung

Das frühzeitige Stoppen gescheiterter Episoden hat direkte Auswirkungen auf die Betriebskosten agentischer Systeme. Compute wird proportional zur Episodenlänge verbraucht: Jeder Token, der auf einem Pfad verbraucht wird, der ohnehin im Misserfolg endet, ist ein Aufwand ohne Ertrag. Bei Systemen mit hohem Aufgabenvolumen übersetzt sich selbst eine konservative Token-Einsparung von 37 % in eine erhebliche Reduzierung der Infrastrukturkosten.

Der Recall-Parameter ermöglicht die Anpassung der Kaskade an verschiedene Geschäftsprioritäten ohne erneutes Training. Für kritische Aufgaben – wo das fälschliche Stoppen einer erfolgreichen Episode teurer ist als rechenschaftliche Ineffizienz – kann der Recall auf 95–97 % verschoben werden, was einen kleineren Teil der gescheiterten Episoden für mehr Sicherheit passieren lässt. Für hochvolumige, weniger kritische Umgebungen kann aggressivere Token-Einsparung Priorität haben. Diese Flexibilität macht die Kaskade auf ein breites Spektrum von Produktionsszenarien anwendbar, ohne die grundlegende Architektur zu kompromittieren.