arXiv:2605.16233: FORGE — KI-Agenten entwickeln gemeinsames Gedächtnis ohne Fine-Tuning

Ein Forschungsteam der Carleton University und des kanadischen Verteidigungsministeriums veröffentlichte die Arbeit FORGE (Failure-Optimized Reflective Graduation and Evolution) — ein System, in dem LLM-Agenten kollektiv Gedächtnis aufbauen und teilen, ohne dass ein einziger Modellparameter geändert wird. Die Ergebnisse bei der Benchmark-Aufgabe zur Netzwerkverteidigung zeigen eine Verbesserung von 1,7 bis 7,7 Mal gegenüber der Null-Baseline.

Das Problem: teures Lernen auf Kosten der Flexibilität

Der Standardansatz zur Verbesserung von LLM-Agenten ist Fine-Tuning — ein Verfahren, bei dem Gradient Descent Milliarden von Gewichten eines neuronalen Netzes auf einem spezifischen Datensatz aktualisiert. Dieser Prozess erfordert GPU-Stunden, annotierte Beispiele und friert das Modell zum Zeitpunkt des Trainings ein. Jede neue Domäne oder Aufgabe erfordert eine neue Trainingsrunde.

FORGE geht einen anderen Weg: Statt das Modell selbst zu verändern, baut es ein Shared Memory auf — eine gemeinsame textuelle Basis aus Regeln und Demonstrationen, die in natürlicher Sprache in Agenten-Prompts eingefügt wird.

Wie FORGE Fine-Tuning umgeht

Das System operiert in zwei gekoppelten Zyklen. Die innere Schleife generiert durch Beobachtung fehlgeschlagener Episoden wiederverwendbare Wissensartefakte — textuelle Heuristiken (Rules) oder konkrete Demonstrationen erfolgreicher Züge (Examples). Die äußere Schleife propagiert dann das Gedächtnis des besten Agenten zwischen den Entwicklungsphasen auf die gesamte Population, während Agenten, die Konvergenz erreicht haben, „graduiert” und eingefroren werden.

Der Schlüsselmechanismus ist der Population Broadcast: Wissen bleibt nicht in einem einzelnen Agenten gefangen, sondern wird kollektiv geteilt. Forscher testeten Gemini-2.5-Flash-Lite, Grok-4-Fast, Llama-4-Maverick und Qwen3-235B in der simulierten CybORG CAGE-2-Umgebung — einer stochastischen POMDP-Netzwerkverteidigungsaufgabe mit 30-Schritt-Horizont, bei der ein Verteidiger auf einen als B-line-Angreifer bekannten Angriff reagiert.

Ergebnisse: Schwächere Modelle profitieren am meisten

FORGE erzielt 29–72 % bessere Ergebnisse als die isolierte Reflexion-Baseline und senkt die Rate katastrophaler Fehler auf etwa 1 % (gegenüber stark negativen Belohnungen in der Null-Baseline). Bemerkenswert ist, dass die Rules-Variante ~40 % weniger Token bei vergleichbaren Ergebnissen verbraucht, während die Examples-Variante bei drei von vier getesteten Modellen dominiert.

Besonders relevant ist der Befund, dass schwächere Basismodelle unverhältnismäßig mehr profitieren — FORGE kompensiert die begrenzten Fähigkeiten eines kleineren Modells effektiv durch kollektiv aufgebaute Populationserfahrung. Das eröffnet Anwendungen, bei denen der Einsatz eines leistungsstärkeren Modells wirtschaftlich oder latenzbedingt nicht vertretbar ist.

Die Arbeit legt nahe, dass für spezialisierte Bereiche wie Cybersicherheitsverteidigung populationsbasiertes Gedächtnis eine effektivere Alternative zum teuren Fine-Tuning sein kann — besonders wenn sich Domänenregeln schnell ändern.