arXiv:2607.18100: SOPHIA-Activation-Steering befreit Sprachmodelle aus sich selbst wiederholenden Reasoning-Schleifen

Was sind Self-Loops bei Reasoning-Modellen?

Sheldon Yu und Kollegen identifizieren im Paper „Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering” (arXiv:2607.18100), dass gescheiterte Reasoning-Pfade bei Sprachmodellen mit verlängertem Denken — dem sogenannten Extended-Thinking-Modus — in Self-Loops geraten, also sich selbst wiederholende Schleifen, in denen das Modell ähnliche Denkschritte wiederholt, ohne echten Fortschritt zur Lösung zu machen. Solche Schleifen verbrauchen das Token-Budget, die begrenzte Anzahl an Token, die dem Denkprozess zugewiesen ist, ohne dabei die Chance auf eine korrekte Antwort zu erhöhen.

SOPHIA verfolgt verborgene Zustände und lenkt den Prozess um

Die Autoren schlagen SOPHIA (Steering Of reasoning Processes via Hidden-state Intervention and Activations) vor, eine Methode, die Reasoning-Präfixe, die Anfangsteile der Denkkette, in latente Zustände klassifiziert, also in verborgene interne Repräsentationen des Modells. Während der Inferenz selbst erkennt SOPHIA, wann ein Modell in einen Self-Loop gerät, und wendet dann einen Steering-Vektor an, eine mathematische Korrektur der internen Aktivierung des Modells, um den Denkprozess in eine neue, produktive Richtung zu lenken.

Genauigkeit und Token-Ersparnis mit SOPHIA gegenüber ohne

Laut den Autoren verbessert ein Modell mit angewendetem SOPHIA-Steering gleichzeitig die Aufgabengenauigkeit und die Token-Effizienz im Vergleich zu einem Modell ohne die Intervention. Statt weiterhin das Token-Budget für eine Schleife zu verbrauchen, aus der es sich von selbst nicht befreien würde, verlässt ein Modell mit SOPHIA den unproduktiven Pfad und setzt die verbleibenden Token für einen neuen Lösungsversuch ein.

Warum feingranulare Kontrolle des Reasoning-Prozesses wichtig ist

Der Ansatz zeigt, dass Probleme bei Reasoning-Modellen nicht nur durch Änderungen an Prompts oder erneutes Training gelöst werden müssen, sondern auch durch direkte Eingriffe auf Aktivierungsebene während der Inferenz. Für Entwickler von Tools, die Modelle mit verlängertem Denken einsetzen, bedeutet das eine günstigere Möglichkeit zur Verhaltenskontrolle, ohne zusätzliches Training.