arXiv: CVP-Monitor liest Prioritätskonflikte direkt aus KI-Modell-Aktivierungen

Die Forscher Tong Che und Rui Wu haben ein Framework vorgestellt, das behauptet, interne Prioritätskonflikte eines Sprachmodells direkt aus Aktivierungen verfolgen zu können — ohne einen einzigen generierten Token zu lesen. Das Framework namens Constitutional Value Potentials (CVP) führt skalare Werte ein, die aus verborgenen Modellzuständen gelernt werden und den inneren „Druck” zur Wahrung eines bestimmten konstitutionellen Werts repräsentieren. Die Ausgangsbeobachtung ist präzise: Der Ausgabetext ist in Momenten des Wertekonflikts am unzuverlässigsten — wenn das Modell einen Wert opfern muss — und nicht jedes Modell, das einen Wert verbal zitiert, hält tatsächlich dessen Priorität ein.

Prioritätsmarge als Maß der inneren Haltung

Für jeden konstitutionellen Wert lernt CVP ein skalares Potenzial aus den verborgenen Modellzuständen. Die entscheidende Überwachungsunterscheidung: Dieses Potenzial wird nicht durch den Prompt selbst überwacht, sondern durch eine unabhängige Richterbeurteilung, die beobachtet, was das Modell in der Antwort tatsächlich bewahrt hat — nicht was es zu schätzen vorgegeben hat. Die vorzeichenbehaftete Differenz zweier Potenziale ergibt die Priority Margin. Eine konstitutionelle Klausel gilt als erfüllt, solange die Margin positiv bleibt; fällt sie unter null, markiert der Monitor eine potenzielle Verletzung. Der gesamte Erkennungsmechanismus läuft ab, ohne dass der Monitor einen einzigen Ausgabe-Token des Modells liest — die Erkennung lebt ausschließlich im Aktivierungsraum.

Kann der Monitor eine Verletzung vor Ende der Antwort erkennen?

Ja. Das Signal erscheint am Ende des Eingabe-Prompts und beim ersten Antwort-Token. Das bedeutet, eine potenzielle Verletzung ist sichtbar, während das Modell noch Text generiert — präventive Erkennung statt nachträglicher Analyse der fertigen Antwort. Für adversarielle Szenarien ist dies besonders wichtig. Bisherige Red-Teaming-Tools beantworteten hauptsächlich die Frage, ob ein Prompt angreifend aussieht. CVP stellt eine andere, präzisere Diagnose: Hat der adversarielle Versuch die interne Priority Margin des Modells tatsächlich in Richtung Verletzung verschoben, oder blieb das Modell trotz der angreifenden Formulierung stabil? Diese beiden Situationen sind grundlegend verschieden, aber die Output-Analyse unterscheidet sie nicht zuverlässig.

AUROC 0,95 und Generalisierung auf neue Konflikte

Der Monitor erreicht einen AUROC von bis zu 0,95 bei der Erkennung von Wertekonflikten und übertrifft starke Probe-Methoden auf Basis verborgener Zustände. Die Experimente umfassen drei Skalierungsstufen von Qwen2.5, und die Generalisierung wurde auf Held-out-Synthesekonflikten getestet, die beim Training nicht sichtbar waren. Dies ist eine kritische Bedingung für den praktischen Einsatz: In realen Umgebungen sind echte Wertekonflikte nicht vorab bekannt, daher hat ein Monitor, der nur auf gesehenen Mustern funktioniert, begrenzten operativen Wert. Die Ergebnisse auf dem Held-out-Set deuten darauf hin, dass CVP eine strukturelle Eigenschaft von Prioritätsbeziehungen im Aktivierungsraum erfasst — keine oberflächliche Korrelation mit Trainingsmustern.

Dieselben Aktivierungen für Intervention und Kontrolle

Neben der Erkennung testen die Autoren Aktivierungs-Steering: Das Verschieben entlang von Aktivierungsrichtungen, die mit einem bestimmten Wert assoziiert sind, verschiebt auch die geschätzten Trade-off-Entscheidungen des Modells in die gewünschte Richtung. Die Autoren beschreiben dies als Machbarkeitsnachweis, nicht als fertiges Produktionswerkzeug — der Befund ist jedoch konzeptuell bedeutsam. Die Unterscheidung zwischen einem Signal, das Verhalten vorhersagt, und einer Richtung, die dieses Verhalten verändert, deutet darauf hin, dass der Aktivierungsraum strukturierte, nicht zufällige Repräsentationen enthält, die für Prioritätsentscheidungen relevant sind. Das macht CVP potenziell zu einem Kontrollmechanismus, nicht nur zu einem Diagnosewerkzeug.

Relevanz für Red-Teaming und Constitutional AI

CVP adressiert gleichzeitig mehrere aktive Forschungslinien. Für Constitutional AI als Methode: Das Framework liefert ein messbares Signal, wie gut die Konstitution in den Modellrepräsentationen internalisiert ist — statt dies ausschließlich aus dem verbalen Verhalten bei Tests zu beurteilen. Für Alignment-Monitoring: Die Verfolgung der Priority Margin bietet ein proaktives Signal, das nicht vom finalen Output abhängt. Für Red-Teaming: Der Unterschied zwischen einem Prompt, der angreifend aussieht, und einem, der die interne Priorität tatsächlich verändert, wird zu einer quantifizierbaren Größe.

Die Autoren betonen epistemische Präzision: CVP behauptet nicht, dass Modelle Werte im philosophischen Sinne besitzen. Der Befund ist, dass der Aktivierungsraum Signale enthält, die mit den Prioritätsentscheidungen des Modells kovariiieren und die gelernt, verfolgt und für Frühwarnungen genutzt werden können. CVP erfordert keine Modifikationen der Modellgewichte und ist als externer Monitor über jedem System anwendbar, das verborgene Zustände exponiert. Die Arbeit wurde auf arXiv mit transparent dokumentierter Methodik und Metriken veröffentlicht und steht der Forschungsgemeinschaft zur unabhängigen Reproduktion und Weiterentwicklung zur Verfügung.