arXiv: CVP monitor čita prioritetne konflikte direktno iz aktivacija jezičnih modela

Istraživači Tong Che i Rui Wu objavili su okvir koji tvrdi da se unutarnji prioritetni konflikti jezičnog modela mogu pratiti direktno iz aktivacija — bez čitanja ni jednog generiranog tokena. Okvir nazvan Constitutional Value Potentials (CVP) uvodi skalarne vrijednosti naučene iz skrivenih stanja modela, koje predstavljaju unutarnji „pritisak” za očuvanje određene ustavne vrijednosti. Polazna opservacija je oštra: izlazni tekst je najnesigurniji svjedok upravo u trenucima sukoba dviju vrijednosti, kada model mora jednu žrtvovati — a ne svaki model koji verbalno citira vrijednost doista i poštuje njezin prioritet.

Prioritetni margin kao mjera unutarnjeg stava

Za svaku ustavnu vrijednost CVP uči skalarni potencijal iz skrivenih stanja modela. Ključna je distinkcija nadgledanja: taj potencijal nije superviziran samim promptom, nego neovisnom procjenom suca koji gleda što je model zaista sačuvao u odgovoru — ne što je rekao da cijeni. Predznakovita razlika dvaju potencijala tvori prioritetni margin. Ustavna klauzula drži se zadovoljenom dok margin ostaje pozitivan; čim padne ispod nule, monitor zastavlja potencijalno kršenje. Cijeli mehanizam detekcije odvija se bez da monitor pročita jedinstveni izlazni token modela — detekcija živi isključivo u aktivacijskom prostoru.

Može li monitor zastaviti kršenje prije kraja odgovora?

Da. Signal se pojavljuje na repu ulaznog prompta i prvom tokenu odgovora. To znači da je potencijalno kršenje vidljivo dok model još uvijek generira tekst — preventivna detekcija umjesto post-hoc analize gotovog odgovora. Za adversarijalne scenarije ovo je posebno važno. Dosadašnji red-teaming alati uglavnom su odgovarali na pitanje izgleda li prompt napadački. CVP postavlja drugačiju, precizniju dijagnozu: je li adversarijalni pokušaj zaista pomaknuo unutarnji prioritetni margin modela prema kršenju, ili je model ostao stabilan unatoč napadačkoj formulaciji? Te su dvije situacije potpuno različite, ali ih analiza outputa ne razlikuje pouzdano.

AUROC 0,95 i generalizacija na nove konflikte

Monitor postiže AUROC do 0,95 u otkrivanju sukoba vrijednosti i nadmašuje snažne probe metode temeljene na skrivenim stanjima. Eksperimenti pokrivaju tri skale modela Qwen2.5, a generalizacija je testirana na held-out sintetičkim konfliktima koji nisu bili vidljivi u treningu. Ovo je kritičan uvjet za praktičnu primjenu: u stvarnim okruženjima pravi konflikti vrijednosti unaprijed nisu poznati, pa monitor koji radi samo na viđenim obrascima ima ograničenu operativnu vrijednost. Rezultati na held-out skupu sugeriraju da CVP hvata strukturnu karakteristiku prioritetnih odnosa u aktivacijskom prostoru, a ne površinsku korelaciju s uzorcima iz treninga.

Iste aktivacije za intervenciju i kontrolu

Uz detekciju, autori testiraju aktivacijski steering: pomicanje duž aktivacijskih smjerova povezanih s pojedinom vrijednošću pomiče i procijenjene trade-off odluke modela u željenom smjeru. Autori to opisuju kao dokaz koncepta, a ne gotov produkcijski alat — no nalaz je konceptualno važan. Razlika između signala koji predviđa ponašanje i smjera koji to ponašanje mijenja govori da aktivacijski prostor sadrži strukturirane, a ne slučajne reprezentacije relevantne za prioritetne odluke. To CVP potencijalno čini i kontrolnim mehanizmom, ne samo dijagnostičkim.

Relevantnost za red-teaming i Constitutional AI

CVP istovremeno adresira nekoliko aktivnih istraživačkih linija. Za Constitutional AI kao metodu: okvir pruža mjerljivi signal koliko dobro je konstitucija internalizirana u reprezentacijama modela, umjesto da se to procjenjuje isključivo iz verbalnog ponašanja na testu. Za alignment monitoring: praćenje prioritetnog margina nudi proaktivni signal koji ne ovisi o konačnom outputu. Za red-teaming: razlika između prompta koji izgleda napadački i prompta koji zaista mijenja unutarnji prioritet postaje kvantificirana veličina.

Autori naglašavaju epistemičku preciznost: CVP ne tvrdi da modeli imaju vrijednosti u filozofskom smislu. Nalaz je da aktivacijski prostor sadrži signale koji kovariiraju s prioritetnim odlukama modela i da se ti signali mogu naučiti, pratiti i koristiti za rano upozoravanje. CVP ne zahtijeva nikakve izmjene težina modela i primjenjiv je kao vanjski monitor nad bilo kojim sustavom koji eksponira skrivena stanja. Rad je objavljen na arXiv-u s transparentno dokumentiranom metodologijom i metrikama, dostupan istraživačkoj zajednici za neovisnu reprodukciju i daljnji razvoj.