Anthropic razvija „off switch” za opasno znanje: GRAM izolira dual-use sposobnosti u uklonjive module

Novi pristup kontroli opasnog znanja

Svaki dovoljno moćan jezični model ujedno je i potencijalno oruđe za zloporabu: isti tekst o patogenima koji pomaže istraživaču može pomoći i akteru koji razvija biološko oružje. Standardni pristup ovom problemu — filtriranje podataka za treniranje ili naknadni unlearning — nikad nije u potpunosti zadovoljio zahtjeve sigurnosnih istraživača.

Anthropic je u suradnji s AE Studio objavio istraživački rad koji predlaže temeljno drugačiji pristup: umjesto uklanjanja opasnog znanja nakon treninga, ono se izolira za vrijeme treninga u posebne, uklonjive komponente modela.

Što je GRAM i kako funkcionira

GRAM (Gradient-Routed Auxiliary Modules) dodaje skup neuronskih modula na svaki sloj Transformer arhitekture — jedan modul za svaku dual-use kategoriju znanja. Ključna inovacija leži u načinu učenja: kada model nailazi na dual-use sadržaj (primjerice, tekst o sintezi virusa), opći parametri modela privremeno se zamrzavaju. Samo relevantni modul — na primjer „virology modul” — ažurira svoje težine iz tog materijala.

Rezultat je čista podjela: opće znanje i sposobnosti rasuđivanja ostaju netaknuti u osnovnim parametrima, dok dual-use znanje živi isključivo unutar namjenskog modula. Brisanje modula uklanja odgovarajuće sposobnosti otprilike jednako učinkovito kao da model nikad nije treniran na tim podacima — što je i ključna tvrdnja iz istraživačkog rada.

Tri faze eksperimentalnog testiranja

Istraživači su metodičnim pristupom proveli tri odvojene faze provjere.

Prva faza koristila je sintetičke podatke — mali modeli trenirani na dječjim pričama. Cilj je bio dokazati osnovno načelo: postoje li zapravo odvojene putanje gradijenta i funkcionira li brisanje modula?

Druga faza prešla je na realistične podatke: web tekst, kod i znanstvene radove, s četiri dual-use kategorije — virologijom, kibersigurnošću, nuklearnom fizikom i specijaliziranim programskim jezicima. Eksperimenti su potvrdili da brisanje modula učinkovito uklanja sposobnosti u svakoj od tih kategorija bez degradacije u općim zadacima.

Treća faza testirala je skalabilnost kroz sedam veličina modela, od 50M do 5B parametara. Ključni nalaz: učinkovitost GRAM-a raste s veličinom modela — jaz između verzije sa modulom i verzije bez modula postaje veći kako modeli rastu.

Zašto je ovo važno za sigurnost AI?

Dosadašnje metode — filtriranje podataka i unlearning — imaju zajednički nedostatak: sve su podložne pokušajima oporavka znanja. Dovoljno ustrajnim fine-tunanjem ili adversarijalnim napadima, sposobnosti se mogu djelomično vratiti.

GRAM je otporniji na ove pokušaje, jer se dual-use znanje nikad ne ugrađuje u dio modela koji bi se naknadnim treniranjem mogao reaktivirati. Oporavak bi zahtijevao iznova trenirati module — skupu operaciju koja zahtijeva pristup izvornim podacima i trening infrastrukturi.

Praktično gledano, jedan trening-run s četiri dual-use kategorije rezultira 16 različitih konfiguracija modela (2⁴ = 16). Organizacija može distribuirati modele s isključenim modulom za virologiju klijentima koji tu sposobnost ne trebaju, dok istraživačke institucije s odgovarajućim clearanceom dobivaju verziju s uključenim modulom — sve iz istog treniranja, bez ponovnog pokretanja.

Ograničenja i status istraživanja

Važno je naglasiti što GRAM još nije: Anthropic eksplicitno navodi da metoda do danas nije primijenjena ni na jedan produkcijski Claude model i nije testirana na frontijerskim veličinama (iznad 5B parametara).

Istraživači također napominju da mjerenje samog pojma „dual-use znanje” nije trivijalan problem — granica između legitimnog i opasnog znanja nejasna je i kontekstualno ovisna. GRAM nudi tehničko rješenje za izolaciju i brisanje, ali definiranje što treba biti izolirano ostaje politički i epistemički izazov.

Ipak, GRAM predstavlja konceptualni pomak koji bi dugoročno mogao utjecati na to kako se frontier modeli razvijaju i distribuiraju — s ugrađenim kontrolama pristupa znanju koje su otpornije od dosadašnjih post-hoc pristupa.