arXiv:2607.15218: Kad su riječi sigurne, ali radnje ubijaju — PRISM razdvaja fizičku opasnost od teksta
Weimeng Wang i kolege pokazuju da su "opasnost sadržaja" i "fizička opasnost" odvojivi signali unutar hidden-state prostora modela Qwen2.5, Phi-3.5 i SmolLM2; njihova metoda PRISM postiže 86,2-87,7% točnosti uz 11,7-13,7% lažno pozitivnih na SafeAgentBenchu, dok standardni LLM-judge ima 24,7-39,0% FPR, a na PhysicalSafetyBench-1K PRISM doseže 99,6% točnosti.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Zašto tekst može biti “siguran”, a radnja opasna?
Weimeng Wang i suradnici pokazuju da klasične provjere sigurnosti teksta ne hvataju rizik kad jezični model upravlja fizičkim agentom — robotom ili sustavom koji izvodi radnje u stvarnom svijetu. Analizom hidden-state prostora (hidden state, interne numeričke reprezentacije koje model gradi tijekom obrade ulaza) na modelima Qwen2.5, Phi-3.5 i SmolLM2, tim pokazuje da su “content danger” (opasnost sadržaja teksta) i “physical danger” (fizička opasnost radnje) dva odvojiva signala unutar mreže, a ne isti fenomen mjeren dva puta.
Metoda PRISM
PRISM iskorištava tu odvojivost i klasificira rizik izravno iz internih aktivacija modela, umjesto da se oslanja na tekstualnu prosudbu. Na benchmarku SafeAgentBench metoda postiže 86,2-87,7% točnosti uz stopu lažno pozitivnih (false positive rate, FPR — postotak sigurnih zadataka pogrešno označenih kao opasni) od 11,7-13,7%.
Rezultati naspram standardnog LLM-suca
Standardni pristup, LLM-judge (jezični model koji sam prosuđuje sigurnost drugog modela na temelju teksta), u istom testu preblokira sigurne zadatke uz 24,7-39,0% FPR — dvostruko do triput veću stopu grešaka od PRISM-a. Razlika je još izraženija na novom benchmarku PhysicalSafetyBench-1K, koji sadrži 1.000 kontrastnih parova zadataka: PRISM ondje postiže 99,6% točnosti uz svega 0,7% FPR, dok Qwen2.5-3B kao judge odbija čak 67,8% zadataka koji su zapravo sigurni.
Zašto je važno
Razlika između 0,7% i 67,8% stope lažnih odbijanja pokazuje da tekstualna prosudba sama po sebi nije dovoljna za agente koji djeluju u fizičkom svijetu. PRISM sugerira da sigurnosni sloj treba gledati unutrašnje stanje modela, ne samo generirani tekst, prije nego agent izvede potencijalno opasnu radnju.
Česta pitanja
- Što je PRISM i kako se razlikuje od standardnog LLM-suca?
- PRISM je metoda koja analizira hidden-state (interne reprezentacije modela) da razdvoji opasnost sadržaja teksta od fizičke opasnosti radnje, postižući 86,2-87,7% točnosti uz 11,7-13,7% lažno pozitivnih, dok standardni LLM-judge ima 24,7-39,0% FPR.
- Koliko dobro PRISM radi na benchmarku PhysicalSafetyBench-1K?
- Na 1.000 kontrastnih parova zadataka PRISM postiže 99,6% točnosti uz samo 0,7% lažno pozitivnih, dok Qwen2.5-3B judge kao LLM-sudac pogrešno odbija čak 67,8% sigurnih zadataka.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
arXiv:2607.15267: Trovanje podataka za pretreniranje jezičnih modela kroz računalnu propagandu na forumima
arXiv:2607.14791: Transkoderi otkrivaju kako laž nastaje unutar internih sklopova jezičnog modela Qwen3-4B
Google DeepMind: pristup 'biorezilijenciji' — AI protiv bioloških prijetnji