arXiv:2606.20508: što jezični modeli uče iz miješanih demonstracija sigurnog i štetnog ponašanja

Rad arXiv:2606.20508 istražuje kako se sigurnosno usklađeni jezični modeli ponašaju kada im se u kontekstu (in-context) ponude primjeri koji miješaju bezopasne i štetne demonstracije. In-context learning je sposobnost modela da iz primjera u samom upitu nauči obrazac ponašanja, bez dodatnog treniranja. Pitanje je presudno za sigurnost jer napadači često koriste pažljivo složene primjere kako bi zaobišli zaštite.

Benigne i štetne demonstracije nisu zamjenjive

Ključni nalaz rada jest da bezopasni i štetni primjeri nisu međusobno zamjenjivi. Dodavanje benignih demonstracija nema neutralan učinak: ovisno o modelu, ono može i smanjiti i povećati sklonost štetnom odgovoru. Za razliku od pretpostavke da bezopasni primjeri uvijek “razrjeđuju” rizik, rezultati pokazuju da je učinak nepredvidiv i specifičan za pojedini model.

Recency bias i obrambeni mehanizmi

Autori su otkrili snažan recency bias — redoslijed demonstracija bitno utječe na ishod, pri čemu posljednje navedeni primjeri nesrazmjerno oblikuju ponašanje. Neki modeli preuzimaju format štetnih primjera, ali svejedno odbijaju sam štetni zahtjev. Kao učinkovita obrana izdvaja se preference optimization, metoda treniranja koja model uči na temelju usporedbe poželjnih i nepoželjnih odgovora i koja sprječava eskalaciju štetne usklađenosti.

Zašto je to važno

Nalazi sugeriraju da evaluacije sigurnosti moraju uzeti u obzir i sastav i redoslijed primjera, a ne samo njihovu pojedinačnu štetnost. Za graditelje modela rad je argument u prilog preference optimizationu kao sloju obrane protiv manipulacije kontekstom.