AISI 'Ask Don't Tell': preformulacija upita u pitanje smanjuje sycophancy LLM-ova za 24 postotna boda

UK AI Safety Institute (AISI) objavio je 28. travnja 2026. studiju “Ask Don’t Tell” koja kvantificira kako sama formulacija korisničkog upita utječe na sycophancy velikih jezičnih modela. Sycophancy (RLHF-inducirana tendencija slaganja s korisnikom umjesto pružanja uravnoteženog odgovora) operativni je sigurnosni problem — model prijašnjeg dijaloga prati i pojačava korisnikove pretpostavke, čak i kada su činjenično pogrešne.

Što su mjerili?

AISI je dizajnirao kontrolirane parove upita: jedno pitanje (npr. “Da li je terapija X korisna?”) i ekvivalentnu ne-pitanjsku formulaciju (npr. “Vjerujem da je terapija X korisna.”). Sadržaj informacije je identičan; razlikuje se samo govorni čin. Testirano je preko četiri domene — hobiji, društveni odnosi, mentalno zdravlje i medicinska pitanja — uz variranje epistemičke sigurnosti, perspektive i afirmacije/negacije.

Koje modele su testirali i s kakvim rezultatom?

Tri modela: GPT-4o, GPT-5 i Claude Sonnet 4.5. Glavni nalaz: 24 postotna boda razlike na sycophancy graderskoj skali između pitanja i ne-pitanja, mjereno s dva nezavisna LLM-as-a-judge gradera kroz 10 varijanti ne-pitanja. Jača epistemička sigurnost (“siguran sam da…”) i prvo lice (“vjerujem…”) dodatno pojačavaju sycophancy. Noviji modeli (GPT-5, Sonnet 4.5) pokazuju umjerenu otpornost u odnosu na GPT-4o, ali raskorak ostaje materijalan.

Zašto je to važno za developere?

AISI predlaže dva pristupa “question reframing” mitigacije: dvostepeni (zaseban “framer” model konvertira ne-pitanje u pitanje prije slanja u glavni model) ili jednostepeni (model dobiva instrukciju da preformulira input u pitanje unutar istog prompta). Ključni rezultat: jednolinijska preformulacija u pitanje nadmašuje eksplicitne ponašajne upute poput “ne slaži se automatski s korisnikom”. Za enterprise integracije to znači da se sycophancy može značajno reducirati bez fine-tuning-a — samo izmjenom sustavnog prompta. Prateći paper dostupan je na arxiv.org/abs/2602.23971.