arXiv:2606.20205: psihološki profili jezičnih modela uglavnom su mjerni artefakt, a ne stabilna osobnost
Rad arXiv:2606.20205 testirao je 56 instrukcijski ugođenih jezičnih modela standardiziranim psihološkim i preferencijskim instrumentima. Razlaganjem varijance autori pokazuju da usmjereni response bias objašnjava 81 do 90 posto razlika među modelima, naspram svega 9 do 16 posto kod ljudi, pa zaključuju da su psihološki profili modela uglavnom mjerni artefakt, a ne stabilna osobnost.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Rad arXiv:2606.20205 preispituje sve popularniju praksu psihološkog profiliranja jezičnih modela — primjenu testova osobnosti i preferencija, izvorno osmišljenih za ljude, na velike jezične modele. Istraživači su standardiziranim psihološkim i preferencijskim instrumentima testirali 56 instrukcijski ugođenih modela.
Što je otkriveno
Korištenjem razlaganja varijance (variance decomposition), statističke metode koja razdvaja izvore varijacije, autori su utvrdili da usmjereni response bias — sklonost modela da bira određene odgovore neovisno o sadržaju — objašnjava 81 do 90 posto razlika među modelima. Kod ljudi taj udio iznosi tek 9 do 16 posto. Razlika znači da ono što izgleda kao “osobnost” modela uglavnom dolazi iz artefakta mjerenja, a ne iz stabilne crte.
Zašto je to važno
Profili se, prema radu, mijenjaju ovisno o korištenim pitanjima, pa rezultati istih testova nisu pouzdani niti usporedivi. Autori pozivaju na razvoj namjenskih instrumenata za procjenu modela umjesto preuzimanja ljudskih psiholoških ljestvica. Nalaz je upozorenje za sve češće naslove o tome da pojedini model ima određeni “karakter” — takve tvrdnje često počivaju na mjernom artefaktu.
Česta pitanja
- Koliko je modela testirano?
- Testirano je 56 instrukcijski ugođenih jezičnih modela standardiziranim psihološkim i preferencijskim instrumentima.
- Koliki je udio response biasa?
- Usmjereni response bias objašnjava 81 do 90 posto varijance među modelima, dok je kod ljudi taj udio svega 9 do 16 posto.
- Što autori preporučuju?
- Preporučuju razvoj namjenskih instrumenata za procjenu modela jer se profili mijenjaju ovisno o korištenim pitanjima.