Anthropic: Claudeove vrijednosti variraju ovisno o modelu i jeziku

Anthropic je objavio istraživanje koje rasvjetljuje kako izražene vrijednosti — obrasci ponašanja i tona modela izmjereni iz stvarnih razgovora — variraju između različitih verzija Claudea i 20 najčešće korištenih jezika na Claude.ai platformi.

Metodologija: 309.815 razgovora, pet tisuća po kombinaciji

Istraživanje se temelji na analizi 309.815 anonimiziranih razgovora s Claude.ai, pri čemu je svaka kombinacija modela i jezika zastupljena s otprilike 5.000 primjera. Testirani su modeli Sonnet 4.6, Opus 4.6 i Opus 4.7. Razlike u izraženim vrijednostima između modela statistički su značajne, što znači da ne nastaju slučajno već su sustavna pojava ugrađena u treniranje.

Četiri identificirane osi — Deference vs Caution, Warmth vs Rigor, Depth vs Brevity i Candor vs Execution — zajedno objašnjavaju 15% ukupne varijacije izraženih vrijednosti. Ostatak varijacije pripisuje se specifičnom kontekstu pojedinog razgovora, temi i načinu postavljanja pitanja.

Kako se modeli razlikuju po vrijednosnim osima?

Opus 4.7 dosljedno naginje opreznosti i dubini: daje opširnije odgovore s više rezervi i provjera pretpostavki. Sonnet 4.6, u usporedbi s Opusom 4.7, pokazuje veću toplinu i popustljivost — brže pristaje na korisnikove okvire problema i odgovara konciznije. Opus 4.6 pozicionira se između ta dva modela. Ove razlike odgovaraju korisničkim percepcijama koje Anthropic prikuplja putem povratnih informacija.

Jezične razlike: hindski vs. ruski kao krajnosti

Od 20 analiziranih jezika, hindski razgovori bilježe najvišu razinu izražene topline, dok ruski i engleski razgovori pokazuju najvišu razinu rigoroznosti. Istraživači napominju da su te razlike vjerojatno odraz razlika u kulturnim normama komunikacije i načinu postavljanja pitanja — a ne namjerne odluke u treniranju modela.

Značaj za razvoj i primjenu AI sustava

Nalaz otvara pitanja o konzistentnosti AI sustava u višejezičnom kontekstu. Ako isti model Anthropica funkcionira statistički drugačije ovisno o jeziku korisnika, organizacije koje Claude primjenjuju u višejezičnim okruženjima moraju uzeti u obzir da rezultati nisu jednoznačni. Anthropic navodi da će istraživanje informirati buduće odluke o treniranju, ali ne daje konkretne rokove za promjene.