arXiv:2607.15267: Trovanje podataka za pretreniranje jezičnih modela kroz računalnu propagandu na forumima

Što otkriva novo istraživanje o trovanju podataka?

Tim s Allen Institute for AI i University of Washington kruga — Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner i Kyle Lo — pokazuje da su podaci za pretreniranje (pretraining data, tekstualni korpus na kojem jezični model uči prije bilo kakvog finog ugađanja) ranjivi na trovanje putem javnih diskusijskih sučelja poput foruma i komentarskih sekcija. Riječ je o “third-party webpage content” — sadržaju koji pišu treće strane, ne vlasnik stranice — a koji dosad nije bio sustavno istražen kao napadni vektor.

Metoda HalfLife

Petero autora uvodi HalfLife, analitičku metodu koja mjeri preživljava li ubačeni zlonamjerni tekst cijeli lanac web-crawlanja i data-curationa (procesa filtriranja i čišćenja prikupljenih podataka) prije nego uđe u finalni pretraining skup. Umjesto da promatra samo krajnji ishod, HalfLife prati sadržaj kroz svaku fazu obrade, od sirovog crawla do deduplikacije i kvalitativnih filtera.

Forumi naspram Wikipedije — gdje je razlika?

Wikipedia i slični kontrolirani izvori prolaze uredničku reviziju i moderaciju prije objave, pa je ubacivanje zlonamjernog teksta teže i brže uočljivo. Komentari na forumima nemaju taj sloj kontrole — bilo tko može objaviti tekst koji potom crawleri pokupe zajedno s ostatkom stranice, bez provjere autorstva ili namjere.

Zašto je ovo važno za sigurnost jezičnih modela

Dosadašnja istraživanja trovanja podataka fokusirala su se uglavnom na kontrolirane ili poluautomatizirane izvore. Ovaj rad pomiče fokus na “računalnu propagandu” (computational propaganda) — koordinirano, softverski potpomognuto širenje sadržaja s ciljem manipulacije — kao realan put ubacivanja otrova u modele koji uče izravno s otvorenog weba, bez posrednika koji bi filtrirao autorstvo komentara.