Google: Novi statistički okvir za reviziju zaboravljanja podataka u AI modelima

Mónica Ribero, istraživačica u Google Researchu, objavila je 10. lipnja 2026. novi statistički okvir za reviziju zaboravljanja podataka u strojnom učenju (machine unlearning auditing) — tehničkog mehanizma kojim AI modeli trebaju “zaboraviti” specifične podatke koji su bili dio treniranja. Rad je prihvaćen za prezentaciju na konferenciji AISTATS 2026.

Zašto je zaboravljanje u AI sustavima problem?

Zamislimo da je neka tvrtka koristila osobne podatke korisnika za treniranje modela za preporuke, a korisnik naknadno zahtijeva brisanje svih svojih podataka temeljem GDPR prava na zaborav (Right to be Forgotten). Potpuno ponovno treniranje modela od nule — bez tih podataka — računski je iznimno skupo i u praksi rijetko izvedivo. Umjesto toga, razvijaju se algoritmi machine unlearning koji modificiraju već trenirani model tako da „zaboravi” ciljane podatke.

No kako provjeriti da je zaboravljanje zaista uspjelo? Upravo tu nastaje regulatorni i tehnički problem koji ovaj rad rješava.

Temeljni nedostatak dosadašnjih metoda

Standardni pristup reviziji zaboravljanja koristio je dvosampalne testove (two-sample tests): uspoređuje se raspodjela zaboravljenog modela s baznim modelom i mjeri statistička razlika. Problem je fundamentalan — modeli nikada ne mogu savršeno zaboraviti podatke pukim podešavanjem parametara. Razlika uvijek postoji, što standardne testove navodi da ispravno trenirane, sigurne modele lažno označavaju kao nesukladne.

Ribero je identificirala ovu slabost i dizajnirala okvir koji je strukturno zaobilazi.

Regularized f-Divergence Kernel Tests: višestruki senzori za raspodjele

Središnja inovacija nazvana je „Regularized f-Divergence Kernel Tests” — adaptivni okvir koji simultano koristi više različitih divergencijskih mjera (divergence measures), analogno tome da u jednom mjernom instrumentu imate više senzora koji svaki detektiraju drugačiji tip odstupanja:

• Chi-kvadrat divergencija (chi-squared divergence) — naglašava glatke, lokalizirane razlike u raspodjeli
• Kullback-Leibler (KL) divergencija — standardna mjera za globalna odstupanja u distribucijama vjerojatnosti
• Hockey-stick divergencija — posebno dizajnirana za definicije privatnosti i zaboravljanja, s kontroliranim pragom koji odgovara formalnim privatnosnim garancijama

Ključna prednost: okvir automatski odabire optimalnu divergenciju i hiperparametre za svaki scenarij, bez ručnog podešavanja koje je dosad bilo izvor grešaka i nereprodukabilnosti.

Test relativne udaljenosti između tri modela

Najvažnija metodološka inovacija je trosampalni test relativne udaljenosti (three-sample relative distance test). Umjesto binarnog pitanja “razlikuje li se zaboravljeni model od baznog?”, test postavlja trojno pitanje:

Je li raspodjela zaboravljenog modela bliža sigurnoj, ponovno treniranoj verziji ili kompromitiranoj originalnoj verziji?

Ova promjena perspektive eliminira lažne pozitivne: razlika između zaboravljenog i ponovno treniranog modela uvijek postoji, ali ta razlika ne znači nužno da zaboravljanje nije uspjelo — znači samo da model nije identičan potpuno novotreniranom. Relevantan signal je koji je model bliži po distribuciji.

Eksperimentalni rezultati okvira

Evaluacija pojednostavljenih algoritama zaboravljanja dala je jasne i pomalo zabrinjavajuće rezultate:

• Nasumično označavanje (random label) — prošlo evaluaciju; trosampalni test ispravno identificira ovu varijantu kao sigurnu
• Finetuniranje (finetuning) — neučinkovito; ciljani podaci ostaju prisutni
• Podrezivanje (pruning) — neučinkovito; mreža zadržava tražene informacije
• Selective Synaptic Dampening — neučinkovito; pristup koji prigušuje sinaptičke veze nije dovoljan za istinsko zaboravljanje

Uz to, standardni dvosampalni testovi pogrešno označili su sigurne, ponovno trenirane modele kao nesukladne — upravo suprotan rezultat od željenog — dok ih novi okvir ispravno identificira.

Hockey-stick divergencija nadmašuje DP-Auditorium

U domeni revizije diferencijalne privatnosti (differential privacy auditing) — blisko srodne temi zaboravljanja — hockey-stick divergencijska varijanta okvira nadmašuje referentni alat DP-Auditorium:

• Detektirala je povrede privatnosti u tehnici rijetkih vektora (sparse vector technique) koristeći samo tisuće uzoraka — nasuprot milijunima koji su potrebni DP-Auditorium pristupu
• Značajno reducira računalne resurse potrebne za reviziju velikih modela

Praktične implikacije za regulatore i auditore

Okvir adresira jedan od najkonkretnijih regulatornih izazova u primijeni AI zakonodavstva: matematički dokaz zaboravljanja koji revizori mogu podnijeti regulatornim tijelima bez pristupa internim parametrima modela ili originalnim podacima treniranja.

Za GDPR sukladnost to je iznimno relevantno: dosad su organizacije mogle samo tvrditi da je zaboravljanje provedeno. Ovaj alat omogućuje statističku verifikaciju — razliku između tvrdnje i dokaza.

Rad je dostupan javnosti kroz Google Research blog, a potpuni akademski tekst predviđen je za AISTATS 2026 proceedings.