arXiv:2604.21571 'Separable Expert': arhitektura za LLM personalizaciju koja omogućuje GDPR pravo na zaborav bez retreniranja

Chris Schneider, Philipp Schoenegger i Ben Bariach objavili su 23. travnja 2026. na ArXivu paper pod punim naslovom “Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies” (arXiv:2604.21571). Rad rješava jedan od najtežih problema u industrijskom deploymentu personaliziranih LLM-ova: kako poštovati pravo korisnika na zaborav bez katastrofalnog troška retreniranja modela.

Zašto je GDPR problem za personalizirane LLM-ove?

GDPR Article 17 — Right to Erasure (Pravo na zaborav) daje svakom EU rezidentu pravo zahtijevati potpuno brisanje svojih osobnih podataka iz sustava operatora. Kod tradicionalnih SQL baza ovo je trivijalno: DELETE FROM users WHERE id = X. Ali kod LLM-ova koji su personalizirani na korisničkim podacima — npr. asistent koji pamti vaš stil pisanja, preferencije, prošle razgovore — podaci su distribuirani kroz milijarde parametara dijeljenih s drugim korisnicima. Autori to opisuju ovako: “Current model training approaches incorporate user information directly into shared weights, making individual data removal computationally infeasible without retraining”. Drugim riječima, jedini “ispravan” način brisanja je retreniranje cijelog modela — što za GPT-class modele košta milijune dolara.

Kako radi Separable Expert arhitektura?

Predloženi pristup je trolayer dekompozicija:

1. Statična baza modela — npr. Phi-3.5-mini ili Llama-3.1-8B u nemodificiranom stanju, dijeljena svim korisnicima
2. Composable domain-expert LoRA adapteri — niskog ranga adapteri koji oblikuju ponašanje (medicinski domain, legal domain, kod) bez ugrađivanja korisničkih podataka. LoRA (Low-Rank Adaptation) je tehnika fine-tuninga koja modificira ponašanje modela kroz male dodatne matrice umjesto izmjene punog modela.
3. Per-user proxy artefakti — male, izolirane datoteke specifične za pojedinog korisnika čije brisanje “constitutes deterministic unlearning” — matematički ekvivalentno potpunom uklanjanju utjecaja korisnika.

Što pokazuju eksperimentalni rezultati?

Autori evaluiraju arhitekturu na Phi-3.5-mini i Llama-3.1-8B modelima. Ključne metrike: nakon brisanja proxyja KL divergence (mjera razlike između dvije distribucije, izražena u nats) iznosi približno 0.21 nats — što potvrđuje “return to baseline” ponašanje. Verifikacijska prolaznost je 82-89%, a kontaminacija između korisnika je “near-zero”. Drugim riječima, podaci jednog korisnika ne curiju u izlaze drugih korisnika — što je ključno za multi-tenant SaaS deployment.

Sigurnosne implikacije izvan GDPR-a

Pored Right to Erasure, arhitektura “by construction” mitigira tri klasična napada na LLM-ove:

• Model inversion — pokušaj rekonstrukcije trening podataka iz weights modela
• Membership inference — utvrđivanje je li određeni record bio u trening setu
• Training data extraction — direktno izvlačenje doslovnih podataka iz odgovora modela

Dodatno, arhitektura je kompatibilna s DP-SGD (Differentially Private Stochastic Gradient Descent) za poboljšanje dijeljenih komponenti uz formalne privatnosne garancije.

Što ovo znači za EU AI Act compliance?

EU AI Act, koji je u punoj implementacijskoj fazi tijekom 2026., postavlja vrlo visoke standarde za sustave visokog rizika — uključujući obvezne mehanizme za korisničku kontrolu nad osobnim podacima. Bez tehničkih rješenja poput Separable Expert, kompanije koje pružaju personalizirane LLM usluge u EU izlažu se ozbiljnom regulatornom riziku. Ovaj rad pruža produkcijski put za compliance bez ekonomski razornog retreniranja — i mogao bi postati referentna arhitektura za sljedeću generaciju enterprise AI proizvoda.