arXiv:2604.21571 'Separable Expert': Architektur für LLM-Personalisierung, die DSGVO-Recht auf Vergessenwerden ohne Retraining ermöglicht

Chris Schneider, Philipp Schoenegger und Ben Bariach veröffentlichten am 23. April 2026 auf ArXiv das Paper „Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies” (arXiv:2604.21571). Die Arbeit löst eines der schwierigsten Probleme beim industriellen Einsatz personalisierter KI-Modelle: Wie kann das Recht der Nutzer auf Vergessenwerden respektiert werden, ohne die katastrophalen Kosten eines Modell-Retrainings auf sich zu nehmen?

Warum ist die DSGVO ein Problem für personalisierte KI-Modelle?

DSGVO Artikel 17 — Recht auf Löschung gibt jedem EU-Bürger das Recht, die vollständige Löschung seiner personenbezogenen Daten aus den Systemen eines Betreibers zu verlangen. Bei traditionellen SQL-Datenbanken ist dies trivial: DELETE FROM users WHERE id = X. Bei KI-Modellen, die auf Nutzerdaten personalisiert wurden — z. B. ein Assistent, der den eigenen Schreibstil, Präferenzen und vergangene Gespräche kennt — sind die Daten jedoch über Milliarden von Parametern verteilt, die mit anderen Nutzern geteilt werden. Die Autoren beschreiben es so: „Current model training approaches incorporate user information directly into shared weights, making individual data removal computationally infeasible without retraining”. Mit anderen Worten: Der einzige „korrekte” Weg zur Löschung ist das Retraining des gesamten Modells — was bei GPT-Klasse-Modellen Millionen von Dollar kostet.

Wie funktioniert die Separable-Expert-Architektur?

Der vorgeschlagene Ansatz ist eine dreischichtige Dekomposition:

1. Statische Modellbasis — z. B. Phi-3.5-mini oder Llama-3.1-8B in unverändertem Zustand, von allen Nutzern gemeinsam genutzt
2. Zusammensetzbare Domänenexperten-LoRA-Adapter — Niedrigrang-Adapter, die Verhalten formen (medizinische Domäne, rechtliche Domäne, Code) ohne eingebettete Nutzerdaten. LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Technik, die das Modellverhalten durch kleine zusätzliche Matrizen anstatt einer Änderung des vollständigen Modells modifiziert.
3. Benutzerspezifische Proxy-Artefakte — kleine, isolierte Dateien spezifisch für einen einzelnen Nutzer, deren Löschung „constitutes deterministic unlearning” darstellt — mathematisch äquivalent zur vollständigen Entfernung des Nutzer-Einflusses.

Was zeigen die experimentellen Ergebnisse?

Die Autoren evaluieren die Architektur auf Phi-3.5-mini und Llama-3.1-8B Modellen. Wichtige Metriken: Nach der Löschung des Proxys beträgt die KL-Divergenz (ein Maß für den Unterschied zwischen zwei Verteilungen, ausgedrückt in Nats) ungefähr 0,21 Nats — was das „return to baseline”-Verhalten bestätigt. Die Verifikations-Bestehensquote liegt bei 82–89 %, und die Kreuzkontamination zwischen Nutzern ist „near-zero”. Mit anderen Worten: Die Daten eines Nutzers fließen nicht in die Ausgaben anderer Nutzer ein — was für den Multi-Tenant-SaaS-Einsatz entscheidend ist.

Sicherheitsimplikationen jenseits der DSGVO

Über das Recht auf Löschung hinaus mildert die Architektur „by construction” drei klassische Angriffe auf KI-Modelle:

• Model Inversion — Versuch, Trainingsdaten aus Modellgewichten zu rekonstruieren
• Membership Inference — Feststellen, ob ein bestimmter Datensatz im Trainingsset enthalten war
• Training Data Extraction — direktes Extrahieren wörtlicher Daten aus Modellantworten

Zusätzlich ist die Architektur kompatibel mit DP-SGD (Differentially Private Stochastic Gradient Descent) zur Verbesserung gemeinsamer Komponenten mit formalen Datenschutzgarantien.

Was bedeutet das für die EU-AI-Act-Compliance?

Der EU AI Act, der sich 2026 in der vollständigen Implementierungsphase befindet, setzt sehr hohe Standards für Hochrisikosysteme — einschließlich obligatorischer Mechanismen zur Nutzerkontrolle über personenbezogene Daten. Ohne technische Lösungen wie Separable Expert setzen sich Unternehmen, die personalisierte KI-Dienste in der EU anbieten, ernstem regulatorischem Risiko aus. Dieses Paper bietet einen Produktionsweg zur Compliance ohne wirtschaftlich ruinöses Retraining — und könnte zur Referenzarchitektur für die nächste Generation von Enterprise-KI-Produkten werden.