Google: Neues statistisches Framework zur Prüfung von Machine Unlearning in KI-Modellen

Mónica Ribero, Forscherin bei Google Research, hat am 10. Juni 2026 ein neues statistisches Framework zur Prüfung von Machine Unlearning — dem technischen Mechanismus, durch den KI-Modelle spezifische Trainingsdaten „vergessen” sollen — veröffentlicht. Die Arbeit wurde zur Präsentation auf der Konferenz AISTATS 2026 angenommen.

Warum ist das Vergessen in KI-Systemen ein Problem?

Angenommen, ein Unternehmen hat personenbezogene Daten von Nutzern für das Training eines Empfehlungsmodells verwendet, und der Nutzer fordert anschließend die Löschung aller seiner Daten aufgrund des DSGVO-Rechts auf Vergessenwerden (Right to be Forgotten). Ein vollständiges Neu-Training des Modells von Grund auf — ohne diese Daten — ist rechnerisch extrem aufwendig und in der Praxis selten durchführbar. Stattdessen werden Machine-Unlearning-Algorithmen entwickelt, die ein bereits trainiertes Modell so modifizieren, dass es die Zieldaten „vergisst”.

Aber wie lässt sich überprüfen, dass das Vergessen tatsächlich gelungen ist? Genau hier liegt das regulatorische und technische Problem, das diese Arbeit löst.

Der fundamentale Mangel bisheriger Methoden

Der Standardansatz zur Prüfung von Unlearning verwendete Zwei-Stichproben-Tests (Two-Sample Tests): Die Verteilung des vergessenden Modells wird mit dem Basismodell verglichen und der statistische Unterschied gemessen. Das Problem ist fundamental — Modelle können Daten durch bloßes Anpassen von Parametern niemals perfekt vergessen. Es verbleibt immer ein Unterschied, was Standardtests dazu verleitet, korrekt trainierte, sichere Modelle fälschlicherweise als nicht konform zu markieren.

Ribero identifizierte diese Schwäche und entwarf ein Framework, das sie strukturell umgeht.

Regularized f-Divergence Kernel Tests: mehrere Sensoren für Verteilungen

Die zentrale Innovation heißt „Regularized f-Divergence Kernel Tests” — ein adaptives Framework, das gleichzeitig mehrere verschiedene Divergenzmaße (Divergence Measures) verwendet, analog dazu, dass ein Messinstrument mehrere Sensoren hat, die jeweils einen anderen Abweichungstyp detektieren:

• Chi-Quadrat-Divergenz (Chi-Squared Divergence) — betont glatte, lokalisierte Unterschiede in der Verteilung
• Kullback-Leibler (KL)-Divergenz — Standardmaß für globale Abweichungen in Wahrscheinlichkeitsverteilungen
• Hockey-Stick-Divergenz — speziell für Definitionen von Privatsphäre und Vergessen konzipiert, mit einem kontrollierten Schwellenwert, der formalen Datenschutzgarantien entspricht

Der entscheidende Vorteil: Das Framework wählt automatisch die optimale Divergenz und Hyperparameter für jedes Szenario, ohne manuelle Anpassung, die bisher eine Fehlerquelle und Reproduzierbarkeitshindernis war.

Test der relativen Distanz zwischen drei Modellen

Die wichtigste methodische Innovation ist der Drei-Stichproben-Test der relativen Distanz (Three-Sample Relative Distance Test). Anstelle der binären Frage „Unterscheidet sich das vergessende Modell vom Basismodell?” stellt der Test die dreifache Frage:

Ist die Verteilung des vergessenden Modells der sicheren, neu trainierten Version oder der kompromittierten Originalversion näher?

Diese Perspektivverschiebung eliminiert falsch-positive Ergebnisse: Der Unterschied zwischen dem vergessenden und dem neu trainierten Modell existiert immer, bedeutet aber nicht zwangsläufig, dass das Vergessen fehlgeschlagen ist — er bedeutet nur, dass das Modell nicht identisch mit einem vollständig neu trainierten ist. Das relevante Signal ist, welches Modell in der Verteilung näher liegt.

Experimentelle Ergebnisse des Frameworks

Die Evaluation vereinfachter Unlearning-Algorithmen lieferte klare und teilweise beunruhigende Ergebnisse:

• Random-Label-Zuweisung (Random Label) — bestand die Evaluation; der Drei-Stichproben-Test identifiziert diese Variante korrekt als sicher
• Fine-Tuning — unwirksam; die Zieldaten bleiben vorhanden
• Pruning — unwirksam; das Netz behält die angeforderten Informationen
• Selective Synaptic Dampening — unwirksam; der Ansatz der synaptischen Dämpfung reicht für echtes Vergessen nicht aus

Darüber hinaus markierten Standard-Zwei-Stichproben-Tests sichere, neu trainierte Modelle fälschlicherweise als nicht konform — genau das entgegengesetzte Ergebnis des Gewünschten — während das neue Framework sie korrekt identifiziert.

Hockey-Stick-Divergenz übertrifft DP-Auditorium

Im Bereich der Differential-Privacy-Prüfung (Differential Privacy Auditing) — einem eng verwandten Thema des Vergessens — übertrifft die Hockey-Stick-Divergenzvariante des Frameworks das Referenztool DP-Auditorium:

• Es wurden Datenschutzverletzungen in der Sparse-Vector-Technik (Sparse Vector Technique) mit nur Tausenden von Stichproben erkannt — gegenüber Millionen, die der DP-Auditorium-Ansatz benötigt
• Der Rechenaufwand für die Prüfung großer Modelle wird erheblich reduziert

Praktische Implikationen für Regulatoren und Prüfer

Das Framework adressiert eine der konkretesten regulatorischen Herausforderungen bei der Anwendung von KI-Gesetzgebung: den mathematischen Nachweis des Vergessens, den Prüfer regulatorischen Behörden vorlegen können, ohne Zugang zu internen Modellparametern oder Originaldaten zu benötigen.

Für die DSGVO-Konformität ist das äußerst relevant: Bisher konnten Organisationen nur behaupten, dass das Vergessen durchgeführt wurde. Dieses Tool ermöglicht statistische Verifikation — den Unterschied zwischen Behauptung und Nachweis.

Die Arbeit ist öffentlich über den Google Research Blog zugänglich, der vollständige akademische Text ist für die AISTATS 2026 Proceedings vorgesehen.