Anthropic entwickelt „Off Switch” für gefährliches Wissen: GRAM isoliert Dual-Use-Fähigkeiten in entfernbare Module

Ein neuer Ansatz zur Kontrolle gefährlichen Wissens

Jedes hinreichend leistungsfähige Sprachmodell ist gleichzeitig ein potenzielles Missbrauchswerkzeug: Derselbe Text über Pathogene, der einem Forscher hilft, kann auch einem Akteur helfen, der biologische Waffen entwickelt. Der Standardansatz für dieses Problem – Filterung von Trainingsdaten oder nachträgliches Unlearning – hat die Anforderungen von Sicherheitsforschern nie vollständig erfüllt.

Anthropic hat in Zusammenarbeit mit AE Studio eine Forschungsarbeit veröffentlicht, die einen grundlegend anderen Ansatz vorschlägt: Anstatt gefährliches Wissen nach dem Training zu entfernen, wird es während des Trainings in spezielle, entfernbare Komponenten des Modells isoliert.

Was ist GRAM und wie funktioniert es

GRAM (Gradient-Routed Auxiliary Modules) fügt jedem Layer der Transformer-Architektur eine Reihe neuronaler Module hinzu – eines für jede Dual-Use-Wissenskategorie. Die zentrale Innovation liegt in der Art des Lernens: Wenn das Modell auf Dual-Use-Inhalte trifft (z. B. Text über Virussynthese), werden die allgemeinen Modellparameter vorübergehend eingefroren. Nur das relevante Modul – beispielsweise das „Virologie-Modul” – aktualisiert seine Gewichte aus diesem Material.

Das Ergebnis ist eine saubere Trennung: Allgemeines Wissen und Schlussfolgerungsfähigkeiten bleiben in den Basisparametern unberührt, während Dual-Use-Wissen ausschließlich im dedizierten Modul lebt. Das Löschen eines Moduls entfernt die entsprechenden Fähigkeiten annähernd so effektiv, als wäre das Modell nie auf diesen Daten trainiert worden – das ist die zentrale Behauptung der Forschungsarbeit.

Drei Phasen experimenteller Tests

Die Forscher haben in einem methodischen Ansatz drei separate Prüfphasen durchgeführt.

Die erste Phase verwendete synthetische Daten – kleine Modelle, die auf Kindergeschichten trainiert wurden. Das Ziel war, das Grundprinzip zu beweisen: Gibt es tatsächlich getrennte Gradientenpfade und funktioniert das Löschen von Modulen?

Die zweite Phase wechselte zu realistischen Daten: Webtext, Code und wissenschaftliche Arbeiten, mit vier Dual-Use-Kategorien – Virologie, Cybersicherheit, Kernphysik und spezialisierte Programmiersprachen. Die Experimente bestätigten, dass das Löschen von Modulen die Fähigkeiten in jeder dieser Kategorien effektiv entfernt, ohne allgemeine Aufgaben zu beeinträchtigen.

Die dritte Phase testete die Skalierbarkeit über sieben Modellgrößen von 50M bis 5B Parametern. Zentraler Befund: Die Effektivität von GRAM nimmt mit der Modellgröße zu – die Lücke zwischen der Version mit Modul und der Version ohne Modul wird größer, wenn die Modelle wachsen.

Warum ist das für die KI-Sicherheit wichtig?

Bisherige Methoden – Datenfilterung und Unlearning – haben einen gemeinsamen Nachteil: Alle sind anfällig für Versuche, Wissen wiederherzustellen. Mit ausreichend hartnäckigem Fine-Tuning oder adversariellen Angriffen können die Fähigkeiten teilweise zurückgewonnen werden.

GRAM ist gegenüber diesen Versuchen robuster, weil Dual-Use-Wissen nie in den Teil des Modells eingebettet wird, der durch nachträgliches Training reaktiviert werden könnte. Eine Wiederherstellung würde erfordern, die Module von Grund auf neu zu trainieren – eine teure Operation, die Zugang zu den Originaldaten und der Trainingsinfrastruktur erfordert.

Praktisch gesehen ergibt ein Trainingsdurchlauf mit vier Dual-Use-Kategorien 16 verschiedene Modellkonfigurationen (2⁴ = 16). Eine Organisation kann Modelle mit deaktiviertem Virologie-Modul an Kunden verteilen, die diese Fähigkeit nicht benötigen, während Forschungseinrichtungen mit entsprechender Freigabe die Version mit aktiviertem Modul erhalten – alles aus demselben Training, ohne erneuten Durchlauf.

Einschränkungen und Forschungsstatus

Es ist wichtig zu betonen, was GRAM noch nicht ist: Anthropic stellt ausdrücklich fest, dass die Methode bisher auf kein Produktions-Claude-Modell angewendet und nicht auf Frontier-Skalen (über 5B Parameter) getestet wurde.

Die Forscher weisen auch darauf hin, dass die Messung des Begriffs „Dual-Use-Wissen” selbst kein triviales Problem ist – die Grenze zwischen legitimem und gefährlichem Wissen ist unscharf und kontextabhängig. GRAM bietet eine technische Lösung für Isolation und Löschung, aber die Definition was isoliert werden soll, bleibt eine politische und epistemische Herausforderung.

Dennoch stellt GRAM eine konzeptionelle Verschiebung dar, die langfristig beeinflussen könnte, wie Frontier-Modelle entwickelt und verteilt werden – mit eingebauten Zugriffskontrollen auf Wissen, die gegenüber bisherigen Post-Hoc-Ansätzen robuster sind.