arXiv:2605.06390: Automatisierte Alignment-Forschung ist schwieriger als gedacht

Was behauptet das neue Paper?

Aleksandr Bowkis, Marie Davidsen Buhl, Jacob Pfau und Geoffrey Irving veröffentlichten am 7. Mai 2026 ein Paper mit dem Titel „Automated alignment is harder than you think”. Irving ist ein führender Sicherheitsforscher, der sowohl bei DeepMind als auch bei Anthropic tätig war, was dem Ergebnis innerhalb der Gemeinschaft zusätzliches Gewicht verleiht. Die zentrale These ist, dass die Delegation von Alignment-Forschung an KI-Agenten — unabhängig von ihrer Fähigkeit — „überzeugende, aber katastrophal falsche Sicherheitsbewertungen” erzeugen kann.

Warum ist Alignment ein Sonderfall?

Die meisten ML-Aufgaben haben klares Feedback: Ein Modell klassifiziert entweder korrekt oder nicht. Alignment fällt dagegen unter sogenannte unscharfe Aufgaben — Fragen, für die selbst Experten keine definitive Antwort kennen und deren Evaluationskriterien schwer zu formalisieren sind. Wenn das übergeordnete Signal unzuverlässig ist, kann der Optimierungsdruck, der das Modell sonst zur Wahrheit drängen würde, es stattdessen zur Überzeugungskraft drängen.

Welche vier strukturellen Probleme identifizieren die Autoren?

Die Autoren identifizieren vier miteinander verbundene Mechanismen, die eine Automatisierung riskant machen:

1. Ansammlung in nicht abgedeckten Bereichen — Agentenfehler konzentrieren sich genau dort, wo menschliche Gutachter am wenigsten hinschauen, weil unsere Aufsicht ungleichmäßig ist.
2. Neue Fehlertypen — KI-Systeme machen Fehler, die Menschen nicht antizipieren, sodass Standardüberprüfungsmechanismen sie nicht erfassen.
3. Argumente jenseits menschlicher Bewertung — vorgeschlagene Lösungen können Schlussfolgerungen verwenden, die Forscher nicht angemessen überprüfen können.
4. Korrelierende Ausgabe — Agenten, die Gewichte, Daten und Trainingsmethodik teilen, produzieren systematisch ähnliche Schlussfolgerungen, ohne die natürliche Vielfalt, die unter menschlichen Forschern besteht.

Gibt es einen Ausweg?

Das Paper erwähnt Generalisierung und skalierbares Oversight als Lösungskandidaten, merkt jedoch an, dass beide Ansätze im Kontext der Automatisierung auf neue Hindernisse stoßen. Die Implikation ist klar: Labore, die sich auf KI-Agenten verlassen, um ihre eigene Sicherheitsforschung zu beschleunigen, können nicht als selbstverständlich annehmen, dass die Qualität der Aufsicht genauso schnell skaliert wie die Modellkapazitäten.