ICML 2026 Spotlight: Stable-GFlowNet führt stabileres und vielfältigeres automatisiertes Red-Teaming von Sprachmodellen ein

Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han und Junmo Kim von KAIST und NAVER Cloud veröffentlichten am 1. Mai 2026 das Paper Stable-GFlowNet (S-GFN), das die prestigeträchtige ICML 2026 Spotlight-Auszeichnung erhielt. Dies ist ein erstklassiges Qualitätssignal — weniger als 5 % der auf der ICML akzeptierten Papers erhalten einen Spotlight — und macht diesen Ansatz zum automatisierten Red-Teaming von Sprachmodellen zum Referenzwerk für 2026.

Das zentrale Problem, das das Paper löst, ist Trainingsinstabilität und Mode Collapse in GFlowNets — einer Art neuronaler Netzwerke, die lernen, vielfältige Stichproben aus einer Verteilung proportional zu einer Belohnungsfunktion zu generieren. Im Red-Teaming-Kontext muss ein GFlowNet Angriffe auf ein Ziel-Sprachmodell mit variierenden Mustern generieren, nicht nur Varianten desselben Jailbreaks.

Wie löst Stable-GFlowNet das Stabilitätsproblem?

S-GFN eliminiert die Schätzung der Partitionsfunktion Z — ein komplexes Integral, das bei klassischen GFlowNets Trainingsinstabilität verursacht. Stattdessen führen die Autoren paarweise Trajektorienvergleiche (Contrastive Trajectory Balance) ein: Anstatt die absolute Belohnungsskala zu schätzen, vergleicht das Netzwerk den Erfolg zweier Angriffe miteinander.

Die technische Konsequenz ist erheblich: Paarweise Vergleiche sind robust gegenüber Belohnungsrauschen (das Zielmodell kann inkonsistente Angriffserfolgs-Signale zurückgeben), während sie gleichzeitig die Haupteigenschaft des GFlowNet bewahren — die Generierung vielfältiger Stichproben.

Was ist der “Fluency Stabilizer”?

Der zweite technische Beitrag ist ein Fluency Stabilizer, der die Konvergenz zu minderwertigen Lösungen verhindert. Beim Red-Teaming kann instabiles Training das Modell zu „Angriffen” treiben, die tatsächlich bedeutungslose Token-Sequenzen sind (hohe Belohnung aufgrund eines Fehlers in der Belohnungsfunktion, nicht tatsächlicher Wirksamkeit). Der Stabilisator filtert solche pathologischen Moden heraus und hält die generierten Anfragen sprachlich kohärent.

Warum ist vielfältiges Red-Teaming so wichtig?

Systeme, die nur Varianten desselben Jailbreaks generieren, verfallen schnell in Mode Collapse — sie finden ein Loch (z. B. ein Rollenspiel „tue so als ob du DAN wärst”) und variieren es endlos. Ein Sicherheitsteam, das dieses eine Loch schließt, glaubt irrtümlich, das Problem gelöst zu haben, weil das Red-Teaming-System andere Muster nicht abdeckt.

S-GFN deckt eine breitere Angriffsverteilung ab, was bedeutet, dass nach einem Behebungszyklus eine größere Anzahl verschiedener Schwachstellen entdeckt und adressiert wurde. Für KI-Anbieter (Anthropic, OpenAI, Google), die vor dem Einsatz rechtlich Robustheit nachweisen müssen, reduziert ein solches Tool das Risiko öffentlicher Zwischenfälle.

Wie fügt es sich in das breitere Sicherheitsökosystem ein?

Das Paper baut auf einer Reihe jüngerer Arbeiten zum automatisierten Red-Teaming auf — Microsoft Research veröffentlichte am 30. April eine Analyse von Agentennetzwerken, ARMOR 2025 setzte am 30. April einen doktrinären Militär-Benchmark, und verschiedene Labore arbeiten an der Erkennung von Alignment-Faking. Stable-GFlowNet ist die methodische Grundlage, die alle anderen Rahmenwerke für die Generierung von Testszenarien nutzen können.

Für Forscher bleibt die Verfügbarkeit von Code und Checkpoints eine offene Frage — die Autoren versprechen eine spätere Veröffentlichung, was für ICML Spotlight Papers typisch ist.