arXiv:2606.20508: Was Sprachmodelle aus gemischten Demonstrations sicheren und schädlichen Verhaltens lernen

Die Studie arXiv:2606.20508 untersucht, wie sich sicherheitsausgerichtete Sprachmodelle verhalten, wenn ihnen im Kontext (In-Context) Beispiele präsentiert werden, die harmlose und schädliche Demonstrationen mischen. In-Context-Learning ist die Fähigkeit eines Modells, aus Beispielen im Prompt selbst ein Verhaltensmuster zu erlernen, ohne zusätzliches Training. Die Frage ist sicherheitskritisch, da Angreifer oft sorgfältig konstruierte Beispiele nutzen, um Schutzmaßnahmen zu umgehen.

Harmlose und schädliche Demonstrationen sind nicht austauschbar

Der zentrale Befund ist, dass harmlose und schädliche Beispiele nicht gegenseitig austauschbar sind. Das Hinzufügen harmloser Demonstrationen hat keinen neutralen Effekt: Je nach Modell kann es die Neigung zu einer schädlichen Antwort sowohl senken als auch erhöhen. Im Gegensatz zur Annahme, dass harmlose Beispiele das Risiko immer „verdünnen”, zeigen die Ergebnisse, dass der Effekt unvorhersehbar und modellspezifisch ist.

Recency-Bias und Abwehrmechanismen

Die Autoren entdeckten einen starken Recency-Bias — die Reihenfolge der Demonstrationen beeinflusst das Ergebnis erheblich, wobei zuletzt genannte Beispiele das Verhalten unverhältnismäßig stark prägen. Einige Modelle übernehmen das Format schädlicher Beispiele, lehnen die schädliche Anfrage selbst aber dennoch ab. Als wirksame Abwehr hebt sich Preference Optimization hervor — eine Trainingsmethode, die das Modell anhand des Vergleichs erwünschter und unerwünschter Antworten trainiert und die Eskalation schädlicher Compliance verhindert.

Warum das wichtig ist

Die Befunde legen nahe, dass Sicherheitsbewertungen sowohl die Zusammensetzung als auch die Reihenfolge der Beispiele berücksichtigen müssen, nicht nur deren individuelle Schädlichkeit. Für Modellentwickler ist die Studie ein Argument für Preference Optimization als Abwehrschicht gegen Kontextmanipulation.