ArXiv ARMOR 2025: erster militärischer LLM-Sicherheitsbenchmark mit 519 Prompts über 21 kommerzielle Modelle

Sydney Johns, Heng Jin, Chaoyu Zhang, Y. Thomas Hou und Wenjing Lou von der Virginia Tech veröffentlichten am 30. April 2026 ARMOR 2025 — den ersten Sicherheitsbenchmark, der Sprachmodelle nach militärischen statt zivilen Standards bewertet. Die Arbeit schließt eine selten diskutierte Lücke: Tests wie HarmBench messen allgemein schädliches Verhalten (Bombenanleitungen, Desinformation), prüfen aber nicht das Verständnis des Kontexts militärischer Operationen.

Die grundlegende These: Bestehende Rahmenwerke unterscheiden nicht zwischen legalen und illegalen Handlungen nach Kriegsrecht, Einsatzregeln und Joint Ethics Regulation — den zentralen Doktrinrahmen professioneller Streitkräfte. Ein Modell, das jede militärisch kontextierte Anfrage blind ablehnt, ist in der praktischen Anwendung ebenso nutzlos wie eines, das bedingungslos nachgibt.

Woraus besteht der Benchmark?

ARMOR 2025 umfasst 519 doktrinär fundierte Prompts, organisiert in einer 12-Kategorien-Taxonomie und nach dem OODA-Rahmen strukturiert: Observe (Beobachten), Orient (Ausrichten), Decide (Entscheiden), Act (Handeln). Jeder Prompt trägt eine explizite doktrinäre Referenz — welche Regulation oder welches internationale Recht gilt und welches Modellverhalten erwartet wird.

Die Prompts sind keine einfachen „Wie mache ich X”-Anfragen — sie enthalten komplexe Szenarien zu Legalität, Verhältnismäßigkeit und der Unterscheidung von Kombattanten und Zivilisten. Das Modell muss erkennen, dass ein Teil des Szenarios eine Doktrin-Frage ist, keine technische Ausführungsaufgabe.

Wie schnitten die 21 kommerziellen Modelle ab?

Das Paper testet 21 kommerzielle Sprachmodelle systematisch durch die gesamte Taxonomie und misst sowohl Antwortgenauigkeit als auch Konsistenz der Ablehnungen. Detaillierte Ergebnisse pro Modell finden sich in den Anhängen, aber das allgemeine Fazit ist klar: Es gibt kritische Lücken bei der Sicherheitsausrichtung für militärische Anwendungen.

Die häufigsten Fehler umfassen inkonsistente Ablehnungen (das Modell lehnt einmal ab, erfüllt dann denselben Anfragetyp), Fehlinterpretation des Kontexts (ein hypothetisches Szenario wird als operativer Befehl behandelt) und mangelndes Verhältnismäßigkeitsverständnis.

Warum dieser Benchmark jetzt?

Das Thema kommt in einem Moment, in dem Regierungen und Rüstungsunternehmen kommerzielle Sprachmodelle aktiv in operative Hilfsmittel integrieren — Chat-Assistenten für Geheimdienstanalysen, Berichtserstellungstools, Entscheidungsunterstützungssysteme. Ohne doktrinären Test basiert der Einsatz auf zivilen Sicherheitsmaßstäben, die militärische Besonderheiten übersehen.

Für KI-Anbieter (Anthropic, OpenAI, Google, Mistral, Cohere) wird ARMOR 2025 zu einem informellen „Must-pass”, wenn sie für Verteidigungsverträge in Betracht gezogen werden wollen. Für die Forschungsgemeinschaft öffnet der Benchmark das Gebiet des doktrinären Alignments — die Ausrichtung von Modellen an formalen Rechtsrahmen statt an subjektiven Normen.

Was der Benchmark nicht abdeckt

Die Autoren erkennen Einschränkungen klar an: ARMOR 2025 konzentriert sich auf anglo-amerikanische Doktrin (US Joint Ethics, Kriegsrecht nach Pentagon-Interpretation) und umfasst keine europäischen Regelungen (z. B. Bundeswehr-Richtlinien oder französische ROE), noch analysiert er Modellverhalten unter NATO als kombiniertem Rahmen. Das eröffnet Raum für die nächste Benchmark-Generation, die ein breiteres Doktrinspektrum abdeckt.