arXiv:2605.03195: Terminus-4B — 4 Milliarden Parameter für Terminal-Execution auf Augenhöhe mit Claude Opus und GPT-5.3-Codex bei SWE-Bench Pro mit ~30 % weniger Haupt-Agent-Token

Spandan Garg, Vikram Nitin und Yufan Huang veröffentlichten am 4. Mai 2026 ein arXiv-Preprint, das die These testet, dass ein spezialisiertes kleines Modell einen Frontier-LLM für eine eng begrenzte Agenten-Teilaufgabe ersetzen kann — Terminal-Execution. Terminus-4B, ein Qwen3-4B-Fine-Tune, erreicht auf dem SWE-Bench-Pro-Benchmark Claude Sonnet, Claude Opus und GPT-5.3-Codex und übertrifft diese in einigen Fällen.

Was ist SWE-Bench Pro und warum ist er relevant?

SWE-Bench Pro ist ein Benchmark, der die Fähigkeit von KI-Agenten misst, reale Software-Engineering-Aufgaben aus GitHub-Issues selbständig zu lösen. Der Agent muss ein Repository klonen, relevante Dateien lokalisieren, das Projekt kompilieren, Tests ausführen und einen Patch einreichen, der die gesamte Test-Suite besteht. Der Unterschied zum originalen SWE-Bench liegt darin, dass SWE-Pro eine unabhängige Testgruppe und strengere „Bestanden”-Kriterien einführt, was ihn zu einem rigoroseren Benchmark macht.

Die Autoren testen das Modell zusätzlich auf einem internen SWE-Bench-C#-Benchmark und zeigen, dass die Spezialisierung auch auf weniger vertretene Sprachen im Trainings-Set übergeht.

Wie wird die ~30-%-Reduzierung der Haupt-Agent-Token erreicht?

Terminus-4B übernimmt die Rolle eines Subagenten, an den der Haupt-Agent alle Build-, Test- und Shell-Befehle delegiert. Verbose Ausgaben (Build-Logs, Test-Traces, Exception-Stacks) bleiben im Subagenten-Kontext isoliert, während der Haupt-Agent in seinem Fenster nur eine Zusammenfassung der Ergebnisse sieht. Dadurch sinkt der Token-Verbrauch des Haupt-Agenten um etwa 30 % bei gleichbleibender Qualität.

Das Training ist zweistufig: zuerst Supervised Finetuning (SFT) auf Traces erfolgreicher Terminal-Ausführung, dann Reinforcement Learning mit rubric-basierter LLM-as-Judge-Belohnung, die Genauigkeit und Sicherheit ausgeführter Befehle nach vordefinierten Kriterien bewertet.

Was bedeutet das für Agenten-System-Architekturen?

Die Arbeit geht in Richtung spezialisierter Modularität: Statt eines einzigen Frontier-Modells, das alles erledigt — von der Planung bis zur Shell-Befehlsausführung — wird das System in einen „großen Verstand” für das Reasoning und „kleine Arbeiter” für repetitive Aufgaben aufgeteilt. Eine ähnliche Idee findet sich in Anthropics Claude Cowork und Microsofts AutoGen, aber Terminus-4B zeigt erstmals, dass bereits ein 4B-Modell für vollständige Parität als Frontier-Modell-Ersatz in der Terminal-Teilaufgabe ausreicht.

Es bleibt abzuwarten, wie weit sich dieser Ansatz auf andere Teilaufgaben ausdehnen wird (Browser-Automatisierung, Code-Review, Regressions-Triage), aber die Ergebnisse auf einem öffentlichen Benchmark legen nahe, dass die Spezialisierung kleiner Modelle eine ernsthafte Alternative zu teurem Frontier-Inferenz ist.