arXiv:2607.12463: funktionsbewusstes FIM-Mid-Training verbessert Coding-Agenten um bis zu +5,4 auf SWE-Bench

Was sind FIM und Mid-Training?

FIM (Fill-in-the-Middle) ist eine Trainingstechnik, bei der das Modell einen Code-Ausschnitt zwischen einem gegebenen Präfix und Suffix ausfüllt — statt nur eine Fortsetzung zu generieren, muss es auch den nachfolgenden Kontext verstehen. Mid-Training ist die Phase zwischen Pre-Training (auf großen Korpora) und Fine-Tuning (auf spezifischen Aufgaben): Ziel ist es, die Grundlagen des Modells für eine bestimmte Domäne zu formen, ohne die allgemeinen Fähigkeiten zu zerstören. Yubo Wang und sieben Mitautoren kombinieren auf arXiv diese beiden Techniken zu einer neuen Methode speziell für Coding-Agenten.

Funktionsbewusstes FIM: die Rolle des Dependency-Graphen

Standard-FIM maskiert zufällige Code-Ausschnitte. Die Neuheit dieser Forschung liegt im funktionsbewussten Ansatz: Maskierte Regionen werden bewusst nach dem Program-Dependency-Graphen ausgewählt, der Abhängigkeiten zwischen Funktionen im Code modelliert. Das bedeutet, das Modell lernt genau jene Stellen zu füllen, an denen das Verständnis von Funktionsabhängigkeiten entscheidend ist — was realen Aufgaben von Coding-Agenten entspricht. Der Trainingskorpus umfasst 2,6 Milliarden Token aus 968 GitHub-Repositories, ein statistisch repräsentativer Querschnitt echter Codebasen.

Ergebnisse auf SWE-Bench: konkrete Sprünge

Die Methode wurde auf zwei Standard-Benchmarks für agentisches Programmieren validiert:

• SWE-Bench-Verified: Verbesserung um +2,8 bis +3,2 Punkte auf Qwen2.5-Coder (7B und 14B) und Qwen3-8B
• SWE-Bench-Lite: Verbesserung um +3,7 bis +5,4 Punkte

Verglichen mit typischen Fine-Tuning-Verbesserungen auf spezifischen Aufgaben, die selten 2–3 Punkte ohne Regression überschreiten, ist das bemerkenswert. Entscheidend: Die Methode bewahrt allgemeine Coding-Fähigkeiten auch neben agentenspezifischem Post-Training — die Verbesserung geht nicht auf Kosten der Modellqualität.

Warum das für kleine Modelle wichtig ist

Ergebnisse auf Modellen mit 7B und 8B Parametern sind besonders bedeutsam: Sie zeigen, dass Mid-Training geringere Modellkapazität bei agentischen Aufgaben kompensieren kann, die das Verstehen komplexer Code-Abhängigkeiten erfordern. Für Organisationen, die sich den Betrieb von Modellen mit Dutzenden von Milliarden Parametern nicht leisten können, bietet funktionsbewusstes FIM einen praktischen Weg zu leistungsfähigeren Coding-Agenten bei kontrollierten Inferenzkosten.