arXiv:2605.03871: EvoLM — Sprachmodelle, die sich ohne externe Überwachung selbst verbessern

Ein neues arXiv-Paper stellt eine Post-Training-Methode vor, die die Abhängigkeit von externer Überwachung vollständig eliminiert. EvoLM ermöglicht es einem Sprachmodell, sich mithilfe sogenannter „Discriminative Rubrics” selbst zu verbessern — explizite Kriterienskalen, die iterativ gemeinsam mit dem Policy-Modell trainiert werden.

Was macht diesen Ansatz anders?

Klassisches RLHF (Reinforcement Learning from Human Feedback — eine Fine-Tuning-Methode auf Basis menschlicher Bewertungen) erfordert entweder menschliche Labels oder ein separates, darauf trainiertes Reward-Modell. EvoLM verwendet stattdessen temporalen Kontrast: Ältere Modellausgaben werden mit neueren verglichen, und aus dieser Differenz werden Signale zur Verbesserung der Rubrics extrahiert.

Das System strukturiert die inhärente Bewertungsfähigkeit des Modells in explizite Rubrics, die abwechselnd mit der Policy trainiert werden. Damit schließt sich eine Schleife, in der Generator und Evaluator dieselbe Basis teilen, aber asynchron voranschreiten.

Zahlen, die Industrie-Benchmarks verschieben

Der Qwen3-8B-Rubric-Generator übertrifft GPT-4.1 auf RewardBench-2 um 25,7 Prozentpunkte und SkyWork-RM (8B) — das bisherige State-of-the-Art-Reward-Modell — um 16 Prozentpunkte. Die mit dieser Methode trainierte Policy erreicht 69,3 % auf der OLMo3-Adapt-Evaluationssuite.

Dies ist ein seltener Fall, in dem ein offenes, vergleichsweise kleines Modell ein Frontier-Modell in der Evaluatorrolle übertrifft — eine Domäne, die bislang riesigen geschlossenen Systemen vorbehalten war.

Warum ist das für das RLHF-Ökosystem wichtig?

Wenn die Ergebnisse durch unabhängige Replikation bestätigt werden, eröffnet EvoLM den Weg zu günstigerem und transparenterem Training. Ein Reward-Modell ist ein Modell, das die Ausgabequalität eines anderen Modells bewertet; eine Rubric ist eine explizite Kriterienskala. Offene Alternativen zu GPT-4.1- und Claude-Judge-Systemen sind besonders wichtig für Forschungsteams und Unternehmen, die keine externe API-Abhängigkeit in der kritischen Trainingsphase wünschen.

Die Frage, wie robust die Methode gegenüber „Reward Hacking” ist, wenn das Modell sich selbst bewertet, bleibt offen — die Ergebnisse auf öffentlichen Benchmarks legen jedoch nahe, dass temporaler Kontrast ausreichenden Schutz vor Qualitätskollaps bietet.