arXiv:2606.27483: Internalizing the Future — einheitliches Training-Paradigma für World-Model-Planning von LLM-Agenten

Was ist ein World Model und vorausschauendes Planen?

LLM-Agenten — Sprachmodelle, die Aufgaben autonom ausführen — reagieren heute typischerweise auf den aktuellen Zustand, ohne intern die Konsequenzen zu bewerten. Das Fehlen von vorausschauendem Planen (zukunftsgerichtetem Planen) bedeutet, dass der Agent nicht beurteilen kann, wie gut ein Plan ist, bevor er ihn ausführt. Das World Model (Weltmodell) ist genau dieser interne Mechanismus: die Fähigkeit, mögliche zukünftige Zustände der Umgebung zu simulieren — ähnlich den Gedankenexperimenten „Was würde passieren, wenn ich das täte?”.

Das Preprint „Internalizing the Future”, das Tencent-Forscher am 25. Juni 2026 auf arXiv einreichten, identifiziert das Kernproblem: Durch Standard-Feintuning entwickeln LLM-Modelle nur oberflächliche, superfizielle Vorhersagen — ohne echte Verankerung in der Ausführungslogik der Aufgaben.

Dreistufiges Training: WM-AMT, FE-SFT und FC-RL

Das neunköpfige Tencent-Autorenteam — Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu und Yuan Qi — schlägt ein Training in drei Phasen vor:

1. WM-AMT (World Model Agentic Mid-Training): In der Mid-Training-Phase lernt das Modell, „Prospective State Rollouts” zu generieren — Projektionen zukünftiger Zustände — und Erfolgsabschätzungen für einen Plan zu erstellen.
2. FE-SFT (Format-Eliciting Supervised Fine-Tuning): Durch überwachtes Feintuning lernt das Modell, diese Vorhersagen in einem konsistenten, verwendbaren Format zu strukturieren.
3. FC-RL (Foresight-Conditioned Reinforcement Learning): Durch Reinforcement Learning (RL) werden die Vorhersagen kalibriert und werden für agentenbasierte Entscheidungen wirklich nützlich.

Im Gegensatz zu reaktiven LLM-Agenten, die eine Antwort ohne interne Simulationen der Zukunft generieren, internalisiert Internalizing the Future diesen Prozess in ein einziges autoregresses Modell, das gleichzeitig zukünftige Zustände vorhersagt und den Erfolg bewertet.

Bestätigen die Ergebnisse diesen Ansatz?

Evaluierungen bei Schlussfolgerungs- und Suchaufgaben zeigen, dass der Ansatz Baseline-Methoden konsistent übertrifft. Konkrete numerische Ergebnisse sind in der öffentlich verfügbaren arXiv-Zusammenfassung nicht detailliert aufgeführt — was für Arbeiten üblich ist, die gerade erst eingereicht wurden und noch keine unabhängige Begutachtung durchlaufen haben. Internalizing the Future bleibt ein akademisches Preprint von Tencent, dessen breitere Bestätigung noch aussteht.