arXiv: TruDi — Diffusionsrichtlinien für massiv-paralleles On-Policy-RL

Diffusionsrichtlinien stoßen beim parallelen Training an eine Grenze

Reinforcement Learning mit massiver GPU-Parallelisierung ist zur dominierenden Paradigma für das Training von Agenten geworden, die Roboter und virtuelle Figuren steuern. Während Gauß-Richtlinien in dieser Umgebung stabil funktionieren, scheiterten Diffusionsmodelle — die in Planung und Generierung komplexer Bewegungen herausragende Ergebnisse gezeigt hatten — konstant an diesem Hindernis. Der Grund ist präzise: In einer On-Policy-Umgebung ändert sich die Datenverteilung für das Training schnell zwischen den Aktualisierungsschritten. Diffusionsmodelle, deren Sampling-Prozess durch viele Denoising-Schritte verläuft, sind für diese Verschiebung besonders anfällig und neigen leicht zur Instabilität.

Was ist TruDi und wie löst es dieses Problem?

Ein Forscherteam — Huy Le, Onur Celik, Denis Blessing und Mitarbeiter — schlug TruDi (Trust-Region Diffusion Policies) vor: die erste Methode, die Diffusionsrichtlinien erfolgreich das Training in einer massiv-parallelen, On-Policy-RL-Umgebung ermöglicht. Der zentrale Beitrag der Arbeit ist die Anwendung der Trust-Region-Optimierung mit KL-Divergenz-Beschränkung, die — im Gegensatz zu früheren Ansätzen — über den gesamten Diffusionspfad angewendet wird und nicht nur auf das final gesampelte Ergebnis. Diese Wahl ist nicht zufällig: Da die Zwischenschritte des Diffusionsprozesses voneinander abhängig sind, reicht es nicht aus, nur das Endergebnis zu beschränken, um Verteilungsverschiebungen entlang des Pfades zu verhindern. TruDi löst dies durch explizite Verfolgung und Beschränkung der Divergenz in jedem Schritt des Prozesses, wodurch das Training auch bei aggressiven parallelen Updates stabil bleibt.

Evaluierung auf 73 Aufgaben über 4 Benchmarks

Um die Generalisierung der Methode zu bestätigen, evaluierten die Autoren TruDi auf 73 Aufgaben über 4 Benchmarks für massiv-paralleles RL. Die Ergebnisse zeigen, dass TruDi konsistent mit starken Baselines mithalten kann oder diese bei Standardaufgaben übertrifft.

Die deutlichsten Vorteile zeigt die Methode bei der anspruchsvolleren Kategorie: der Steuerung humanoider Roboter. Humanoid-Steuerung stellt traditionell eine besondere Herausforderung dar, da sie die Koordination einer großen Anzahl von Freiheitsgraden bei langen Planungshorizonten erfordert — genau das Umfeld, in dem die Ausdrucksstärke von Diffusionsrichtlinien zur Geltung kommt, aber nur wenn das Training stabil ist. TruDi liefert diese Stabilität.

Diffusionsrichtlinien als neue starke Baseline

Der praktische Beitrag von TruDi geht über das Benchmark-Ergebnis hinaus: Die Arbeit etabliert Diffusionsrichtlinien als neue, legitime Baseline für massiv-paralleles On-Policy-RL — ein Regime, das bis dato fast ausschließlich das Territorium von Gauß-Richtlinien war.

Gauß-Richtlinien haben ein vorhersehbares und analytisch handhabbares Verhalten, was sie zur natürlichen Wahl macht, wenn Trainingsstabilität Priorität hat. Ihre Ausdrucksstärke ist jedoch durch die vorausgesetzte Verteilungsform begrenzt. Diffusionsmodelle legen keine solchen Beschränkungen auf und können komplexe, multimodale Aktionsverteilungen modellieren — was besonders wertvoll für Aufgaben wie humanoiden Gang oder feine Manipulation ist, wo es mehrere „richtige” Lösungen geben kann.

TruDi macht diese Ausdrucksstärke erstmals ohne Opferung der Stabilität verfügbar. Damit eröffnet es die Möglichkeit, dass künftige Forschungen zu massiv-parallelem RL Diffusionsrichtlinien als Standardkomponente einsetzen — nicht als exotische Alternative.

Methodische Präzision als Schlüssel zum Erfolg

Es ist erwähnenswert, warum das Niveau der Trust-Region-Beschränkung entscheidend ist. In klassischen Trust-Region-Algorithmen wird die Beschränkung auf die gesamte Richtlinie als Black Box angewendet. Bei einer Gauß-Richtlinie ist das trivial — die Verteilung hat eine geschlossene Form. Bei Diffusionsrichtlinien entsteht die Aktionsverteilung als Produkt eines mehrstufigen Prozesses ohne geschlossene Form, was die Schätzung oder Beschränkung der Divergenz erheblich schwieriger macht.

TruDi löst dieses Problem durch Ausdehnung der Beschränkung auf die Trajektorienebene des Diffusionsprozesses: Die KL-Divergenz wird in jedem Denoising-Schritt gemessen und durchgesetzt, wodurch sichergestellt wird, dass das Richtlinienupdate auch auf Ebene der Zwischenprozesse innerhalb der sicheren Trust-Region bleibt — nicht nur auf Ebene der sichtbaren Aktion. Diese Unterscheidung macht den Unterschied zwischen einer Methode, die funktioniert, und einer, die in Instabilität fällt.

Implikationen für Robotik und Steuerung

Massiv-paralleles On-Policy-RL ist derzeit einer der dominierenden Ansätze für das Training von Richtlinien in der physischen Robotik, insbesondere in Simulationsumgebungen, die auf der GPU gleichzeitig Tausende von simulierten Instanzen ausführen. Die Integration von Diffusionsrichtlinien in dieses Ökosystem — was TruDi ermöglicht — eröffnet potenziell einen Weg zu Richtlinien, die sowohl schnell zu trainieren als auch hochgradig ausdrucksstark bei der Modellierung von Aktionen sind.

Die Arbeit, eingereicht am 13. Juni 2026, kommt in einem Moment, in dem die Robotik-Community intensiv nach Wegen sucht, generative Modelle in die Trainingsschleife zu integrieren. TruDi bietet eine konkrete, evaluierte Antwort auf eine Frage, die bisher ohne befriedigende Lösung blieb.