TruDi란 무엇이며 어떤 문제를 해결하나요?

TruDi는 대규모 병렬 온폴리시 RL 환경에서 확산 정책의 안정적인 학습을 가능하게 하는 최초의 방법입니다. 이 환경에서는 데이터 분포의 빠른 변화가 학습 불안정성을 야기합니다.

TruDi는 어떻게 학습 안정성을 달성하나요?

최종 샘플뿐만 아니라 전체 확산 경로의 모든 디노이징 단계에서 KL-발산 제약을 적용하는 신뢰 영역 최적화를 통해.

평가에 포함된 작업 수는 몇 개인가요?

TruDi는 대규모 병렬 RL을 위한 4개의 벤치마크에서 73개 작업을 평가받았으며, 특히 복잡한 휴머노이드 제어에서 두드러진 진전을 보입니다.

TruDi: 온폴리시 RL을 위한 확산 정책

TruDi는 전체 확산 경로에 KL-발산 제약을 적용한 신뢰 영역 최적화를 사용하여, 대규모 병렬 온폴리시 RL 환경에서 확산 정책의 안정적인 학습을 가능하게 하는 최초의 방법입니다. 4개의 벤치마크에서 73개 작업을 통해 강력한 기준선과 경쟁하거나 이를 능가하는 결과를 달성하며, 휴머노이드 제어에서 특히 명확한 진전을 보입니다.

확산 정책이 병렬 학습에서 장벽에 부딪히다

대규모 GPU 병렬화에 기반한 강화학습은 로봇과 가상 캐릭터를 제어하는 에이전트 학습을 위한 지배적인 패러다임이 되었습니다. 그러나 가우시안 정책이 이 환경에서 안정적으로 작동하는 반면, 계획 및 복잡한 동작 생성에서 뛰어난 결과를 보여온 확산 모델들은 이 장벽에 계속해서 부딪혔습니다. 이유는 정확합니다: 온폴리시 환경에서는 학습 데이터 분포가 업데이트 단계 사이에 빠르게 변합니다. 여러 디노이징 단계를 거치는 확산 모델들은 이 분포 이동에 특히 민감하며 쉽게 불안정해집니다.

TruDi란 무엇이며 이 문제를 어떻게 해결하나요?

연구자 팀 — Huy Le, Onur Celik, Denis Blessing 외 — 은 TruDi(Trust-Region Diffusion Policies)를 제안했습니다: 대규모 병렬, 온폴리시 RL 환경에서 확산 정책의 성공적인 학습을 가능하게 하는 최초의 방법. 논문의 핵심 기여는 이전 접근법과 달리, 최종 샘플링 결과뿐만 아니라 전체 확산 경로에 걸쳐 KL-발산 제약을 적용하는 신뢰 영역 최적화의 적용입니다. 이 선택은 우연이 아닙니다: 확산 과정의 중간 단계들은 서로 의존적이기 때문에, 최종 샘플만 제약하는 것은 경로를 따른 분포 이동을 방지하기에 충분하지 않습니다. TruDi는 프로세스의 모든 단계에서 발산을 명시적으로 추적하고 제약함으로써 이를 해결하여, 공격적인 병렬 업데이트에서도 학습이 안정적으로 유지됩니다.

4개의 벤치마크에서 73개 작업으로 평가

방법의 일반화를 확인하기 위해, 저자들은 대규모 병렬 RL을 위한 4개의 벤치마크에 걸쳐 73개 작업으로 TruDi를 평가했습니다. 결과는 TruDi가 표준 작업에서 강력한 기준선을 일관되게 능가하거나 동등한 수준을 유지한다는 것을 보여줍니다.

방법이 가장 뚜렷한 장점을 보이는 것은 더 어려운 범주에서입니다: 휴머노이드 로봇 제어. 휴머노이드 제어는 전통적으로 긴 계획 지평에 걸친 많은 자유도의 협응을 요구하기 때문에 특별한 도전을 제시합니다 — 확산 정책의 표현력이 두드러지지만, 학습이 안정적인 경우에만. TruDi는 바로 그 안정성을 제공합니다.

새로운 강력한 기준선으로서의 확산 정책

TruDi의 실용적 기여는 벤치마크 우승자를 넘어섭니다: 이 논문은 확산 정책을 대규모 병렬 온폴리시 RL을 위한 새롭고 합법적인 기준선으로 확립합니다 — 이 체제는 지금까지 거의 가우시안 정책의 독점적 영역이었습니다.

가우시안 정책은 예측 가능하고 분석적으로 관리 가능한 동작을 가지며, 이는 학습 안정성이 우선순위일 때 자연스러운 선택입니다. 그러나 그 표현력은 가정하는 분포 형태에 의해 제한됩니다. 확산 모델은 그러한 제약을 부과하지 않으며 행동에 대한 복잡한 다중 모드 분포를 모델링할 수 있습니다 — 이는 휴머노이드 보행이나 정밀 조작과 같은 작업에서 특히 귀중한데, 여기서는 ‘올바른’ 해결책이 여러 가지일 수 있습니다.

TruDi는 처음으로 안정성을 희생하지 않고도 그 표현력을 이용 가능하게 만듭니다. 이로써 확산 정책을 이국적인 대안이 아닌 표준 구성요소로 사용하는 대규모 병렬 RL 후속 연구의 가능성이 열립니다.

성공의 핵심으로서 방법론적 정밀성

신뢰 영역 제약이 적용되는 수준이 왜 중요한지 강조할 가치가 있습니다. 고전적인 신뢰 영역 알고리즘에서 제약은 블랙박스로 보이는 전체 정책에 적용됩니다. 정책이 가우시안이면 이것은 간단합니다 — 분포는 닫힌 형태를 가집니다. 확산 정책에서 행동 분포는 닫힌 형태가 없는 다단계 프로세스의 산물로 나타나므로, 발산을 추정하거나 제약하는 것이 훨씬 더 어렵습니다.

TruDi는 제약을 확산 과정의 궤적 수준으로 확장하여 이 문제를 해결합니다: KL-발산이 모든 디노이징 단계에서 측정되고 적용되어, 정책 업데이트가 눈에 보이는 행동 수준뿐만 아니라 중간 프로세스 수준에서도 안전한 신뢰 영역 내에 머물도록 합니다. 이 차이가 작동하는 방법과 불안정성으로 떨어지는 방법의 차이를 만듭니다.

로보틱스와 제어에 대한 함의

대규모 병렬 온폴리시 RL은 현재 물리적 로보틱스, 특히 GPU에서 수천 개의 시뮬레이션 인스턴스를 동시에 실행하는 시뮬레이션 환경에서의 정책 학습을 위한 지배적인 접근법 중 하나입니다. 확산 정책을 그 생태계에 통합하는 것 — TruDi가 바로 가능하게 하는 것 — 은 잠재적으로 학습이 빠르고 행동 모델링에서 높은 표현력을 가진 정책을 향한 길을 열어줍니다.

2026년 6월 13일 제출된 이 논문은 로보틱스 커뮤니티가 생성 모델을 학습 루프에 활용하는 방법을 집중적으로 찾고 있는 시점에 등장합니다. TruDi는 지금까지 만족스러운 해결책 없이 남아있던 질문에 대한 하나의 구체적이고 평가된 답을 제공합니다.

arXiv: TruDi — 대규모 병렬 온폴리시 RL을 위한 확산 정책