HuggingFace, Ecom-RLVE-Gym 공개：강화학습으로 이커머스 에이전트를 훈련하는 8개 환경·12축 커리큘럼

Owlgebra AI 팀은 2026년 4월 16일 HuggingFace 블로그에서 프로젝트 Ecom-RLVE: Adaptive Verifiable Environments for E-Commerce Conversational Agents를 공개했습니다. 이 연구는 Cerebral Valley에서 열린 PyTorch OpenEnv Hackathon에서 탄생했으며, Rahul Bajaj, Jaya Nupur, Anuj Garg, Ben Burtenshaw 및 7명의 다른 공동 연구자들이 공동 저술했습니다.

어떤 문제를 해결하는가？

저자들의 출발점은 언어의 유창함이 태스크 성공을 보장하지 않는다는 관찰입니다——에이전트가 설득력 있는 대화를 하면서도 구매 목표를 달성하지 못할 수 있습니다. 지도 파인튜닝(SFT)은 실제 이커머스에 존재하는 제약 조건과 다단계의 방대한 조합——다양한 상품 변형, 품절 수량, 확인 요청, 반품, 매장 정책——을 커버할 수 없습니다. 그들의 해결책은 RLVR——Reinforcement Learning with Verifiable Rewards로, 보상은 LLM 평가로 계산하지 않고 예상 장바구니 상태와 결정론적으로 대조하여 검증됩니다.

Ecom-RLVE-Gym은 어떻게 작동하는가？

Gym은 8개의 검증 가능한 환경을 포함합니다：상품 발견, 대체 상품 제안, 장바구니 구성, 반품, 주문 추적, 정책 질문, 번들 플래닝, 멀티 인텐트 세션입니다. 각 시나리오의 난이도는 12개의 독립적인 축——제약 조건, 사용자 생략, 카탈로그 내 방해 요소, 재고 소진, 토큰 예산, 입력 노이즈, 컨텍스트 중단, 검색 깊이, 주문 이력, 정책 복잡성 등——으로 제어됩니다. 적응형 커리큘럼은 단계적으로 성장하며(C1 ⊂ C2 ⊂ C4 ⊂ C8 방식), 포화와 기아 현상을 방지합니다.

핵심 혁신은 알고리즘적 보상 검증입니다. LLM으로 결과를 평가하는 대신 복합 키 (product_id, variant_id, qty)를 검증합니다——장바구니의 실제 상태와 예상 상태의 대조입니다. 보상 함수는 F1 지표, 효율성, 환각에 대한 패널티를 결합합니다.

훈련의 기술적 세부 사항

훈련은 Qwen 3 8B 모델에서 DAPO 알고리즘을 사용하여 G=8 롤아웃, 학습률 1e-5로 진행되었습니다. 사용자 시뮬레이터는 **Qwen 3.5(9.7B)**로, 쿼리의 일부를 전략적으로 생략하여 에이전트가 확인 질문을 하도록 유도합니다. 카탈로그는 FAISS로 인덱싱된 200만 개의 상품을 포함하며, 임베딩은 Alibaba-NLP/gte-modernbert-base(768차원)를 사용합니다. 300 스텝 훈련 후 저자들은 난이도 레벨을 통한 점진적인 진전을 보고했으며, 환경의 스케일링(모델의 스케일링뿐 아니라)이 전문 태스크에서도 측정 가능한 향상을 가져온다는 주장을 뒷받침합니다.

모든 것이 공개되어 있습니다：코드는 GitHub(owlgebra-ai/EcomRLVE-Gym), 데이터셋은 HuggingFace(owlgebra-ai/Amazebay-catalog-2M), 그리고 브라우저에서 테스트할 수 있는 인터랙티브 데모도 있습니다. 이 연구는 현재 이커머스 대화형 에이전트의 RL 훈련을 위한 가장 포괄적인 오픈 벤치마크입니다.