vLLM과 Tencent Hunyuan, NVIDIA Hopper GPU를 위한 두 가지 HPC 백엔드 업스트림

Tencent Hunyuan AI Infra 팀과 vLLM 팀이 메인스트림 vLLM 프로젝트에 두 개의 고성능 백엔드를 공동으로 업스트림했습니다. HPC_ATTN 어텐션 백엔드와 hpc MoE 백엔드로, vLLM 포크나 코어 수정 없이 1급 컴포넌트로 사용 가능합니다. 이 기여는 산업 팀이 내부 이점으로 보유하는 대신 의존하는 오픈 프로젝트에 프로덕션급 커널 최적화를 직접 업스트림하는 드문 사례 중 하나입니다.

vLLM 생태계의 두 가지 새로운 HPC 백엔드

Tencent Network Platform 부서, Hunyuan AI Infra 팀, vLLM/Inferact 메인테이너 간의 협력은 현대 LLM 추론의 두 가지 만성적 병목 현상에 대한 해결책을 제시합니다: 디코드 단계의 동적 부하 분산과 FP8 MoE 라우팅 오버헤드. 두 백엔드 모두 vLLM의 표준 등록 메커니즘—어텐션용 PR #46020과 MoE 백엔드용 PR #45924—을 통해 통합되어, 사용자들이 코어 수정 없이 구성 파라미터를 통해 새 백엔드를 선택할 수 있습니다.

백엔드가 검증된 참조 모델은 Tencent Hunyuan 모델인 Hy3로, 총 2,950억 파라미터와 210억 활성 파라미터를 갖습니다. 이 모델은 top-8 라우팅을 갖춘 192명의 전문가, 64개의 쿼리 헤드와 8개의 KV 헤드, 헤드 차원 128, 256K 토큰 컨텍스트 윈도우를 포함합니다. 투기적 디코딩 레이어(MTP)는 추가로 38억 파라미터를 더합니다.

동적 스케줄링이 어텐션에서 왜 중요합니까?

정적 split-KV 스케줄은 배치 내의 균일한 시퀀스 길이를 가정합니다. 프로덕션 환경에서 이는 거의 성립하지 않습니다—짧은 요청과 긴 요청의 혼합은 이미 작업을 마친 컴퓨팅 유닛에서 유휴 대기를 만들어내며, 다른 유닛들은 여전히 긴 시퀀스를 처리합니다. 결과는 배치 내 길이 분산에 비례하는 낭비된 GPU 사이클입니다.

HPC_ATTN 백엔드는 현재 생성 단계에서 각 시퀀스의 실제 길이에 비례하여 컴퓨팅 유닛에 64 토큰 타일을 분배하는 단계별 부하 균형 디코드 스케줄러로 이 문제를 해결합니다. 융합된 프롤로그는 RoPE 회전, QK-Norm 정규화, KV-write 작업을 단일 커널 패스로 결합하여, 이 작업들 사이의 중복 메모리 읽기와 쓰기를 제거합니다.

128K 토큰 하나와 4K 토큰 31개의 혼합 워크로드에서, 동적 스케줄은 정적 동등 방식보다 2.95배 속도 향상을 달성합니다. FlashInfer 및 FlashAttention 구현에 비한 평균 이점은 혼합 길이 디코드 배치에서 2.25배입니다. 백엔드는 BF16과 FP8 정밀도를 지원합니다.

FP8 MoE 파이프라인을 단일 실행 경로로

표준 MoE 추론은 일련의 별도 커널 호출을 거칩니다: 라우팅, Gate-Up GEMM, 활성화 함수, 양자화, Down GEMM, top-k 리덕션. 커널 간의 각 전환은 High Bandwidth Memory(HBM)로의 왕복을 의미하며, 배치가 작고 지연 시간이 중요한 디코드 지배적 워크로드에서 이는 하드웨어의 실제 계산 속도를 가리는 지배적인 오버헤드가 됩니다.

hpc 백엔드는 Programmatic Dependent Launch(PDL) 연쇄를 사용하여 전체 파이프라인을 단일 실행 경로로 융합합니다. 라우팅 테이블은 HBM 대신 공유 메모리에 보관되어 단계 간 전문가 인덱스의 비용이 많이 드는 페치를 제거합니다. 아키텍처는 Hopper 세대의 하드웨어 기능에 일관된 FP8 전용입니다.

NVIDIA H20 GPU에서의 측정 결과

엔드투엔드 측정은 Hy3 모델을 사용한 8× H20 구성에서 수행되었습니다. 첫 번째 토큰까지의 시간(TTFT)이 평균 24% 감소했습니다. 출력 토큰당 시간(TPOT)이 평균 17% 개선되었으며, 배치 크기 64에서 최대 개선은 **30%**에 달합니다.

MoE 백엔드는 TP8/EP1 구성에서 최고의 기준 솔루션(Triton/CUTLASS) 대비 1.59배 낮은 지연 시간을, TP1/EP8에서는 1.21배를 달성합니다. 이점은 소형 및 중형 배치 크기에서 가장 두드러지며, 이는 최소 지연 시간으로 소수의 동시 요청을 서비스해야 하는 일반적인 프로덕션 디코드 시나리오에 해당합니다.

포크 없는 통합과 Hopper 특이성

두 백엔드 모두 Hopper 아키텍처 GPU 전용으로, H20이 최적 플랫폼으로 지정됩니다. PDL 메커니즘과 Hopper 특화 명령어에 대한 의존은 이전 아키텍처로의 확장이 간단하지 않으며 발표되지 않았음을 의미합니다.

공식 PR 프로세스를 통해 업스트림함으로써, Tencent Hunyuan 팀은 모든 vLLM 사용자에게 각 새로운 업스트림 릴리스와 함께 포크를 관리하지 않고도 최적화에 접근할 수 있게 하는 기여 모델을 따릅니다. Hopper 클러스터에서 MoE 추론을 확장하는 운영자들에게, 이는 표준 vLLM 업그레이드 사이클을 통해 직접 적용 가능한 개선입니다.