vLLM에 통합된 DiffusionGemma: 260억 파라미터 최초 이산 확산 모델, 프로덕션 환경에 진입

vLLM 프로젝트, Google DeepMind, NVIDIA 팀이 오늘 DiffusionGemma를 vLLM에 통합했다고 발표했습니다. 이로써 프로덕션 추론 프레임워크인 vLLM이 최초로 네이티브 지원 이산 확산 언어 모델(dLLM, discrete diffusion language model)을 갖추게 되었습니다. 이 모델은 260억 파라미터를 보유하며 Gemma4 아키텍처를 기반으로 합니다.

확산 방식의 텍스트 생성은 어떻게 다른가?

기존의 대형 언어 모델(LLM)은 텍스트를 자기회귀(autoregressive) 방식으로, 즉 왼쪽에서 오른쪽으로 토큰을 하나씩 생성합니다. DiffusionGemma는 완전히 다른 방식으로 동작합니다. 노이즈로 채워진 256개 토큰 캔버스에서 출발하여 여러 단계에 걸쳐 반복적으로 정제함으로써 일관성 있는 텍스트를 만들어냅니다. 이 접근 방식은 자기회귀가 구조적으로 허용하지 않는 가능성을 열어줍니다. 예를 들어, 노이즈 제거 후반 단계에서 응답의 이전 부분을 수정할 수 있습니다.

아키텍처는 이중 모드로 설계되어 있습니다. 인코더 모드에서는 기존 트랜스포머와 동일하게 인과적(단방향) 어텐션을 사용하여 입력 프롬프트를 처리합니다. 반복적인 노이즈 제거에 사용되는 디코더 모드에서는 슬라이딩 윈도우(±W 토큰)를 갖춘 양방향 어텐션으로 전환하여, 모델이 캔버스의 각 토큰을 양방향으로 바라보고 전체를 조율할 수 있습니다.

완료 토큰 결정 메커니즘

DiffusionGemma는 **엔트로피 기반 샘플링(entropy-based sampling)**을 사용합니다. 각 노이즈 제거 단계에서 모델은 각 토큰에 대한 신뢰도를 계산하고, 누적 엔트로피가 미리 설정된 임계값을 초과할 때까지 가장 신뢰도 높은 토큰부터 순서대로 수용합니다. 이렇게 하면 가장 확실한 토큰은 일찍 「고정」되고, 불확실한 토큰은 더 많은 어텐션 반복을 받습니다.

반복 사이에 모델은 자기 조건화(self-conditioning) 신호도 받습니다. 이전 단계의 전체 소프트맥스 분포가 확률 가중 임베딩 평균으로 변환되어 추가 입력으로 모델에 전달됩니다. 이를 통해 수렴이 안정되고 후반 단계의 진동이 줄어듭니다.

vLLM 인프라에의 통합

팀은 완전히 새로운 코드를 작성하는 대신 vLLM 내의 기존 투기적 디코딩(speculative decoding) 인프라를 개조했습니다. 두 가지 주요 혁신이 있습니다.

• ModelState 추상화 — 비자기회귀 아키텍처를 위한 일반화된 모델 상태로, DiffusionGemmaModelState의 구체적인 구현이 요청별 확산 루프 상태를 추적합니다.
• DiffusionSampler — prefill(입력 채우기), denoise(반복 정제), commit(토큰 확정)의 세 단계를 구분하는 샘플링 핸들러입니다.

시퀀스별 동적 인과 어텐션 지원으로 혼합 배치가 가능합니다. 동일한 배치에서 인코더 모드와 디코더 모드 요청이 충돌 없이 공존할 수 있습니다.

측정된 성능

FP8 양자화 버전의 DiffusionGemma는 배치 크기 1 기준 NVIDIA H200 GPU에서 초당 1,288 토큰을 달성했으며, 자기회귀 비교 모델 대비 약 6배 빠릅니다. H100에서는 초당 1,008 토큰이 측정되었으며, 이는 자기회귀 대비 약 5배, 일부 비교 모델 변형 대비 2.6배 빠른 속도입니다.

두 가지 양자화 체크포인트가 제공됩니다.

• 동적 활성화를 갖춘 FP8
• 양자화된 가중치와 활성화를 갖춘 NVFP4

두 가지 모두 RedHatAI Hub에 공개되었으며 vLLM 내에서 즉시 사용할 수 있습니다.

생태계에 대한 의미

DiffusionGemma의 통합은 vLLM이 기존 자기회귀 모델에만 국한되지 않는다는 것을 보여줍니다. 투기적 디코딩 인프라를 일반화함으로써 이 프로젝트는 별도의 추론 스택을 작성할 필요 없이 미래의 확산 모델을 위한 문을 열었습니다. 이 프로젝트에는 Google DeepMind, vLLM 팀, NVIDIA 출신 11명의 기여자가 참여했으며, 이는 이 모델 클래스에 대한 장기적인 지지를 시사합니다.