PyTorch: TokenSpeed, NVIDIA Blackwell GPU로 Qwen3.5-397B-A17B에서 580 토큰/초 신기록 달성
MIT 라이선스의 오픈소스 LLM 추론 엔진 TokenSpeed(LightSeek Foundation)가 TP8 구성의 NVIDIA Blackwell B200 GPU 8개로 Qwen3.5-397B-A17B 모델에서 초당 580 토큰을 달성했습니다. 이 신기록은 프리픽스 캐싱과 CPU-GPU 실행 중첩을 사용하는 에이전틱 워크로드에서 달성되었으며, 1백만 토큰 컨텍스트에서도 성능 저하가 16% 미만입니다.
🤖
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
LightSeek Foundation이 TokenSpeed 추론 엔진을 공개했습니다 — 새로운 신기록: NVIDIA Blackwell B200 GPU 8개(TP8)로 초당 580 토큰.
TokenSpeed란 무엇이며 vLLM과의 차이점은?
TokenSpeed는 오픈소스 LLM 추론 엔진(MIT 라이선스)으로 LightSeek Foundation이 개발합니다. 목표: NVIDIA TensorRT-LLM 수준의 성능과 vLLM의 편의성. SPMD 방식과 정적 컴파일. Qwen3.5-397B-A17B는 Gated Delta Network(GDN) 메커니즘을 갖춘 하이브리드 아키텍처를 사용합니다.
주요 최적화
- GDN/Mamba용 하이브리드 프리픽스 캐싱: KV 캐시 적중률 90% 이상
- Mamba 상태 업데이트: O(L·D) → O(1) 포인터 업데이트
- 프리필-디코드 분리: 통신 중첩이 있는 3단계 핸드셰이크
- CUDA 그래프 캡처: 커널 시작 오버헤드 제거
긴 컨텍스트에서의 안정성
| 컨텍스트 | 처리량 |
|---|---|
| 128K | ~530 토큰/초 |
| 256K | ~495 토큰/초 |
| 1M | ~445 토큰/초 |
128K에서 1M으로 확장 시 ~16% 저하만 발생합니다.
에이전틱 워크로드 결과
- TP8: ~580 토큰/초(피크, 단일 사용자)
- TP4: 500+ 토큰/초
- 16명 병렬 사용자(TP4): GPU당 분당 ~2K 토큰
자주 묻는 질문
- TokenSpeed가 vLLM과 다른 점은 무엇인가요?
- TokenSpeed는 MIT 라이선스 오픈소스 LLM 추론 엔진으로 LightSeek Foundation이 개발합니다. 목표는 NVIDIA TensorRT-LLM 수준의 성능과 vLLM의 편의성을 결합하는 것입니다. SPMD 방식과 정적 컴파일을 사용합니다.
- 1백만 토큰 컨텍스트에서도 성능이 유지되는 이유는 무엇인가요?
- GDN/Mamba용 하이브리드 프리픽스 캐싱(캐시 적중률 90% 이상), Mamba 상태 업데이트 O(L·D)→O(1) 최적화, 프리필-디코드 분리가 긴 컨텍스트에서 성능을 유지합니다. 128K에서 1M으로 확장 시 16%만 저하됩니다.
📬 AI 뉴스를 받은편지함으로
나만의 방식으로 구성하는 일일 다이제스트 — 주제, 출처, 주기를 선택하세요. 원클릭 해지.