vLLM：TML Inkling Day-0 지원——GB200에서 1조 파라미터 모델이 380 tokens/s 달성

vLLM과 TML Inkling이란 무엇인가?

vLLM（대규모 언어 모델 추론을 위한 오픈소스 엔진）은 TML Inkling에 대한 Day-0 지원을 발표했습니다. 이는 시스템의 후속 업데이트를 기다리지 않고 새 모델의 공개 당일부터 지원이 제공됨을 의미합니다. TML Inkling은 1조 파라미터（10¹²）를 보유한 멀티모달 모델로, 공개적으로 이용 가능한 모델 중 가장 무거운 클래스에 속합니다. 비교하자면, GPT-4는 약 1.8조 파라미터로 추정되며, 현재 대부분의 오픈소스 모델은 70억에서 700억 파라미터를 보유하고 있습니다.

성능은 어느 정도인가?

4개의 NVIDIA GB200 GPU에서 TML Inkling을 구동한 vLLM은 사용자당 초당 380개 토큰을 달성했습니다. 이 규모의 모델로서는 매우 뛰어난 성능입니다. 시스템은 MTP（multi-token prediction——하나씩이 아닌 여러 토큰을 동시에 예측）를 활용하여 텍스트와 이미지 생성을 추가로 가속화합니다. 또한 장문 맥락 추론과 다양한 병렬 처리 방식（텐서 병렬, 파이프라인 병렬）을 지원하여 다수의 GPU로 확장할 수 있습니다.

AI 인프라 개발에 있어 왜 중요한가?

이번 통합은 vLLM 코어 수정을 필요로 하지 않습니다. TML Inkling은 기존 시스템에서 바로 동작합니다. 이는 이미 vLLM을 사용하는 조직이 기존 스택에 추가 수정 없이 즉시 1조 파라미터 멀티모달 모델을 서비스할 수 있음을 의미합니다. 이전에는 이 규모의 모델을 위해 전용 추론 프레임워크나 상당한 수정이 필요했던 것에 비해, 이번 발전은 프런티어 모델의 프로덕션 적용에 대한 진입 장벽을 크게 낮춥니다.

출처: vLLM Blog