AMD：GEAK 에이전트가 MI355에서 DeepSeek-V4 MLA 커널을 자동 최적화, 최대 9배 가속

AMD는 AMD MI355 가속기에서 실행되는 DeepSeek-V4 모델에 GEAK 에이전트——AI 기반 GPU 커널 자동 생성 및 최적화 시스템——를 적용한 결과를 발표했습니다. PyTorch에서 Triton으로의 자동화된 마이그레이션은 수동 최적화가 비슷한 시간 내에 달성하기 어려운 가속을 가져옵니다.

MLA와 Triton——핵심 개념

**MLA（다중 헤드 잠재 어텐션）**는 DeepSeek-V4가 고전적인 다중 헤드 어텐션에 비해 KV 캐시 비용을 크게 줄이기 위해 사용하는 메모리 효율적인 어텐션 메커니즘 변형입니다——모델의 핵심 혁신이지만 하드웨어 최적화가 어렵습니다. Triton은 가속기의 하드웨어 특성을 직접 타겟으로 하는 GPU 커널 작성을 위한 프로그래밍 언어입니다. 범용 PyTorch와 달리, Triton 코드는 AMD MI355 아키텍처의 특정 메모리 계층 특성을 활용할 수 있습니다. GEAK 에이전트는 바로 이 전환을 자동화합니다——Triton 코드를 수동으로 작성할 필요가 없습니다.

구체적인 가속: 프리필, 디코딩, 엔드투엔드

AMD MI355에서의 측정은 추론의 모든 단계에서 명확한 이득을 보여줍니다. 프리필 단계（입력 프롬프트 처리）에서는 원래 PyTorch 구현과 비교해 구성 1에서 9.13배, 구성 2에서 6.92배 가속됩니다. 디코딩 단계（토큰 생성）에서는 26가지 다양한 구성에서의 기하평균 가속이 4.94배입니다. SGLang 프레임워크에서의 엔드투엔드에서 GEAK는 처리량 2.10배 향상과 TTFT（첫 번째 토큰까지의 시간）3.71배 단축을 가져오며, 이는 사용자 경험의 핵심 파라미터입니다.

SGLang 통합 및 정확도 검증

SGLang 프레임워크와의 통합은 병행 수준（동시 요청 2~32개）에 따라 엔드투엔드 16%~110% 개선을 보여주며, 더 높은 병행성이 상대적으로 더 큰 이득을 가져옵니다. 정확도 검증 결과는 특히 중요합니다: 304개 프리필과 4,748개 디코딩 테스트 케이스 모두 정확도 회귀 없이 통과했습니다. 가속은 근사화나 정확도 희생 없이 순수 하드웨어 커널 최적화로 달성되었습니다. GEAK는 이로써 AI 보조 GPU 코드 최적화가 수주간의 수동 엔지니어링 작업을 대체할 수 있음을 입증합니다.