PyTorch：Triton 3.7, 플러그인 확장 및 TLX 도입——AMD MI350에서 처리량 최대 +15%
PyTorch-Triton 3.7은 동적 플러그인 시스템과 Meta의 TLX 패키지를 도입합니다. H100에서 cuBLAS 대비 +3.7%를 초과하며, AMD MI350에서는 rocBLAS 대비 최대 +15%의 처리량 향상을 달성합니다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
Triton, 동적 플러그인 시스템을 탑재하다
Triton——특정 연산을 수행하는 최적화된 GPU 커널을 작성하기 위한 오픈소스 프로그래밍 언어——은 버전 3.7에서 환경 변수 TRITON_PLUGIN_PATHS를 통한 새로운 확장 메커니즘을 도입합니다. 이는 개발 팀이 Triton을 재컴파일하거나 저장소를 포크하지 않고도 자체 컴파일러 패스와 최적화를 추가할 수 있게 하는 동적 플러그인 시스템입니다. 핵심은 동적 로딩으로 인한 오버헤드가 전혀 없다는 점입니다. 코드 생성은 내장 구현과 동일합니다.
Meta의 TLX: H100과 AMD MI350에서의 측정 가능한 성과
새 시스템의 참조 구현으로 TLX（Triton Language Extensions）가 등장합니다. 이는 NVIDIA 및 AMD 생태계를 위한 독립 라이브러리 utlx로 제공되는 Meta의 패키지입니다. H100 GPU에서 TLX를 탑재한 Triton은 LLM 워크로드에서 NVIDIA의 cuBLAS를 +3.7% 초과하여 573.2 TFLOPS를 달성했습니다. cuBLAS는 NVIDIA의 수작업으로 최적화된 선형 대수 라이브러리로, 오랫동안 성능의 황금 표준으로 여겨져 왔습니다.
AMD 측의 성과는 더욱 두드러집니다. AMD MI350 GPU에서 TLX는 AMD의 rocBLAS 대비 +12~15%의 처리량 향상을 실현합니다. GPUMode Trimul 벤치마크는 1.61배 가속을 기록했습니다. 행렬 곱셈 처리 시간이 19.2밀리초에서 단 12.0밀리초로 단축되었습니다.
AI 생태계에 있어 무엇을 의미하는가?
플러그인 시스템은 TLX와 같이 이전에는 복잡한 배포 없이 최종 사용자에게 도달할 수 없었던 프로젝트의 문을 열어줍니다. 이전 솔루션과의 차이는 접근 방식에 있습니다. 팀이 Triton을 포크하고 최적화를 수동으로 통합하는 대신, 이제 환경 변수 하나로 활성화할 수 있는 독립 패키지를 배포할 수 있습니다. 최적화된 커널 라이브러리에서 역사적으로 NVIDIA에 뒤처져 온 AMD 생태계에게 있어, MI350에서의 +12~15% 향상은 LLM 추론 및 학습 시나리오에서 성능 동등성을 향한 중요한 진전입니다.
출처: PyTorch Blog
자주 묻는 질문
- GPU 프로그래밍 맥락에서 Triton이란 무엇입니까?
- Triton은 네이티브 CUDA 또는 HIP 코드를 작성할 필요 없이 특정 연산을 수행하는 최적화된 GPU 루틴（GPU 커널）을 작성하기 위한 프로그래밍 언어입니다.
- 새 플러그인을 사용하려면 Triton을 다시 컴파일해야 합니까?
- 아닙니다. 새로운 동적 플러그인 시스템은 Triton 프로젝트의 재컴파일이나 포크 없이 확장을 로드하며, 내장 구현과 동일한 코드 생성을 제공합니다.
📬 AI 뉴스를 받은편지함으로
나만의 방식으로 구성하는 일일 다이제스트 — 주제, 출처, 주기를 선택하세요. 원클릭 해지.