PyTorch: Triton 3.7 donosi plugin-proširenja i TLX — do +15% throughputa na AMD MI350
PyTorch-Triton 3.7 uvodi dinamički plugin sustav i Meta-ov TLX paket. Na H100 premašuje cuBLAS za +3,7%, a na AMD MI350 postiže do +15% throughputa u odnosu na rocBLAS.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Triton dobiva dinamički plugin sustav
Triton — programski jezik otvorenog koda za pisanje GPU kernela (optimiziranih GPU rutina koje izvode specifične računske operacije) — u verziji 3.7 uvodi novi mehanizam proširenja putem varijable okoline TRITON_PLUGIN_PATHS. Radi se o dinamičkom plugin sustavu koji razvojnim timovima omogućuje dodavanje vlastitih compiler passa i optimizacija bez rekompilacije Tritona i bez forkanja repozitorija. Ključno: nema overheada od dinamičkog učitavanja — codegen je identičan kao kod ugrađenih implementacija.
Meta-ov TLX: mjerljivi dobici na H100 i AMD MI350
Kao referentna implementacija novog sustava stiže TLX (Triton Language Extensions), Meta-ov paket dostupan kao samostalna biblioteka utlx za NVIDIA i AMD ekosustave. Na H100 GPU-ovima, Triton s TLX-om premašuje NVIDIA-in cuBLAS za +3,7% — dosežući 573,2 TFLOPS na LLM radnim opterećenjima. cuBLAS je NVIDIA-ina ručno optimizirana biblioteka za linearnu algebru, dugo smatrana zlatnim standardom izvedbe.
Još značajniji su dobici na AMD strani: na AMD MI350 GPU-ovima TLX donosi +12–15% throughputa u odnosu na AMD-ov rocBLAS. GPUMode Trimul benchmark bilježi 1,61× ubrzanje — pad s 19,2 ms na svega 12,0 ms za matričnu multiplikaciju.
Što to znači za AI ekosustav?
Plugin sustav otvara vrata projektima poput TLX-a koji ranije nisu mogli doprijeti do krajnjih korisnika bez složene distribucije. Razlika u odnosu na prethodna rješenja jest u pristupu: umjesto da timovi forkauju Triton i ručno integriraju optimizacije, sada mogu distribuirati standalone paket koji se aktivira jednom varijablom okoline. Za AMD ekosustav, koji historijski zaostaje za NVIDIA-om u optimiziranim kernel bibliotekama, dobici od +12–15% na MI350 posebno su relevantan korak prema paritetnoj izvedbi u LLM inference i training scenarijima.
Izvor: PyTorch Blog
Česta pitanja
- Što je Triton u kontekstu GPU programiranja?
- Triton je programski jezik za pisanje GPU kernela — optimiziranih GPU rutina koje izvršavaju specifične računske operacije — bez potrebe za pisanjem nativnog CUDA ili HIP koda.
- Treba li rekompilacija Tritona za korištenje novih plugina?
- Ne — novi dinamički plugin sustav učitava proširenja bez rekompilacije ili forkanja Triton projekta, uz identičan codegen kao ugrađene implementacije.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.