PyTorch: Triton 3.7 bringt Plugin-Erweiterungen und TLX — bis zu +15 % Durchsatz auf AMD MI350

Triton erhält ein dynamisches Plugin-System

Triton — die Open-Source-Programmiersprache zum Schreiben von GPU-Kerneln (optimierten GPU-Routinen für spezifische Rechenoperationen) — führt in Version 3.7 einen neuen Erweiterungsmechanismus über die Umgebungsvariable TRITON_PLUGIN_PATHS ein. Dieses dynamische Plugin-System ermöglicht es Entwicklungsteams, eigene Compiler-Passes und Optimierungen hinzuzufügen, ohne Triton neu zu kompilieren oder den Repository zu forken. Entscheidend: Es gibt keinen Overhead durch das dynamische Laden — der Codegen ist identisch mit eingebauten Implementierungen.

Metas TLX: messbare Gewinne auf H100 und AMD MI350

Als Referenzimplementierung des neuen Systems kommt TLX (Triton Language Extensions), Metas Paket als eigenständige utlx-Bibliothek für NVIDIA- und AMD-Ökosysteme. Auf H100-GPUs übertrifft Triton mit TLX NVIDIAs cuBLAS um +3,7 % und erreicht 573,2 TFLOPS bei LLM-Workloads. cuBLAS ist NVIDIAs handoptimierte lineare Algebra-Bibliothek, die lange als Goldstandard der Leistung galt.

Noch bedeutsamer sind die Gewinne auf AMD-Seite: Auf AMD-MI350-GPUs liefert TLX +12–15 % Durchsatz gegenüber AMDs rocBLAS. Der GPUMode-Trimul-Benchmark verzeichnet eine 1,61-fache Beschleunigung — ein Rückgang von 19,2 ms auf nur 12,0 ms bei der Matrizenmultiplikation.

Was bedeutet das für das KI-Ökosystem?

Das Plugin-System öffnet die Tür für Projekte wie TLX, die bisher ohne aufwendige Distribution keine Endnutzer erreichen konnten. Der Unterschied zu früheren Lösungen liegt im Ansatz: Statt Triton zu forken und Optimierungen manuell zu integrieren, können Teams jetzt ein eigenständiges Paket verteilen, das mit einer einzigen Umgebungsvariable aktiviert wird. Für das AMD-Ökosystem, das historisch hinter NVIDIA bei optimierten Kernel-Bibliotheken zurückliegt, sind Gewinne von +12–15 % auf MI350 ein relevanter Schritt Richtung Leistungsparität bei LLM-Inferenz und Training.

---

Quelle: PyTorch Blog