arXiv:2607.14541: Atrex-Bench zeigt, dass LLM-generierte GPU-Kernel nur 10 % der angestrebten Hardware-Geschwindigkeit erreichen

Was ist Atrex-Bench, und was misst er?

Atrex-Bench ist ein Benchmark, den Lingyun Yang und Kollegen vorgestellt haben, um die Qualität von GPU-Kerneln zu testen — Low-Level-Code, der eine konkrete Operation, etwa eine Matrixmultiplikation, direkt auf dem Grafikprozessor ausführt. Der Benchmark verwendet 30 Operatoren und 440 Shapes, die aus echten produktiven Inference-Traces stammen, im Gegensatz zu synthetischen Tests, die die tatsächliche Auslastung nicht widerspiegeln.

Wie schnell ist LLM-generierter Code im Vergleich zum manuellen Optimum?

Evaluiert wurden 6 Frontier-Coding-Agenten, und die Ergebnisse offenbaren ein Problem: Selbst das beste „Vanilla”-Modell erreicht bei produktiven Operatoren nur rund 10 % des Hardware-Rooflines — des theoretischen Leistungsmaximums der Hardware. Der Vergleich mit manuell optimierten produktiven Baselines zeigt eine gewaltige Lücke: Die hohen Pass-Rate-Zahlen früherer Evaluationen sind teils irreführend, da sie oft PyTorch-Fallback-Code widerspiegeln und keinen tatsächlich generierten LLM-Kernel.

Die Lösung: Atrex-Kernel-Agent und eine Wissensbasis

Neben dem Benchmark stellt das Team den Atrex-Kernel-Agent (AKA) vor, einen Agenten mit einer „Optimization Dropout”-Technik und einer Wissensbasis aus 298 Referenz-Kernel-Dateien sowie 244 Optimierungsdokumenten. AKA wandelt nicht funktionierende Fallbacks in Kernel um, die mit manuell optimierten Baselines vergleichbar sind. Benchmark und Agent wurden als Open Source veröffentlicht.