arXiv:2606.26758: EGG — Mehrагenten-Framework generiert GPU-Kernel 2,13× schneller als PyTorch

Warum manuelle GPU-Kernel-Entwicklung nicht mehr skaliert

Ein GPU-Kernel — Low-Level-Code, der die parallele Berechnung auf der Grafikkarte direkt steuert — ist entscheidend für Geschwindigkeit und Kosten der LLM-Inferenz. Das Schreiben hochoptimierter Kernel erfordert traditionell tiefes Hardware-Wissen und wochenlangen Ingenieuraufwand. EGG (Expert-Guided agent framework for kernel Generation), eine Arbeit von Yaochen Han und Mitarbeitenden vom 25. Juni 2026, bietet einen automatisierten Weg: ein Mehrагenten-System, das Expertenwissen mit LLM-Codegenerierung verbindet.

Wie funktioniert der zweistufige Ansatz?

EGG unterteilt das Problem in zwei klar getrennte Schritte. Im ersten Schritt entwerfen Agenten die algorithmische Struktur — sie definieren die mathematischen Operationen und den Berechnungsgraphen. Im zweiten Schritt führen spezialisierte Agenten die hardwarespezifische Feinabstimmung durch: paralleles Thread-Mapping, Tensor Tiling (Anordnung von Daten in Matrixkacheln für effizienteren Speicherzugriff) und Optimierung des Speicherzugriffs für konkrete GPUs. Zwischen den Stufen überträgt der Mehrагenten-Mechanismus den Kontext, sodass jeder Agent ein vollständiges Bild der bisherigen Lösung hat und nicht im Vakuum arbeitet.

Ergebnisse: 2,13× schneller als PyTorch, besser als RL-Ansätze

Auf dem KernelBench — dem Standardaufgabensatz zur Bewertung automatisch generierter GPU-Kernel — erzielt EGG eine durchschnittliche Beschleunigung von 2,13× gegenüber der PyTorch-Baseline. Das ist ein messbarer Sprung sowohl über agentenbasierte Konkurrenten ohne Expertenführung als auch über Ansätze, die Reinforcement Learning zur Kernel-Optimierung nutzen. RL-basierte Systeme lernen durch Versuch und Irrtum; EGG bettet stattdessen Expertenregeln direkt in die Agentenanweisungen ein, was den Suchraum einschränkt und die Konvergenz zu einer korrekten und schnellen Lösung beschleunigt.

Praktische Bedeutung für den LLM-Einsatz

Schnellere Kernel bedeuten direkt geringere Inferenzkosten und kürzere Antwortzeiten für produktive LLM-Systeme. Sollte sich EGG über Forschungsbenchmarks hinaus als anwendbar erweisen, könnten Teams, die eigene Modelle einsetzen, Teile der Optimierung automatisieren, die heute den größten Ingenieuraufwand erfordern — ohne Spezialisten für Hardware-Optimierung.