arXiv:2607.14541: Atrex-Bench otkriva da LLM-generirani GPU kerneli dosežu tek 10% ciljane hardverske brzine

Što je Atrex-Bench i što mjeri?

Atrex-Bench je benchmark koji su predstavili Lingyun Yang i suradnici za testiranje kvalitete GPU kernela — niskorazinskog koda koji izvodi konkretnu operaciju, poput množenja matrica, izravno na grafičkom procesoru. Benchmark koristi 30 operatora i 440 shapeova prikupljenih iz stvarnih produkcijskih inference tragova (traceova), za razliku od sintetičkih testova koji ne odražavaju stvarno opterećenje.

Koliko brzo je LLM-generirani kod u odnosu na ručni optimum?

Evaluirano je 6 frontier coding agenata, a rezultati razotkrivaju problem: čak i najbolji “vanilla” model dosegne tek oko 10% hardware rooflinea — teoretskog maksimuma performansi hardvera — na produkcijskim operatorima. Usporedba s ručno optimiziranim produkcijskim baselineovima pokazuje golem jaz: visoke pass-rate brojke iz ranijih evaluacija djelomično su varljive jer često odražavaju PyTorch fallback kod, a ne stvarno generirani LLM kernel.

Rješenje: Atrex-Kernel-Agent i knowledge baza

Tim uz benchmark predstavlja i Atrex-Kernel-Agent (AKA), agenta s tehnikom “optimization dropout” i knowledge bazom od 298 referentnih kernel-fileova te 244 optimizacijska dokumenta. AKA pretvara nefunkcionalne fallbackove u kernele usporedive s ručno optimiziranim baselineovima. Benchmark i agent objavljeni su kao open-source.