arXiv:2607.14541：Atrex-Bench、LLM生成のGPUカーネルが目標ハードウェア速度のわずか10%にしか達しないことを明らかにする

Atrex-Benchとは何であり、何を測定するのか？

Atrex-Benchは、Lingyun Yangと共著者らが発表したベンチマークで、GPUカーネル——行列の乗算のような具体的な演算をグラフィックプロセッサ上で直接実行する低レベルのコード——の品質をテストします。このベンチマークは、実際の実運用の推論トレース（trace）から収集された30のオペレーターと440の形状を使用しており、実際のワークロードを反映しない合成テストとは一線を画しています。

LLM生成コードは手動最適化の最適値と比べてどれほど速いのか？

6つのフロンティアコーディングエージェントが評価され、その結果は問題を浮き彫りにしています。最良の「バニラ」モデルでさえ、実運用のオペレーターにおいてハードウェアルーフライン——ハードウェア性能の理論上の最大値——の約10%にしか達しません。手動で最適化された実運用のベースラインとの比較は、その差の大きさを示しています。以前の評価における高い合格率の数字は、実際に生成されたLLMカーネルではなく、しばしばPyTorchのフォールバックコードを反映しているため、部分的には誤解を招くものでした。

解決策：Atrex-Kernel-Agentと知識ベース

研究チームはベンチマークとともに、Atrex-Kernel-Agent（AKA）を発表しました。これは「optimization dropout」という技術と、298の参照カーネルファイルおよび244の最適化ドキュメントからなる知識ベースを備えたエージェントです。AKAは、機能しないフォールバックを、手動最適化されたベースラインに匹敵するカーネルへと変換します。ベンチマークとエージェントはいずれもオープンソースとして公開されています。