arXiv:2607.14541: Atrex-Bench, LLM이 생성한 GPU 커널이 목표 하드웨어 속도의 단 10%에 그친다는 것을 밝히다

Atrex-Bench란 무엇이며 무엇을 측정하는가?

Atrex-Bench는 Lingyun Yang과 공동 저자들이 발표한 벤치마크로, GPU 커널 — 행렬 곱셈처럼 구체적인 연산을 그래픽 프로세서에서 직접 실행하는 저수준 코드 — 의 품질을 테스트합니다. 이 벤치마크는 실제 운영 추론 트레이스(trace)에서 수집된 30개의 연산자와 440개의 형상을 사용하며, 실제 작업 부하를 반영하지 못하는 합성 테스트와는 차별화됩니다.

LLM이 생성한 코드는 수동 최적화된 최적값 대비 얼마나 빠른가?

6개의 프론티어 코딩 에이전트가 평가되었으며, 결과는 한 가지 문제를 드러냅니다. 최고 성능의 ‘바닐라’ 모델조차 실제 운영 연산자에서 하드웨어 루프라인(roofline, 하드웨어 성능의 이론적 최댓값)의 약 10%에 그칩니다. 수동으로 최적화된 실제 운영 베이스라인과 비교하면 그 격차는 엄청납니다. 이전 평가에서 나온 높은 통과율 수치는, 실제로 생성된 LLM 커널이 아니라 흔히 PyTorch 폴백 코드를 반영하는 것이었기에 부분적으로 오해의 소지가 있었습니다.

해결책: Atrex-Kernel-Agent와 지식 베이스

연구팀은 벤치마크와 함께 Atrex-Kernel-Agent(AKA)를 발표했습니다. 이는 ‘optimization dropout’ 기법과 298개의 참조 커널 파일 및 244개의 최적화 문서로 구성된 지식 베이스를 갖춘 에이전트입니다. AKA는 작동하지 않는 폴백을 수동 최적화된 베이스라인에 필적하는 커널로 변환합니다. 벤치마크와 에이전트는 모두 오픈소스로 공개되었습니다.