arXiv:2605.29157: Parallax 로컬 선형 어텐션, FlashAttention 대비 디코드 단계 12.9배 가속
Parallax는 대형 언어 모델용 새로운 어텐션 메커니즘으로, 표준 소프트맥스 어텐션을 로컬 선형 추정으로 대체하여 FlashAttention 대비 디코드 커널 12.9배 가속을 달성합니다. Northwestern 대학교 등의 연구자들은 0.6B 및 1.7B 파라미터 모델 사전학습에서 일관된 퍼플렉시티 개선을 보여주며, 어텐션 메커니즘을 위한 아키텍처-옵티마이저 코디자인의 첫 경험적 입증이라고 주장합니다.