arXiv:2605.15514: RoPE는 긴 컨텍스트에서 위치도 토큰도 구별할 수 없다――근본적 한계의 이론적 증명
arXiv 논문 2605.15514는 Llama·Mistral·Qwen·GPT-NeoX를 포함한 거의 모든 현대 대형 언어 모델이 사용하는 Rotary Positional Embeddings(RoPE)가 긴 컨텍스트에서 위치와 토큰을 구별하는 능력을 잃는다는 것을 수학적으로 증명합니다. 저자들은 근본적으로 새로운 아키텍처 메커니즘이 필요하다고 결론짓습니다.