arXiv:2605.15514: RoPE kann in langen Kontexten weder Positionen noch Token unterscheiden — theoretischer Beweis einer fundamentalen Einschränkung
arXiv:2605.15514 liefert den mathematischen Beweis, dass Rotary Positional Embeddings (RoPE), der Positionsmechanismus nahezu aller modernen LLMs einschließlich Llama, Mistral, Qwen und GPT-NeoX, in langen Kontexten die Fähigkeit verliert, Positionen und Token zu unterscheiden. Die Autoren fordern grundlegend neue Architekturmechanismen.