arXiv:2605.15514: RoPE matematički ne razlikuje pozicije ni tokene u dugim kontekstima — teorijski dokaz fundamentalnog ograničenja
arXiv paper 2605.15514 donosi matematički dokaz da Rotary Positional Embeddings (RoPE), pozicijski mehanizam koji koriste gotovo svi moderni veliki jezični modeli uključujući Llamu, Mistral, Qwen i GPT-NeoX, gubi sposobnost razlikovanja pozicija i tokena u dugačkim kontekstima. Autori zaključuju da su potrebni fundamentalno novi arhitekturni mehanizmi.