ArXiv: standardni transformeri s Chain-of-Thought ne mogu rezonirati izvan TC^0 kompleksnosti — signpost tokeni omogućuju length-generalizable Turing simulaciju

Tim Krausa, Sarrofa, Yaa, Kollera i Hahna objavio je 28. travnja 2026. preprint Barriers to Universal Reasoning With Transformers (And How to Overcome Them) — teorijski rad koji ima izravne implikacije za skaliranje Chain-of-Thought reasoninga u current-gen LLM-ovima.

Što je dokazano?

Glavna teza preprinta: iako je u literaturi poznato da CoT teorijski povećava ekspresivnost transformera do Turing kompletnosti, ta tvrdnja ne vrijedi pod stroženim zahtjevom length-generalizable učenja (sposobnost rješavanja CoT traceova duljih od onih viđenih u treningu).

Citat iz abstracta:

“Pod standardnim positional encodings i konačnim alfabetom — transformeri s CoT-om ne mogu rješavati probleme izvan TC^0, tj. ekspresivnost benefits ne vrijede pod stroženom zahtjevu length-generalizable learnability.”

Praktična implikacija: mnogi reasoning problemi koji izgledaju kao da se rješavaju na trening dužinama, padaju kad se sequence length poveća. To objašnjava zašto LLM-ovi često “zaborave brojati” ili gube točnost na dugim aritmetičkim/logičkim lancima.

Predložena rješenja

Autori predlažu dva komplementarna mehanizma:

1. Dinamičko skaliranje vokabulara

Vokabular raste s veličinom problema. Time se izbjegava ograničenje “konačnog alfabeta” iz teorema.

2. Signpost tokeni + value-change encoding

• Signpost tokeni — jedinstveni identifikatori dodijeljeni svakoj poziciji “trake” simulacijskog stroja
• Value-change encoding — logiranje samo promjena stanja umjesto kompletnih stanja, što omogućuje rekonstrukciju kroz brojanje

Kombinacija postiže glavni rezultat:

“Length-generalizable simulacija Turing strojeva gdje je CoT trace duljina linearna u simuliranom runtimeu uz konstantni faktor.”

Drugim riječima: ovaj pristup probija TC^0 barijeru uz minimalan token overhead.

Empirijska validacija

Osim teorijskog dokaza, autori prilažu empirijsku validaciju — signpost tokeni i value-change encodingi pokazuju “praktična poboljšanja u length generalization performansi na kompleksnim problemima.” Konkretni benchmarci nisu u dohvaćenom abstractu, ali punija analiza treba slijediti u puni paperu.

Zašto je to važno?

Ovaj rad pomaže objasniti zašto scaling reasoning samo dodavanjem više CoT tokena ne radi — postoji fundamentalna teorijska prepreka, ne samo training data deficit. Implikacije za sljedeću generaciju LLM-ova:

• Arhitektura Anthropic Claude, OpenAI GPT i Gemini možda treba strukturalne dodatke za length generalization (signpost tokeni ili ekvivalent)
• Multiplicirani CoT chain-of-tools pristupi (poput Mistral Vibe ili Anthropic Claude Code Sub-agents) možda već impliciraju nešto slično signpost mehanizmu

Rad treba pratiti zajedno s industry najavama — ako neka next-gen flagship model objava spomene “novi positional encoding” ili “dinamički vokabular”, to je vjerojatno odgovor na ovaj klasu teorijskog problema.