arXiv:2607.09415: samovođeni test-time trening podiže dugokontekstne LLM-ove do 15%

Problem nasumičnog test-time treninga

Test-time training (TTT) je ažuriranje parametara modela na samom testnom ulazu tijekom inferencije — model se privremeno prilagođava konkretnom dokumentu koji obrađuje, bez prethodnog treninga na sličnim podacima. Ideja je intuitivno privlačna: ako model “prouči” dokument prije nego odgovori na pitanje o njemu, trebao bi biti precizniji.

Problem je u odabiru što točno trenirati. Istraživači su pokazali da TTT na nasumičnim rasponima teksta — slučajno odabranim ulomcima dugog dokumenta — zapravo šteti performansama, jer model usvaja irelevantne informacije i unosi šum u parametre. Nasuprot tome, TTT na “oracle” rasponima koji sadrže točno relevantne dokaze drastično pomaže. Taj jaz između nasumičnog i oracle pristupa motivirao je razvoj S-TTT metode.

Kako S-TTT premošćuje taj jaz?

Self-Guided Test-Time Training (S-TTT) rješava problem bez pomoćnih modela i bez dodatnih parametara: model sam identificira raspone dokaza unutar dugog dokumenta prije adaptacije. U prvom koraku model procjenjuje koji su ulomci najrelevantniji za dano pitanje. U drugom koraku trenira samo na tim odabranim rasponima, a tek onda generira odgovor.

Metoda je testirana na dva modela — Qwen3-4B-Thinking-2507 i Llama-3.1-8B-Instruct — što sugerira da je pristup primjenjiv na različite arhitekture, a ne samo na specijalizirani model. Testirani zadaci dolaze iz LongBench-v2 i LongBench-Pro skupova, koji zahtijevaju razumijevanje dokumenata duljine do stotina tisuća tokena.

Do 15% relativnog poboljšanja

Istraživači izvještavaju o do 15% relativnog poboljšanja performansi na LongBench-v2 i LongBench-Pro u usporedbi s baznim modelima bez TTT adaptacije. Za kontekst: poboljšanja u tom rasponu na etabliranim dugokontekstnim klopi-zadacima su značajna, posebno bez ikakvih promjena u arhitekturi modela ili skupova podataka za trening.

Ključna prednost S-TTT metode je njena jednostavnost: ne zahtijeva zasebni retrieval model, nema novih parametara za treniranje i ne mijenja model izvan trajanja jedne inferencije. Adaptacija je prolazna — parametri se resetiraju za svaki novi ulaz, pa nema akumulacije grešaka između upita.