vLLM: Session-Aware Agentic Routing smanjuje prebacivanja modela za 79 posto

Projekt vLLM predstavio je Session-Aware Agentic Routing (SAAR), novu mogućnost svojeg Semantic Routera. SAAR donosi odluke o odabiru modela uzimajući u obzir cijeli tijek agentskog razgovora, umjesto da svaku poruku tretira kao nezavisan događaj.

Što SAAR zapravo rješava?

Dosadašnji routing modela mogao je za svaku poruku odabrati drugačiji model, što kod dugotrajnih agentskih razgovora dovodi do nepotrebnih i potencijalno nesigurnih prebacivanja. SAAR pomiče kontrolu s pojedinačne poruke na razinu cijele sesije, čime se čuva koherentnost razgovora. Mehanizam razlikuje zabranjena prebacivanja, primjerice tijekom aktivne petlje s alatima, od dopuštenih, koja se događaju nakon mirovanja ili promjene zadatka.

Kakvi su rezultati testiranja?

Na 21.600 determinističkih turnusa, raspoređenih kroz pet sjemena, 40 sesija po sjemenu i 18 turnusa po sesiji, SAAR je smanjio broj prebacivanja modela za 79,29 posto, s 9.709 na 2.011. Nesigurna prebacivanja, kojih je bilo 3.836, smanjena su na nulu. Procijenjeni troškovi pali su za 78,71 posto. U stvarnoj primjeni na 2.896 zahtjeva na AMD ROCm zabilježeno je nula prekršaja kontinuiteta.

Od čega se SAAR sastoji?

SAAR oko postojećeg routing procesa dodaje pet komponenti. Router Memory prati posljednji korišteni model, fazu i dokaze o predmemoriji, odvojeno od memorije same aplikacije. Hard Locks sprječavaju prebacivanje tijekom aktivnih petlji s alatima i neprenosivog stanja kojim upravlja pružatelj. Reset Boundaries ponovno otvaraju odabir modela nakon mirovanja ili promjene odluke. Switch Economics uračunavaju trošak gubitka prefix-cachea, čime prebacivanja postaju asimetrična među razinama modela, dok Replay Traces bilježe odluke o usmjeravanju radi lakšeg nadzora i ispravljanja pogrešaka.

Zašto je sesijski pristup bitan?

Agentski sustavi sve češće vode duge, višekoračne razgovore u kojima model poziva alate i gradi kontekst kroz mnogo turnusa. Tretiranje svake poruke zasebno može prekinuti taj kontekst i uvesti nedosljednosti, osobito kada se usred zadatka promijeni model. SAAR-ov pomak prema koherentnosti na razini sesije rješava upravo taj problem, donoseći istovremeno mjerljive uštede troškova i veću pouzdanost agentskih tokova.