11 vijesti — 🟡 3 važno , 🟢 8 zanimljivo
vLLM Semantic Router dobio je Session-Aware Agentic Routing (SAAR), mehanizam koji razumije dugotrajne agentske razgovore umjesto da svaku poruku tretira zasebno. Na 21.600 testnih turnusa SAAR smanjuje prebacivanja modela za 79,29 posto, u potpunosti eliminira nesigurna prebacivanja i smanjuje procijenjene troškove za 78,71 posto.
vLLM je integrirao Intelovu AutoRound kvantizaciju u vLLM-Omni, omogućivši W4A16 kompresiju multimodalnih i difuzijskih modela. Rezultat je do 62 posto manji checkpoint, uz minimalan pad kvalitete i brže generiranje na Intel XPU i NVIDIA grafičkim karticama.
OpenAI je predstavio novi skup mogućnosti za Codex koji alat proširuje izvan inženjerskih zadataka prema širim poslovnim ulogama. Cilj je da analitičari, marketinški stručnjaci, dizajneri, investitori i drugi timovi mogu koristiti Codex u svojim svakodnevnim radnim tokovima.
Novi benchmark Curation-Bench provjerava mogu li coding agenti automatizirati kuraciju trening podataka. Agenti dostižu jake osnovice unutar deset iteracija, no za istraživanje raznolikih politika treba im strukturirani scaffolding koji ih tjera na prilagodbu postojećih metoda.
Anthropic je 2. lipnja uveo dvije izmjene Claude API-ja. Advisor tool sada podržava parametar max_tokens za ograničavanje izlaza advisor modela po pozivu, a zahtjevi koji vrate stop_reason refusal bez generiranog izlaza više se ne naplaćuju.
LangChain Labs je u suradnji s Harveyjem objavio istraživanje o jeftinijoj verifikaciji izlaza pravnih AI agenata. Batchanje verifiera i korištenje otvorenih modela smanjuje trošak po kriteriju za otprilike deset puta, uz zadržavanje kvalitete usporedive s frontier modelima.
Anthropic je proširio Project Glasswing, program za osiguravanje kritične softverske infrastrukture, s početnih pedesetak na otprilike 150 novih organizacija u više od 15 zemalja. Partneri su dosad pronašli više od 10.000 ranjivosti visoke i kritične ozbiljnosti uz pomoć modela Claude Mythos Preview.
Istraživači su predstavili okvir za provjeru AI agenata prije njihova uvođenja u regulirane industrije. Sustav koristi ontologiju za generiranje scenarija i izdaje strojno provjerljive certifikate povjerenja, a nadmašuje pristupe temeljene na personama u regulatornom pokrivanju.
