arXiv:2607.14642: MCPEvol-Bench pokazuje da i GPT-5.4 i Claude gube preciznost kad se mijenjaju MCP alati
MCPEvol-Bench je novi benchmark koji simulira 11 mutation operatora nad 123 MCP servera i testira prilagodljivost AI agenata na promjenjive tool-interfaceove. GPT-5.4 gubi 13,7% performansi na evoluiranim serverima, a Claude-Sonnet-4-6 čak 14,4%, uz porast planning i reasoning grešaka kod 12 testiranih frontier modela.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je MCPEvol-Bench i zašto je važan?
MCPEvol-Bench je novi benchmark koji su predstavili Huanxi Liu i suradnici za testiranje adaptabilnosti AI agenata na promjenjive tool-interfaceove. Model Context Protocol (MCP) je standard koji AI agentima daje pristup vanjskim alatima poput baza podataka, API-ja i datotečnih sustava. Postojeći benchmarci pretpostavljaju da tool-interfaceovi ostaju fiksni, no u produkciji se MCP serveri neprestano ažuriraju i mijenjaju svoje sučelje.
Kako benchmark simulira promjenu alata?
Tim je definirao 11 mutation operatora — simuliranih promjena tool-interfacea, poput preimenovanja parametara, promjene tipova podataka ili restrukturiranja odgovora — koje primjenjuje nad 123 MCP servera. Agenti moraju izvršiti isti zadatak prije i poslije mutacije, a razlika u uspješnosti mjeri koliko je model otporan na evoluciju alata.
Koliko frontier modeli gube na evoluiranim serverima?
Testirano je 12 frontier LLM-ova, a rezultati pokazuju da čak i najnapredniji modeli teško prate promjene. GPT-5.4 bilježi pad performansi od 13,7% na evoluiranim serverima u odnosu na statične, dok Claude-Sonnet-4-6 pada još više — 14,4%. Usporedba pokazuje da je Anthropicov model marginalno osjetljiviji na promjenu tool-interfacea nego OpenAI-jev, iako je razlika mala, tek 0,7 postotnih bodova.
Što to znači za budućnost agenata?
Uz pad točnosti raste i broj planning i reasoning grešaka — agenti pogrešno interpretiraju izmijenjene parametre ili pokušavaju pozvati zastarjelu verziju alata koja više ne postoji na serveru. Zaključak istraživača je nedvosmislen: dinamični tool-landscape ostaje slaba točka i za najnaprednije modele, bez obzira na to dolaze li iz OpenAI-jeve ili Anthropicove obitelji.
Autori zaključuju da MCPEvol-Bench otvara prostor za nove strategije treniranja prilagodljivosti, jer statični benchmarci precjenjuju stvarnu spremnost agenata za produkcijsko okruženje u kojem se alati mijenjaju gotovo svakodnevno.
Česta pitanja
- Što je MCPEvol-Bench i što točno testira?
- MCPEvol-Bench je benchmark koji simulira 11 mutation operatora nad 123 MCP servera kako bi izmjerio koliko se AI agenti uspješno prilagođavaju promjenama u tool-interfaceovima, nešto što postojeći benchmarci zanemaruju.
- Koji modeli najviše gube performanse na evoluiranim serverima?
- Od 12 testiranih frontier LLM-ova, GPT-5.4 gubi 13,7% performansi na evoluiranim MCP serverima, dok Claude-Sonnet-4-6 gubi još više, 14,4%, uz vidljiv porast planning i reasoning grešaka.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
AWS: Amazon Quick je agentski AI kolega za prodajne timove koji automatizira CRM i pripremu sastanaka
GitHub: Copilot code review dobiva firewall i custom runnere, mobitel dobiva cloud agent popravak komentara
AWS: Smartsheet uštedio 3 milijarde tokena izgradnjom remote MCP servera s Bedrock i Neptune knowledge grafom