arXiv:2607.14642: MCPEvol-Bench zeigt, dass sowohl GPT-5.4 als auch Claude an Präzision verlieren, wenn sich MCP-Tools ändern

Was ist MCPEvol-Bench, und warum ist es wichtig?

MCPEvol-Bench ist ein neuer Benchmark, den Huanxi Liu und Kollegen vorgestellt haben, um die Anpassungsfähigkeit von KI-Agenten an sich ändernde Tool-Interfaces zu testen. Das Model Context Protocol (MCP) ist ein Standard, der KI-Agenten Zugriff auf externe Tools wie Datenbanken, APIs und Dateisysteme gibt. Bestehende Benchmarks gehen davon aus, dass Tool-Interfaces fix bleiben, doch in der Produktion werden MCP-Server ständig aktualisiert und ändern ihre Schnittstelle.

Wie simuliert der Benchmark eine Tool-Änderung?

Das Team definierte 11 Mutationsoperatoren — simulierte Änderungen der Tool-Interfaces, etwa das Umbenennen von Parametern, das Ändern von Datentypen oder das Umstrukturieren von Antworten —, die auf 123 MCP-Server angewendet werden. Agenten müssen dieselbe Aufgabe vor und nach der Mutation ausführen, und der Unterschied in der Erfolgsrate misst, wie widerstandsfähig ein Modell gegenüber der Tool-Evolution ist.

Wie viel Leistung verlieren Frontier-Modelle auf evolvierten Servern?

Getestet wurden 12 Frontier-LLMs, und die Ergebnisse zeigen, dass selbst die fortschrittlichsten Modelle Schwierigkeiten haben, mit den Änderungen Schritt zu halten. GPT-5.4 verzeichnet auf evolvierten Servern einen Leistungsabfall von 13,7 % gegenüber statischen, während Claude-Sonnet-4-6 noch stärker abfällt — 14,4 %. Der Vergleich zeigt, dass Anthropics Modell geringfügig empfindlicher auf Änderungen der Tool-Interfaces reagiert als das von OpenAI, wobei der Unterschied mit nur 0,7 Prozentpunkten gering ist.

Was das für die Zukunft von Agenten bedeutet

Neben dem Genauigkeitsverlust steigt auch die Zahl der Planungs- und Reasoning-Fehler — Agenten interpretieren geänderte Parameter falsch oder versuchen, eine veraltete Version eines Tools aufzurufen, die auf dem Server nicht mehr existiert. Das Fazit der Forscher ist eindeutig: Die dynamische Tool-Landschaft bleibt selbst für die fortschrittlichsten Modelle ein Schwachpunkt, unabhängig davon, ob sie aus der Familie von OpenAI oder Anthropic stammen.

Die Autoren schließen, dass MCPEvol-Bench Raum für neue Trainingsstrategien zur Anpassungsfähigkeit eröffnet, da statische Benchmarks die tatsächliche Einsatzbereitschaft von Agenten für eine Produktionsumgebung überschätzen, in der sich Tools nahezu täglich ändern.