ArXiv-Rahmen 'To Call or Not to Call' zeigt: Sprachmodelle beurteilen falsch, wann sie externe Werkzeuge brauchen

Qinyuan Wu und Mitarbeiter vom Max-Planck-Institut für Softwaresysteme, Imperial College und Helmholtz München veröffentlichten am 1. Mai 2026 einen Rahmen, der direkt eines der kostspieligsten Probleme von Produktions-KI-Agenten adressiert: wann ein Modell ein externes Werkzeug aufrufen sollte und wann nicht. Der Titel des Papers — „To Call or Not to Call” — fasst das Dilemma zusammen, das in der Praxis Sekunden Latenz, Dollar an API-Kosten und Prozentpunkte der Genauigkeit kostet.

Die Ausgangsprämisse: Werkzeugaufrufe sind nicht immer vorteilhaft; manche sind redundant, manche sogar schädlich. Websuche kann verrauschte Informationen einführen, die das Modell verwirren; ein Taschenrechner kann für einfache Rechenaufgaben aufgerufen werden, die das Modell bereits kennt; eine Datenbank kann irrelevante Zeilen zurückgeben, die den Kontext überlasten.

Was sind die drei Dimensionen der Werkzeugaufruf-Bewertung?

Der Rahmen misst jeden potenziellen Werkzeugaufruf über drei orthogonale Dimensionen: Notwendigkeit (wird das Werkzeug für die Aufgabe überhaupt benötigt?), Nutzen (verbessert es das Ergebnis, wenn es verwendet wird?) und Kostenakzeptabilität (ist die zusätzliche Latenz und der Preis gerechtfertigt?). Alle drei müssen positiv sein, damit ein Aufruf rational ist.

Der Unterschied ist subtil, aber entscheidend: Ein Werkzeug kann notwendig sein (die Aufgabe erfordert es objektiv), aber nicht nützlich (das Modell erreicht auch ohne es Genauigkeit), oder es kann nützlich sein (verbessert Genauigkeit), aber aufgrund der Kosten in einem Echtzeitszenario nicht verfügbar.

Wie vergleichen die Autoren die Modell-Selbsteinschätzung mit der Realität?

Der Ansatz kombiniert zwei Perspektiven. Die normative Bewertung kommt aus Ground Truth: Welche Werkzeugaufrufe wären für Aufgabe X optimal? Die deskriptive kommt aus dem Modellverhalten: Welche Aufrufe glaubt das Modell zu benötigen?

Die Lücke zwischen ihnen offenbart einen systematischen Fehler. Modelle rufen häufig Werkzeuge auf, die nicht helfen (Websuche ist der Hauptverursacher), und übersehen manchmal Werkzeuge, die helfen würden. Mit anderen Worten: Selbsteinschätzung ist kein zuverlässiges Signal.

Leichte Schätzer aus Hidden States

Der zentrale technische Beitrag: Die Autoren trainieren leichte Schätzer, die Notwendigkeit und Nutzen aus den Hidden States des Modells selbst vorhersagen — ohne zusätzliche API-Aufrufe. Diese Schätzer bilden die Grundlage eines Controllers, der unabhängig von dem, was das Modell „denkt”, entscheidet, ob ein Werkzeugaufruf benötigt wird.

Experimente mit drei Aufgaben und sechs Modellen zeigen, dass Controller die Modell-Selbsteinschätzung beim kombinierten Genauigkeits-Kosten-Maß konsistent übertreffen.

Was bedeutet das für KI-Ingenieure?

Für Teams, die Agenten mit LangGraph, AutoGen oder dem Anthropic-Werkzeug-Framework bauen, validiert das Paper eine verbreitete Intuition: Lass das Modell nicht selbst entscheiden, ob es ein Werkzeug braucht — füge eine Gating-Schicht hinzu. Eine Praxis, die bisher eine Heuristik war, hat nun einen formalen Rahmen und empirische Ergebnisse.

Die weiteren Implikationen betreffen auch die Ökonomie der Agenten: Wenn ein Produktionssystem 20–30 % nutzloser Werkzeugaufrufe vermeiden kann, sind das bei einer Million Anfragen täglich messbare Tausende von Dollar monatlich allein durch geringere API-Kosten.