CNCF: Drei Datenabrufstrategien für KI-Agenten bei Kubernetes-Bugfixes

Was hat CNCF getestet?

Die Cloud Native Computing Foundation veröffentlichte am 8. Mai 2026 einen Benchmark, bei dem ein KI-Agent — betrieben mit dem Claude-Opus-Modell und einem Fünf-Minuten-Timeout — neun echte Kubernetes-Bugs unterschiedlicher Komplexität behob, entnommen aus offenen Pull Requests. Ziel war nicht der Nachweis der Überlegenheit eines Modells, sondern der Vergleich dreier Datenabrufarchitekturen, die heute in agentischen Systemen dominieren.

Welche drei Strategien wurden verglichen?

Drei Ansätze wurden unter gleichen Bedingungen getestet:

• Nur RAG — semantische Suche über einen KAITO/Qdrant-Index des Repositorys.
• Hybrid — RAG kombiniert mit direktem Zugriff auf das lokale Dateisystem.
• Nur lokal — der Agent nutzt ausschließlich grep, find und andere Tools über das geklonte Repo.

RAG war am schnellsten mit durchschnittlich 1 Minute 16 Sekunden, während der hybride und lokale Ansatz etwa 2 Minuten 25 Sekunden benötigten.

Was ist der eigentliche Engpass?

Der zentrale Befund der Studie ist, dass Geschwindigkeit und Tokens nicht der entscheidende Faktor sind. Der hybride Ansatz erforderte durchschnittlich 8 Modellaufrufe (264k Tokens gesamt), während RAG und lokal bei 187–189k Tokens konvergierten. Die Anzahl der Aufrufe erwies sich als wichtigerer Kostentreiber als das Token-Volumen.

Den eigentlichen Engpass nennt CNCF „Scope Discovery” — die Fähigkeit des Agenten, alle zu ändernden Dateien zu identifizieren. Agenten gelang es routinemäßig, den primären Bug-Ort zu beheben, verfehlten aber angrenzende Änderungen an Integrationspunkten. In einem Fall „schluckte der Agent Fehler lokal, anstatt sie an den Aufrufer weiterzugeben — funktional ähnlich, aber architektonisch falsch”.

Was bedeutet dies für Ingenieure?

Das Ergebnis ist für eine Gemeinschaft unbequem, die in immer ausgefeiltere Retrieval-Pipelines investiert: Wenn die Bug-Beschreibung präzise ist (genaue Dateien, Funktionen), verschwinden die Unterschiede zwischen den Strategien praktisch. Unterschiede werden nur bei schlecht beschriebenen Bugs groß. Das Fazit: Die Qualität der Issue-Beschreibung dominiert gegenüber der Retrieval-Strategie, und systematisches Argumentieren über Architekturen fehlt Agenten noch immer, unabhängig davon, wie ihnen Kontext bereitgestellt wird.