GitHub: Bessere Tools verschlechterten Copilot Code Review — Überarbeitung der Anweisungen brachte Qualität bei 20 % geringeren Kosten zurück

GitHub hat am 10. Juli 2026 einen ungewöhnlich offenen Technik-Beitrag veröffentlicht: Als Copilot Code Review auf besser gewartete Tools umgestellt wurde, verschlechterten sich die Ergebnisse zunächst. Die Analyse zeigte, dass das Problem nicht die Tools waren, sondern die Anweisungen (Agent-Prompts), die nicht mehr dem tatsächlichen Arbeitsablauf eines Code-Reviewers entsprachen.

Wo lag der Fehler?

Die alten Anweisungen führten den Agenten zu einer „breiten Exploration” — er durchsuchte große Teile des Repositories, bevor er sich auf die Änderungen konzentrierte. Dies verbrauchte Token und Zeit für Kontext, den ein Pull-Request-Review in der Regel nicht benötigt. Als das neue, leistungsfähigere Tool dieselben Anweisungen erhielt, erledigte es die falsche Aufgabe einfach effizienter.

Wie funktioniert der Diff-First-Ansatz?

Die Lösung bestand darin, die Anweisungen nach zwei Prinzipien zu überarbeiten. Erstens: Batch-Erkundungsoperationen (gebündeltes Sammeln von Informationen) vor dem Lesen einzelner Dateien, statt abwechselnder Erkundung. Zweitens: am PR-Diff verankerte Analyse — der Agent beginnt mit dem, was sich tatsächlich geändert hat, und ruft breiteren Kontext nur bei Bedarf ab. Das Ergebnis sind rund 20 % geringere durchschnittliche Review-Kosten bei unveränderter Qualität.

Warum ist die Erkenntnis universell?

Der Befund ist ein konkreter Beleg für die These, die in derselben Woche das arXiv-Paper „Harness Effect” quantifizierte: Die Wirtschaftlichkeit von KI-Agenten wird durch die Orchestrierung (Anweisungen, Ablauf, Kontext) bestimmt — nicht durch das Modell selbst. GitHubs Fall zeigt auch die Kehrseite: Ein Upgrade von Modell oder Tools ohne Anpassung der Anweisungen kann die Ergebnisse verschlechtern. Für alle, die KI-Coding-Tools entwickeln, lautet die praktische Botschaft: Bevor Sie das Modell austauschen, lesen und überarbeiten Sie die Anweisungen.