arXiv:2607.14573: Alipay-PIBench misst Coding-Agenten bei Zahlungen — Skill hebt RPR um 10,31 Prozentpunkte

Was ist Alipay-PIBench?

Alipay-PIBench ist ein von Alipay veröffentlichter Benchmark zum Testen von Coding-Agenten — KI-Systemen, die eigenständig Code schreiben und integrieren — bei realistischer Integration von Zahlungssystemen. Der Benchmark umfasst 9 produktspezifische Projekte und insgesamt 18 Aufgabeninstanzen.

Basic- und Advanced-Aufgaben

Die Aufgaben sind in zwei Kategorien unterteilt: „Basic”, die die funktionale Vollständigkeit der Integration prüft, und „Advanced”, die risikobewusstes Hardening testet — die Fähigkeit des Agenten, Sicherheitslücken zu erkennen und zu beheben, bevor der Code in Produktion geht.

Ergebnisse von sechs Coding-Agent-Modellen

Die Forscher testeten sechs verschiedene Coding-Agent-Modelle bei beiden Aufgabentypen. Mit Zugriff auf den eigenen „alipay-payment-integration”-Skill bewegt sich die durchschnittliche Rubric Pass Rate (RPR) — eine Metrik, die misst, wie gut eine Lösung einen vordefinierten Bewertungsrubrik erfüllt — je nach Modell zwischen 68,58 % und 91,37 %.

Wie stark hilft der Skill tatsächlich?

Der Skill allein hebt die RPR im Durchschnitt um 10,31 Prozentpunkte gegenüber der Arbeit ohne ihn, wobei die Differenz je nach Modell, Produkt und Szenario variiert. Der Vergleich zeigt, dass spezialisiertes Wissen über Zahlungsintegration die Fehlerzahl messbar senkt, die Fähigkeitsunterschiede zwischen den Modellen jedoch nicht eliminiert.