arXiv:2607.14573：Alipay-PIBenchがコーディングエージェントの決済統合能力を測定——スキルがRPRを10.31ポイント押し上げる

Alipay-PIBenchとは何か？

Alipay-PIBenchは、Alipayが発表したベンチマークで、コーディングエージェント——自律的にコードを書き、統合するAIシステム——を現実的な決済システム統合の場面でテストします。このベンチマークは、実際の製品に即した9件のプロジェクトと、合計18件のタスクインスタンスから構成されます。

BasicとAdvancedタスク

タスクは2つのカテゴリーに分かれています。「Basic」は統合の機能的な完全性を検証し、「Advanced」はリスクを意識したハードニング——コードが本番環境に入る前にセキュリティ上の欠陥を認識し修正するエージェントの能力——をテストします。

6つのコーディングエージェントモデルの結果

研究者らは、両方のタイプのタスクで6つの異なるコーディングエージェントモデルをテストしました。専用の「alipay-payment-integration」スキルを使用した場合、平均のrubric pass rate（RPR、あらかじめ定義された採点基準を解決策がどの程度満たすかを測る指標）は、モデルによって68.58%から91.37%の範囲になります。

スキルは実際どれほど役立つのか？

スキル自体は、使用しない場合と比べて平均でRPRを10.31ポイント押し上げますが、その差はモデル、製品、シナリオによって変動します。この比較は、決済統合に関する専門知識がエラーの数を測定可能な形で減らす一方で、モデル間の能力差を完全には解消しないことを示しています。