arXiv:2607.14573：Alipay-PIBench评测编程智能体的支付集成能力——技能包使RPR提升10.31个百分点
支付宝发布了Alipay-PIBench，这是一个通过9个项目、18个任务实例（分为Basic与Advanced两类）测试编程智能体真实支付集成能力的基准。在六个受测模型中，专门的「alipay-payment-integration」技能包平均使rubric pass rate（RPR）提升10.31个百分点，RPR范围为68.58%至91.37%。
🤖
本文由人工智能基于一手来源生成。
什么是Alipay-PIBench？
Alipay-PIBench是支付宝发布的一个基准，用于测试编程智能体——即自主编写与集成代码的AI系统——在真实支付系统集成场景中的表现。该基准涵盖9个针对真实产品的项目，共计18个任务实例。
Basic与Advanced任务
任务分为两类：「Basic」检验集成的功能完整性，「Advanced」测试风险感知型加固能力——即智能体在代码进入生产环境前识别并修复安全漏洞的能力。
六个编程智能体模型的结果
研究人员在两类任务上测试了六个不同的编程智能体模型。在使用专门的「alipay-payment-integration」技能包的情况下，平均rubric pass rate（RPR，衡量方案在多大程度上满足预先定义评分标准的指标）根据模型不同，介于68.58%至91.37%之间。
技能包究竟有多大帮助？
该技能包本身平均使RPR比不使用时提升10.31个百分点，但差异会因模型、产品与场景而异。对比显示，支付集成方面的专业知识能可衡量地减少错误数量，但并不能消除模型之间的能力差距。
常见问题
- 什么是Alipay-PIBench？
- Alipay-PIBench是一个用于测试编程智能体真实支付集成能力的基准，包含9个项目和18个任务实例，分为Basic与Advanced两类。
- 使用技能包能在多大程度上提升结果？
- 使用「alipay-payment-integration」技能包平均使rubric pass rate（RPR）比不使用时提升10.31个百分点。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。