arXiv:2607.14573: Alipay-PIBench mjeri coding agente na plaćanjima — skill diže RPR za 10,31 postotnih bodova

Što je Alipay-PIBench?

Alipay-PIBench je benchmark koji je objavio Alipay za testiranje coding agenata — AI sustava koji samostalno pišu i integriraju kod — na realističnoj integraciji sustava plaćanja. Benchmark obuhvaća 9 projekata specifičnih za stvarne proizvode i ukupno 18 task-instanci.

Basic i Advanced zadaci

Zadaci su podijeljeni u dvije kategorije: “Basic”, koja provjerava funkcionalnu cjelovitost integracije, i “Advanced”, koja testira rizikom-svjesno hardening — sposobnost agenta da prepozna i otkloni sigurnosne propuste prije nego kod ide u produkciju.

Rezultati šest coding-agent modela

Istraživači su testirali šest različitih coding-agent modela na oba tipa zadataka. Uz pristup posebnom “alipay-payment-integration” skillu, prosječan rubric pass rate (RPR) — metrika koja mjeri koliko dobro rješenje zadovoljava unaprijed definirani rubrik ocjenjivanja — kreće se u rasponu od 68,58% do 91,37%, ovisno o modelu.

Koliko skill zapravo pomaže?

Sam skill u prosjeku podiže RPR za 10,31 postotnih bodova u odnosu na rad bez njega, no razlika varira ovisno o modelu, proizvodu i scenariju. Usporedba pokazuje da specijalizirano znanje o integraciji plaćanja mjerljivo smanjuje broj grešaka, no ne eliminira razlike u sposobnostima između modela.