AWS: Strands Evals SDK automatizira otkrivanje kvarova AI agenata i analizu korijenskog uzroka

AWS je predstavio Strands Evals, SDK koji automatizira otkrivanje kvarova AI agenata i analizu njihovog korijenskog uzroka, adresirajući jedan od najtežih dijelova rada s agentima u produkciji.

Kako Strands Evals otkriva kvarove agenata?

Strands Evals radi u dvije faze. U prvoj fazi otkriva kvarove kroz devet kategorija, uključujući halucinacije, pogrešne akcije, greške orkestracije, greške konteksta i nepotrebna ponavljanja. Analiza se temelji na pregledu tragova izvođenja (traces) agenta pomoću jezičnog modela, koji prepoznaje obrasce neuspjeha koje je teško uhvatiti klasičnim pravilima.

Što donosi analiza korijenskog uzroka?

U drugoj fazi alat provodi analizu korijenskog uzroka (root cause analysis) tako što gradi uzročni lanac i klasificira doprinose kao PRIMARY, SECONDARY ili TERTIARY. Umjesto da samo prijavi da je agent zakazao, Strands Evals upućuje na najvjerojatniji izvor problema te predlaže konkretne popravke poput SYSTEM_PROMPT_FIX ili TOOL_DESCRIPTION_FIX. AWS navodi da time skraćuje dijagnostiku “sa sati na minute”.

Kako se uklapa u razvojni i produkcijski tok?

Strands Evals nudi DiagnosisConfig s dva načina okidanja: ON_FAILURE za CI/CD pipeline i ALWAYS za revizijske (audit) potrebe. Kroz CloudWatchProvider može analizirati produkcijske sesije iz Amazon CloudWatch logova. SDK zahtijeva Python 3.10 ili noviji i integrira se s Amazon Bedrockom.

Zašto je ovo važno za razvoj agenata?

Kako agentski sustavi ulaze u produkciju, dijagnoza zašto je agent pogriješio postaje usko grlo. Automatizirana detekcija i analiza uzroka s konkretnim preporukama za popravak pomiče dio tog posla s ručne istrage na alat, što ubrzava iteraciju i povećava pouzdanost agenata.