AWS：Strands Evals SDKがAIエージェントの障害検出と根本原因分析を自動化

AWSはStrands Evalsを発表しました。AIエージェントの障害検出と根本原因分析を自動化するSDKで、本番環境でのエージェント運用において最も難しい部分の一つに対処します。

Strands EvalsはAIエージェントの障害をどのように検出しますか？

Strands Evalsは2つのフェーズで動作します。第1フェーズでは9つのカテゴリで障害を検出します。幻覚、誤ったアクション、オーケストレーションエラー、コンテキストエラー、不要な繰り返しなどです。分析は言語モデルを使用したエージェントの実行トレースのレビューに基づいており、従来のルールでは捕捉が難しい失敗パターンを認識します。

根本原因分析は何を提供しますか？

第2フェーズでは、ツールが因果チェーンを構築し、寄与をPRIMARY、SECONDARY、TERTIARYに分類することで根本原因分析を実施します。Strands Evalsはエージェントが失敗したことを報告するだけでなく、最も可能性の高い問題の原因を指し示し、SYSTEM_PROMPT_FIXやTOOL_DESCRIPTION_FIXなどの具体的な修正を提案します。AWSはこれにより診断が「数時間から数分に」短縮されると述べています。

開発・本番フローへの統合は？

Strands EvalsはDiagnosisConfigに2つのトリガーモードを提供します：CI/CDパイプライン向けのON_FAILUREと監査目的のALWAYSです。CloudWatchProviderを通じてAmazon CloudWatchログからの本番セッションを分析できます。SDKはPython 3.10以上が必要で、Amazon Bedrockと統合されます。

なぜこれはエージェント開発に重要ですか？

エージェントシステムが本番環境に入るにつれて、エージェントが失敗した理由の診断がボトルネックになります。具体的な修正推奨付きの自動化された検出と根本原因分析は、その作業の一部を手動調査からツールに移し、イテレーションを加速しエージェントの信頼性を高めます。