IBM Research：VAKRAベンチマークがAIエージェントが複雑な推論で失敗することを明らかに

IBM ResearchはVAKRAを発表しました——現実的なエンタープライズシナリオでAIエージェントをテストする新しいベンチマークです。8,000以上のローカルAPI、62のドメイン、4,187のテストインスタンスを持つVAKRAは、エージェント能力をテストするための最も包括的な評価フレームワークの一つです。

AIエージェントはどこで失敗しますか？

主要な発見は表面的な能力と真の信頼性の違いです。AIエージェントは1～2つのAPIコールを必要とする単純なタスクを成功裏に解決しますが、タスクが複合的な推論——複数のツールとステップをまとまったプランに組み合わせる能力——を必要とすると、パフォーマンスが劇的に低下します。

マルチホップ推論（複数のステップを通じた推論）は特に問題があります：チェーン内の各追加ステップが精度を低下させ、エージェントは3～4ステップ後に「道を失う」ことが多いです。これは、ビジネスプロセスの自動化がまさにそのような多段階操作を必要とするエンタープライズシナリオに対して特に関連性があります。

なぜルールの遵守がこれほど難しいのですか？

VAKRAはポリシー遵守性とも呼ばれるものをテストします——エージェントがツール使用に対する外部制約を遵守する能力です。例えば、エージェントはユーザーデータを削除するAPIにアクセスできるかもしれませんが、会社のポリシーは事前に上司の承認を要求します。

結果は、エージェントがこの側面で重大なエラーを犯し、制約を確認せずにアクションを実行したり、ポリシーを完全に無視したりすることが多いことを示しています。ビジネスプロセスで自律的なAIエージェントを検討している企業にとって、これはエージェント機能の上に強固なガバナンスと監督の層が必要であることを示しています。