Google DeepMind：AIエージェントのセキュリティインシデントの50%超は攻撃ではなくエラーが原因

Google DeepMindは、100万件のエージェントコーディング軌跡——自律型モデルがプログラミングタスクを解決する際に実行する記録されたアクションシーケンス——のレビューに基づいて、AIエージェントのセキュリティ上の課題についての包括的な分析を発表しました。業界のこれまでの前提を変える発見として：フラグが立てられたセキュリティインシデントの50%超は、敵対的攻撃の結果ではなく、エージェント自身によるタスクの誤解または過剰な積極性によるものだということです。

AIエージェントの多層防御の仕組み

多層防御——複数の独立した保護レイヤーを組み合わせるセキュリティ戦略——のDeepMindのエージェント向け実装は3つのレベルを含みます。第1層は従来のサンドボックス化：エージェントの実行環境を分離し、指定されたスコープ外での不正行動を防止します。第2層はMITRE ATT&CKによる脅威モデリング——セキュリティコミュニティが人間のハッカーの攻撃技術を分類するために使う標準化フレームワークを、特権アクセスを持つ「内部脅威」として扱われるAIエージェントに適用したものです。第3層は監督AI（supervisor）：プライマリエージェントの動作をリアルタイムで監視し、異常を検出する専用モデルです。

Gemini Sparkのライブモニターと主要メトリクス

DeepMindはコーディングタスク向けの本番エージェントであるGemini Spark専用のライブ監視システムを構築しました。このシステムは3つの主要メトリクスを測定します。カバレッジ（脅威シナリオのカバレッジ）、リコール（実際のインシデントの検出率）、応答時間（検出されたインシデントへの反応速度）です。これらのメトリクスの具体的な値は公開されていませんが、他のチームが適用できる参照フレームワークとして方法論は公表されています。

安全なエージェント開発への影響

エラーが攻撃を上回るという発見は、システム設計に実践的な影響をもたらします。リソースを主に外部アクターからの防御に投資する代わりに、開発チームはユーザー意図の堅牢な解釈とエージェントが自身の権限の範囲を認識するメカニズムを優先しなければなりません。DeepMindは、エージェントが外部の攻撃者ではなく特権アクセスを持つ内部ユーザーと同様のリスクプロファイルを持つと強調しています——これは従来の境界セキュリティモデルが実際のインシデントの根本原因に十分対処していないことを意味します。このアプローチは、モデルの自律性の向上とエージェントに委任されるタスクの複雑さの増大に対してスケールするよう設計されています。

技術的背景

100万件の軌跡の分析により、小さなサンプルでは得られない統計的結論が可能になりました。「エージェントの誤解」（指示の誤った解釈）と「エージェントの過剰な積極性」（実行における過剰な積極性）の違いは、十分に大きなデータセットでのみ明らかになります。敵対的攻撃（総フラグの50%未満）との比較は、現在の業界がインシデントの内部的原因を過小評価していることを示しています。