AISI：フロンティアAIが£150未満でクリティカルなクラウド脆弱性を発見

英国のAI Safety Institute（AISI）は、自社のエンジニアリングチームがフロンティアAIモデルを自社の研究プラットフォームのセキュリティ監査に使用した詳細なケーススタディを公開した。結果は非常に示唆に富む：モデルは標準ツールでは見逃されていたクリティカルなクラウド脆弱性を発見し、最も厳しい攻撃チェーンはモデルトークンのコスト**£150未満**で発見された。

深さとノイズが異なる3つのアプローチ

チームは3つの方法論をテストし、それぞれ異なる自律性と人間の監督の比率を持っていた。

ソースコードの静的解析は人間の関与が最も少ない手法だった。コーディングエージェントにセキュリティレビュアーの役割でプライベートリポジトリへのアクセスが与えられ、単独でコードを分析した。このアプローチは「高」または「クリティカル」とタグ付けされた最も多くの警告を生成したが、ノイズも最も多かった。報告された問題の多くは深刻度が低いか悪用不可能と判明し、結果のフィルタリングに大量のエンジニアリング作業が必要だった。

自動エージェントプロービングはInspect evalフレームワーク内に構築された自律エージェントに基づいていた。エージェントは研究者レベルのアクセスから出発し、単独で悪用可能なパスを特定しようとした。このアプローチは静的解析よりも具体的かつ実用的な結果を出した。

ヒューマン・イン・ザ・ループのレッドチーミングはセキュリティ研究者の専門知識とコーディングエージェントの能力を組み合わせた。研究者が各ステップを手動で承認しながらエージェントをインタラクティブに誘導した。このアプローチは最も明確で直接的に悪用可能な発見をもたらした。

誰も見つけられなかった5ステップの攻撃チェーン

プロジェクトの主要な発見は、以前は未発見だった5つの独立したステップからなる攻撃チェーンだった。このチェーンにより、一般ユーザーが被害者との直接のインタラクションなしにプラットフォーム上の他の研究者のデータにアクセスできた。エンジニアはこの攻撃パスを「理解可能だが非直感的」と表現した――まさに個々のステップを見ると深刻に見えないためルーティンな点検を逃れるタイプの脆弱性だ。

5ステップのチェーンに加え、アクセス制御の脆弱性、権限昇格のパス、ソフトウェアサプライチェーンセキュリティの弱点も発見された。

テストしたすべてのフロンティアモデルが少なくとも1つの悪用可能な脆弱性を発見した。 最も高性能なモデルは発見された複数の弱点を連鎖させることに成功し、横方向の移動と不正なデータへのアクセスを可能にした。

なぜ検出ギャップが重要な結論なのか？

プロジェクトの特に懸念すべき側面は、エージェント活動自体の検知に関するものだ。自律エージェントがプロービングを行った際、標準的な商業アラートシステムはその活動を完全に見逃した――異常な動作への警告を一切生成しなかった。

エージェントによるエージェントレスクラウドスキャンとホストレベルセンサーを組み合わせた高度なモニタリングのみが、攻撃的な動作を正しく識別した：クレデンシャルの奪取試みと予期しないネットワークトラフィック。この2つの検知アプローチの間のギャップは、標準的な商業アラートだけに依存する組織は、AIエージェントがインフラ内で偵察を行っていても気づかないことを示している。

AIセキュリティ監査の経済学

プロジェクトのコスト面は特別な注目に値する。プライマリ攻撃チェーンはモデルトークンで**£150未満かかった。すべての3つのアプローチとテストしたすべてのモデルを含むプロジェクト全体の総コストは£1,000未満**に収まった。

同等の監査のために専門的なセキュリティ研究者を雇用するコストとの比較は、AIを活用したレッドチーミングが限られたセキュリティ予算の組織にとっても経済的にアクセス可能なツールであることを示唆している。

AISIはすべてのアプローチがそれぞれ長所と弱点を持ち、方法論の組み合わせが最も完全な picture を提供すると強調している。静的解析は広範なカバレッジに有効で、エージェントとヒューマン・イン・ザ・ループのアプローチは小規模だが、すぐに行動できる信頼性の高い発見をもたらす。

このケーススタディは、業界がサイバーセキュリティの文脈でフロンティアAIモデルの二重の性質について活発に議論している時に来ている：脆弱性を見つけることのできる同じモデルがそれを悪用することもできるため、その能力を理解することが防衛チームにとって不可欠だ。