arXiv:2606.26057: The Unfireable Safety Kernel — AIエージェントの外部実行時アライメント

内部セキュリティメカニズムが不十分な理由

コードの記述、コマンドの実行、ネットワークリクエストの送信などのツールにアクセスできるAIエージェントは、理論的にはそれらの制御が同じプロセス内に存在する場合、独自のセキュリティ制御を変更できます。Seth DobrinとŁukasz Chmielは「The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems」（arXiv:2606.26057、2026年6月24日提出）において、アーキテクチャ的な解決策を提案しています。認証レイヤーをエージェントの手の届かない場所に移動させるというものです。

AIアライメント（AIシステムの動作を人間の意図と価値に合わせること）はこれまで主にトレーニング中（RLHF、Constitutional AI）に実施されてきました。この論文はアライメントを実行時にも、エージェントが「学習した」内容に関わらず解決すべき問題として扱っています。

カーネルはどのように機能するか？

Unfireable Safety KernelはプログラミングラングエージRustで実装されており、4つの形式的特性に基づいています。プロセス分離（カーネルとエージェントは別プロセスで動作）、アクションの実行前への強制適用、フェイルクローズ動作（すべてのエラーが通過ではなくシステムをシャットダウン）、および各認証決定の暗号署名付き証明です。

エージェントのソフトウェアの一部であり脆弱性を持つ内部アプローチとは異なり、外部カーネルはエージェントにはアクセスできません。エージェントが同じプロセスに存在しないため物理的に無効化できないキルスイッチに似ています。

結果：1000サイクルで脱出0件

著者たちはZ3 SMT定理証明器とKani bounded-model checkingの組み合わせによってシステムを形式的に検証しました。実験的テストにより驚くべき結果が得られました。自律的なワールドモデルの1000サイクルのうち、セキュリティカーネルへの704件のすべての攻撃試みが脱出なしに拒否されました。また、6240件の認証ラウンドトリップが実施され、バイパスは0件でした。さらに、300件のキルスイッチシナリオがすべて拒否されました。

内部アプローチとの比較が重要です。従来の内部セキュリティレイヤーはエージェントの協力に依存しており、自己改変によって無効化される可能性がありましたが、外部カーネルはエージェントの動作に関わらず変更されません。

コンテキストと応用

この論文はexecution-timeアライメントをRLHFなどのトレーニング手法への補完的レイヤーとして位置付けています。代替ではなく第二の防衛ラインとしてです。このアプローチは、内部制御の失敗が深刻な結果をもたらす可能性がある重要なインフラへのアクセスを持つ本番環境で使用される自律エージェントに特に関連しています。