OpenAI：長時間（long-horizon）AIモデルの安全性における教訓と新たな防護策

long-horizon AIモデルとは何か？

long-horizonモデルとは、単一のプロンプトに応答して交互作用を終える従来のモデルとは異なり、より長い期間にわたって自律的にタスクを実行するよう設計されたAIシステムです。OpenAIは、こうしたモデルの実運用から得られた教訓の概要を公表しました。

新たな安全リスクと確認された不具合

OpenAIは、エージェントの自律性が長期化することで、短時間タスクでは現れない安全リスクが生じると指摘しています——タスクが長くなるほど、望ましい挙動から逸脱する余地が大きくなります。同社はこうしたモデルの実運用中に観測された具体的な不具合（failures）について言及していますが、公開された要約には詳細な数値は示されていません。

情報源には不具合の発生頻度に関する数値は記載されていませんが、論理は明快です。長く動作するモデルは、一度応答して終わるモデルよりも、誤りが積み重なる機会が多くなります。

タスクの長さに応じて防護策も強化

これに対応して、OpenAIは強化された防護策（safeguards）——モデルが長時間自律的に行動する間に有害な挙動を防ぐための監視・制限の仕組み——を挙げています。短時間タスクとの比較からは、ある傾向が見えてきます。リスクは自律の時間軸の長さに応じて増大するため、防護策もそれに比例して強化する必要があるということです。

注記：OpenAIの本発表の全文は現時点で取得できないため、本記事は公式要約で確認された内容のみをお伝えしています。