arXiv:2607.10891: SETA——4,500以上のRL環境がターミナルエージェントの性能を向上

ターミナルエージェントとはどういうものか、専用環境が必要な理由

ターミナルエージェントはGUIなしにターミナルやシェルコマンドだけでタスクを解くAIエージェントです。コマンドラインでスクリプトを実行し、ファイルを管理し、システムを設定し、コードをデバッグできます。このようなエージェントはDevOps自動化、システム管理、エンジニアリングタスクに実用的な応用がありますが、訓練には実際のターミナルタスクをシミュレートする専用環境が必要です——問題は、既存の強化学習（RL）データセットが小規模で多様性が限られていることです。

SETA：スケーラブルなRL環境生成

オックスフォード大学とKAUST、そして17の協力機関から沈らが提案するSETA（Scaling Environments for Terminal Agents）は、検証可能なRL環境を大量に自動生成するシステムです。SETAは2つのデータセットを組み合わせます：SETA-Synth（合成生成タスク）とSETA-Evol（難易度制御による進化的改変タスク）。合わせて4,500以上の検証可能な環境を生成します——既存のベンチマークセットより大幅に多い数です。

手動でキュレーションされたセットとの比較は明快です：検証可能なターミナル環境を1つ手動で作成するには相当な人的労力が必要ですが、SETAはそのプロセスを自動化しつつ検証可能な出力を維持します。

Terminal-Bench 2.0での結果

Terminal-Bench 2.0での評価は測定可能な進歩を示しています。SETAの環境で訓練されたDeepSeek-V4-Flashは**pass@1が40%から43%**に、**pass@5が54%から58%**に改善します。pass@1は1回目の試行での成功を測定し、pass@5はエージェントが5回の試行を持てる場合の成功を測定します——どちらも本番環境での利用に関連するメトリクスです。

エージェントシステム開発への影響

SETAはターミナルエージェント開発における根本的なボトルネックに対処します：多様で検証可能なRL訓練環境の不足です。SETA-Evolを通じた難易度制御とともに環境の数と多様性を増やすことで、よりロバストで汎化性の高い訓練が可能になります。DevOpsエージェントやインフラ自動化ツールを構築する研究者やエンジニアにとって、SETAは手動データ作成コストを比例的に増やすことなく訓練をスケールするための実用的なプラットフォームを提供します。