arXiv:2606.04261：エージェントは自ら訓練データをキュレーションできるか？
新たなベンチマーク Curation-Bench は、コーディングエージェントが訓練データのキュレーションを自動化できるかを検証する。エージェントは10回の反復で強いベースラインに到達するが、多様な方策を探索するには、既存手法の改変を促す構造化された足場が必要だ。
この記事はAIにより一次情報源から生成されました。
大規模モデルの品質は、訓練に用いるデータの品質に大きく左右される。だが適切なデータを選び出すこと——キュレーション——は骨が折れ、反復的な作業だ。Feiyang Kang と Ruoxi Jia らを中心とするチームは、これを AI エージェントが引き受けられるかと問う。
Curation-Bench は何を測るのか？
著者らは Curation-Bench を導入した。これはコーディングエージェントがデータキュレーションの全工程を自律的に遂行できるかを検証するために設計されたベンチマークだ。キュレーションとは、最終的なデータセットができるだけ情報豊かになるように、訓練用の例を選択・フィルタリング・準備することを指す。このベンチマークはエージェントを研究者の役割に置き、連続する試行を通じてデータ選択の方策を考案し改善させる。
エージェントは単独でどれだけ成功するのか？
結果は明暗が分かれた。そのまま使う エージェントは、すでに 10回の反復 以内に公表された強いベースラインに到達し、基本的なキュレーションのループを遂行できることを示した。問題は探索にある。エージェントは多くの場合、既存の手法を手直しするにとどまり、根本的に異なる戦略を試みなかった。言い換えれば、最適化は心得ているが、大胆に解の空間を探索することはしない。
構造化された誘導は何を変えるのか？
決定的な転換をもたらすのが 足場（scaffolding）——各反復で何らかの先行手法を引用・具体化・改変することをエージェントに課す構造化された誘導だ。こうした指示のもとで、エージェントは自律的にデータ選択の方策を組み立て、公表された強いベースラインを上回り、しかもそのデータ予算の10分の1で達成する。著者らの結論はこうだ。信頼できるデータ探索には、開放的なプロンプトではなく、誘導された手法の改変が必要である。
よくある質問
- データのキュレーションとは何ですか？
- モデルを訓練するためのデータを選択・フィルタリング・準備し、データセットができるだけ高品質で情報豊かになるようにする工程です。
- エージェントにおける足場（scaffolding）とは何ですか？
- 開放的なプロンプトではなく、各反復で何らかの先行手法を引用・具体化・改変することをエージェントに課す構造化された誘導です。
出典
📬 AIニュースをあなたの受信箱へ
毎日のダイジェストを自分仕様に——トピック、ソース、頻度を選べます。ワンクリックで解除。