arXiv:2605.30434：LongDS-Bench が長い分析での AI エージェントの崩壊を明らかに
LongDS-Bench は、マルチターンのデータ分析タスクで AI エージェントを評価する新しいベンチマークです。実際の Kaggle ノートブックから取った 68 タスクと 2,225 ターンを含み、5 つの主要モデルは長いホライズンで著しい劣化を示し——最良のものでも平均正解率はわずか 48.45% にとどまります。
この記事はAIにより一次情報源から生成されました。
“LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis” と題された新しい論文は、マルチターンのデータ分析タスクで AI エージェントを評価するベンチマークを提示します。著者は Kewei Xu、Xiaoben Lu、Shuofei Qiao、Zihan Ding、Haoming Xu、Lei Liang、Ningyu Zhang です。
LongDS-Bench とは何ですか？
LongDS-Bench は、実際の Kaggle ノートブックから導かれた 68 タスクと 2,225 ターン（turn）で構成される評価セットです。タスクは地球科学、ビジネス、教育を含む 6 つのドメインを網羅します。目的は、エージェントが長くマルチターンのインタラクションを通じて分析の文脈を維持できるかを検証することです。
モデルは長いホライズンでどれほど悪いのですか？
結果は惨憺たるものです：最良のモデルでも平均正解率はわずか 48.45% にとどまります。5 つの主要モデルを検証したところ、性能は初期から後期のターンへかけてほぼ 47 ポイント低下します。長いホライズンでの誤りは全失敗の 52% から 69% を占めます。
失敗の本当の原因は何ですか？
重要な発見は、主なボトルネックがインタラクション予算を増やすことではなく、正しい分析状態を保つことだという点です。言い換えれば、追加の計算ステップ自体は、長いタスクを通じて状態を保つという根本的な課題を解決しません。研究者は、より信頼性の高いデータ分析エージェントシステムの開発を促すため、このベンチマークを公開しました。
よくある質問
- LongDS-Bench とは何ですか？
- LongDS-Bench は、マルチターンのデータ分析タスクで AI エージェントを評価するベンチマークで、6 つのドメインの実際の Kaggle ノートブックから取った 68 タスクと 2,225 ターンで構成されます。
- 彼らが発見した主な問題は何ですか？
- 重要なボトルネックは、インタラクション予算を増やすことではなく、長いインタラクションを通じて正しい分析状態を保つことです。性能は初期から後期のターンへかけてほぼ 47 ポイント低下します。
出典
📬 AIニュースをあなたの受信箱へ
毎日のダイジェストを自分仕様に——トピック、ソース、頻度を選べます。ワンクリックで解除。