arXiv: ASSAYフレームワークがスキルの選択的マスキングでLLMエージェントの新記録を達成
UNCチャペルヒルの研究者（Yixuan Wangら）はLLMエージェントのスキルライブラリに「因果的不均一性」があることを特定した：個々のスキルはある種のタスクでは助けになる一方、他のタスクでは害を及ぼす。ASSAYフレームワークはスキル生成と経験的補正を分離し、タスク単位のマスキングによりDeepSeek-V3でAppWorldの目標達成率69.3%——相対改善47.4%、重み調整なしの新たなstate-of-the-artを達成した。
この記事はAIにより一次情報源から生成されました。
UNCチャペルヒル（Yixuan Wang、Yiyang Zhou、Yiming Liang、Congyu Zhang、Fuxiao Liu、Jiawei Zhou、Huaxiu Yao）の研究者グループは、経験から学ぶLLMエージェントの根本的な問題を特定した：エージェントはライブラリ内の有益なスキルと有害なスキルを区別する原則的な方法を持っていない。問題は単に理論的なものではない——経験から学ぶが知識を選別できないエージェントは、やがてより悪いリソースがより良いものを打ち消すライブラリを蓄積する可能性がある。この研究はASSAY（Attributed Skill curation for Agent Systems）フレームワークを導入し、モデルの重みを変更せずに経験的な因果帰属でこの問題を解決する。
因果的不均一性：同じスキル、逆の効果
最新のLLMエージェントは自然言語の説明形式で経験からスキルを蓄積し、将来のタスクをより良く解くために活用できる。著者が特定する問題は因果的不均一性と呼ばれる：個々のスキルはある種のタスクで定期的に助けになる一方、他のタスクでは同時に害を及ぼす。これらの相反する効果がライブラリ全体のレベルで集約されると、互いに打ち消し合う——そのため、スキルの平均的な効果を見るグローバルな補正手法では問題を検出できない。エージェントはすべてのスキルを無差別に使い続け、特定のコンテキストではそのスキルが中立ではなく積極的に有害であることに気づかない。
なぜスキルライブラリへのグローバルなアプローチは機能しないのか
これまでのスキルライブラリの補正アプローチは主にLLM自身の評価に依存していた——モデルがどのスキルが有用かを評価する。著者はこれが補正タスクにとって概念的に誤りだと主張する：経験からのスキル生成はLLMが得意とするクリエイティブな行為だが、そのスキルが実際に有用かどうかの決定には多数のタスクにわたる経験的証拠が必要だ。モデルは自身の盲点を評価できない。同じLLMの判断でこの2つのタスクを組み合わせると、システムには客観的なメトリクスとコンテキスト的な有害性を検出するメカニズムがない。
ASSAYはどのようにクリエイティブと経験的なものを分離するか？
ASSAYは補正を2つの独立したフェーズに分ける。第1フェーズでは、スキル生成はエージェントが標準的に行うクリエイティブなタスクのまま——経験とインタラクションから。第2フェーズでは、ASSAYは小規模な開発セットでのランダムなマスキングによって各スキルの因果的寄与を測定する：各タスクに対して、スキルがランダムに無効化され、タスクの結果への効果が測定される。これらの測定からシステムはスキル単位の帰属像を構築する——どの種類のタスクでスキルが助けになり、どれで害を及ぼすか。この像に基づき、ASSAYは推論時に各具体的なテストタスクに対して予測される負の効果を持つスキルをダイナミックに抑制する。重みの変更なし、スキルのグローバルな削除なし——実行時のコンテキスト的フィルタリングのみ。
AppWorldとtau-benchでの新記録
実験は4つのサービスプロバイダーからの7つのベースモデルと2つのベンチマーク（AppWorldとtau-bench）をカバーする。AppWorldベンチマークの最難関部分で、DeepSeek-V3にASSAYを組み合わせると目標達成率69.3%を達成——ベースラインに対する相対改善47.4%と重み調整を使用する手法を含む新たなstate-of-the-art。tau-benchのretail部分で、GPT-4.1にASSAYを組み合わせると**8.7%**の相対改善を記録し、公開リーダーボードでo4-mini、o1、GPT-4.5を上回る——重みのチューニングなしで。結果はテストしたすべてのモデルと両ベンチマークにわたって一貫しており、知見が特定のモデルの人工物ではないことを示唆する。
タスク単位のマスキング：改善の重要な要因
アブレーションは改善の源を正確に特定する。負の平均的効果を持つスキルをグローバルに削除すると、タスク単位のマスキングよりも小さな改善をもたらす。重要な違いはコンテキストの粒度にある：平均的なタスクに対して悪いスキルが特定のタイプのタスクには有用である場合があり、またその逆もある。タスク単位のマスキングはこれを区別できる；グローバルなアプローチはできない。著者は、経験から学ぶエージェントのボトルネックが推論時のタスクタイプとスキルの整合であり——ライブラリのグローバルなクリーニングではないと結論する。この区別は実践的に重要だ：どのタスクを解いているかを知るシステムは、フィルタリングなしに蓄積された知識ライブラリ全体を転送する代わりに、知識の適切なサブセットをダイナミックに選択できることを意味する。コードはGitHubで公開されている。
よくある質問
- 因果的不均一性とは何ですか？
- 因果的不均一性は、LLMエージェントの同一スキルがある種のタスクでは助けになる一方、他のタスクでは同時に害を及ぼす現象を表す。これらの相反する効果はライブラリ全体で集約すると互いに打ち消し合うため、グローバルな補正手法では検出できない。
- ASSAYはどのスキルを抑制するか決定しますか？
- ASSAYは小規模な開発セットでのランダムなマスキングにより各スキルの因果的寄与を測定する。得られたスキル単位の帰属に基づき、各具体的なテストタスクに対して予測される負の効果を持つスキルをダイナミックに抑制する——モデルの重みを変更せずに。
- ASSAYの標準ベンチマークでの結果は何ですか？
- AppWorldベンチマークの最難関部分でDeepSeek-V3にASSAYを組み合わせると目標達成率69.3%を達成——重み調整手法を含む相対改善47.4%の新たなstate-of-the-art。tau-benchのretailでGPT-4.1は8.7%の相対改善を記録し、o4-mini、o1、GPT-4.5を上回る。
📬 AIニュースをあなたの受信箱へ
毎日のダイジェストを自分仕様に——トピック、ソース、頻度を選べます。ワンクリックで解除。