ArXiv AC/DC:モデルとタスクの共進化による専門化LLMの自動発見
なぜ重要か
AC/DCはICLR 2026で発表された新しいフレームワークで、モデルマージングを通じてLLMモデルを、合成データを通じてタスクを同時に進化させます。発見されたモデル群体はベンチマークを明示的に最適化せずに、手動でキュレーションされたモデルより広い専門知識カバレッジを実証します。モデルはより少ないGPUメモリで大きな同等品を上回り、LLMの継続的開発の新しいパラダイムを代表します。
著者のAndrew Dai、Boris Meinardus、Ciaran Regan、Yingtao Tian、Yujin Tangが新しいフレームワークAC/DC(完全名称:「タスク能力の共進化による新しいLLMエキスパートの発見」)を発表しました。このペーパーはICLR 2026カンファレンスに採択され、独立したトレーニングラウンドを完全に放棄するLLM開発の新しい方法を代表します。
解決する問題
従来、チームがLLMの能力を拡張したい場合、各新ドメインに対して独立したトレーニングラウンドを実行する必要がありました。医療エキスパートが欲しい?独立した実行。法律モデル?もう一つ。金融?3つ目。それぞれがハイパーパラメータ、データ、評価、回帰テストを必要とします。
AC/DCはその手動介入のセットを排除します。著者たちは**「オープン・エンデッドネス——モデルとタスクの共進化を通じて——が1回の実行で継続的に新しい能力を持つモデルを発見できる」**と主張します。
フレームワークの仕組み
AC/DCは2つのコンポーネントを同時に進化させます:
モデル——モデルマージング技術を通じて。単一のモデルをスクラッチからトレーニングする代わりに、複数の既存モデルが(さまざまな重み組み合わせを通じて)マージされ、生成された群体がテストされます。
タスク——合成データ生成を通じて。各タスク自体が進化します——新しい、より複雑な、より細かいニュアンスの古いタスクのバリエーションが生成され、タスクの群体全体がモデルを新しいニッチに押し込みます。
重要なのは2つのプロセスが接続されていることです。モデルは合成タスクで競争します。タスクは一部のモデルが他が失敗するところで成功するように自己適応します。そして際限なく——手動介入なしで。
結果
著者たちはいくつかの重要な発見を報告しています:
- 発見された群体は手動でキュレーションされたモデルより広い専門知識カバレッジを実証
- モデルはより少ないGPUメモリで大きな同等品を上回る
- タスク設計とモデル能力の両方で継続的なイノベーションが示された
- マルチエージェントベスト-N選択シナリオでの改善されたパフォーマンス
結果にないものに注目することが重要です——具体的なベンチマークでの支配に関する主張はありません。著者たちはSOTAを明示的に狙っていません。代わりに、AC/DCモデルの群体がより豊かな機能的多様性を持つことを示しています。
新しい開発パラダイム
著者たちはAC/DCを**「LLM開発の根本的に新しいパラダイム」**として位置づけます。以下のサイクルの代わりに:
- ユースケースを特定
- データをキュレート
- トレーニングを実行
- 評価
- 反復
以下となります:
- フレームワークを実行
- それ自体にニッチを発見させる
これは大胆な位置づけです。オープン・エンデッドネスは魅力的に聞こえますが、本番チームは通常予測可能性を必要とします。
ICLR 2026の文脈
AC/DCはICLR 2026の同じ研究ラインからの2026年の複数のペーパーの一つです——進化を通じたAI能力の自動発見に関する研究。関連する研究ラインは進化的計算の初期の「Novelty Search」アプローチとあり、AIに適応されています。
著者たちは具体的な企業やエンタープライズデプロイメントに言及していません——これが主に前生産フェーズの研究であることのシグナルです。それでも、このフレームワークは魅力的です——AIシステムが可能な専門知識の空間を自分で探索する道を開くからです——エンジニアが何を得たいかを事前に定義する必要なく。
AI開発の長期トレンドを追跡している人にとって、AC/DCは重要なデータポイントです。現在の本番システムにとって——直接適用できる可能性はほぼありませんが、次の数年でこの分野が移動するかもしれない方向を代表しています。
この記事はAIにより一次情報源から生成されました。