arXiv:2606.20333：SoftSkillがスキル文書を32の潜在トークンに圧縮、LiveMathを42.1ポイント向上
SoftSkillはarXiv:2606.20333で説明される手法で、スキル文書（Markdown SKILL.mdファイルなど）をベースモデルを変更せずにモデルの行動を導くコンパクトな連続潜在オブジェクトに変換します。32の仮想トークンを使用し、LiveMathタスクでスキルなしプロンプティングより42.1ポイント向上します。
この記事はAIにより一次情報源から生成されました。
論文 arXiv:2606.20333 は、スキル文書をコンパクトな潜在制御オブジェクトに変換する手法 SoftSkill を提案します。スキル文書とは、特定のタスクのやり方をモデルに説明するテキスト指示、例えば Markdown ファイル SKILL.md のようなものです。こうした指示は数百〜数千のコンテキストトークンを占有し、ウィンドウを消費して実行を遅らせることがあります。
行動圧縮の仕組み
SoftSkillは行動圧縮を適用します——自然言語の指示を 32の仮想（潜在）トークンに圧縮してモデルの行動を導き、ベースモデルの重みは変更しません。モデル自体を調整するファインチューニングとは異なり、SoftSkillは追加された制御トークンのみを通じて機能するため、再トレーニングなしにスキルのオン/オフを切り替えられます。
数字で見る結果
LiveMath タスクでは、スキルなしより +42.1ポイント、競合手法より +12.5ポイント 向上しました。SearchQA ではベースラインプロンプティングより +8.3ポイント、SkillOpt手法より +5.2ポイント 上回りました。比較結果は、圧縮された潜在表現がトークンを節約するだけでなく、精度においても元のテキスト指示を上回ることを示しています。
何が変わるか
トークン数が少なければコストが下がり、実行が速くなります。特に複数のスキルを同時に扱うエージェントにとって重要です。ベースモデルは変更されないため、SoftSkillは既存のモデルと互換性があり、能力をモジュール式に追加するための実用的な方法を提供します。このアプローチは、長いシステム指示をコンパクトな学習済み制御シグナルに置き換えるという広いトレンドに合致しています。
よくある質問
- SoftSkillは何をしますか？
- SoftSkillはスキル文書を32の連続潜在トークンに変換し、モデルの重みを変えずにモデルの行動を導きます。
- どれだけ結果が向上しますか？
- LiveMathでスキルなしより+42.1ポイント、競合手法より+12.5ポイント向上。SearchQAではベースラインより+8.3ポイント向上します。
- ベースモデルは変更されますか？
- いいえ。ベースモデルは変更されず、SoftSkillは潜在制御トークンのみを通じて機能します。