arXiv:2607.09415：自己誘導テスト時トレーニングで長コンテキストLLMを最大15%向上

ランダムなテスト時トレーニングの問題

テスト時トレーニング（TTT）は推論中にテスト入力そのものでモデルのパラメータを更新することです——モデルは類似データでの事前トレーニングなしに、処理している具体的な文書に一時的に適応します。アイデアは直感的に魅力的です：モデルが質問に答える前に文書を「学習」すれば、より正確になるはずです。

問題は何を正確にトレーニングするかの選択です。研究者たちは、ランダムなテキスト範囲でのTTT——長い文書からランダムに選ばれた断片——は実際にはパフォーマンスを損なうことを示しました。モデルが無関係な情報を吸収してパラメータにノイズを導入するからです。一方、確実に関連する証拠を含む「Oracle」範囲でのTTTは大幅に役立ちます。ランダムとOracleアプローチの間のギャップがS-TTT手法の開発を動機付けました。

S-TTTはどのようにしてそのギャップを埋めるか？

自己誘導テスト時トレーニング（S-TTT）は補助モデルなしで問題を解決します。追加パラメータもなく：モデルが適応前に長い文書内の証拠範囲を自律的に特定します。最初のステップでモデルは与えられた質問にどの断片が最も関連しているかを評価します。2番目のステップでそれらの選択された範囲のみでトレーニングし、その後で回答を生成します。

手法はQwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの2つのモデルでテストされており、アプローチが特定のモデルだけでなく様々なアーキテクチャに適用可能であることを示唆しています。テストタスクはLongBench-v2とLongBench-Proセットからで、数十万トークンの長さの文書の理解が必要です。

最大15%の相対的改善

研究者たちはTTT適応なしのベースラインモデルと比較して、LongBench-v2とLongBench-Proで最大15%の相対的パフォーマンス改善を報告しています。参考として：確立された長コンテキスト推論タスクでのこの範囲の改善は特筆すべきもので、モデルアーキテクチャやトレーニングデータセットに何も変更を加えないにもかかわらずです。

S-TTT手法の重要な利点はそのシンプルさです：別個の検索モデルを必要とせず、新しいトレーニング可能なパラメータもなく、1回の推論時間を超えてモデルを変更しません。適応は一時的です——各新しい入力でパラメータがリセットされるため、クエリ間でのエラーの蓄積はありません。