ReContext：再訓練なしで128Kコンテキストウィンドウの活用を改善

現代の言語モデルは128,000トークンのコンテキストウィンドウをサポートしている――書籍全体、大規模なコードベース、数週間のメールのやりとりに対応できる容量だ。しかし技術的な能力に関わらず、イリノイ大学の研究者らは基本的な問題を文書化した：モデル自身がそのウィンドウ内で利用可能な情報を効率的に活用する方法を知らないのだ。

Yanjun Zhao、Ruizhong Qiu、Tianxin Wei、Yuanchen Bei、Zhining Liu、Lingjie Chen、Ismini Lourentzou、Hanghang Tong、Jingrui Heによる研究「ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning」は、モデルパラメータを一切変更しない推論ソリューションを提供する。

なぜLLMは手の届く場所にある証拠を見落とすのか？

この問題は長いコンテキスト研究においてよく知られている：コンテキストウィンドウの先頭または末尾以外に関連する証拠が配置されている場合、LLMはそれに対して注意を払わなかったり、完全に見逃したりする傾向がある。「Lost in the Middle（中間で迷子になる）」と文献が呼ぶこの現象は、形式的に128Kトークンをサポートするモデルでも依然として存在する。

これまでの解決策は主に問題を回避してきた：Retrieval-Augmented Generation（RAG）はコンテキストに選択された断片のみを挿入し、検索システムが取得しなかった情報を失う。コンテキストの圧縮と短縮は入力を削減するが、関連する詳細を削除するリスクがある。ReContextはこれらのアプローチのいずれも使用しない。

再帰的な証拠再生の仕組み

ReContextは推論フェーズでのみ動作する。この技術はモデル自身が生成する関連性シグナル――具体的には注意分布と確率シグナル――を使用して、与えられたクエリに対して長いコンテキストのどの部分が最も関連性が高いかを識別する。

これらのシグナルに基づいて、クエリを条件とした証拠セットが構築される。この証拠は最終的な回答生成の直前に再帰的に再生される。結果として、モデルは生成の瞬間に注意の前景に最も関連する情報が強調される一方、完全な元のコンテキストは手つかずで利用可能なままだ。

外部データベースなし、検索システムなし、切り捨てなし。理論的な基盤は連想記憶――部分的な手がかりに基づいて記憶がどのように取得されるかを記述する認知科学の分野――から引き出されている。モデルのコンテキストウィンドウはストレージ空間として扱われ、注意機構はクエリを保存されたパターンと接続する連想プロセッサとして扱われる。

3つのモデルと8つのベンチマークで一貫した性能向上

研究チームは、128Kトークンでの長いコンテキスト評価のための8つのベンチマークにわたって、異なるサイズと起源の3つのアーキテクチャ――Qwen3-4B、Qwen3-8B、Llama3-8B――でReContextを評価した。

結果は3つのモデルすべてで一貫した証拠活用の改善を示している。実践にとって特に重要なのは、ReContextが特定のアーキテクチャの特性を利用しないことだ：コンパクトな4Bモデルでも8Bモデルでも一貫して性能向上を達成している。これはコンテキストウィンドウの不十分な活用の問題が体系的であることを示唆する――そしてモデルパラメータへの介入なしに推論アルゴリズムのレベルで対処できる。

ReContextはすべての3つのモデルとすべてのベンチマークで最小の平均パフォーマンスランクを持ち、著者らはこれを主要な集計指標として示している。実装はGitHubで公開されている。

再訓練コストゼロでの実践的な適用可能性

長いコンテキストを持つシステムを構築するエンジニア――文書の要約、法的分析からマルチホップ質問応答、コードレビューエージェントまで――にとって、ReContextは稀なコスト比率を提供する：再訓練コストゼロでの大幅な性能向上。

この技術は、インフラストラクチャの変更なし、ファインチューニングなし、外部ベクターデータベースなしで、互換性のあるLLMの上に推論レイヤーとして適用できる。再訓練コストが禁止的な環境や、基礎となるモデルパラメータの変更が許容されない環境では、これは具体的な利点だ。

これが開く広いコンテキストは、現在のLLMの能力のどれだけが長いコンテキストウィンドウの活用問題の背後に隠れているかという問いだ。同じモデルが推論時のよりスマートな証拠の配置のみで優れた結果を達成するなら、これまで専らパラメータスケーリングに帰されていた潜在能力は、追加のトレーニングパラメータなしに推論戦略のスケーリングにも存在する。