arXiv:2607.14049：「Deep Interaction」——推論チェーン編集が修正成功率+25%、トークン40%節約

推論チェーンとは何か、どこに問題があるか？

推論チェーン——chain-of-thoughtとも呼ばれる——は、大規模言語モデルが最終回答に至るまでに生成する一連の中間推論ステップです。例えば、数学の問題を解く際にモデルは各計算ステップを列挙します。あるステップにエラーが含まれていると、一般的なアプローチは質問を繰り返したり新しいメッセージで修正を加えたりすることですが、これはトークンを消費し、コンテキストを失い、モデルが同じ誤りを繰り返さないとは保証できません。

Deep Interactionはどのように対話を変えるか？

Hefeng Zhou・Jinxuan Zhang・Jiong Louらが提案するDeep Interactionは推論チェーンの直接編集を導入しています：ユーザーはチェーン内の誤ったステップを特定して変更し、モデルはその後修正された経路で生成を続けます。この手法は概念的にgit rebaseに似ています——履歴の頂部に修正を追加するのではなく、分岐点を修正するのです。STEMタスクでは、新しいプロンプトを使用するベースラインと比べ、このアプローチは修正成功率+25%を達成し、同時に1回の対話あたりトークン使用量を40%節約します。比較として、o3やGemini 2.5 Proのようなchain-of-thoughtモデルはリクエストあたり数千のトークンを生成するため、40%の削減はコストとレイテンシに直接影響します。

ユーザーと開発チームへの実践的な意味

この手法は、ユーザーが新しいプロンプトを書くのではなくリアルタイムでモデルの思考プロセスを編集するインターフェースの開発を可能にします。これは専門的なアプリケーション——医療診断・エンジニアリング計算・法律分析——において特に関連性が高く、ユーザーは誤った中間ステップを特定できるが、質問全体を再定式化したくない場合です。Zhouらはこのアプローチが追加のファインチューニングなしに既存モデルで機能すると強調しています。