arXiv:2605.25603: CIE-ScorerがLLMの思考連鎖における不誠実な表示を検出する

CIE-Scorerはどのような問題を解決するのか？

Xu Shen、Zhen Tan、Song Wang、Pingjun Hong、Rui Miao、Xin Wang、Tianlong Chenは、大規模言語モデル（LLM）における不誠実な思考連鎖（unfaithful Chain-of-Thought：CoT）を検出するフレームワークであるCIE-Scorerを発表しました。

思考連鎖（Chain-of-Thought：CoT）とは、LLMモデルが最終的な回答を出す前にステップバイステップの根拠を書くよう促す手法です。問題は、この可視の根拠が必ずしもモデルの実際の計算プロセスを反映するとは限らないことです——モデルは一つの論理を表示しながら、実際には別の論理を使って推論している可能性があります。このような不誠実な表示は、AIシステムの解釈可能性と信頼性を損ないます。

CIE-Scorerはどのように機能し、従来手法と何が違うのか？

従来の不誠実なCoTトレースの検出手法は、主にテキストの説得力などの外部シグナルに依存していました。CIE-Scorer（Circuit-guided Internal-External discrepancy Scorer）は、メカニスティックな解釈可能性——モデルの内部計算構造の分析——を外部推論分析と統合しています。

具体的には、CIE-Scorerは以下のように機能します。

• コンパクトな回路を構築する — モデル全体の高コストな完全回路の代わりに、文レベルで重要な推論トークンから回路を構築する
• 内部・外部の思考グラフを展開する — モデルが内部で情報を処理する方法を表現する
• 乖離を測定する — Fused Gromov-Wasserstein距離（グラフ構造間の差異の数学的尺度）を使用してグラフ間の乖離を計測する
• インスタンスレベルで動作する — 高コストな集計統計を必要とせず、各サンプルに対して個別に処理する

結果はどうで、なぜAIシステム開発にとって重要なのか？

CIE-ScorerはFaithCoT-Benchベンチマークコレクションの4つのデータセットで最先端の結果を達成しており、主に大規模モデルでの構築が計算コストの高い完全回路の代わりにコンパクトな回路を使用するため、従来手法と比べて大幅に低い計算コストを実現しています。

不誠実なCoTトレースを確実に検出する能力は、透明性と根拠の監査可能性が不可欠な高リスクシナリオ——例えば医療、法律、金融——でのLLM活用に向けて重要です。