ArXiv：共形予測がLLMジャッジの隠れた信頼性問題を明らかにする

Manan GuptaとDhruv Kumarは2026年4月16日に論文**「LLMジャッジ信頼性の診断：共形予測集合と推移性違反」を発表しました。これはLLM-as-a-judgeシステムの信頼性に関する深層分析のさらなる一歩です。ほとんどの研究が集約信頼性指標に焦点を当てていましたが、この研究はインスタンスごとの信頼性**——各個別文書について——を初めて体系的に調べました。

推移性とは何か、なぜ重要か

推移性は順序付けの基本的な論理特性です：LLMジャッジが回答AはBより優れており、BはCより優れていると言えば、AはCより優れていなければなりません。これが成立しない場合、有向3サイクルが発生します——A > B、B > CだがC > A、これは一貫した評価者にとって形式的に不可能です。

著者たちは実際のLLMジャッジでこれらの違反がどのくらいの頻度で発生するかを測定しました。結果は曖昧です：集約違反率は0.8〜4.1%と低く見えます。この指標によればLLMジャッジは信頼できるように見えます。

しかし研究者が少なくとも一つの推移性違反を持つ文書はいくつあるかを調べると、状況は劇的に変わります：**文書の33〜67%**がその比較において少なくとも一つの3サイクルを持っています。言い換えれば、すべての文書の三分の一以上が、ある部分で論理的に不可能な判決を持っています。

診断ツールとしての共形予測

研究は1〜5のリッカートスコアの分布集合のための分割共形予測に基づく新しい方法論を導入します。利点は、これらの集合が理論的に保証されたカバレッジを持つことです——信頼水準（1-α）で、実際のスコアは保証された確率で集合内に収まります。

主要な発見：予測集合の幅は、1,918文書のサンプルでSpearman係数r_s = +0.576、p値は10^-100未満という実際のインスタンスごとの信頼性と相関しています。言い換えれば、集合が広ければ、ジャッジはその特定の文書について不確かであり、これは正式に測定できます。

評価基準は等しくない

研究はさまざまな基準にわたる信頼性を測定し、明確な階層を発見しました：

1. 関連性 — 平均集合サイズ約3.0（最も信頼性高い）
2. 一貫性 — 平均集合サイズ約3.9（中程度）
3. 流暢性と整合性 — 平均集合サイズ約4.9（信頼性低い）

これはLLMジャッジが流暢性や整合性を評価する際、その判決は関連性を評価する場合よりかなり信頼性が低いことを意味します。

実践への示唆

予測集合の幅は異なるジャッジにわたって一貫した相関関係を示します（r̄ = 0.32–0.38）、これはそれが文書自体の難しさに関するものであり、特定のジャッジに固有のノイズではないことを意味します。著者たちは、どのジャッジを具体的なLLMとして選ぶかよりも、どの基準タイプを評価するかの方が重要と結論付けています。

同じ著者（Manan Gupta）による平行研究コンテキスト・オーバー・コンテンツと合わせて、この論文はLLM-as-a-judgeパラダイムがバイアスのレベルでも個々の判決の信頼性レベルでも再考される必要があることを示しています。両研究とも現在査読中です。