LangChain：ファインチューニングされたQwen-3.5-35Bが「トレースジャッジ」としてフロンティアモデルより10〜100倍低コスト

LangChainは、ファインチューニングされたQwen-3.5-35Bが「トレースジャッジ」の役割で高価なフロンティアモデルを代替できることを示しました——大幅に低いコストで。

トレースジャッジとは何であり、どんな問題を解決しますか？

トレースジャッジは、エージェントの本番トレース（traces）を評価して、ユーザーが気づくエラー——訂正、拒否、繰り返しリクエスト——を発見するAIモデルです。人間のチームが数千回のインタラクションを手動でレビューする代わりに、トレースジャッジが問題のあるセッションを自動的にフラグします。課題は、トレース量が増えるとフロンティアモデルをこの作業に使用するコストが高くなることです。

LangChainはどのようにモデルをトレーニングしましたか？

LangChainはQwen-3.5-35Bを基盤に、FireworksのマネージドSFTインフラを通じてLoRAファインチューニングを実施しました。LoRA（Low-Rank Adaptation）はモデル全体ではなく少数の追加パラメータのみを変更するファインチューニング手法で、トレーニングコストが低くなります。SFT（Supervised Fine-Tuning）はラベル付きサンプルによる教師あり学習です。トレーニングセットは小規模——chat-langchainドメインから約707サンプルとFleetプラットフォームから727サンプル。

モデルの精度とコストは？

ファインチューニングされたモデルはchat-langchainセットで96.1%の精度を達成し、Claude Opusの91.6%、GPT-4.5の98.9%と比較されます。重要な結果はドメイン間転移です：chat-langchainデータでチューニングされたモデルがFleetデータですべてのフロンティアモデルを超えました（90.8%対Claude Opusの90.2%）。そして10〜100倍低コストで、トレース量が増えるほど節約が拡大します。

いつ利用可能になりますか？

LangChainは今後数週間で選択されたユーザーへの展開を発表し、1〜2ヶ月後に広く利用可能になる予定です。このアプローチは、小型で特化したファインチューニングモデルが汎用フロンティアモデルから狭い繰り返し評価タスクを引き継ぐパターンを示しています。