LangChain：エージェントを修正するエージェント——LangSmith Engineの構築方法

LangChainはLangSmith Engineの詳細な技術概要を発表しました——本番AIエージェントのエラーを分析し、具体的な修正を提案する自律エージェントです。

LangSmithとは何か、LangSmith Engineとは何か？

LangSmithは本番環境のエージェントフリートのオブザーバビリティ、評価、管理を提供するAIエージェントエンジニアリングプラットフォームです。LangSmith Engineはそのプラットフォームの上に構築されたメタエージェントです。デプロイされたエージェントのトレースデータを継続的にレビューし、繰り返し発生するエラーパターンを検出し、評価器と回帰テストケースを自動的に提案します。

端的に言えば、他のエージェントを改善することだけが仕事のエージェントです。

「エージェントを改善するエージェント」のアーキテクチャはどのように機能するのか？

Engineは多段階パイプラインを通じて機能します。まず、コンテキストウィンドウの超過を避けるために、何千ものトレースをコンパクトなトラジェクトリ（ロール、ツール名、レイテンシ、文字数）に圧縮します。次に、スクリーナーサブエージェントが各トレースをクリーンまたは疑わしいとして素早く分類し、インベスティゲーターサブエージェントはフラグされたケースだけを詳細に分析します。

エラーは事前定義されたカテゴリリスト——agent_looping、incorrect_tool_args、missing_tool、pii_leak——に制限されており、品質管理を維持します。発見された各問題について、EngineはEvaluator（コードベースまたはLLMがジャッジとして機能）を生成し、test_evaluatorツールを使用して実際のトレースでそれを検証し、重大度レベルと共にIssue Boardに提出します。

なぜこれは開発チームに重要なのか？

それまでAIエージェントのデバッグにはログの手動レビューと主観的な評価が必要でした。Engineはこのプロセスをエンドツーエンドで自動化します。検出からアサーション付きの回帰テストの提案まで。エージェントフリートを管理するチームは、何百ものトレースを手動でレビューすることなくシステム上の問題を特定できます。このアプローチは、メタエージェントがMLOpsインフラの標準的な部分になりつつある好例です。