LangChain：에이전트를 수정하는 에이전트 — LangSmith Engine의 구축 방법

LangChain은 프로덕션 AI 에이전트의 오류를 분석하고 구체적인 수정 방안을 제안하는 자율 에이전트인 LangSmith Engine의 상세한 기술 개요를 발표했습니다.

LangSmith는 무엇이며 LangSmith Engine은 무엇인가요?

LangSmith는 프로덕션 환경의 에이전트 플릿에 대한 옵저버빌리티, 평가 및 관리를 제공하는 AI 에이전트 엔지니어링 플랫폼입니다. LangSmith Engine은 그 플랫폼 위에 구축된 메타 에이전트입니다. 배포된 에이전트의 트레이스 데이터를 지속적으로 검토하고, 반복적으로 나타나는 오류 패턴을 감지하며, 평가기와 회귀 테스트 케이스를 자동으로 제안합니다.

간단히 말해서, 다른 에이전트를 개선하는 것만이 유일한 임무인 에이전트입니다.

「에이전트를 개선하는 에이전트」 아키텍처는 어떻게 작동하나요?

Engine은 다단계 파이프라인을 통해 작동합니다. 먼저 컨텍스트 창 초과를 피하기 위해 수천 개의 트레이스를 압축된 궤적(역할, 도구 이름, 지연 시간, 문자 수)으로 압축합니다. 그런 다음 스크리너 하위 에이전트가 각 트레이스를 깨끗하거나 의심스러운 것으로 빠르게 분류하며, 조사자 하위 에이전트는 표시된 사례만 심층 분석합니다.

오류는 사전 정의된 카테고리 목록 — agent_looping, incorrect_tool_args, missing_tool, pii_leak — 으로 제한되어 품질 관리를 유지합니다. 발견된 각 문제에 대해 Engine은 평가기(코드 기반 또는 LLM as judge)를 생성하고, test_evaluator 도구를 사용하여 실제 트레이스에서 유효성을 검사하며, 심각도와 함께 Issue Board에 제출합니다.

왜 이것이 개발 팀에게 중요한가요?

이전까지 AI 에이전트 디버깅에는 로그의 수동 검토와 주관적 판단이 필요했습니다. Engine은 이 프로세스를 엔드투엔드로 자동화합니다. 탐지에서 어설션이 있는 회귀 테스트 제안까지. 에이전트 플릿을 관리하는 팀은 수백 개의 트레이스를 수동으로 검토하지 않고도 시스템적 문제를 식별할 수 있습니다. 이 접근 방식은 메타 에이전트가 MLOps 인프라의 표준적인 부분이 되어가는 좋은 예입니다.