Schneider Electric, LangSmith로 60개 이상의 AI 에이전트를 위한 LLMOps 기반 구축

60개 이상의 AI 에이전트 시스템을 107개국 16만 명의 직원에게 서비스하는 것은 기성 매뉴얼이 없는 작업입니다. 약 400억 유로의 수익을 올리는 에너지 기술 분야의 글로벌 리더인 Schneider Electric은 그 매뉴얼을 직접 구축해야 했습니다. 결과는 AWS EKS에 배포된 자체 호스팅 LangSmith를 기반으로 하는 LLMOps 아키텍처입니다. 명확한 철학을 가지고 있습니다: 관찰 가능성, 평가, 배포는 선택 사항이 아닙니다 — 프로덕션 AI 시스템 기능의 전제 조건입니다.

Schneider Electric의 내부 AI Hub 부서는 350명의 전문가로 구성되며 조직 내 모든 에이전트 시스템의 구축 및 운영 관리를 담당합니다. 회사는 전체 LangChain 생태계를 사용하며, LangSmith가 개발에서 프로덕션까지 모든 수준에서 모델 추적, 디버깅 및 평가를 위한 중앙 플랫폼입니다.

프로덕션의 LLMOps 아키텍처 세 기둥

Schneider Electric은 LLMOps 아키텍처를 함께 완전한 운영 프레임워크를 형성하는 세 기둥을 중심으로 구성했습니다:

관찰 가능성은 기업 보안 경계 뒤에 배포된 자체 호스팅 LangSmith에 기반합니다. 각 AI 제품은 개발, QA, 사전 프로덕션, 프로덕션 환경을 포괄하는 자체 워크스페이스를 갖습니다. 프로덕션 트레이스는 평가 및 회귀 데이터셋 구축에 체계적으로 활용되어 프로덕션과 모델 개선 사이의 루프가 지속적이 됩니다.

평가는 세 가지 메커니즘을 통해 작동합니다. 오프라인 평가를 위한 표준화된 CLI 가속기는 팀이 임시 스크립트 없이 빠르게 검증할 수 있게 합니다. LLMOps 성숙도 프레임워크는 각 제품의 계측, 평가 패키지, 사용자 피드백 수준을 개별적으로 추적합니다. 약 20%의 제품은 도메인 전문가가 프로덕션 예시에 주석을 달아 전문 도메인 품질 보증을 위한 핵심 단계인 활성 주석 대기열을 가집니다.

배포는 격리 모델을 따릅니다: 각 AI 제품이 자체 LangSmith 에이전트 서버를 실행합니다. 인프라는 PostgreSQL, Redis, LangGraph를 사용하며 플랫폼은 AWS 및 Azure 환경에 배포되어 클라우드 불가지론적입니다.

중앙화된 시스템이 아닌 제품별 전용 에이전트 서버?

중앙화 모델은 매력적으로 들립니다 — 모든 것을 위한 하나의 서버, 더 쉬운 관리, 중복 감소. 그러나 Schneider Electric은 반대 접근 방식을 선택했으며, 의식적으로 그렇게 했습니다. ‘You build it, you run it’ 철학은 각 팀이 개발에서 프로덕션 운영까지 자체 제품에 대한 완전한 책임을 진다는 것을 의미합니다.

장점은 다면적입니다. 모든 에이전트를 동시에 중단시킬 단일 장애 지점이 없습니다. 팀은 병목이 될 수 있는 중앙 티어와 조율 없이 독립적으로 반복할 수 있습니다. 한 제품의 프로덕션 변경이 다른 것들의 안정성에 영향을 미치지 않습니다. 다양한 제품에 대해 약 200명의 활성 LangSmith 사용자가 매일 작업하는 Schneider Electric 규모의 조직에서 이 격리는 사치가 아닙니다 — 구조적 필요성입니다.

CAIO Philippe Rambach은 엔터프라이즈 맥락에서 자주 과소평가되는 차원을 강조합니다: “정확성 문제, 응답 품질 문제, 가드레일 문제 — 이것들은 매우 실제적입니다. 솔루션을 대규모로 배포할 때 LangSmith와 같은 도구가 필요합니다.”

One Jo와 Digital Energy: 프로덕션에서의 측정 가능한 결과

언급된 모든 아키텍처 원칙을 통합하는 플래그십 프로덕션 시스템은 One Jo입니다 — 107개국 Schneider Electric의 16만 명 직원 모두를 지원하는 내부 AI 어시스턴트. One Jo는 단순한 챗봇이 아닙니다 — 전체 에이전트 생태계를 위한 LLMOps 루프를 뒷받침하는 개선 데이터셋을 지속적으로 제공합니다. 또한 Customer Success Copilot이 250명 이상의 Customer Success Manager를 일상 업무에서 지원합니다.

두 번째 구체적인 예시는 에너지 부문의 견적 요청 분석 시스템인 Digital Energy 견적 워크플로우입니다. 이전에 몇 시간 또는 며칠이 필요했던 처리가 AI 시스템 도입 후 약 15분으로 단축되었습니다. 이 결과는 단일 최적화로 달성된 것이 아니라 프로덕션 트레이스를 통한 관찰 가능성, 주석 대기열을 통한 지속적인 평가, 제품 간 간섭 없는 안정성을 보장하는 강건한 배포의 조합으로 달성되었습니다.

LLMOps 인프라 투자에 대한 정당성을 여전히 찾는 나머지 업계를 위해 Schneider Electric은 구체적인 예시를 제공합니다: 규모, 보안, 측정 가능한 비즈니스 성과는 상충 관계가 아닙니다 — 그것들은 프로덕션에서 AI 시스템 관리에 대한 체계적인 접근 방식의 직접적인 결과입니다.