Wie Schneider Electric LLMOps-Grundlagen für 60+ KI-Agenten mit LangSmith aufgebaut hat

Ein System von 60+ KI-Agenten zu verwalten, das 160.000 Mitarbeiter in 107 Ländern bedient, ist eine Aufgabe, für die es kein fertiges Handbuch gibt. Schneider Electric — globaler Marktführer in Energietechnologien mit einem Umsatz von rund 40 Milliarden Euro — war gezwungen, dieses Handbuch selbst zu schreiben. Das Ergebnis ist eine LLMOps-Architektur auf Basis von Self-hosted LangSmith, deployt auf AWS EKS, mit einer klaren Philosophie: Observierbarkeit, Evaluierung und Deployment sind keine Optionen — sie sind die Voraussetzung für den Betrieb eines KI-Produktionssystems.

Die interne AI-Hub-Einheit von Schneider Electric zählt 350 Experten und ist für den Aufbau und den operativen Betrieb aller agentischen Systeme innerhalb der Organisation zuständig. Das Unternehmen nutzt das gesamte LangChain-Ökosystem, mit LangSmith als zentraler Plattform für Tracking, Debugging und Modellevaluierung auf allen Ebenen — von der Entwicklung bis zur Produktion.

Drei Säulen der LLMOps-Architektur in der Produktion

Schneider Electric hat seine LLMOps-Architektur um drei Säulen organisiert, die zusammen ein vollständiges operatives Framework bilden:

Observierbarkeit basiert auf Self-hosted LangSmith, deployt hinter dem Unternehmenssicherheitsperimeter. Jedes KI-Produkt hat einen eigenen Workspace, der Entwicklungs-, QA-, Pre-Produktions- und Produktionsumgebungen umfasst. Produktions-Traces werden systematisch für Evaluierung und den Aufbau von Regressions-Datasets genutzt, wodurch die Schleife zwischen Produktion und Modellverbesserung kontinuierlich wird.

Evaluierung funktioniert über drei Mechanismen. Ein standardisierter CLI-Beschleuniger für Offline-Evaluierung ermöglicht Teams eine schnelle Überprüfung ohne Ad-hoc-Skripte. Ein LLMOps-Maturity-Framework verfolgt den Instrumentierungsgrad, Evaluierungspakete und Nutzerfeedback für jedes Produkt separat. Rund 20 % der Produkte haben aktive Annotations-Queues, in denen Domänenexperten Produktionsbeispiele markieren — ein entscheidender Schritt zur Qualitätssicherung in Domänen, die spezialisiertes Fachwissen erfordern.

Deployment folgt einem Isolationsmodell: Jedes KI-Produkt betreibt seinen eigenen LangSmith Agent Server. Die Infrastruktur nutzt PostgreSQL, Redis und LangGraph, und die Plattform ist Cloud-agnostisch mit Deployments auf AWS- und Azure-Umgebungen.

Warum dedizierter Agent Server pro Produkt statt eines zentralisierten Systems?

Ein zentralisiertes Modell klingt attraktiv — ein Server für alles, einfachere Verwaltung, weniger Duplikation. Schneider Electric hat jedoch den entgegengesetzten Ansatz gewählt, und das bewusst. Die Philosophie „You build it, you run it” bedeutet, dass jedes Team die vollständige Verantwortung für sein eigenes Produkt übernimmt — von der Entwicklung bis zum operativen Betrieb in der Produktion.

Der Vorteil ist vielfältig. Es gibt keinen Single-Point-of-Failure, der gleichzeitig alle Agenten stoppen würde. Teams können unabhängig iterieren, ohne Koordination mit einem zentralen Tier, das zum Engpass werden könnte. Produktionsänderungen eines Produkts beeinflussen nicht die Stabilität anderer. In einer Organisation der Größe von Schneider Electric, in der ~200 aktive LangSmith-Nutzer täglich an verschiedenen Produkten arbeiten, ist diese Isolation kein Luxus — sie ist strukturelle Notwendigkeit.

CAIO Philippe Rambach betont eine Dimension, die im Enterprise-Kontext oft unterschätzt wird: „Die Herausforderung der Genauigkeit, die Herausforderung der Antwortqualität, die Herausforderung des Guardrailings — sie sind sehr real. Wenn Sie eine Lösung in großem Umfang deployen, brauchen Sie Tools wie LangSmith.”

One Jo und Digital Energy: Messbare Ergebnisse in der Produktion

Das Flaggschiff-Produktionssystem, das alle genannten Architekturprinzipien vereint, ist One Jo — der interne KI-Assistent, der alle 160.000 Mitarbeiter von Schneider Electric in 107 Ländern bedient. One Jo ist nicht nur ein Chatbot — er speist kontinuierlich Verbesserungsdatensätze, die die LLMOps-Schleife für das gesamte Agenten-Ökosystem unterstützen. Daneben unterstützt der Customer Success Copilot mehr als 250 Customer Success Manager in ihrer täglichen Arbeit.

Ein weiteres konkretes Beispiel ist der Digital Energy Quotation-Workflow — ein System zur Analyse von Angebotsanfragen im Energiesektor. Was früher Stunden oder sogar Tage Bearbeitungszeit erforderte, wurde nach der Einführung des KI-Systems auf ~15 Minuten reduziert. Dieses Ergebnis wurde nicht durch eine einzige Optimierung erzielt, sondern durch eine Kombination aus Observierbarkeit durch Produktions-Traces, kontinuierlicher Evaluierung mit Annotations-Queues und robustem Deployment, das Stabilität ohne Produktinterferenzen garantiert.

Für den Rest der Branche, der noch nach Rechtfertigung für Investitionen in LLMOps-Infrastruktur sucht, bietet Schneider Electric ein konkretes Beispiel: Skalierung, Sicherheit und messbare Geschäftsergebnisse sind keine Gegensätze — sie sind die direkte Folge eines systematischen Ansatzes zur Verwaltung von KI-Systemen in der Produktion.