Kako je Schneider Electric izgradio LLMOps temelje za 60+ AI agenata s LangSmithom
Schneider Electric, s 160.000 zaposlenih u 107 zemalja, deployao je self-hosted LangSmith na AWS EKS za upravljanje 60+ AI agenata. Arhitektura počiva na tri stupa — opservabilnosti, evaluaciji i deploymentu — uz oko 200 aktivnih korisnika. Interni asistent One Jo opslužuje cijelu organizaciju, a quotation workflow skraćen je s dana na 15 minuta.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Upravljanje sustavom od 60+ AI agenata koji opslužuju 160.000 zaposlenih u 107 zemalja nije zadatak za koji postoji gotov priručnik. Schneider Electric — globalni lider u energetskim tehnologijama s prihodom od oko 40 milijardi eura — bio je prisiljen sam izgraditi taj priručnik. Rezultat je LLMOps arhitektura temeljena na self-hosted LangSmithu deployenom na AWS EKS, s jasnom filozofijom: opservabilnost, evaluacija i deployment nisu opcijski — oni su preduvjet za funkcioniranje produkcijskog AI sustava.
Interna AI Hub jedinica Schneider Electrica broji 350 stručnjaka i zadužena je za izgradnju i operativno upravljanje svim agentnim sustavima unutar organizacije. Kompanija koristi cijeli LangChain ekosustav, s LangSmithom kao centralnom platformom za praćenje, debugiranje i evaluaciju modela na svim razinama — od razvoja do produkcije.
Tri stupa LLMOps arhitekture u produkciji
Schneider Electric svoju je LLMOps arhitekturu organizirao oko tri stupa koji zajedno čine cjeloviti operativni okvir:
Opservabilnost počiva na self-hosted LangSmithu deployenom iza korporativnog sigurnosnog perimetra. Svaki AI proizvod ima vlastiti workspace koji obuhvaća razvojne, QA, pred-produkcijske i produkcijske okoline. Produkcijski traceovi sustavno se iskorištavaju za evaluaciju i izgradnju regresijskih datasetova, čime petlja između produkcije i poboljšanja modela postaje kontinuirana.
Evaluacija funkcionira kroz tri mehanizma. Standardizirani CLI akcelerator za offline evaluaciju omogućuje timovima brzu provjeru bez ad-hoc skripti. LLMOps maturity framework prati razinu instrumentacije, evaluacijskih paketa i korisničkih povratnih informacija za svaki proizvod posebno. Oko 20% proizvoda ima aktivne anotacijske redove u kojima stručnjaci za domenu označavaju primjere iz produkcije — ključan korak za osiguranje kvalitete u domenama koje zahtijevaju specijaliziranu ekspertizu.
Deployment slijedi model izolacije: svaki AI proizvod pokreće vlastiti LangSmith Agent Server. Infrastruktura koristi PostgreSQL, Redis i LangGraph, a platforma je cloud-agnostična s deploymentima na AWS i Azure okruženjima.
Zašto dedicirani Agent Server po proizvodu, a ne centralizirani sustav?
Centralizirani model zvuči privlačno — jedan server za sve, lakše upravljanje, manje duplikacije. No Schneider Electric je odabrao suprotan pristup, i to svjesno. Filozofija „You build it, you run it” znači da svaki tim u potpunosti preuzima odgovornost za vlastiti produkt — od razvoja do operativnog rada u produkciji.
Prednost je višestruka. Nema jedinstvene točke kvara koja bi istovremeno zaustavila sve agente. Timovi mogu iterirati neovisno, bez koordinacije s centralnim tierom koji bi mogao postati usko grlo. Produkcijske promjene jednog produkta ne utječu na stabilnost ostalih. U organizaciji veličine Schneider Electrica, gdje ~200 aktivnih korisnika LangSmitha svakodnevno radi na različitim produktima, ova izolacija nije luksuz — ona je strukturalna nužnost.
CAIO Philippe Rambach naglašava dimenziju koja se u enterprise kontekstu često podcijenuje: „Izazov točnosti, izazov kvalitete odgovora, izazov guardrailinga — jako su realni. Kada rješenje deplojate u velikom obimu, trebate alate poput LangSmitha.”
One Jo i Digital Energy: mjerljivi rezultati u produkciji
Flagship produkcijski sustav koji objedinjuje sve navedene arhitekturne principe jest One Jo — interni AI asistent koji opslužuje svih 160.000 zaposlenih Schneider Electrica diljem 107 zemalja. One Jo nije samo chatbot — on kontinuirano hrani datasetove poboljšanja koji podupiru LLMOps petlju za cijeli ekosustav agenata. Uz njega, Customer Success Copilot podržava više od 250 Customer Success Managera u svakodnevnom radu.
Drugi konkretan primjer je Digital Energy quotation workflow — sustav za analizu zahtjeva za ponudom u energetskom sektoru. Ono što je ranije zahtijevalo sate ili čak dane obrade skraćeno je na ~15 minuta nakon uvođenja AI sustava. Taj rezultat nije ostvaren jednom optimizacijom, već kombinacijom opservabilnosti kroz produkcijske traceove, kontinuirane evaluacije s anotacijskim redovima i robustnog deploymenta koji garantira stabilnost bez međuproduktnih interferencija.
Za ostatak industrije koji još uvijek traži opravdanje za ulaganje u LLMOps infrastrukturu, Schneider Electric nudi konkretan primjer: skala, sigurnost i mjerljivi poslovni ishodi nisu suprotnosti — oni su direktna posljedica sustavnog pristupa upravljanju AI sustavima u produkciji.
Česta pitanja
- Što je One Jo i kome služi?
- One Jo je interni AI asistent Schneider Electrica koji opslužuje svih 160.000 zaposlenih u 107 zemalja. Djeluje kao flagship produkcijski sustav koji kontinuirano prikuplja podatke za poboljšanje modela.
- Zašto je Schneider Electric odabrao self-hosted LangSmith umjesto cloud opcije?
- Zbog zahtjeva korporativne sigurnosti — LangSmith je deployem na AWS EKS iza korporativnog sigurnosnog perimetra, što omogućuje korištenje produkcijskih traceova bez izlaganja osjetljivih podataka vanjskim servisima.
- Što znači arhitekturna odluka o dedikiranom Agent Serveru po proizvodu?
- Svaki AI proizvod pokreće vlastiti LangSmith Agent Server, čime se izbjegava jedinstvena točka kvara i timovima omogućuje neovisna iteracija prema modelu „You build it, you run it”.