Benchling koristi višestruke jezične modele istovremeno: neslaganje modela otkriva greške u podacima

Svaki tjedan, određeni inženjer ili product manager u Benchlingu preuzima ulogu „vatrogasnog zapovjednika” (fire chief) — pregledava tragove (trace) AI sustava u produkciji, traži anomalije i podnosi izvještaj timu. To nije ceremonijalnog karaktera: prema Nicholasu Larus-Stoneu, voditelju AI-a u Benchlingu, to je jedan od ključnih mehanizama koji drže AI sustave u granicama pouzdanosti za ozbiljna znanstvena istraživanja.

Larus-Stone je gostovao u LangChain podcastu „Max Agency” uz Harrisona Chasea, suosnivača LangChaina, gdje je podijelio uvide iz izgradnje AI agenata za platformu koja pohranjuje i organizira podatke za biotehnološke i farmaceutske tvrtke.

Zašto ni jedan model nije dovoljan?

Centralna teza Larus-Stoneovog pristupa je provokativno jednostavna: ni jedan frontier jezični model nije dovoljno pouzdan za zadatke u znanstvenom istraživanju gdje greška može koštati tjednima rada ili narušiti integritet podataka.

Rješenje koje Benchling primjenjuje u produkciji je ensemble — pokretanje više jezičnih modela od različitih pružatelja istovremeno na istom zadatku. Logika je elegantna:

Kad se modeli slažu, to je signal visoke kvalitete. Kad se razilaze, to je signal da nešto nije u redu — ili s podacima, ili s formulacijom zadatka, ili s temeljnim pretpostavkama.

Neslaganje postaje detektor grešaka. Model sam po sebi ne mora znati da griješi — ali drugi model koji griješi na drugačijem mjestu automatski stvara vidljiv nesklad koji tim može istražiti.

Četrnaest godina strukturiranih podataka kao strateška prednost

Benchling nije tipičan AI startup: tvrtka postoji više od desetljeća i u tom je vremenu izgradila platformu s 14 godinama strukturiranih znanstvenih podataka koji dolaze direktno iz laboratorija njezinih klijenata.

Larus-Stone naglašava da je ovo kontekstualna prednost koju generički AI ne može replicirati. Opći jezični modeli treniraju se na ogromnim količinama javno dostupnog teksta — no nisu izloženi specifičnoj, proprietarnoj, strukturiranoj podatkovnoj arhitekturi konkretne biotehnološke tvrtke.

Ova prednost konteksta nije samo marketinška — ona je i tehnička. Kada AI agent ima pristup 14-godišnjoj povijesti eksperimenata, protokola i rezultata u strukturiranom obliku, sposoban je za zaključivanje koje bi inače zahtijevalo doktorat i višegodišnje iskustvo u laboratoriju.

Mjerenje kvalitete u produkciji

Evaluacija AI sustava je kronični problem industrije: benchmark rezultati rijetko odražavaju ponašanje u stvarnim uvjetima. Benchling je razvio višeslojni pristup:

Tjedni vatrogasni zapovjednici (fire chiefs) pregledavaju traceve iz produkcije. Uloga rotira između inženjera i product managera, što znači da se niti jedna perspektiva ne privilegira.

Strukturirani tech-ops sastanci redovito analiziraju obrasce grešaka i trendove u korisničkim povratnim informacijama.

Thumbs-up/down feedback u korisničkom sučelju daje signal o kvaliteti pojedinih odgovora, no Larus-Stone naglašava da to nije primarni metrički izvor — direktna inspekcija tragova je bitnija.

Ono što Benchling eksplicitno ne preferira: benchmark rezultati. Ocjene na standardnim benchmark testovima su sekundarni pokazatelj koji loše predviđa ponašanje u specifičnoj, visoko stručnoj domenskoj primjeni.

Verifikabilni i neverifikabilni zadaci: različiti okviri evaluacije

Larus-Stone uvodi distinkciju koja je rijetko eksplicitno formulirana u javnim raspravama o AI evaluaciji: razlika između verifikabilnih i neverifikabilnih zadataka.

Generiranje koda je verifikabilno: unit testovi ili daju zeleno svjetlo ili ne. Isход je binaran i objektivan.

Dizajniranje eksperimenta — primjerice, koji bi set varijabli trebalo testirati sljedeći tjedan — neverifikabilan je na isti način. Ishod je probabilistički: može se tek naknadno prosuditi je li strategija bila dobra, i to s velikom dozom neizvjesnosti.

Ova distinkcija zahtijeva potpuno različite evaluacijske okvire. Koristiti iste metrike za obje kategorije — kao što mnogi timovi čine — znači sljepilo prema bitnom dijelu stvarnih performansi.

Kompresija znanstvenog rada pomoću agenata

Tvrdnja koja privlači pažnju: prema Larus-Stoneu, jedan ušteđeni dan rada uz AI agente „često može postati ušteđeni tjedan”. Kompresija dolazi uklanjanjem mrtvog vremena između koraka u eksperimentalnom workflow-u — čekanje na rezultate, ručno premještanje podataka između alata, ponavljajuća administrativna priprema.

No još je zanimljivija tvrdnja o promjeni metodologije: agenti omogućuju rigorozniji dizajn eksperimenta unaprijed, što smanjuje broj potrebnih iteracija za donošenje zaključka. Umjesto da se eksperimentira opipavanjem u mraku, moguće je preciznije targetirati hipoteze.

Benchling koristi i Design of Experiments (DOE) metodologiju kombiniranu s AI planiranjem, što sugerira integraciju statističkog dizajna eksperimenata s mogućnostima jezičnih modela — pristup koji bi mogao biti primjenjiv i šire izvan biotehnologije.