Benchling이 여러 언어 모델을 동시에 사용하는 이유: 모델 간 불일치가 데이터 오류를 드러낸다

매주 Benchling의 특정 엔지니어 또는 제품 관리자가 「소방서장」(fire chief) 역할을 맡습니다 — 프로덕션의 AI 시스템 추적(trace)을 검토하고, 이상 징후를 찾아 팀에 보고합니다. 이것은 의례적인 것이 아닙니다. Benchling의 AI 책임자 Nicholas Larus-Stone에 따르면, 이것은 AI 시스템을 심각한 과학 연구의 신뢰성 한계 내에서 유지하는 핵심 메커니즘 중 하나입니다.

Larus-Stone은 LangChain 공동 창립자 Harrison Chase와 함께 LangChain 팟캐스트 「Max Agency」에 게스트로 출연하여, 생명공학 및 제약 회사의 데이터를 저장하고 정리하는 플랫폼을 위한 AI 에이전트 구축에서 얻은 인사이트를 공유했습니다.

왜 단일 모델로는 충분하지 않은가?

Larus-Stone의 접근법의 핵심 명제는 도발적으로 단순합니다. 어떤 프론티어 언어 모델도 과학 연구 작업에서 충분히 신뢰할 수 없습니다. 오류가 몇 주의 작업 손실이나 데이터 무결성 침해를 초래할 수 있는 경우.

Benchling이 프로덕션에 적용하는 솔루션은 앙상블(ensemble) — 여러 공급업체의 여러 언어 모델을 동일한 작업에 동시에 실행하는 것입니다. 논리는 우아합니다.

모델들이 동의하면, 이것은 높은 품질의 신호입니다. 불일치하면, 이것은 무언가 잘못되었다는 신호입니다 — 데이터, 작업 정의, 또는 기본 가정에.

불일치가 오류 탐지기가 됩니다. 모델 자체는 자신이 틀렸다는 것을 알 필요가 없습니다 — 다른 곳에서 틀리는 다른 모델이 자동으로 팀이 조사할 수 있는 가시적인 불일치를 만듭니다.

14년간의 구조화된 데이터를 전략적 우위로

Benchling은 일반적인 AI 스타트업이 아닙니다. 회사는 10년 이상 존재하면서 고객 실험실에서 직접 온 14년간의 구조화된 과학 데이터를 갖춘 플랫폼을 구축했습니다.

Larus-Stone은 이것이 일반 AI가 복제할 수 없는 맥락적 우위임을 강조합니다. 일반 언어 모델은 방대한 양의 공개적으로 이용 가능한 텍스트로 훈련됩니다 — 그러나 특정 생명공학 회사의 구체적이고 독점적인 구조화된 데이터 아키텍처에는 노출되지 않습니다.

이 맥락 우위는 단순한 마케팅이 아닙니다 — 기술적이기도 합니다. AI 에이전트가 구조화된 형태로 14년간의 실험, 프로토콜, 결과 이력에 접근할 수 있을 때, 박사 학위와 수년간의 실험실 경험을 필요로 하는 추론이 가능합니다.

프로덕션에서의 품질 측정

AI 시스템 평가는 업계의 만성적인 문제입니다. 벤치마크 결과는 실제 조건에서의 동작을 거의 반영하지 않습니다. Benchling은 다층 접근법을 개발했습니다.

주간 소방서장(fire chiefs)이 프로덕션 추적을 검토합니다. 역할은 엔지니어와 제품 관리자 사이에서 돌아가며, 어떤 관점도 특권을 부여받지 않습니다.

구조화된 기술 운영 미팅이 정기적으로 오류 패턴과 사용자 피드백 추세를 분석합니다.

사용자 인터페이스의 좋아요/싫어요 피드백이 개별 응답 품질에 대한 신호를 제공하지만, Larus-Stone은 이것이 주요 메트릭 소스가 아님을 강조합니다 — 추적의 직접 검사가 더 중요합니다.

Benchling이 명시적으로 선호하지 않는 것: 벤치마크 결과. 표준 벤치마크 테스트의 점수는 특정한, 고도로 전문적인 도메인 응용에서의 동작을 예측하는 데 형편없는 보조 지표입니다.

검증 가능한 작업과 검증 불가능한 작업: 다른 평가 프레임워크

Larus-Stone은 AI 평가에 관한 공개 토론에서 드물게 명시적으로 공식화되는 구분을 도입합니다. 검증 가능한 작업과 검증 불가능한 작업의 차이.

코드 생성은 검증 가능합니다. 유닛 테스트가 녹색 신호를 주거나 주지 않습니다. 결과는 이진적이고 객관적입니다.

실험 설계 — 예를 들어, 다음 주에 어떤 변수 세트를 테스트해야 하는지 — 는 같은 방식으로 검증할 수 없습니다. 결과는 확률적입니다. 전략이 좋았는지는 나중에야 판단할 수 있으며, 상당한 불확실성을 동반합니다.

이 구분은 완전히 다른 평가 프레임워크를 요구합니다. 많은 팀이 하듯이 두 카테고리에 동일한 메트릭을 사용하는 것은 실제 성과의 중요한 부분에 대해 눈이 멀게 됩니다.

에이전트를 활용한 과학적 작업 압축

주목을 끄는 주장: Larus-Stone에 따르면 AI 에이전트와 함께 절약된 하루 작업이 「종종 절약된 한 주가 될 수 있습니다」. 압축은 실험 워크플로우 단계 사이의 유휴 시간 제거에서 옵니다 — 결과 대기, 도구 간 수동 데이터 이동, 반복적인 행정 준비.

그러나 더 흥미로운 주장은 방법론 변화에 관한 것입니다. 에이전트는 사전에 더 엄격한 실험 설계를 가능하게 하여 결론에 도달하는 데 필요한 반복 횟수를 줄입니다. 어둠 속에서 더듬어 실험하는 대신, 더 정확하게 가설을 타겟팅할 수 있습니다.

Benchling은 실험 설계(Design of Experiments, DOE) 방법론을 AI 계획과 결합하여 사용합니다. 이는 통계적 실험 설계를 언어 모델 기능과 통합하는 것을 시사하는데 — 생명공학 이외에도 더 광범위하게 적용 가능한 접근법일 수 있습니다.