Microsoft AutoAdapt: 30분 4달러로 LLM을 전문 도메인에 자동 적응

Microsoft Research는 대형 언어 모델을 전문 도메인에 적응시키는 프로세스를 자동화하는 AutoAdapt를 발표했습니다. 수 주간의 수동 엔지니어링 작업 대신 AutoAdapt는 약 30분 내에 작업을 완료하며 모델당 약 4달러의 추가 비용이 발생합니다.

AutoAdapt는 실제로 어떻게 작동합니까?

AutoAdapt는 세 가지 핵심 구성 요소에 의존합니다. 첫 번째는 적응 구성 그래프——모든 가능한 적응 전략과 매개변수를 설명하는 구조입니다. 두 번째 구성 요소는 에이전트 플래너로, 목표 도메인과 작업을 분석하고 그래프를 통한 최적 경로를 선택합니다.

세 번째 구성 요소는 예산 인식 AutoRefine 루프——사전 정의된 비용과 대기 시간 제약을 준수하면서 구성을 반복적으로 개선합니다. 이러한 요소의 조합은 사용자가 하이퍼파라미터, 프롬프트 컨텍스트 크기 또는 검색 레이어 아키텍처를 수동으로 실험할 필요가 없다는 것을 의미합니다.

프레임워크는 독립적으로 RAG(검색 증강 생성, 컨텍스트에 문서 검색), 파인튜닝(모델 가중치 조정) 또는 둘의 조합을 사용할지 결정합니다.

AutoAdapt는 어떤 도메인에서 결과를 보여주었습니까?

Microsoft는 여러 까다로운 영역에서 시스템을 테스트했습니다: 의학 질문 응답, 법률 텍스트, 사이버 보안의 인시던트 대응 시나리오. 모든 테스트된 도메인에서 AutoAdapt는 적응 없는 범용 모델과 비교하여 일관되게 성능을 향상시켰습니다.

결과는 표준 추론 벤치마크, 질문 응답 작업, 코드 생성 및 특정 도메인 테스트에서 확인되었습니다. 이는 자동화 적응이 수동으로 조정된 시스템에 비해 품질을 잃지 않는다는 것을 보여주기 때문에 중요합니다.

이것이 AI 솔루션 시장에 왜 중요합니까?

도메인 적응은 이제까지 비용이 많이 들었습니다——ML 엔지니어 팀, 수 주간의 실험, 상당한 컴퓨팅 예산이 필요했습니다. Microsoft의 30분과 4달러 수치가 프로덕션 조건에서 재현 가능하다면, 전문화된 LLM에 대한 접근을 민주화할 수 있습니다.

자체 용어와 절차에 적응된 모델이 필요하지만 장기 ML 프로젝트 역량이 없는 규제 산업의 소규모 조직에 특히 관련성이 있습니다. Microsoft는 현재 AutoAdapt를 연구 성과로 발표하며 Azure AI 플랫폼 내 상용화 출시는 발표하지 않았습니다.