인프라
파운데이션 모델 (foundation model)
광범위한 데이터로 학습되어 다양한 작업에 적응되는 대규모 모델로, Stanford CRFM의 용어이며 LLM, 비전 모델, 멀티모달 모델을 포괄합니다.
**파운데이션 모델 (foundation model)**은 2021년 스탠퍼드의 Center for Research on Foundation Models (CRFM)가 광범위한 데이터에서 자기지도 학습으로 학습되어 그 다음 (파인튜닝이나 프롬프팅을 통해) 다양한 다운스트림 작업에 적응되는 대규모 모델에 대해 도입한 명칭입니다.
정의는 의도적으로 “대규모 언어 모델 (LLM)“보다 넓습니다. 파운데이션 모델에는 다음이 포함됩니다:
- 텍스트: GPT-5, Claude, Gemini, Llama
- 이미지: Stable Diffusion, DALL-E, Midjourney
- 멀티모달: GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 (텍스트 + 이미지 + 오디오 + 영상)
- 코드: Codex, StarCoder, Qwen Coder
- 로봇과 과학: RT-2, AlphaFold, MolecularAI
이 용어는 논쟁의 여지가 있습니다 — 일부 연구자들은 이러한 모델의 일반성을 과장한다고 봅니다. 그럼에도 불구하고 규제에 들어왔습니다: EU AI Act는 명시적으로 “general-purpose AI models”를 규제하며, 이는 본질적으로 동의어이고, 10²⁵ FLOPs 이상으로 학습된 모델(시스템 위험)에는 특별한 의무가 부과됩니다.
CRFM의 주요 명제는 파운데이션 모델이 거대한 가능성(수백 개의 애플리케이션을 위한 단일 기반)과 시스템 위험(기반의 각 결함은 그 위에 구축된 모든 제품에 다운스트림으로 전파됨)을 동시에 가진다는 것입니다. 안전, 평가, 레드팀 활동의 전체 산업이 바로 이 명제를 중심으로 생겨났습니다.