インフラ
基盤モデル(foundation model)
幅広いデータで学習され多くのタスクに適応される大規模モデルで、Stanford CRFMの用語であり、LLM、視覚モデル、マルチモーダルモデルを包含します。
**基盤モデル(foundation model)**は、2021年にスタンフォード大学のCenter for Research on Foundation Models(CRFM)が、幅広いデータで自己教師あり学習によって訓練され、その後さまざまな下流タスクに(ファインチューニングまたはプロンプティングを通じて)適応される大規模モデルに対して導入した名称です。
定義は意図的に「大規模言語モデル」より広くなっています。基盤モデルには以下が含まれます:
- テキスト: GPT-5、Claude、Gemini、Llama
- 画像: Stable Diffusion、DALL-E、Midjourney
- マルチモーダル: GPT-4o、Claude 3.5 Sonnet、Gemini 2.0(テキスト+画像+音声+動画)
- コード: Codex、StarCoder、Qwen Coder
- ロボティクスと科学: RT-2、AlphaFold、MolecularAI
この用語は議論を呼びました — 一部の研究者は、これらのモデルの汎用性を誇張していると考えています。それでも規制に組み込まれました:EU AI Actは明示的に「general-purpose AI models」を規制しており、これは本質的に同義語であり、10²⁵ FLOPsを超えて学習されたモデル(システムリスク)には特別な義務が課されます。
CRFMの主な命題は、基盤モデルが巨大な可能性(数百のアプリケーションに対する単一の基盤)とシステムリスク(基盤の各欠陥が、その上に構築されるすべての製品に下流に伝播する)を同時に持つということです。安全性、評価、レッドチームの業界全体が、まさにこの命題の周りに生まれました。