Infrastruktur
Foundation Model
Großes, auf breiten Daten trainiertes Modell, das sich für viele Aufgaben anpassen lässt; Stanford-CRFM-Begriff für LLMs, Vision- und multimodale Modelle.
Ein Foundation Model ist die 2021 vom Stanford Center for Research on Foundation Models (CRFM) eingeführte Bezeichnung für große, mittels selbstüberwachten Lernens auf breiten Daten trainierte Modelle, die anschließend (durch Fine-Tuning oder Prompting) für eine Reihe nachgelagerter Aufgaben angepasst werden.
Die Definition ist absichtlich weiter gefasst als „großes Sprachmodell”. Foundation Models umfassen:
- Text: GPT-5, Claude, Gemini, Llama
- Bilder: Stable Diffusion, DALL-E, Midjourney
- Multimodal: GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 (Text + Bild + Audio + Video)
- Code: Codex, StarCoder, Qwen Coder
- Robotik und Wissenschaft: RT-2, AlphaFold, MolecularAI
Der Begriff ist umstritten — manche Forscher meinen, er überschätze die Allgemeinheit dieser Modelle. Dennoch ist er in die Regulierung eingegangen: Der EU AI Act reguliert ausdrücklich „General-Purpose-AI-Modelle”, was im Wesentlichen synonym ist, mit besonderen Pflichten für solche, die mit mehr als 10²⁵ FLOPs trainiert wurden (systemisches Risiko).
Die Hauptthese des CRFM ist, dass Foundation Models gleichzeitig enorme Möglichkeiten (eine Grundlage für Hunderte von Anwendungen) und systemische Risiken (jeder Mangel der Grundlage pflanzt sich auf jedes darauf gebaute Produkt fort) tragen. Eine ganze Industrie rund um Sicherheit, Evaluierungen und Red-Teaming ist um genau diese These herum entstanden.