Grundlagen
Emergente Fähigkeiten
Fähigkeiten, die kleineren Modellen fehlen und mit der Skalierung abrupt auftreten; umstritten — Kritiker führen die Sprünge auf nichtlineare Metriken zurück.
Emergente Fähigkeiten (emergent abilities) sind nach der Definition von Wei et al. (2022) Fähigkeiten, die in kleineren Modellen nicht vorhanden sind, in größeren jedoch auftreten — und sich nicht durch Extrapolation der Leistungskurve kleinerer Modelle vorhersagen lassen. Häufig genannte Beispiele sind In-Context-Learning, das Befolgen von Anweisungen und schrittweises Schlussfolgern (siehe Reasoning-Modell).
Wenn ein großes Sprachmodell in Parameterzahl und Trainingsdaten wächst, bleibt die Genauigkeit bei manchen Aufgaben lange auf Zufallsniveau und springt dann jenseits einer bestimmten Schwelle abrupt nach oben. Dieser plötzliche „Phasenübergang” veranlasste Forscher, von qualitativ neuen, ungeplanten Fähigkeiten zu sprechen, die durch Skalierung freigesetzt werden.
Die These ist umstritten. Schaeffer et al. (2023, ein „NeurIPS Outstanding Paper”) zeigten, dass die Abruptheit oft aus der Wahl nichtlinearer Metriken (etwa exakter Trefferquote) folgt: Kontinuierliche Metriken liefern eine glatte, vorhersagbare Verbesserung, sodass die „Emergenz” verschwindet. Die Debatte bleibt 2025-2026 aktiv, da sie unmittelbar beeinflusst, wie wir Risiken von Frontier-Modellen prognostizieren und Benchmark-Ergebnisse deuten.