基礎
創発的能力（emergent abilities）
小規模モデルには存在せず規模拡大に伴い突然現れる能力で、論争のある主張です。批判者はこの急激な変化を非線形な評価指標の選択に帰します。
**創発的能力（emergent abilities）**とは、Wei et al.（2022）の定義によれば、小規模なモデルには存在しないが大規模なモデルには現れる能力であり、小規模モデルの性能曲線を外挿しても予測できないものを指します。よく挙げられる例として、文脈内学習、指示への追従、段階的な推論（推論モデルを参照）があります。
大規模言語モデルがパラメータ数と学習データを増やしていくと、一部のタスクでは精度が長らくランダム推測の水準にとどまり、ある閾値を超えると突然跳ね上がります。この急激な「相転移」から、研究者たちは規模によって解放される質的に新しく計画されていない能力について語るようになりました。
この主張には議論があります。Schaeffer et al.（2023、NeurIPS Outstanding Paper）は、この急激さがしばしば非線形な評価指標（完全一致の正解率など）の選択に由来することを示しました。連続的な指標を用いると改善は滑らかで予測可能になり、「創発」は消えてしまいます。この議論は2025-2026年も活発であり、フロンティアモデルのリスク予測やベンチマーク結果の解釈に直接影響するためです。