Training
Selbstüberwachtes Lernen
Trainingsansatz, bei dem ein Modell aus ungelabelten Daten lernt, indem es sich eigene Ziele schafft, z. B. durch Vorhersage maskierter Tokens in einem Satz.
Selbstüberwachtes Lernen (self-supervised learning, SSL) ist ein Paradigma des maschinellen Lernens, bei dem ein Modell aus ungelabelten Daten lernt, indem es sich selbst ein Trainingssignal konstruiert. Statt menschlich vorbereiteter Labels wird ein Teil der Eingabe verdeckt oder verzerrt, und das Modell lernt, diesen fehlenden Teil aus dem verbleibenden Kontext vorherzusagen.
Das bekannteste Beispiel ist Masked Language Modeling bei BERT (verdecke ein Wort, errate es) und Next-Token Prediction bei der GPT-Familie (sage das nächste Token voraus). Im visuellen Bereich lernen Modelle wie SimCLR und DINO, die Beziehung zwischen verschiedenen Ansichten desselben Bildes vorherzusagen.
Warum es wichtig ist:
- Beseitigt den Engpass des manuellen Labelns von Daten — Internet, Bücher und Code existieren bereits in riesigen Mengen
- Bildet die Grundlage des Trainings nahezu jedes großen Sprachmodells und Foundation Models heute
- Die gelernten Repräsentationen werden anschließend mit deutlich weniger gelabelten Beispielen für spezifische Aufgaben feinabgestimmt
Yann LeCun nennt SSL die „dunkle Materie der Intelligenz”, weil Menschen und Tiere überwiegend genau auf diese Weise lernen — durch Beobachtung der Welt ohne explizite Labels. SSL ist der Grund, warum moderne KI-Systeme von Millionen auf Billionen Parameter skalieren konnten, ohne dass die Labelkosten proportional gestiegen wären.