Training
In-Context-Lernen (In-Context Learning)
Die Fähigkeit eines Sprachmodells, eine neue Aufgabe aus Beispielen im Prompt zu erlernen — ohne Gewichtsaktualisierungen, per Few-Shot oder Zero-Shot.
In-Context-Lernen (In-Context Learning, ICL) ist die Fähigkeit eines großen Sprachmodells, eine neue Aufgabe allein anhand von Beispielen oder Anweisungen im Prompt zu lösen — ganz ohne Gewichtsaktualisierungen. Anders als beim Fine-Tuning, das die Parameter des Modells dauerhaft verändert, ist ICL temporär: Das Modell „lernt” nur für die aktuelle Sitzung und nutzt dieses Wissen unmittelbar bei der Inferenz.
Die Varianten unterscheiden sich nach der Zahl der Beispiele: Beim Zero-Shot-Ansatz erhält das Modell nur eine Aufgabenbeschreibung, beim Few-Shot-Ansatz hingegen einige Eingabe-Ausgabe-Paare, aus denen es das gewünschte Muster ableitet. Geprägt wurde der Begriff durch GPT-3 (Brown et al., 2020), das zeigte, dass ein hinreichend großes Modell neue Aufgaben „rein über Text, ohne jegliche Gradientenaktualisierung” bewältigt.
ICL gilt weithin als emergente Fähigkeit, die mit der Modellgröße zunimmt. In den Jahren 2025-2026 wächst seine praktische Bedeutung mit großen Kontextfenstern: Many-Shot-ICL mit Hunderten Beispielen erreicht bei manchen Aufgaben nahezu die Qualität feinabgestimmter Modelle und bildet zudem die Grundlage für Techniken wie das Chain-of-Thought-Prompting.