Fine-Tuning

Fine-Tuning (Feinabstimmung) bezeichnet den Prozess, ein vortrainiertes Großes Sprachmodell auf einem kleineren, kuratierten Datensatz weiterzutrainieren, um es auf eine bestimmte Aufgabe, Domäne oder einen Stil zu spezialisieren. Das Modell behält seine allgemeinen Sprachfähigkeiten, während es die Gewichte an das neue Ziel anpasst.

Häufige Gründe für Fine-Tuning:

• Domänen-Expertise — rechtliche, medizinische, finanzielle Fachsprache
• Markenstimme — konsistenter Ton für ein Produkt
• Aufgabenspezialisierung — zuverlässiges Function-Calling, strukturierter Output
• Performance — ein kleineres, feinabgestimmtes Modell kann ein größeres allgemeines Modell bei einer engen Aufgabe übertreffen

Moderne Praxis nutzt Parameter-Efficient Fine-Tuning (PEFT) — LoRA, QLoRA —, das nur einen kleinen Adapter über den eingefrorenen Basisgewichten trainiert. Dies reduziert den VRAM-Bedarf um den Faktor 10–100 und macht Fine-Tuning auf einer einzigen GPU praktikabel. Vollständiges Fine-Tuning (Aktualisierung aller Gewichte) ist größten Projekten vorbehalten.

Fine-Tuning unterscheidet sich von:

• Pre-Training: initiales Training auf dem vollständigen Web-Korpus
• RLHF / DPO: Ausrichtung durch menschliche Präferenzen (oft eine Phase des Fine-Tunings)
• Prompt Engineering: nur der Eingabe wird geändert, nicht das Modell
• RAG: Kontext wird zur Inferenzzeit abgerufen, das Modell wird nicht modifiziert

Für die meisten Produktanwendungsfälle im Jahr 2026 erreichen RAG und Prompt Engineering eine akzeptable Qualität ohne Fine-Tuning. Fine-Tuning lohnt sich, wenn eine enge, wiederholbare Aufgabe vorliegt und mindestens einige hundert hochwertige Beispiele verfügbar sind.