Fine-Tuning
Anpassung eines vortrainierten Sprachmodells an spezifische Aufgaben oder einen besonderen Stil durch zusätzliches Training mit ausgewählten Daten.
Ausführliche Erklärung
Fine-Tuning ist die kontrollierte Weiterentwicklung eines bereits trainierten Sprachmodells. Statt ein Modell von Grund auf neu zu trainieren – was Millionen Euro und mehrere Wochen GPU-Zeit kosten würde – wird ein bestehendes Basismodell mit einer kleinen, sorgfältig kuratierten Menge eigener Daten nachjustiert. Das Modell behält seine allgemeinen Sprachfähigkeiten, lernt aber zusätzlich Eigenarten, Tonalität oder Wissensbereiche der eigenen Daten.
Wichtig zur Einordnung: Fine-Tuning ist nicht das gleiche wie Wissens-Anreicherung. Wer einem Modell aktuelle Firmen-Daten zur Verfügung stellen möchte, fährt mit RAG günstiger und flexibler. Fine-Tuning lohnt sich, wenn das Modell einen bestimmten Stil konsistent treffen soll, ein hochspezialisiertes Vokabular beherrschen muss oder strukturierte Ausgaben in einem bestimmten Format liefern soll – Anwendungsfälle, die mit Prompts allein schwer zuverlässig zu erreichen sind.
Für KMU ist Fine-Tuning meist Overkill. Vor jeder Investition in ein Fine-Tuning-Projekt sollten zwei einfachere Wege ausgeschöpft werden: erstens systematisches Prompt Engineering, zweitens RAG-Integration. Erst wenn beide an spezifische Grenzen stoßen, ist Fine-Tuning der richtige Schritt.
Praxisbeispiel
Eine Versicherungsmaklerin lässt sich Antworten an Kund:innen vorformulieren. Trotz ausgefeilter Prompts trifft das Standard-Modell ihren formellen Schreibstil nicht zuverlässig – mal zu salopp, mal zu technisch. Sie sammelt 200 ihrer eigenen, schon versendeten E-Mails und nutzt diese als Trainingsdaten für ein Fine-Tuning. Das nachjustierte Modell trifft danach ihren Stil mit hoher Konsistenz. Aufwand: rund 600 Euro für die Trainings-Compute-Zeit, plus zwei Tage für Datenaufbereitung und Validierung.