Fine-Tuning
Fine-Tuning bezeichnet das Nachtrainieren eines bereits vortrainierten Modells mit zusätzlichen, spezifischen Daten, um es an eine bestimmte Aufgabe, Domäne oder einen Stil anzupassen. Für viele Anwendungen reichen heute aber gutes Prompting oder RAG, ohne das Modell selbst zu verändern.
Was Fine-Tuning für dein Unternehmen bedeutet
Fine-Tuning wird oft als erster Schritt genannt, ist aber selten der richtige. Es lohnt sich vor allem, wenn ein Modell einen bestimmten Stil, ein festes Format oder eine sehr spezielle Aufgabe zuverlässig beherrschen soll. Für aktuelles Firmenwissen ist es meist ungeeignet, weil jede Änderung ein neues Training erfordert. Kläre vorher, ob gutes Prompting oder RAG ausreicht.
Beispiel aus der Praxis: Ein Versandhändler möchte eingehende Mails automatisch festen Kategorien zuordnen. Mit Prompts allein liegen zu viele Zuordnungen daneben. Mit einer großen Zahl bereits sortierter Mails aus dem Archiv wird ein kleineres Modell nachtrainiert, das die Kategorien danach zuverlässiger erkennt. Stichproben prüft weiterhin der Kundenservice.
Häufige Fragen zu Fine-Tuning
Fine-Tuning verändert das Modell selbst und prägt ihm Verhalten, Stil oder Spezialwissen dauerhaft ein. RAG lässt das Modell unverändert und gibt ihm bei jeder Frage passende Dokumente mit. Für Wissen, das sich ändert, ist RAG meist besser geeignet, für ein gleichbleibendes Verhalten eher Fine-Tuning.
Gute Beispielpaare aus Eingabe und gewünschter Ausgabe, die die Aufgabe realistisch abbilden. Qualität geht vor Menge: Fehlerhafte oder widersprüchliche Beispiele lernt das Modell mit. Prüfe außerdem, ob du die Daten für diesen Zweck verwenden darfst, insbesondere wenn personenbezogene Informationen enthalten sind.
Häufig ja. Ein bei einem Anbieter nachtrainiertes Modell lässt sich meist nicht einfach mitnehmen. Bei frei verfügbaren Modellen, die du selbst nachtrainierst, behältst du das Ergebnis. Unabhängig davon solltest du deine Trainingsdaten sauber aufbewahren, um bei einem Wechsel neu trainieren zu können.