Domain Adaptation

Domain Adaptation ist der Transfer-Learning-Ansatz, der ein auf einer Domäne trainiertes Modell für eine andere Domäne nutzbar macht — wenn direkte Trainingsdaten in der Zieldomäne fehlen oder begrenzt sind.

Das Problem: Ein Sentiment-Analyse-Modell, trainiert auf Amazon-Produktbewertungen, funktioniert schlecht bei Twitter-Tweets — unterschiedliches Vokabular, andere Satzlängen, andere Stilkonventionen. Ein Gesichtserkenner, trainiert auf Studiofotos, versagt bei Überwachungskamera-Aufnahmen.

Die Methoden: Unsupervised Domain Adaptation nutzt ungelabelte Daten der Zieldomäne, um Modell-Repräsentationen zu generalisieren (DANN — Domain-Adversarial Neural Networks). Supervised Domain Adaptation nutzt wenige gelabelte Beispiele der Zieldomäne (Few-Shot Fine-Tuning). Semi-Supervised Adaptation kombiniert beides.

LLMs haben Domain Adaptation demokratisiert: Statt aufwendige Feintuning-Pipelines aufzubauen, kann man ein LLM mit wenigen Domain-spezifischen Beispielen im Prompt (Few-Shot) oder per Instruction Tuning für eine neue Domäne anpassen. Parameter-effiziente Methoden wie LoRA und QLoRA ermöglichen Feintuning mit wenig Compute.

Praktische Anwendungen: Medizinisches NLP (allgemeines Sprachmodell → klinische Berichte), Rechts-NLP (allgemein → juristische Dokumente), Industry QA (allgemein → spezifische Produktdokumentation).

Die Messung: Die Diskrepanz zwischen Quell- und Zieldomäne (Domain Gap) wird über Metriken wie Maximum Mean Discrepancy (MMD) oder A-distance quantifiziert — je größer der Gap, desto schwieriger die Adaptation.