Few-Shot Learning
Few-Shot Learning beschreibt die Fähigkeit eines Modells, eine neue Aufgabe aus nur wenigen Beispielen (Shots) zu lernen - im Gegensatz zum Standard-ML, das Tausende bis Millionen Beispiele benötigt.
Die Notation: Zero-Shot (keine Beispiele, nur die Aufgabenbeschreibung), One-Shot (ein einziges Beispiel), Few-Shot (2-5 Beispiele), Many-Shot (Hunderte+). Die Terminologie wurde durch die GPT-3-Veröffentlichung (Brown et al., 2020) populär.
Für LLMs bedeutet Few-Shot Learning: Beispiele im Prompt geben das Muster vor. „Übersetze: Hund → dog, Katze → cat, Haus → ?" - das Modell erkennt das Muster aus zwei Beispielen und generalisiert. In-Context Learning - die Fähigkeit, aus Prompt-Beispielen zu lernen, ohne die Gewichte zu verändern - ist die bemerkenswerteste Eigenschaft großer Sprachmodelle.
Im klassischen ML hatte Few-Shot Learning eigene Ansätze: Meta-Learning (Learning-to-Learn), Siamese Networks (Ähnlichkeiten zwischen Beispielen messen), Prototypical Networks (Klassen-Prototypen aus wenigen Beispielen bilden). Diese Methoden bleiben für spezialisierte Aufgaben (medizinische Bildklassifikation, seltene Sprachen) relevant.
Die praktische Bedeutung: In vielen realen Szenarien sind große, gelabelte Datensätze teuer oder unmöglich. Seltene Krankheiten haben wenige Fallbeispiele. Neue Produktkategorien haben keine historischen Daten. Firmeninterne Klassifikationsproblemen fehlen Trainingsdaten. Few-Shot Learning macht ML in diesen Szenarien erst möglich.
GPT-4, Claude und Gemini zeigen beeindruckende Few-Shot-Fähigkeiten - aber die Qualität hängt stark von der Aufgabe, der Prompt-Formulierung und der Kalibrierung der Beispiele ab.
EfficiencyAdaptation
Verwandte Begriffe
FittingFitting bezeichnet den Anpassungsprozess des Modells an die Daten. Ein 'Good Fit' bedeutet, das Modell hat d …EpochsSiehe Epoch. Mehrzahl. Die Anzahl der Epochen ist ein Hyperparameter, den man vor dem Training festlegt.DPO (Direct Preference Optimization)DPO (Direct Preference Optimization) ist ein Trainingsverfahren, das 2023 als elegante Alternative zu RLHF ( …



