Few-Shot Learning

Few-Shot Learning beschreibt die Fähigkeit eines Modells, eine neue Aufgabe aus nur wenigen Beispielen (Shots) zu lernen — im Gegensatz zum Standard-ML, das Tausende bis Millionen Beispiele benötigt.

Die Notation: Zero-Shot (keine Beispiele, nur die Aufgabenbeschreibung), One-Shot (ein einziges Beispiel), Few-Shot (2-5 Beispiele), Many-Shot (Hunderte+). Die Terminologie wurde durch die GPT-3-Veröffentlichung (Brown et al., 2020) populär.

Für LLMs bedeutet Few-Shot Learning: Beispiele im Prompt geben das Muster vor. „Übersetze: Hund → dog, Katze → cat, Haus → ?" — das Modell erkennt das Muster aus zwei Beispielen und generalisiert. In-Context Learning — die Fähigkeit, aus Prompt-Beispielen zu lernen, ohne die Gewichte zu verändern — ist die bemerkenswerteste Eigenschaft großer Sprachmodelle.

Im klassischen ML hatte Few-Shot Learning eigene Ansätze: Meta-Learning (Learning-to-Learn), Siamese Networks (Ähnlichkeiten zwischen Beispielen messen), Prototypical Networks (Klassen-Prototypen aus wenigen Beispielen bilden). Diese Methoden bleiben für spezialisierte Aufgaben (medizinische Bildklassifikation, seltene Sprachen) relevant.

Die praktische Bedeutung: In vielen realen Szenarien sind große, gelabelte Datensätze teuer oder unmöglich. Seltene Krankheiten haben wenige Fallbeispiele. Neue Produktkategorien haben keine historischen Daten. Firmeninterne Klassifikationsproblemen fehlen Trainingsdaten. Few-Shot Learning macht ML in diesen Szenarien erst möglich.

GPT-4, Claude und Gemini zeigen beeindruckende Few-Shot-Fähigkeiten — aber die Qualität hängt stark von der Aufgabe, der Prompt-Formulierung und der Kalibrierung der Beispiele ab.