Few-Shot

Few-Shot Learning, im engeren Prompt-Kontext, beschreibt die Technik, einem LLM wenige Beispiele im Prompt zu geben, um das gewünschte Ausgabeformat und -verhalten zu demonstrieren — ohne das Modell umzutrainieren.

Der Prompt enthält typischerweise 2-5 Beispielpaare (Eingabe → gewünschte Ausgabe), gefolgt von der eigentlichen Anfrage. Das Modell erkennt das Muster und wendet es auf die neue Eingabe an. Beispiel: „Zusammenfassung in einem Satz: [Artikel 1] → [Zusammenfassung 1]. [Artikel 2] → [Zusammenfassung 2]. [Neuer Artikel] →"

Die Terminologie stammt aus der GPT-3-Veröffentlichung (Brown et al., 2020): „Zero-Shot" (nur Instruktion, keine Beispiele), „One-Shot" (ein Beispiel), „Few-Shot" (wenige Beispiele). GPT-3 zeigte, dass die Leistung mit der Anzahl der Shots steigt — aber nicht linear: Oft reichen 3-5 gut gewählte Beispiele.

Best Practices: Diverse Beispiele wählen (verschiedene Fälle abdecken). Konsistentes Format beibehalten. Edge Cases einbeziehen. Die Reihenfolge der Beispiele kann die Leistung beeinflussen — Recency Bias (die letzten Beispiele haben mehr Einfluss) ist dokumentiert.

Die Alternative: Instruction Tuning und System Prompts spezifizieren das gewünschte Verhalten über natürlichsprachliche Anweisungen statt über Beispiele — oft effektiver und token-effizienter. In der Praxis werden beide Ansätze kombiniert: System Prompt für den allgemeinen Rahmen, Few-Shot-Beispiele für das spezifische Format.