Discriminative

Ein Discriminative Model lernt die Grenze zwischen Klassen — es beantwortet die Frage „Zu welcher Klasse gehört diese Eingabe?" direkt, ohne die Eingabedaten selbst modellieren zu müssen.

Die fundamentale Unterscheidung: Generative Modelle lernen P(X|Y) — die Verteilung der Daten gegeben die Klasse — und können neue Daten generieren. Discriminative Modelle lernen P(Y|X) — die Wahrscheinlichkeit der Klasse gegeben die Daten — direkt. Sie sind typischerweise einfacher und für Klassifikation genauer.

Beispiele für Discriminative Modelle: Logistische Regression, Support Vector Machines, Random Forests, neuronale Klassifikatoren, BERT (im Klassifikationsmodus). Beispiele für Generative Modelle: Naive Bayes, GANs, VAEs, Diffusionsmodelle, GPT (im Generierungsmodus).

Andrew Ng und Michael Jordan zeigten 2001, dass discriminative Modelle asymptotisch (mit genug Daten) generative Modelle in der Klassifikationsleistung übertreffen — ein Ergebnis, das den Fokus der ML-Community für Jahre auf discriminative Ansätze lenkte.

Die Grenze verwischt zunehmend. GPT-4 ist ein generatives Modell, das hervorragend klassifizieren kann (als Zero-Shot-Classifier). BERT ist primär discriminativ, kann aber durch Masked Language Modeling auch Text generieren. Foundation Models vereinen beide Paradigmen.

Die praktische Faustregel bleibt: Für reine Klassifikation sind discriminative Modelle effizienter. Wenn man Daten generieren, die Datenverteilung verstehen oder unsupervised lernen will, braucht man generative Ansätze.