Decision Boundary

Eine Decision Boundary (Entscheidungsgrenze) ist die (hypothetische) Grenze im Feature-Raum, die ein Klassifikationsmodell zwischen verschiedenen Klassen zieht. Alles auf einer Seite der Grenze wird als Klasse A klassifiziert, alles auf der anderen als Klasse B.

Bei linearen Klassifikatoren (logistische Regression, lineare SVM) ist die Decision Boundary eine Gerade (2D), eine Ebene (3D) oder eine Hyperebene (höhere Dimensionen). Bei nicht-linearen Klassifikatoren (Kernel-SVM, Random Forest, neuronale Netze) kann die Boundary beliebig komplex sein — geschwungen, verschachtelt, sogar fragmentiert.

Die Visualisierung von Decision Boundaries in 2D ist ein mächtiges Lehrmittel. Man sieht sofort: Ein lineares Modell kann nur gerade Grenzen ziehen — wenn die Klassen nicht linear trennbar sind (z.B. konzentrische Kreise), versagt es. Ein neuronales Netz kann beliebig komplexe Grenzen lernen — aber Vorsicht: Zu komplexe Grenzen folgen dem Rauschen in den Trainingsdaten (Overfitting).

Der Bias-Variance-Tradeoff manifestiert sich direkt in der Decision Boundary: Eine zu einfache Grenze (hoher Bias) missklassifiziert systematisch. Eine zu komplexe Grenze (hohe Variance) passt sich dem Trainingsnoise an und generalisiert schlecht.

Support Vector Machines maximieren den Abstand (Margin) zwischen der Decision Boundary und den nächstgelegenen Datenpunkten jeder Klasse (die Support Vectors). Diese Strategie — maximale Separation — führt theoretisch zu besserer Generalisierung.