Feature Space

Der Feature Space (Merkmalraum) ist der mathematische Raum, der durch alle Features eines Datensatzes aufgespannt wird. Jeder Datenpunkt ist ein Punkt in diesem Raum, und das ML-Modell lernt, diesen Raum zu strukturieren.

Intuition: Ein Datensatz mit zwei Features (Alter, Einkommen) lebt in einem 2D-Feature-Space — jeder Datenpunkt ist ein Punkt in einer 2D-Ebene. Ein Datensatz mit 100 Features lebt in einem 100-dimensionalen Raum. Ein Bild mit 224×224 Pixeln (RGB) ist ein Punkt in einem 150.528-dimensionalen Raum.

Die Aufgabe des ML-Modells: Die Struktur im Feature Space lernen. Ein linearer Klassifikator zieht eine Hyperebene durch den Feature Space. Ein SVM mit Kernel transformiert den Feature Space in einen höherdimensionalen Raum, in dem die Klassen linear trennbar sind (der berühmte Kernel Trick). Ein neuronales Netz transformiert den Feature Space schrittweise durch nichtlineare Abbildungen, bis die Zielstruktur erkennbar wird.

Der Kernel Trick: SVMs können Daten, die im originalen Feature Space nicht linear trennbar sind, in einen höherdimensionalen Raum projizieren, wo sie es sind — ohne die Projektion explizit zu berechnen. Das Gausssche (RBF) Kernel projiziert implizit in einen unendlich-dimensionalen Raum.

Representation Learning (wie es Deep Learning betreibt) ist im Kern die Suche nach dem bestmöglichen Feature Space: Das Netz transformiert den Input-Feature-Space in einen gelernten Representation-Space, in dem die Aufgabe trivial wird.