Autoencoder

Ein Autoencoder ist ein neuronales Netz, das lernt, Daten zu komprimieren und wieder zu rekonstruieren — eine Architektur, die auf den ersten Blick sinnlos erscheint und sich als enorm nützlich erweist.

Die Struktur besteht aus zwei Teilen. Der Encoder komprimiert die Eingabe in eine niedrigdimensionale Repräsentation (den Latent Space oder Flaschenhals). Der Decoder versucht, aus dieser komprimierten Darstellung die ursprüngliche Eingabe möglichst originalgetreu wiederherzustellen. Das Training zwingt das Netz, die wesentlichen Merkmale der Daten zu erfassen — alles, was im Flaschenhals keinen Platz hat, geht verloren.

Anwendungen gibt es in vielen Bereichen. Dimensionsreduktion: Ein Autoencoder kann Tausende Features auf wenige Dimensionen komprimieren, ähnlich wie PCA, aber mit der Fähigkeit, nicht-lineare Zusammenhänge zu erfassen. Anomalie-Erkennung: Ein Autoencoder, der auf „normalen" Daten trainiert wurde, rekonstruiert anomale Eingaben schlecht — ein hoher Rekonstruktionsfehler signalisiert eine Auffälligkeit. Denoising: Denoising Autoencoders lernen, verrauschte Eingaben zu bereinigen.

Variational Autoencoders (VAEs), 2013 von Kingma und Welling vorgestellt, erweiterten das Konzept um eine probabilistische Komponente und ermöglichten generative Modelle: Statt nur zu komprimieren und rekonstruieren, kann ein VAE neue, plausible Datenpunkte erzeugen. VAEs waren ein wichtiger Vorläufer der heutigen Diffusionsmodelle für Bildgenerierung.