Decoder

Ein Decoder ist die Komponente eines neuronalen Netzes, die aus einer komprimierten oder abstrakten Repräsentation eine strukturierte Ausgabe erzeugt — das Gegenstück zum Encoder.

In der Transformer-Architektur hat der Decoder eine spezifische Bedeutung. Der Original-Transformer (Vaswani et al., 2017) bestand aus Encoder und Decoder. Der Encoder verarbeitet die Eingabe (z.B. einen Satz in der Quellsprache), der Decoder erzeugt die Ausgabe tokenweise (z.B. die Übersetzung). GPT-Modelle nutzen nur den Decoder-Teil — sie sind „Decoder-Only"-Modelle, die autoregressiv Token für Token generieren. BERT ist ein „Encoder-Only"-Modell, das bidirektional Eingaben verarbeitet, aber nicht generieren kann.

In Autoencodern komprimiert der Encoder die Eingabe in den Latent Space, und der Decoder rekonstruiert daraus die Original-Eingabe. Die Qualität der Rekonstruktion ist das Trainingssingal.

In der Bildgenerierung: Stable Diffusion nutzt einen VAE-Decoder, der aus dem niedrigdimensionalen Latent Space ein hochauflösendes Bild erzeugt. Die Diffusion findet im kompakten Latent Space statt (4x weniger Pixel), der Decoder skaliert das Ergebnis auf die volle Bildgröße.

Decoder-Only-Architekturen haben sich als dominantes Paradigma für generative Sprachmodelle durchgesetzt. Die Eleganz liegt in der Einfachheit: Das Modell sieht den bisherigen Text und sagt das nächste Token vorher — ein universeller Mechanismus, der Textgenerierung, Codeschreiben, Übersetzung und Reasoning in einer einzigen Architektur vereint.