Architecture

In der KI bezeichnet Architektur den strukturellen Bauplan eines neuronalen Netzes: wie viele Schichten es hat, wie die Schichten verbunden sind, welche Operationen in jeder Schicht durchgeführt werden und wie Informationen durch das Netz fließen.

Die großen Architekturfamilien haben die Geschichte des Deep Learning geprägt. Convolutional Neural Networks (CNNs), 1998 von Yann LeCun popularisiert, revolutionierten die Bildverarbeitung. Recurrent Neural Networks (RNNs) und ihre Variante LSTM (1997, Hochreiter & Schmidhuber) dominierten jahrelang die Sequenzverarbeitung. Der Transformer (Vaswani et al., 2017) ersetzte beide und wurde zur universellen Architektur für Text, Bild, Audio und mehr.

Die Wahl der Architektur bestimmt fundamental, was ein Modell kann. Ein CNN erkennt lokale Muster (Kanten, Texturen), ein Transformer kann beliebig weit entfernte Zusammenhänge in einer Sequenz erfassen, ein Graph Neural Network verarbeitet Netzwerkstrukturen. Die falsche Architektur für ein Problem zu wählen, lässt sich selten durch mehr Daten oder Training ausgleichen.

Architektursuche (Neural Architecture Search, NAS) automatisiert die Suche nach optimalen Netzstrukturen — Googles NASNet (2018) fand Architekturen, die von Menschen handdesignte Netze übertrafen. Heute ist die Tendenz allerdings gegenläufig: Die Community konvergiert auf den Transformer als dominante Architektur, und die Innovation verlagert sich auf Skalierung, Trainingsdaten und Feintuning.