Dot Product

Das Dot Product (Skalarprodukt) ist eine fundamentale mathematische Operation, die im Kern des Attention-Mechanismus und damit der gesamten Transformer-Architektur steht.

Für zwei Vektoren a und b berechnet das Dot Product die Summe der elementweisen Produkte: a · b = Σ_i a_i × b_i. Das Ergebnis ist ein einzelner Skalar (eine Zahl, kein Vektor). Geometrisch misst das Dot Product den Cosinus des Winkels zwischen den Vektoren, multipliziert mit ihren Längen — es quantifiziert, wie ähnlich zwei Vektoren sind.

Im Transformer: Die Attention-Berechnung basiert auf dem Dot Product zwischen Query- und Key-Vektoren. Je größer das Dot Product, desto stärker „achtet" ein Token auf ein anderes. Die Formel: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Die Matrixmultiplikation QK^T ist ein massenhaftes Dot Product aller Query-Key-Paare.

Im Embedding-Raum: Cosine Similarity ist das normalisierte Dot Product. Die Ähnlichkeit zweier Wörter, Sätze oder Dokumente wird durch das Dot Product ihrer Embedding-Vektoren gemessen.

Die Effizienz: Dot Products sind einfache arithmetische Operationen, die auf GPUs massiv parallelisiert werden können. Eine Nvidia H100 kann Billionen von Dot Products pro Sekunde berechnen. Die gesamte KI-Hardware-Industrie optimiert im Kern auf die Beschleunigung von Matrixmultiplikationen — also massenhaften Dot Products.

Approximierte Dot Products (Locality Sensitive Hashing, Product Quantization) ermöglichen schnelle Ähnlichkeitssuche in Milliarden-Vektor-Datenbanken.