Byte

Ein Byte ist eine Einheit digitaler Information, die aus 8 Bits besteht — also 8 binären Ziffern (0 oder 1). Ein Byte kann 2⁸ = 256 verschiedene Werte darstellen (0 bis 255), was ausreicht, um einen einzelnen ASCII-Buchstaben, eine Zahl oder ein kleines Symbol zu kodieren.

Im KI-Kontext sind Bytes die Grundeinheit der Modellgröße und des Speicherbedarfs. Die gängigen Maßeinheiten: Kilobyte (KB, ~1.000 Bytes), Megabyte (MB, ~1 Million), Gigabyte (GB, ~1 Milliarde), Terabyte (TB, ~1 Billion). GPT-3 mit 175 Milliarden Parametern in FP32-Präzision benötigt ca. 700 GB — auf einem 80-GB-GPU braucht man mindestens 9 GPUs allein für das Modell, plus Speicher für Aktivierungen und Gradienten.

Byte-Level Tokenization ist ein alternatives Kodierungsverfahren, bei dem das Modell direkt auf Byte-Ebene arbeitet statt auf Wort- oder Subwort-Ebene. ByT5 (Google, 2022) demonstrierte, dass Byte-Level-Modelle bei bestimmten Aufgaben (insbesondere bei verrauschten oder ungewöhnlichen Eingaben) robuster sind als Token-basierte Modelle, allerdings bei höherer Rechenkosten.

Meta's Byte Latent Transformer (2024) kombinierte Byte-Level-Verarbeitung mit einer Patch-Architektur, die dynamisch entscheidet, wo das Modell genauer hinschauen muss — ein Ansatz, der Effizienz und Robustheit vereint.