Bit

Ein Bit (Binary Digit) ist die kleinste Informationseinheit in der digitalen Welt — ein einzelner Wert, der entweder 0 oder 1 sein kann. Claude Shannons Informationstheorie (1948) definierte das Bit formal als die Informationsmenge, die nötig ist, um zwischen zwei gleich wahrscheinlichen Zuständen zu unterscheiden.

Im KI-Kontext sind Bits entscheidend für die Recheneffizienz. Neuronale Netze speichern ihre Parameter traditionell als 32-Bit-Gleitkommazahlen (FP32). Ein Modell mit 175 Milliarden Parametern (GPT-3) braucht damit 700 GB Speicher — mehr als jede einzelne GPU bietet.

Quantisierung reduziert die Bit-Breite: FP16 (16 Bit) halbiert den Speicher bei minimalem Genauigkeitsverlust. INT8 (8 Bit) viertelt ihn. INT4 (4 Bit) bringt GPT-3-große Modelle auf eine einzelne Consumer-GPU. Die Extreme — 2-Bit- oder sogar 1-Bit-Quantisierung — sind aktives Forschungsgebiet.

Die Bit-Breite bestimmt auch die Trainingseffizienz. Mixed-Precision-Training (FP16 für Berechnungen, FP32 für Gewichtsaktualisierungen) wurde durch Micikevicius et al. (Nvidia, 2017) populär und ist heute Standard. BFloat16, entwickelt von Google für TPUs, bietet den Dynamikbereich von FP32 mit der Kompaktheit von FP16.

Die neueste Entwicklung: Microsofts BitNet b1.58 (2024) zeigte, dass Large Language Models mit ternären Gewichten (−1, 0, +1) — effektiv 1.58 Bit pro Parameter — vergleichbare Leistung zu Volles-Präzisions-Modellen erreichen können. Das hätte revolutionäre Auswirkungen auf Hardware-Anforderungen und Energieverbrauch.