Binary

Das Binärsystem (Binary) ist das Zahlensystem mit der Basis 2 — es kennt nur die Ziffern 0 und 1. Jeder digitale Computer, jedes Smartphone und jede GPU rechnet letztlich in binären Ziffern, weil sich zwei Zustände in der Physik besonders einfach realisieren lassen: Strom an / Strom aus, Spannung hoch / Spannung niedrig, magnetisiert / nicht magnetisiert.

Im KI-Kontext wird „binär" in mehreren Zusammenhängen verwendet. Binäre Klassifikation ist die Aufgabe, eine Eingabe einer von zwei Klassen zuzuordnen (Spam/kein Spam, Krebs/kein Krebs). Binärer Cross-Entropy Loss ist die zugehörige Verlustfunktion.

Besonders relevant ist Binarisierung im Bereich der Modellkompression. Binary Neural Networks (BNNs) reduzieren Gewichte und Aktivierungen auf 1-Bit-Werte (+1 oder -1) statt der üblichen 32-Bit-Gleitkommazahlen. Das reduziert den Speicherbedarf um den Faktor 32 und ersetzt teure Multiplikationen durch einfache XOR-Operationen. Courbariaux et al. (2016) zeigten mit BinaryConnect, dass solche Netze bei erstaunlich geringem Genauigkeitsverlust funktionieren können.

In der Quantisierungs-Forschung sind Bit-Breiten zwischen 1 und 8 ein aktives Forschungsfeld: Wie weit kann man die Rechengenauigkeit reduzieren, ohne die Modellqualität wesentlich zu beeinträchtigen? Die Antwort entscheidet darüber, ob KI-Modelle auf Smartphones und IoT-Geräten laufen können.