Binary
Das Binärsystem (Binary) ist das Zahlensystem mit der Basis 2 - es kennt nur die Ziffern 0 und 1. Jeder digitale Computer, jedes Smartphone und jede GPU rechnet letztlich in binären Ziffern, weil sich zwei Zustände in der Physik besonders einfach realisieren lassen: Strom an / Strom aus, Spannung hoch / Spannung niedrig, magnetisiert / nicht magnetisiert.
Im KI-Kontext wird „binär" in mehreren Zusammenhängen verwendet. Binäre Klassifikation ist die Aufgabe, eine Eingabe einer von zwei Klassen zuzuordnen (Spam/kein Spam, Krebs/kein Krebs). Binärer Cross-Entropy Loss ist die zugehörige Verlustfunktion.
Besonders relevant ist Binarisierung im Bereich der Modellkompression. Binary Neural Networks (BNNs) reduzieren Gewichte und Aktivierungen auf 1-Bit-Werte (+1 oder -1) statt der üblichen 32-Bit-Gleitkommazahlen. Das reduziert den Speicherbedarf um den Faktor 32 und ersetzt teure Multiplikationen durch einfache XOR-Operationen. Courbariaux et al. (2016) zeigten mit BinaryConnect, dass solche Netze bei erstaunlich geringem Genauigkeitsverlust funktionieren können.
In der Quantisierungs-Forschung sind Bit-Breiten zwischen 1 und 8 ein aktives Forschungsfeld: Wie weit kann man die Rechengenauigkeit reduzieren, ohne die Modellqualität wesentlich zu beeinträchtigen? Die Antwort entscheidet darüber, ob KI-Modelle auf Smartphones und IoT-Geräten laufen können.
Digital
Verwandte Begriffe
ConvolutionConvolution (Faltung) ist die mathematische Operation, die Convolutional Neural Networks (CNNs) ihren Namen …Feature SpaceDer Feature Space (Merkmalraum) ist der mathematische Raum, der durch alle Features eines Datensatzes aufges …DimensionDimension bezeichnet im ML die Anzahl der Variablen, Merkmale oder Koordinaten, die einen Datenpunkt definie …



