Floating Point

Gleitkommazahlen (Floats) sind das Zahlenformat, mit dem neuronale Netze rechnen. Standard ist oft FP32 (32 Bit). Um Training zu beschleunigen, nutzt man heute oft FP16, BF16 oder sogar FP8. Je weniger Bits, desto schneller und energieeffizienter, aber auch ungenauer.