CUDA

CUDA (Compute Unified Device Architecture) ist Nvidias proprietäre Programmierplattform, die GPU-Computing ermöglicht — und damit das Fundament, auf dem die gesamte Deep-Learning-Revolution steht.

Vor CUDA (veröffentlicht 2007) konnten GPUs nur Grafiken rendern. CUDA erlaubte erstmals, die Tausenden kleinen Rechenkerne einer GPU für allgemeine Berechnungen zu nutzen (General Purpose GPU Computing, GPGPU). In der KI erwies sich das als Gamechanger: Die Matrix-Multiplikationen, die neuronale Netze dominieren, lassen sich hervorragend parallelisieren.

CUDAs Ökosystem ist der eigentliche Wettbewerbsvorteil Nvidias — wichtiger sogar als die Hardware selbst. cuDNN (CUDA Deep Neural Network Library) optimiert Standard-Operationen wie Convolutions und Attention. PyTorch, TensorFlow und JAX nutzen CUDA als Backend. Praktisch jedes KI-Framework wurde für CUDA geschrieben und optimiert.

Dieses Lock-in ist ein strategisches Problem. AMD bietet mit ROCm eine Alternative, die aber jahrelang in Softwareunterstützung zurücklag. Intel versucht es mit oneAPI. Apple setzt auf Metal. Keiner der Konkurrenten hat bisher ein Ökosystem aufgebaut, das mit CUDAs Reife und Bibliotheksbreite mithalten kann.

Die Abhängigkeit der KI-Industrie von einem einzigen proprietären Software-Stack eines einzigen Unternehmens ist ein systemisches Risiko, das zunehmend diskutiert wird. OpenAIs Triton und ML Commons' MLPerf-Benchmarks sind Versuche, die Abhängigkeit zu reduzieren.