Efficiency

Efficiency (Effizienz) im KI-Kontext bezeichnet die Fähigkeit, mit weniger Ressourcen gleiche oder bessere Ergebnisse zu erzielen — weniger Compute, weniger Daten, weniger Energie, weniger Kosten.

Die Effizienz-Revolution ist eine der wichtigsten, aber am wenigsten beachteten Entwicklungen der KI. Während die Frontline-Modelle immer größer und teurer werden, hat sich die Leistung pro Dollar dramatisch verbessert. Ein Modell, das 2023 die Leistung von GPT-3.5 erreicht, braucht 2024 nur einen Bruchteil der Rechenleistung.

Auf Modellebene: Mixture of Experts (MoE) aktiviert nur einen Teil der Parameter pro Anfrage. Quantisierung reduziert die Präzision der Gewichte. Pruning entfernt überflüssige Verbindungen. Knowledge Distillation überträgt Wissen von großen in kleine Modelle. Flash Attention reduziert den Speicherbedarf des Attention-Mechanismus von O(n²) auf O(n).

Auf Trainingsebene: Chinchilla-Skalierung (DeepMind, 2022) zeigte, dass viele Modelle mit zu wenig Daten und zu vielen Parametern trainiert wurden — optimal dimensionierte Modelle erreichen dieselbe Leistung mit weniger Compute. LoRA (Low-Rank Adaptation) ermöglicht Feintuning mit einem Bruchteil der Parameter.

Auf Chip-Ebene: Die FLOPS-pro-Watt-Effizienz verbessert sich mit jeder GPU-Generation. Spezialisierte Chips (Groq LPU, Cerebras Wafer-Scale Engine, SambaNova) versprechen weitere Sprünge.

Die gesellschaftliche Relevanz: Nur wenn KI effizient genug für breite Nutzung wird, kann sie ihr Potenzial für Bildung, Gesundheit und Forschung in Entwicklungsländern und kleinen Unternehmen entfalten.