Exponential Growth

Exponentielles Wachstum — die Verdopplung eines Werts in festen Zeitintervallen — ist das Muster, das die KI-Entwicklung prägt und gleichzeitig am häufigsten missverstanden wird.

Moores Gesetz (die Transistordichte verdoppelt sich etwa alle zwei Jahre) war 50 Jahre lang ein verlässlicher Taktgeber der Computerentwicklung. Im KI-Bereich gibt es eigene exponentielle Trends. Die für KI-Training eingesetzte Rechenleistung verdoppelt sich alle 3-4 Monate (OpenAI, 2018). Die Leistung von Sprachmodellen (gemessen an Benchmarks) steigt exponentiell mit der Modellgröße (Scaling Laws, Kaplan et al., 2020). Die Kosten pro Token für LLM-Inferenz fielen 2023-2024 um über 90%.

Ray Kurzweil — der kontroverseste Futurist der Technologiebranche — extrapoliert diese Trends und prognostiziert die Singularität (den Punkt, an dem KI die menschliche Intelligenz übertrifft) für 2045. Kritiker argumentieren, dass exponentielles Wachstum nie ewig anhält — physikalische Grenzen, Datenverfügbarkeit, Energieverbrauch und regulatorische Eingriffe bremsen.

Die praktische Herausforderung: Menschliche Intuition ist linear. Wenn etwas exponentiell wächst, unterschätzen wir systematisch die Entwicklungsgeschwindigkeit. 2020 war GPT-3 die Sensation. Vier Jahre später generiert KI fotorealistische Videos, schreibt wissenschaftliche Papers und steuert Roboter. Ob dieses Tempo anhält, ist die entscheidende Frage der nächsten Dekade.