Exponential Growth
Exponentielles Wachstum - die Verdopplung eines Werts in festen Zeitintervallen - ist das Muster, das die KI-Entwicklung prägt und gleichzeitig am häufigsten missverstanden wird.
Moores Gesetz (die Transistordichte verdoppelt sich etwa alle zwei Jahre) war 50 Jahre lang ein verlässlicher Taktgeber der Computerentwicklung. Im KI-Bereich gibt es eigene exponentielle Trends. Die für KI-Training eingesetzte Rechenleistung verdoppelt sich alle 3-4 Monate (OpenAI, 2018). Die Leistung von Sprachmodellen (gemessen an Benchmarks) steigt exponentiell mit der Modellgröße (Scaling Laws, Kaplan et al., 2020). Die Kosten pro Token für LLM-Inferenz fielen 2023-2024 um über 90%.
Ray Kurzweil - der kontroverseste Futurist der Technologiebranche - extrapoliert diese Trends und prognostiziert die Singularität (den Punkt, an dem KI die menschliche Intelligenz übertrifft) für 2045. Kritiker argumentieren, dass exponentielles Wachstum nie ewig anhält - physikalische Grenzen, Datenverfügbarkeit, Energieverbrauch und regulatorische Eingriffe bremsen.
Die praktische Herausforderung: Menschliche Intuition ist linear. Wenn etwas exponentiell wächst, unterschätzen wir systematisch die Entwicklungsgeschwindigkeit. 2020 war GPT-3 die Sensation. Vier Jahre später generiert KI fotorealistische Videos, schreibt wissenschaftliche Papers und steuert Roboter. Ob dieses Tempo anhält, ist die entscheidende Frage der nächsten Dekade.
Moore's Law



