Cost

Cost (Kosten) im ML-Kontext hat eine doppelte Bedeutung: den mathematischen Cost-Wert (synonym mit Loss — der Fehler, den das Modell während des Trainings minimiert) und die realen finanziellen Kosten für Training und Inferenz.

Die mathematischen Kosten sinken idealerweise während des Trainings: Die Loss-Kurve fällt von einem hohen Startwert auf ein Plateau. Wenn die Training-Costs sinken, aber die Validation-Costs steigen, overfittet das Modell — ein klares Signal, das Training zu stoppen (Early Stopping).

Die finanziellen Kosten der KI sind ein wachsendes Thema. GPT-4 kostete laut Schätzungen über 100 Millionen Dollar Training. Google Gemini Ultra ähnlich. Diese Summen schließen 99,9% der Organisationen auf der Welt von der Frontier-Modellentwicklung aus.

Inferenz-Kosten (die Kosten pro Modellanfrage) bestimmen die Wirtschaftlichkeit von KI-Produkten. GPT-4 Turbo kostet ca. 10 Dollar pro Million Input-Tokens — bei Millionen täglicher Anfragen summiert sich das. Die Preiserosion ist allerdings dramatisch: Innerhalb eines Jahres fielen die Kosten für vergleichbare LLM-Inferenz um über 90%.

Die Compute-Cost-Debatte steht im Zentrum der KI-Strategie: Build vs. Buy (eigenes Modell vs. API), Cloud vs. On-Premise, große vs. kleine Modelle. Chinchilla-Scaling (Hoffmann et al., DeepMind, 2022) zeigte, dass Training-Compute optimal zwischen Modellgröße und Datenmenge aufgeteilt werden sollte — ein Ergebnis, das die Strategie der gesamten Branche beeinflusste.