Parameter

Parameter sind die internen Variablen eines KI-Modells, die das eigentliche 'Wissen' speichern. In einem neuronalen Netz sind dies primär die Gewichte (Weights) der Verbindungen zwischen den Neuronen und die Schwellenwerte (Biases).

Zu Beginn des Trainings sind diese Parameter zufällige Zahlen (das Modell 'weiß nichts'). Während des Trainings (Backpropagation) werden sie Schritt für Schritt angepasst, um den Fehler zu minimieren. Die Anzahl der Parameter wird oft als Maß für die Kapazität eines Modells genutzt: GPT-4 hat geschätzt über eine Billion (10^12) Parameter. Je mehr Parameter, desto mehr Nuancen und Fakten kann das Modell speichern, desto mehr Rechenleistung ist aber auch nötig.