Deterministic

Deterministisch bedeutet, dass ein System bei gleicher Eingabe immer die exakt gleiche Ausgabe erzeugt — kein Zufall, keine Variation. Die meisten KI-Systeme sind nicht deterministisch, und das hat praktische Konsequenzen.

Warum sind LLMs nicht deterministisch? Erstens: Sampling. Bei Temperature > 0 wählt das Modell probabilistisch aus der Token-Verteilung — unterschiedliche Zufallsseeds erzeugen unterschiedliche Texte. Bei Temperature = 0 (Greedy Decoding) ist die Auswahl deterministisch auf Token-Ebene.

Zweitens: Hardware-Nichtdeterminismus. Floating-Point-Operationen auf GPUs sind bei paralleler Ausführung aufgrund von Rundungsunterschieden nicht bitgenau reproduzierbar. Dieselbe Berechnung auf verschiedenen GPUs (oder sogar auf derselben GPU zu verschiedenen Zeitpunkten) kann minimal unterschiedliche Ergebnisse liefern.

Für Reproduzierbarkeit in der Forschung ist Determinismus wichtig: Kann ein anderes Team dasselbe Ergebnis mit demselben Code und denselben Daten erzielen? PyTorch bietet torch.use_deterministic_algorithms(True) und torch.manual_seed() zur Maximierung der Reproduzierbarkeit — aber auf Kosten der Performance.

In Produktivsystemen ist Nichtdeterminismus oft erwünscht: Verschiedene Antworten auf dieselbe Frage machen ein Chat-Interface natürlicher. Empfehlungssysteme profitieren von kontrollierter Randomisierung (Exploration).

Die regulatorische Perspektive: Der EU AI Act verlangt für Hochrisiko-KI-Systeme Transparenz und Nachvollziehbarkeit. Nichtdeterministische Systeme stellen hier besondere Anforderungen an Logging und Auditierung.