Entropy

Entropie (Entropy) ist ein Maß für Unsicherheit oder Unordnung — ein Konzept, das von der Thermodynamik über die Informationstheorie bis ins Machine Learning reicht.

Claude Shannon definierte 1948 die Informationsentropie: H(X) = -Σ p(x) × log₂(p(x)). Sie misst, wie viel „Überraschung" eine Zufallsvariable enthält. Ein fairer Würfel hat maximale Entropie (jedes Ergebnis ist gleich wahrscheinlich), ein gezinkter Würfel niedrigere (ein Ergebnis ist vorhersagbar). Ein deterministisches Ereignis hat Entropie 0.

Im NLP: Die Entropie eines Sprachmodells über das nächste Token misst seine Unsicherheit. Wenn das Modell nach „Paris ist die Hauptstadt von" sehr sicher „Frankreich" vorhersagt, ist die Entropie niedrig. Nach „Ich habe gestern einen" ist die Entropie hoch — viele Fortsetzungen sind plausibel. Perplexity, die Standardmetrik für Sprachmodelle, ist 2^H — der exponentielle Wert der Entropie.

Cross-Entropy ist die Verlustfunktion für Klassifikation: Sie misst die Entropie zwischen der vorhergesagten Verteilung und der wahren Verteilung. Minimierung der Cross-Entropy = Maximierung der Vorhersagegenauigkeit.

In der Entscheidungsbaumtheorie wählt der ID3-Algorithmus (Quinlan, 1986) die Merkmalsspaltung, die den größten Informationsgewinn (Entropiereduktion) erzielt. Maximum-Entropy-Modelle (MaxEnt) waren in den 2000ern der Standard für NLP-Klassifikation, bevor neuronale Netze sie ablösten.

Entropie verbindet Physik, Informationstheorie und ML auf elegante Weise — ein Beweis, dass die tiefsten Ideen der Wissenschaft oft domänenübergreifend wirken.