Error Rate

Die Error Rate ist der Anteil der Vorhersagen, die ein Modell falsch macht — Error Rate = 1 - Accuracy. Ein Modell mit 95% Accuracy hat eine Error Rate von 5%.

Historisch war die Error Rate die dominierende Metrik in der Computer Vision. AlexNet (2012) senkte die Top-5-Error-Rate auf ImageNet von 26% auf 16%. VGGNet, GoogLeNet und ResNet drückten sie weiter — bis ResNet (2015) die menschliche Error Rate von ca. 5% unterbot.

Die Grenzen der Error Rate als Metrik: Sie behandelt alle Fehler gleich. In einem Spam-Filter: Eine fälschlich gelöschte wichtige E-Mail (False Positive) ist weit schlimmer als ein durchgelassener Spam (False Negative). In der Medizin: Ein übersehener Tumor (False Negative) ist potenziell tödlich. Die Error Rate unterscheidet nicht zwischen diesen Fehlertypen.

Deshalb bevorzugt die ML-Community differenziertere Metriken: Precision (wie viele der positiven Vorhersagen sind korrekt?), Recall (wie viele der echten Positiven wurden erkannt?), F1-Score (harmonisches Mittel aus Precision und Recall) und AUC-ROC (die Fähigkeit des Modells, Klassen über alle Schwellenwerte hinweg zu trennen).

Für Regressionsaufgaben: Mean Absolute Error (MAE), Mean Squared Error (MSE) und Root Mean Squared Error (RMSE) messen die Fehlergrößen numerischer Vorhersagen. RMSE bestraft große Fehler überproportional, MAE gewichtet alle Fehler gleich — die Wahl hängt davon ab, ob Ausreißer besonders problematisch sind.