Failure Mode

Failure Mode Analysis (Fehlermodus-Analyse) im KI-Kontext untersucht systematisch, auf welche Weisen ein KI-System versagen kann — und wie diese Fehler verhindert, erkannt oder mitigiert werden können.

Aus der Luft- und Raumfahrt und Automobilindustrie bekannt (FMEA — Failure Mode and Effects Analysis), adaptiert für KI-Systeme. Die Grundfrage: Was kann schiefgehen, wie wahrscheinlich ist es, wie schwer sind die Folgen, und was tun wir dagegen?

KI-spezifische Failure Modes: Daten-Fehler (Training auf verzerrten, veralteten oder fehlerhaften Daten). Modell-Fehler (Overfitting, Underfitting, Halluzinationen, adversariale Anfälligkeit). Deployment-Fehler (Versionsinkonsistenzen, Performance-Degradation, Infrastructure-Ausfälle). Nutzungs-Fehler (Automation Bias, Missinterpretation von Outputs, unbeabsichtigte Nutzung).

Red Teaming — die systematische Suche nach Schwachstellen durch ein dediziertes Team — ist zur Standardpraxis geworden. OpenAI, Anthropic und Google setzen externe Red Teams ein, bevor sie neue Modelle veröffentlichen.

In der Medizin-KI ist Failure Mode Analysis regulatorisch vorgeschrieben: Die FDA verlangt für Software as a Medical Device (SaMD) eine systematische Risikoanalyse inkl. Performance-Monitoring nach der Zulassung.

Die pragmatische Empfehlung: Bevor ein KI-System in Produktion geht, sollte das Team die zehn wahrscheinlichsten Failure Modes identifizieren, Monitoring für jeden einrichten und Fallback-Strategien definieren. Die häufigste Failure Mode in der Praxis: Data Drift — die Daten in Produktion sehen anders aus als die Trainingsdaten.