Automation Bias

Automation Bias beschreibt die menschliche Tendenz, der Ausgabe automatisierter Systeme blind zu vertrauen — selbst wenn die eigene Erfahrung oder andere Informationsquellen dagegen sprechen.

Das Phänomen ist gut untersucht. Mosier und Skitka dokumentierten es in den 1990ern im Kontext der Luftfahrt: Piloten folgten fehlerhaften Autopilot-Anweisungen, obwohl ihre Instrumente widersprüchliche Daten anzeigten. Der Grund: Das automatisierte System genoss höheres Vertrauen als das eigene Urteil.

Im KI-Zeitalter verschärft sich das Problem. Ärzte, die KI-gestützte Diagnosesysteme nutzen, stimmen der Maschine häufiger zu als ihrer eigenen Einschätzung — auch wenn die KI falsch liegt. Richter in den USA nutzen das Algorithmic Risk Assessment „COMPAS" bei Bewährungsentscheidungen, obwohl ProPublica 2016 nachwies, dass das System schwarze Angeklagte systematisch als rückfallgefährdeter einstufte.

Zwei Varianten sind besonders gefährlich. „Omission Bias": Warnungen des Systems werden ignoriert, weil der Mensch den Status quo beibehält. „Commission Bias": Der Mensch folgt aktiv einer falschen Empfehlung des Systems, obwohl ihm die Situation ungewöhnlich vorkommt.

Gegenmaßnahmen umfassen gezielte Schulung im kritischen Umgang mit KI-Ausgaben, die Gestaltung von Interfaces, die den Menschen aktiv zum Nachdenken zwingen (z.B. durch erzwungene Bestätigungsschritte), und die Verpflichtung, KI-Empfehlungen als einen von mehreren Inputs zu behandeln — nie als abschließende Entscheidung.