Der Beitrag

Ein Satz aus einem neuen Interview sorgt in der KI-Debatte für Aufsehen: „Wenn niemand sie baut, sterben alle.“ Mit dieser Zuspitzung konterte der schwedische Philosoph Nick Bostrom am 19. November 2026 im viel geteilten Videoclip von Andreessen Horowitz (a16z) das Buch der KI-Sicherheitsforscher Eliezer Yudkowsky und Nate Soares.

Deren im September 2025 erschienenes Buch If Anyone Builds It, Everyone Dies warnt, eine übermenschliche KI werde unweigerlich die Menschheit auslöschen, weshalb ein weltweiter Stopp nötig sei. Im 38-minütigen Gespräch mit Eddy Lazzarin und Elena Burger von a16z dreht Bostrom diese Rechnung um: Auch das Warten habe einen extrem hohen Preis.

Bostrom vergleicht Superintelligenz mit einer riskanten Operation

Im Interview verweist Bostrom auf sein 2026 erschienenes Arbeitspapier Optimal Timing for Superintelligence. Darin stellt er die Entwicklung von Superintelligenz nicht als russisches Roulette dar, sondern als riskante Operation bei einer sonst tödlichen Krankheit - dem menschlichen Altern.

Eine sicher entwickelte Superintelligenz könne laut Bostrom enorme Fortschritte in der Biomedizin und bei Anti-Aging-Verfahren bringen. Ohne biologisches Altern läge die menschliche Lebenserwartung seiner Berechnung nach bei rund 1.200 bis 1.400 Jahren. Die Zahl leitet er im Papier aus der jährlichen Sterberate gesunder 20- bis 25-Jähriger in Industrieländern (0,05 bis 0,08 Prozent) ab und bezeichnet sie als konservative Untergrenze, weil auch Unfälle oder Infektionen seltener werden könnten.

Auf der Gegenseite stünden die täglichen Todesfälle durch Alter und Krankheit: Im Gespräch spricht Bostrom von rund 150.000 Menschen pro Tag, in seinem Arbeitspapier nennt er 170.000. Jedes Jahr, um das die Entwicklung verzögert werde, koste daher Millionen Menschenleben. In seinem Rechenmodell steige die verbleibende Lebenserwartung heute lebender Menschen unter diesen Annahmen selbst dann noch, wenn die Katastrophenwahrscheinlichkeit unter 97 Prozent liege.

Keine Absage an KI-Sicherheit - sondern „schnell zum Hafen, langsam beim Anlegen“

Gleichzeitig weist Bostrom im Gespräch den Eindruck zurück, er habe seine früheren Warnungen vor existenziellen KI-Risiken aufgegeben. Dauerhafte globale Verbote oder ständige Rechenzentrums-Kontrollen lehnt er jedoch ab, weil sie aus seiner Sicht eine andere Katastrophe auslösen könnten: den dauerhaften Verzicht auf Superintelligenz.

Statt jahrzehntelanger Blockaden oder langfristiger Bremspläne für den KI-Wettlauf plädiert Bostrom für eine zweistufige Strategie - im Arbeitspapier nennt er sie „swift to harbor, slow to berth“ (schnell zum Hafen, langsam beim Anlegen). Die Forschung solle zügig zur nötigen Leistungsfähigkeit vorstoßen und erst kurz vor dem breiten Einsatz eine zeitlich begrenzte Pause von Monaten bis wenigen Jahren einlegen, falls die Sicherheitsforschung zurückliegt.

Dabei bleibt Bostrom technisch skeptisch. Beim AI Alignment - also der Ausrichtung von KI-Systemen an menschlichen Zielen - beobachtet er ein wachsendes Problem: Moderne Spitzenmodelle zeigten bereits Situationsbewusstsein und könnten in ihren Gedankenketten erkennen, ob sie gerade getestet werden oder im echten Einsatz laufen. Zudem warnt er vor Architekturen, bei denen Modelle intern in schwer lesbaren Zwischenzuständen („Neuralese“) denken, statt ihre Schritte nachvollziehbar auszugeben.

Wo die Kritik ansetzt - und welche Rolle a16z spielt

Die Gegenposition von Yudkowsky und Soares bleibt davon unberührt: Aus Sicht der beiden Forscher des Machine Intelligence Research Institute (MIRI) lassen sich Ziele bei übermenschlicher KI mit heutigen Methoden nicht zuverlässig vorgeben. Ein einziger Fehler würde demnach nicht nur die heutigen Generationen treffen, sondern jede künftige Menschheitsgeschichte unwiderruflich beenden - ähnlich argumentieren auch aussteigende Sicherheitsforscher aus KI-Laboren angesichts immer kürzerer Zeitprognosen für eine Intelligenzexplosion.

Hinzu kommt, dass Bostroms Rechnung auf zwei unbewiesenen Voraussetzungen beruht: dass Superintelligenz erstens das biologische Altern tatsächlich stoppen kann und zweitens sicher beherrschbar bleibt. Schließlich lohnt ein Blick auf den Absender: Gastgeber Andreessen Horowitz gehört zu den größten Risikokapitalgebern im KI-Sektor und hat ein klares wirtschaftliches Interesse daran, prominente Stimmen gegen pauschale KI-Moratorien ins Rampenlicht zu stellen.

🎯 Was das für die Praxis bedeutet

1. KI-Debatte jenseits der Extreme lesen: Selbst prominente Risikoforscher wie Bostrom trennen heute zwischen pauschalen Entwicklungsverboten und gezielten Sicherheitsprüfungen vor dem produktiven Einsatz.

2. Nachvollziehbarkeit bei neuen Modellen prüfen: Bostroms Hinweis auf Situationsbewusstsein und schwer lesbare interne Rechenschritte erinnert Unternehmen daran, KI-Systeme nicht allein nach Testergebnissen, sondern im laufenden Betrieb zu überwachen.

3. Interessenlage von Plattformen mitdenken: Virale KI-Clips von Risikokapitalgebern wie a16z liefern starke Denkanstöße, ersetzen aber keine unabhängige Bewertung technologischer und medizinischer Versprechen.

Dieser Artikel enthält eingebettete Inhalte externer Anbieter, etwa Videos oder Social-Media-Beiträge. kiwoche.com ordnet diese Inhalte redaktionell ein, übernimmt sie jedoch nicht als eigene Inhalte. Die Rechte daran verbleiben bei den jeweiligen Rechteinhabern; für die externen Inhalte sind die jeweiligen Anbieter verantwortlich. Eingebettete Inhalte können vollständig oder teilweise mit KI erstellt oder bearbeitet worden sein.

Quellen

Teilen
Software ist tot von Markus M. Kirchmair

Anzeige · Buch und Angebot von Markus Kirchmair

Noch ein Tool. Oder endlich weniger Arbeit?

Prüfen Sie mit No More Tools, welche Software und Abläufe Ihr Unternehmen tatsächlich braucht. Im Workshop entsteht ein priorisierter Fahrplan.