Anthropic-Chef Dario Amodei warnt: Ohne Regeln für KI drohen autokratische Regierungen. Sie könnten KI zur Unterdrückung der Bevölkerung einsetzen.
Die Welt tritt in eine Phase der Entwicklung künstlicher Intelligenz (KI) ein, die „wer wir als Spezies sind“ auf die Probe stellt, warnt der CEO von Anthropic in einem umfassenden Essay.
Dario Amodei argumentiert, die Menschheit trete in eine „technologische Pubertät“ ein, in der KI schneller vorankommt, als Recht, Regulierung und Gesellschaft Schritt halten können.
Schon in zwei Jahren, so seine Prognose, könnte KI „klüger als ein Nobelpreisträger“ sein, in den meisten relevanten Bereichen wie Biologie, Programmierung, Mathematik, Ingenieurwesen und Schreiben.
Arbeiten solche Systeme zusammen, gleiche das „einem Land voller Genies in einem Rechenzentrum“. In Feldern wie Software-Design, Cyberoperationen oder sogar beim Beziehungsaufbau könnten sie komplexe Aufgaben mindestens zehnmal schneller erledigen als ein Mensch.
Diese Mischung aus übermenschlicher Intelligenz, Autonomie und der Schwierigkeit, die Technik zu kontrollieren, ist „plausibel und zugleich eine Blaupause für existenzielle Gefahr“, schrieb er.
„Die Menschheit muss aufwachen. Dieser Essay ist ein Versuch, vielleicht ein vergeblicher, aber er lohnt sich, die Menschen aufzurütteln“, sagte er.
Amodeis Essay folgt darauf, dass sein Unternehmen vergangene Woche eine 80-seitige „Verfassung“ für seinen Chatbot Claude veröffentlicht hat, die festlegt, wie die KI sicher und ethisch handeln soll.
Mit seinen Warnungen steht Amodei nicht allein. Ein 2025-Bericht, den 30 Länder unterstützen, warnte, dass fortgeschrittene KI-Systeme extreme neue Risiken schaffen könnten – etwa massenhafte Jobverluste, die Ermöglichung von Terrorismus oder den Verlust der Kontrolle über die Technologie.
Weitere Tech-Führungspersönlichkeiten, darunter OpenAIs Sam Altman und Apple-Mitgründer Steve Wozniak, haben ebenfalls vor den Risiken der KI gewarnt.
KI ist eine „zivilisatorische Herausforderung“
Amodei hält eine Katastrophe nicht für unausweichlich. Er warnt aber, KI sei eine ernsthafte „zivilisatorische Herausforderung“.
„KI ist so mächtig, ein so verlockender Preis, dass es für die menschliche Zivilisation sehr schwer ist, ihr überhaupt Grenzen aufzuerlegen“, schrieb er.
Mächtige KI-Systeme könnten Regierungen, Organisationen oder Einzelpersonen zu Geopolitik, Diplomatie oder militärischer Planung beraten, so Amodei.
Die größte Gefahr sei, dass Autokraten solche Ratschläge nutzen, um den Bürgerinnen und Bürgern unter ihrer Kontrolle die Freiheit „dauerhaft zu rauben“ und „einen totalitären Staat zu errichten, dem sie nicht entkommen können“, schrieb er.
Den großflächigen Einsatz von KI zur Überwachung, fügte er hinzu, sollte man als Verbrechen gegen die Menschlichkeit einstufen.
Amodei sagte, es bestehe das Risiko, dass die Welt in autokratische Einflusszonen zerfällt, die jeweils KI einsetzen, um ihre Bevölkerung zu überwachen und zu unterdrücken.
„Eine mächtige KI, die Milliarden von Unterhaltungen von Millionen Menschen überblickt, könnte die öffentliche Stimmung messen, Keimzellen von Illoyalität erkennen und sie auslöschen, bevor sie wachsen“, heißt es in dem Essay.
Als größte Sorge identifiziert Amodei die Regierung Chinas. Sie vereine KI-Kompetenz, autokratische Herrschaft und eine bereits ausgebaute Hightech-Überwachungsinfrastruktur.
Amodei sagte zudem, dass auch wettbewerbsfähige Demokratien, nichtdemokratische Länder mit großen Rechenzentren sowie die KI-Unternehmen selbst die Technologie missbrauchen könnten.
Chips sind der größte Engpass
Am wirksamsten sei es, den Verkauf fortschrittlicher Computerchips zu kontrollieren, die zum Training von KI-Modellen dienen, schrieb er.
Demokratien sollten diese Technologien nicht an autoritäre Staaten verkaufen, insbesondere nicht an China, das im KI-Wettlauf weithin als Hauptkonkurrent der Vereinigten Staaten gilt, so Amodei.
„Chips und Werkzeuge zur Chipfertigung sind der größte Engpass auf dem Weg zu starker KI. Sie zu blockieren ist eine einfache, aber äußerst wirksame Maßnahme, vielleicht die wichtigste einzelne Aktion, die wir ergreifen können“, sagte er.
Über Exportkontrollen hinaus plädiert Amodei für Koordination in der Branche und gesellschaftliche Aufsicht. Er fordert Transparenzgesetze, die KI-Unternehmen verpflichten offenzulegen, wie sie das Verhalten ihrer Modelle steuern.
Als Beispiel nennt er Kaliforniens Gesetz SB-53, den Transparency in Frontier Artificial Intelligence Act (TFAIA).
Das Gesetz verpflichtet KI-Unternehmen laut Kaliforniens Gouverneur Gavin Newsom, auf ihren Websites Rahmenwerke zu veröffentlichen, die beschreiben, wie das Unternehmen nationale und internationale bewährte Verfahren und Standards in seine KI-Modelle einfließen lässt.
Amodei blickt trotz allem zuversichtlich auf die Zukunft der KI.
„Ich glaube, dass wir die Risiken überwinden können, wenn wir entschlossen und vorsichtig handeln. Unsere Chancen stehen gut. Auf der anderen Seite wartet eine viel bessere Welt. Aber wir müssen verstehen, dass dies eine ernsthafte zivilisatorische Herausforderung ist“, sagte er.