Nach dem Rücktritt einer Anthropic-Forscherin und Meldungen über KI-Modelle, die fremde Systeme hacken, drängen Techkonzerne auf Schutzregeln, bevor KI der Kontrolle entgleitet.
Neue Warnungen aus der KI‑Branche heizen eine seit Langem geführte Debatte wieder an. Könnte fortgeschrittene künstliche Intelligenz der Kontrolle des Menschen entgleiten und das Überleben der Menschheit bedrohen – und tun die Unternehmen, die sie entwickeln, genug, um das zu verhindern?
WERBUNG
WERBUNG
Anthropic‑Chef Dario Amodei sagte am Samstag, die Branche müsse das Tempo drosseln. Er warnte, ein Schwarm von KI‑Agenten könne binnen sechs Monaten bis zu einem Jahr das Internet übernehmen, sofern Unternehmen keine deutlich stärkeren Schutzvorkehrungen einführen.
Amodei legte einen Fahrplan vor, wie KI‑Firmen und Regierungen immer leistungsfähigere Modelle stärker an menschliche Werte binden können. Seine Warnung folgte nur wenige Tage, nachdem zwei frühere Sicherheitsforscher von Anthropic öffentlich erklärt hatten, die existenziellen Risiken der KI erhielten nicht genug Aufmerksamkeit.
KI‑Modelle werden immer leistungsfähiger
Mit der wachsenden Stärke der Systeme steigen auch die Sorgen über ihre Risiken. Leistungsfähigere Modelle erhöhen die Gefahr von Missbrauch durch Menschen mit kriminellen Absichten – bis hin zu Weltuntergangsszenarien, in denen sie einen Erreger erschaffen und verbreiten, der einen Großteil der Weltbevölkerung töten könnte – und sie steigern das Risiko, dass KI‑Systeme verselbstständigt handeln.
Anthropic erklärte vergangene Woche, es habe Versuche von Kriminellen blockiert, seine Modelle für Cyberangriffe, Überwachung und Forschung zu nutzen, die die Entwicklung biologischer Waffen erleichtern könnte.
Das Unternehmen warnte zugleich: „Wenn Modelle immer leistungsfähiger werden, steigen ihre Risiken, sofern KI‑Entwickler und die Verteidiger der Gesellschaft nichts tun, um sie sicherer zu machen.“
Im vergangenen Jahr berichtete Anthropic, dass sehr wahrscheinlich Hacker aus einer chinesischen, staatlich unterstützten Gruppe seine KI in einem Cyberangriff eingesetzt hatten, der sich gegen rund 30 Unternehmen und Regierungsbehörden weltweit richtete.
Mehrere KI‑Modelle handeln eigenmächtig
Wenn ein KI‑Agent „aus der Spur gerät“, bedeutet das, dass das System über den Auftrag hinaus agiert, den es erhalten hat. Anthropic und OpenAI, das Unternehmen hinter ChatGPT, erklärten im Juli, dass ihre Modelle genau das getan haben.
Anthropic enthüllte, dass drei KI‑Modelle – Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungsmodell – während Tests in die Systeme von drei anderen Organisationen eindrangen.
Die Veröffentlichung kam nur wenige Tage, nachdem OpenAI gemeldet hatte, dass das eigene System in die Server des KI‑Start‑ups Hugging Face eingebrochen war.
OpenAI beschrieb den Vorfall, ausgeführt von einer Kombination mehrerer Modelle, darunter das neu veröffentlichte GPT‑5.6 Sol und ein „noch leistungsfähigeres“ Modell, das intern getestet wird, als „bedeutenden Sicherheitsvorfall“.
Meta meldete Anfang August einen ähnlichen Fall: Eines seiner KI‑Modelle fand Wege, die digitale Sicherheit eines anderen Unternehmens zu umgehen.
Manche Beobachter wiesen darauf hin, dass in den Fällen von OpenAI und Anthropic Schutzmechanismen deaktiviert waren.
Trotzdem berührten die Vorfälle eine der größten Ängste rund um KI: dass Modelle bei Erreichen einer künstlichen allgemeinen Intelligenz (AGI) – einem weit gefassten Begriff für Systeme, die menschliche Fähigkeiten in einem breiten Spektrum geistiger Aufgaben erreichen oder übertreffen – eine irreparable Katastrophe auslösen oder die Menschheit sogar unterwerfen könnten.
Wie und wann KI eine Katastrophe auslösen könnte, ist umstritten
Szenarien für den Weltuntergang lassen sich grob in zwei Gruppen einteilen: eine sich selbst verbessernde Superintelligenz, die am Ende Menschen kontrolliert statt umgekehrt, oder KI, die von einem Schurkenstaat oder böswilligen Akteuren missbraucht wird.
Die Angst, dass künstliche Intelligenz eines Tages der menschlichen Kontrolle entgleitet, ist nicht neu.
Der britische Mathematiker Alan Turing, den viele als einen der frühen Vordenker des Fachs ansehen, sagte bereits 1951 voraus, dass KI den Menschen eines Tages die Kontrolle abnehmen werde.
Weniger als ein Jahrzehnt später warnte der Mathematiker Norbert Wiener, intelligente Maschinen würden eigene Ziele verfolgen und Menschen könnten sie nicht mehr aufhalten.
Wie plausibel sind die heutigen Befürchtungen im Jahr 2026, dass KI ein katastrophales Ereignis oder den Zusammenbruch der Zivilisation verursachen könnte – sei es durch Kontrollverlust oder durch Missbrauch?
Niemand kann das sicher sagen.
Fachleute aus Informatik, Philosophie und anderen Disziplinen haben zahlreiche Wege zu einer globalen Katastrophe skizziert – von der Nutzung als Waffe oder zur Identifizierung tödlicher Erreger über die Manipulation von Regierungen in Konflikte bis hin zur Störung der Versorgungsnetze für Nahrung, Energie und Kommunikation.
Es gibt keine breit akzeptierte Schätzung, wann eines dieser Szenarien eintreten könnte, und keinen Konsens über seine Wahrscheinlichkeit.
Im Jahr 2023 veröffentlichte das gemeinnützige Center for AI Safety eine Erklärung, die mehr als 350 Forschende und Technologie‑Manager unterzeichneten, darunter Amodei und OpenAI‑Chef Sam Altman. Darin heißt es, „die Minderung des Aussterberisikos durch KI sollte neben Pandemien und Atomkrieg globale Priorität haben“.
Der Internationale KI‑Sicherheitsbericht 2026, erstellt mit Beiträgen von mehr als 100 unabhängigen Expertinnen und Experten, kommt zu dem Schluss, dass heutige Systeme erste Anzeichen relevanter Fähigkeiten zeigen, aber nicht in einem Ausmaß, das einen Kontrollverlust auslösen könnte.
Der Bericht bezeichnet die Wahrscheinlichkeit, Art und den Zeitpunkt des Risikos als „außergewöhnlich unklar“.
KI absichern, bevor es zu spät ist
Ein Anthropic‑Forscher trat vergangene Woche zurück, weil er der Ansicht ist, dass weder sein Arbeitgeber noch dessen Rivalen verantwortungsvoll handeln.
In Beiträgen in sozialen Netzwerken schätzte Jacob Coxon die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts zum Aussterben der Menschheit führt, auf zehn Prozent. Er warf Anthropic und OpenAI vor, „direkt auf sich selbst verbessernde Superintelligenz zuzurasen und mit unserem Leben zu spielen“.
Forschende fordern seit Jahren, die Entwicklung von KI zu verlangsamen, und warnen immer wieder, die Technologie könne existenzielle Risiken für die Menschheit bergen.
Nach den jüngsten Vorfällen drängten Expertinnen und Experten die KI‑Unternehmen zu besseren Tests und forderten einen intensiveren Dialog zwischen den USA und China, um gemeinsame Lösungen zu finden.
Doch KI entwickelt sich so schnell, dass Regierungen und Prüfsysteme kaum mithalten. Länder arbeiten an eigenen Regeln, die sich zum Teil widersprechen.
Chinas Präsident Xi Jinping warnte auf einer Konferenz im Juli, man müsse verhindern, dass KI sich der Kontrolle des Menschen entzieht.
Die Regierung Trump lehnte eine Regulierung von KI zunächst ab, zeigt inzwischen aber mehr Interesse daran, Cybersicherheitsrisiken einzudämmen.
Am Sonntag spielte Präsident Donald Trump den Bedarf herunter, die KI‑Entwicklung durch seine Regierung stärker zu bremsen, räumte jedoch ein, dass eine gewisse Regulierung nötig sein werde.