Eine Studie zeigt: Acht führende KI-Unternehmen haben keine tragfähigen Pläne gegen katastrophale KI-Risiken. Darunter OpenAI, Meta, Anthropic und DeepSeek.
Die größten Unternehmen für künstliche Intelligenz (KI) erfüllen ihre eigenen Sicherheitszusagen nicht. Das zeigt eine neue Bewertung, die vor „katastrophalen“ Risiken warnt.
Der Bericht erscheint, während KI-Firmen mit Klagen und Vorwürfen konfrontiert sind, ihre Chatbots verursachten psychischen Schaden. Teilweise agierten sie als „Suizid-Coach“. Zudem gibt es Berichte über KI-gestützte Cyberangriffe.
Der Bericht „Winter AI Safety Index 2025“ der gemeinnützigen Organisation Future of Life Institute (FLI) bewertete acht große KI-Firmen. Darunter die US-Unternehmen Anthropic, OpenAI, Google DeepMind, xAI und Meta sowie die chinesischen Firmen DeepSeek, Alibaba Cloud und Z.ai.
Die Analyse sieht keine glaubwürdigen Strategien, um katastrophalen Missbrauch oder Kontrollverlust über KI-Werkzeuge zu verhindern. Unternehmen drängen in Richtung künstlicher allgemeiner Intelligenz (AGI) und Superintelligenz, also KI, die menschliche Intelligenz übertrifft.
Unabhängige Analysten kommen nach Lektüre des Berichts zu dem Schluss: Kein Unternehmen hat einen überprüfbaren Plan vorgelegt, um die menschliche Kontrolle über sehr leistungsfähige KI-Systeme zu sichern.
Stuart Russell, Informatikprofessor an der Universität von Kalifornien in Berkeley, sagte: KI-Firmen behaupten, sie könnten übermenschliche KI bauen. Doch niemand habe gezeigt, wie sich der Verlust menschlicher Kontrolle über solche Systeme verhindern lässt.
„Ich will den Beleg sehen, dass sie das jährliche Risiko eines Kontrollverlusts auf eins zu hundert Millionen senken können, so wie es für Kernreaktoren gefordert wird“, schrieb Russell. „Stattdessen räumen sie ein, das Risiko könne bei eins zu zehn, eins zu fünf, sogar eins zu drei liegen. Diese Zahlen können sie weder begründen noch verbessern.“
Wie schnitten die Unternehmen ab?
Die Studie bewertete die Unternehmen in sechs zentralen Bereichen: Risikobewertung, aktuelle Schäden, Sicherheitsrahmen, existenzielle Sicherheit, Governance und Verantwortung sowie Informationsaustausch.
In einigen Kategorien gibt es Fortschritte. Das unabhängige Expertengremium sieht die Umsetzung jedoch als uneinheitlich und oft nicht tief genug für neue globale Standards.
Anthropic, OpenAI und Google DeepMind erhielten Lob für vergleichsweise hohe Transparenz, öffentliche Sicherheitsrahmen und laufende Investitionen in technische Sicherheitsforschung. Schwächen bleiben dennoch.
Kritik gab es an Anthropic, weil das Unternehmen Versuche zum „Human Uplift“ eingestellt und standardmäßig auf Training anhand von Nutzerinteraktionen umgestellt hat. Fachleute sagen, das schwäche den Datenschutz.
OpenAI steht in der Kritik wegen unklarer Sicherheitsgrenzwerte, Lobbyarbeit gegen KI-Sicherheitsgesetze auf US-Bundesstaatenebene und zu wenig unabhängiger Kontrolle.
Google DeepMind hat sein Sicherheitsrahmenwerk verbessert, so der Bericht. Das Unternehmen stützt sich aber weiterhin auf externe Prüfer, die finanziell vom Konzern entschädigt werden, was ihre Unabhängigkeit untergräbt.
„Alle drei Spitzenunternehmen litten unter aktuellen Schäden infolge jüngster Skandale: psychische Beeinträchtigungen, Suizide von Minderjährigen, der massive Hackerangriff bei Anthropic. Alle drei haben Luft nach oben“, sagte Max Tegmark, Präsident des FLI und Professor am Massachusetts Institute of Technology (MIT), gegenüber Euronews Next.
Die übrigen fünf Unternehmen machten laut Bericht uneinheitliche, aber bemerkenswerte Fortschritte. Verbesserungsbedarf besteht trotzdem.
So veröffentlichte xAI sein erstes strukturiertes Sicherheitsrahmenwerk. Gutachter warnten jedoch, es sei eng gefasst und es fehlten klare Auslöser für Gegenmaßnahmen.
Z.ai war die einzige Firma, die die unzensierte Veröffentlichung externer Sicherheitsbewertungen zuließ. Empfohlen wird dennoch, den gesamten Sicherheitsrahmen und die Governance-Struktur offenzulegen, mit klaren Risikofeldern, Gegenmaßnahmen und Entscheidungsprozessen.
Meta stellte ein neues „Frontier Safety“-Rahmenwerk mit ergebnisbasierten Schwellen vor. Prüfer fordern Klarheit über die Methoden und mehr belastbare interne wie externe Evaluationsprozesse.
DeepSeek erhielt Anerkennung für interne Fürsprache durch Beschäftigte. Dennoch fehlen grundlegende Sicherheitsdokumente.
Bei Alibaba Cloud stellten die Prüfer fest, dass das Unternehmen an verbindlichen nationalen Standards zu Wasserzeichenanforderungen mitgewirkt hat. Es sollte die Robustheit und Vertrauenswürdigkeit seiner Modelle erhöhen, durch bessere Werte bei Wahrhaftigkeit, Fairness und Sicherheitstests.
Euronews Next bat die Unternehmen um Stellungnahmen. Bis Redaktionsschluss ging keine Antwort ein.
„Weniger reguliert als Sandwiches“
„Ich hoffe, wir kommen über das bloße Skalieren auf Basis von Reputation hinaus“, sagte Tegmark.
„Auf die Frage nach Plänen zur Kontrolle von AGI hatte keines der Unternehmen einen Plan“, ergänzte er.
Unterdessen nutzen Tech-Konzerne wie Meta „Superintelligenz“ als Schlagwort, um ihre neuesten KI-Modelle zu pushen. Meta benannte in diesem Jahr seine Sparte für große Sprachmodelle (LLM) in Meta Superintelligence Labs um.
Tegmark spricht von einem deutlichen Wandel in den Debatten über AGI und Superintelligenz. Früher galt sie Technologen als realistische Möglichkeit innerhalb der nächsten hundert Jahre. Heute heißt es, sie könnte in wenigen Jahren kommen.
„KI ist [in den Vereinigten Staaten] zudem weniger reguliert als Sandwiches. Gleichzeitig läuft weiter Lobbyarbeit gegen verbindliche Sicherheitsstandards in der Politik“, sagte er.
Zugleich beobachtet Tegmark eine beispiellose Gegenbewegung gegen unkontrollierte AGI und Superintelligenz.
Im Oktober forderten Tausende öffentliche Persönlichkeiten, darunter Führungspersönlichkeiten aus KI und Technologie, die Unternehmen auf, das Rennen zur Superintelligenz zu verlangsamen.
Die vom FLI organisierte Petition fand Unterstützer aus dem gesamten politischen Spektrum, darunter Steve Bannon (ehemals Chefstratege von US-Präsident Donald Trump), Susan Rice (ehemalige Nationale Sicherheitsberaterin unter Präsident Obama), religiöse Führungspersönlichkeiten, zahlreiche frühere Politiker sowie namhafte Informatiker.
„Was eint diese Leute? Sie haben sich auf eine gemeinsame Aussage geeinigt. Ich halte es für äußerst bedeutsam, dass Trumps tiefe MAGA-Basis, Glaubensführer, Linke und Gewerkschaften sich in einem Punkt einig sind“, sagte Tegmark.
„Superintelligenz würde jeden einzelnen Beschäftigten seiner Existenzgrundlage berauben, weil Roboter die Jobs übernehmen. Menschen wären auf staatliche Unterstützung angewiesen: rechts als Almosen betrachtet, links als eine Regierung im Stil von ‚1984‘“, sagte er. „Ich denke, die Stimmung spitzt sich zu.“