OpenAI räumt ein, dass eines seiner Modelle eine versteckte Schwachstelle nutzte, einem Testlauf entkam und in Server von Hugging Face eindrang – laut CEO ein autonomer Vorfall, der erste seiner Art.
Der ChatGPT-Entwickler OpenAI berichtete am späten Dienstagabend (Ortszeit), dass eines seiner KI-Systeme eigenständig in die Systeme eines anderen KI-Unternehmens eingedrungen ist. Das Unternehmen spricht von einem „beispiellosen Cybervorfall“.
WERBUNG
WERBUNG
„Wir hatten einen schwerwiegenden Sicherheitsvorfall während der Evaluation unserer Modelle“, erklärte OpenAI-Chef Sam Altman in einer Mitteilung in sozialen Netzwerken.
Das KI-Startup Hugging Face hatte in der vergangenen Woche mitgeteilt, es habe einen Einbruch in seine Datenverarbeitungssysteme entdeckt, der vermutlich auf einen autonom agierenden KI-Agenten zurückging.
„Wir hatten den Verdacht, dass der Cyberangriff der vergangenen Woche aus einem führenden Forschungslabor stammen könnte, angesichts der Raffinesse des Agenten“, sagte Hugging-Face-Mitgründer und -Chef Clément Delangue in einer Erklärung. „Und genau so war es!“
Der Angriff war so fortgeschritten und präzise ausgeführt, dass Hugging Face vermutete, er stamme von den Systemen eines der großen KI-Anbieter – und nicht von einem zufälligen Hacker.
Was ist passiert?
OpenAI führte einen internen Test (Quelle auf Englisch) durch, um zu messen, wie gut sich seine Modelle beim Hacken anstellen – ein Benchmark namens ExploitGym.
Um die maximale Angriffsfähigkeit zu ermitteln, schalteten die Entwickler bewusst die Sicherheitsfilter ab, die sonst gefährliche Cyberaktivitäten unterbinden.
Der Test sollte in einer abgeschotteten „Sandbox“ laufen, also in einer isolierten Umgebung ohne echten Internetzugang. Einzige Ausnahme war ein Werkzeug, mit dem die Modelle bei Bedarf zusätzliche Software herunterladen konnten.
Die Modelle verbissen sich jedoch in die Aufgabe. Statt sie wie vorgesehen zu lösen, suchten sie nach einer Abkürzung und fanden einen Weg, sich ins offene Internet vorzuarbeiten – ein Bereich, den sie nie hätten erreichen dürfen.
Dafür setzten sie eine ganze Kette von Schritten ein. Schritt für Schritt verschafften sie sich mehr Zugriffsrechte innerhalb der eigenen Systeme von OpenAI, bis sie eine Stelle mit Internetanbindung fanden.
Online angekommen, „schlossen“ die Modelle, dass Hugging Face – eine große Plattform für KI-Modelle und Datensätze – wahrscheinlich die Antworten auf genau den Test bereithielt, den sie lösen sollten.
Also drangen sie in die Server von Hugging Face ein, um diese Antworten zu stehlen und sich damit einen Vorteil zu verschaffen. Sie nutzten dafür gestohlene Zugangsdaten und weitere Schwachstellen.
Chinesische Modelle als Rettung?
Als offener Marktplatz, auf dem jeder Inhalte veröffentlichen kann, beherbergt Hugging Face eine große Zahl von in China entwickelten Modellen.
Als das Team von Hugging Face den Angriff analysieren wollte, speiste es die Rohdaten des Angriffs – den Code und die Kommandos, mit denen das System ausgenutzt wurde – in kommerzielle KI-Modelle ein, um den Ablauf zu rekonstruieren.
Diese Modelle besitzen jedoch eingebaute Sicherheitsfilter, die alles blockieren sollen, was nach Hacking aussieht. Für diese Filter sehen Beweise eines Angriffs genauso aus wie der Angriff selbst.
Die Modelle verweigerten daher die Mitarbeit. Sie konnten nicht zwischen einem schädlichen Hacker und einem Unternehmen unterscheiden, das seinen eigenen Angriff untersuchen will.
Daraufhin wechselte Hugging Face zu einem offenen chinesischen Modell mit frei verfügbaren Gewichten – GLM 5.2 des Anbieters Z.ai –, das sich lokal im eigenen System ausführen ließ und das Material ohne Blockade verarbeitete.
Chinesische Labore wie DeepSeek und Qwen von Alibaba gehören inzwischen zu den am häufigsten heruntergeladenen Modellfamilien auf der Plattform. Nach einigen Kennzahlen entfallen heute mehr Downloads bei Hugging Face auf Entwickler aus China als auf ihre Kolleginnen und Kollegen aus den USA.
Große Sicherheitsbedenken
Die Enthüllung erfolgt in einer Phase wachsender Sorge über die Cybersicherheitsfähigkeiten leistungsstarker Modelle. US-Präsident Donald Trump unterzeichnete im Juni eine Anordnung, die einen Rahmen schafft, damit die Bundesregierung die nationalen Sicherheitsrisiken der fortschrittlichsten KI-Systeme bis zu einen Monat lang prüfen kann, bevor sie auf den Markt kommen.
„KI beschleunigt die Entdeckung und Ausnutzung von Schwachstellen“, erklärte OpenAI am Dienstag. „Die wichtigste Lehre aus diesem Vorfall lautet, dass Sicherheit und Schutz von Modellen mit ihren rasant wachsenden Fähigkeiten Schritt halten müssen.“
Delangue sagte, er habe in den vergangenen 24 Stunden eng mit OpenAI zusammengearbeitet. „Wir sind überzeugt, dass es von ihrer Seite keine böswillige Absicht gab. Es ist ziemlich unfassbar, dass all das autonom passiert ist!“
Er ergänzte, dies könne „der erste Vorfall seiner Art“ sein.
Nach Angaben von OpenAI löste eine Kombination seiner Modelle den Einbruch aus, darunter das neue GPT-5.6 Sol und ein „noch leistungsfähigeres“ Modell, das intern weiter getestet wird.
Demnach nutzte die KI von OpenAI gestohlene Zugangsdaten und deckte eine bislang unbekannte Schwachstelle auf, um Zugriff auf die Server von Hugging Face zu erhalten.
Sie ging „bis zum Äußersten, um ein vergleichsweise eng definiertes Testziel zu erreichen“ und „fand Wege, an geheime Informationen zu gelangen, die sie zum Betrug bei der Evaluation nutzen konnte“, so das Unternehmen.