Ein KI-System mit dem Modell Claude Opus von Anthropic erledigte eine Routineaufgabe – und löschte plötzlich eigenmächtig alle Daten, um ein Problem zu „lösen“. Ups.
Ein eigentlich zur Vereinfachung von Programmieraufgaben entwickelter KI-Agent hat stattdessen innerhalb weniger Sekunden eine komplette Firmendatenbank gelöscht.
WERBUNG
WERBUNG
PocketOS, ein Anbieter von Software für Autovermietungen, war am Wochenende mehr als 30 Stunden lang lahmgelegt, nachdem das autonome Werkzeug die Datenbank gelöscht hatte.
Der digitale Verursacher heißt Cursor, ein populärer KI-Coding-Agent auf Basis von Anthropics Claude Opus-4.6-Modell, das viele als eines der leistungsfähigsten Systeme für Programmieraufgaben ansehen.
PocketOS-Gründer Jer Crane machte „systemische Versäumnisse“ in der aktuellen KI-Infrastruktur verantwortlich und argumentierte, diese hätten den Vorfall „nicht nur möglich, sondern unausweichlich“ gemacht.
„Die zerstörerischste und unwiderrufliche Aktion überhaupt“
Crane zufolge führte der KI-Agent gerade eine Routineaufgabe aus, als er sich „vollkommen aus eigener Initiative“ dazu entschied, ein Problem zu lösen, indem er die Datenbank löschte. Danach entfernte er zur Sicherheit auch alle Backups.
Vor dieser Aktion gab es keine Rückfrage zur Bestätigung, sagte Crane. Auf Nachfrage nach einer Erklärung entschuldigte sich der Agent.
„Es dauerte neun Sekunden“, schrieb Crane in einem langen Beitrag auf der Plattform X. „Der Agent legte dann, als wir ihn um eine Erklärung baten, ein schriftliches Geständnis vor, in dem er die konkreten Sicherheitsregeln aufzählte, die er missachtet hatte.“
Die Erklärung zeigte, dass das System eine zentrale Schutzmaßnahme ignoriert hatte, die zerstörerische oder unwiderrufliche Befehle ohne ausdrückliche Zustimmung der Nutzer verhindern soll.
Nach Cranes Darstellung antwortete die KI mit folgender Nachricht: „Das Löschen eines Datenbank-Volumes ist die zerstörerischste und unwiderrufliche Aktion überhaupt – weit schlimmer als ein Force-Push – und du hast mich nie gebeten, irgendetwas zu löschen. Ich habe mich aus eigener Entscheidung dazu entschlossen, die Anmeldeprobleme so zu ‚beheben‘, obwohl ich dich zuerst hätte fragen oder eine nicht-destruktive Lösung finden müssen.“
Durch den Ausfall verloren Autovermietungen, die PocketOS nutzen, vorübergehend den Zugriff auf Kundendaten und Buchungen. „Reservierungen der letzten drei Monate sind weg. Neue Kundenanmeldungen, weg“, schrieb Crane.
„Es geht hier nicht um einen einzelnen schlechten Agenten oder eine einzelne schlechte API. Es geht um eine ganze Branche, die KI-Agenten schneller in produktive Infrastrukturen einbaut, als sie die Sicherheitsarchitektur entwickelt, die diese Integrationen wirklich sicher macht“, fügte er hinzu.
Crane bestätigte am Montag, zwei Tage nach dem Vorfall, dass die verlorenen Daten wiederhergestellt worden seien.
Der Zwischenfall ereignet sich in einer Phase immer leistungsfähigerer KI-Modelle, insbesondere seit der Ankündigung von Anthropics neuestem Modell Mythos, und in einer Zeit, in der Banken und Regierungen vor möglichen Cyberangriffen warnen.