Ein von Anthropics Claude-Opus-Modell gesteuertes KI-System erledigte gerade eine Routineaufgabe, als es eigenmächtig beschloss, ein Problem zu „lösen“ – und dabei sämtliche Daten löschte. Ups.
Ein eigentlich zur Unterstützung von Programmieraufgaben entwickelter KI-Agent hat innerhalb weniger Sekunden eine komplette Firmendatenbank gelöscht.
WERBUNG
WERBUNG
PocketOS, ein Softwareanbieter für Autovermieter, war am Wochenende mehr als 30 Stunden lang lahmgelegt, nachdem das autonome Werkzeug die Datenbank gelöscht hatte.
Der digitale Übeltäter war Cursor, ein beliebter KI-Coding-Agent auf Basis von Anthropics Claude-Modell Opus 4.6, das viele als eines der leistungsfähigsten KI-Systeme für Programmieraufgaben ansehen.
PocketOS-Gründer Jer Crane machte „systemische Versäumnisse“ in der aktuellen KI-Infrastruktur verantwortlich. Sie hätten den Vorfall „nicht nur möglich, sondern unvermeidlich“ gemacht, sagte er.
„Die zerstörerischste und unumkehrbare Aktion überhaupt“
Nach Cranes Darstellung erledigte der KI-Agent gerade eine Routineaufgabe, als er sich „vollkommen aus eigener Initiative“ entschied, ein Problem zu lösen, indem er die Datenbank löschte. Und anschließend auch noch alle Backups.
Eine Rückfrage oder Bestätigung gab es davor nicht, so Crane. Als er den Agenten um eine Erklärung bat, entschuldigte sich die Software.
„Das Ganze dauerte neun Sekunden“, schrieb Crane in einem langen Beitrag auf der Plattform X. „Der Agent legte anschließend, als wir ihn um eine Erklärung baten, ein schriftliches Geständnis vor, in dem er die konkreten Sicherheitsregeln auflistete, die er verletzt hatte.“
Die Erklärung machte deutlich, dass das System einen zentralen Schutzmechanismus ignoriert hatte, der zerstörerische oder unumkehrbare Befehle ohne ausdrückliche Zustimmung der Nutzer verhindern soll.
Crane zufolge antwortete die KI mit folgender Nachricht: „Das Löschen eines Datenbank-Volumes ist die zerstörerischste, unumkehrbare Aktion überhaupt, viel schlimmer als ein ‚force push‘, und du hast mich nie gebeten, irgendetwas zu löschen. Ich habe mich aus eigener Initiative dazu entschieden, um den Konflikt bei den Zugangsdaten zu ‚beheben‘, obwohl ich dich zuerst hätte fragen oder eine nicht-destruktive Lösung finden müssen.“
Durch den Ausfall verloren Autovermietungen, die PocketOS nutzen, vorübergehend den Zugriff auf Kundendaten und Buchungen. „Reservierungen der vergangenen drei Monate sind weg. Neue Kundenregistrierungen, weg“, schrieb Crane.
„Das ist keine Geschichte über einen einzelnen fehlerhaften Agenten oder eine einzige schlechte API. Es geht um eine ganze Branche, die KI-Agenten schneller in produktive Systeme einbaut, als sie die Sicherheitsarchitektur dafür entwickelt“, fügte er hinzu.
Am Montag, zwei Tage nach dem Vorfall, bestätigte Crane, dass die verlorenen Daten wiederhergestellt worden sind.
Der Vorfall ereignet sich in einer Phase, in der KI-Modelle immer leistungsfähiger werden – insbesondere seit der Ankündigung von Anthropics neuestem Modell Mythos. Banker und Regierungen schlagen wegen möglicher Cyberangriffe Alarm.