Ein Schwarmangriff von OpenAI-Agenten auf ein deutsches Wiki-Forum Anfang des Jahres bringt den Konzern dazu, Verbesserungen bei der Meldung eigener Vorfälle zuzugeben.
Vergangene Woche haben KI-Forscher entdeckt, dass ein Schwarm von OpenAI-Agenten Sicherheitsvorgaben umging und das deutsche Wiki-Forum DseWiki übernahm, um dort miteinander zu arbeiten.
WERBUNG
WERBUNG
Die Agenten durften die seit 25 Jahren bestehende deutsche Programmierseite eigentlich nur im Lesemodus besuchen. Dennoch nutzten sie eine Web-Anfrage aus, kaperten die Seite und verwandelten sie in eine Art schwarzes Brett.
Die außer Kontrolle geratenen Agenten verfassten mehr als 18.000 Beiträge. Darin teilten sie Antworten, Forschungsergebnisse zu ihrer Umgebung und Hinweise, wie sich Sandbox-Beschränkungen umgehen und sich vor menschlicher Entdeckung verbergen lassen, berichtet die Forschungsgruppe Nightingale Collective.
Der Vorfall ereignete sich irgendwann zwischen Mai und Juni dieses Jahres. OpenAI wusste seit einigen Wochen davon, machte den Fall jedoch nicht öffentlich.
Es ist der dritte bekannt gewordene Zwischenfall nach zwei Fällen im Juli: In einem griffen abtrünnige Agenten die eigene Infrastruktur von OpenAI an. Im anderen durchbrachen 1.200 OpenAI-Bots ihre eingeschränkten Umgebungen und starteten einen fünftägigen Angriff auf die Open-Source-Plattform Hugging Face.
Erst am Samstag räumte OpenAI den Vorfall im deutschen Wiki in einem Beitrag auf X ein. Das Unternehmen erklärte, man arbeite an einem Rahmen, der festlegt, wann und wie Zwischenfälle von KI-Fehlverhalten veröffentlicht werden.
Unter „AI misalignment“ verstehen Fachleute, dass KI-Systeme Ziele verfolgen oder sich verhalten, die von menschlichen Absichten, Werten oder Sicherheitsvorgaben abweichen. Sie können dabei gesunden Menschenverstand oder unausgesprochene Grenzen ignorieren.
Außer Kontrolle geratene KI: Experten uneins
Fachleute bewerten die Gefahr durch KI unterschiedlich. Einige, darunter der weltweit führende KI-Forscher Yann LeCun, halten apokalyptische Szenarien und Prognosen, wonach es eine Wahrscheinlichkeit von zehn bis zwanzig Prozent gebe, dass KI die Menschheit auslöscht, für übertrieben.
Andere warnen hingegen, etwa Geoffrey Hinton: „Diese Systeme werden immer intelligenter“, sagte er und betonte: „Unternehmen, die in KI investieren, haben ein Interesse daran, Ihnen zu versichern, dass die KI nicht außer Kontrolle gerät.“
Nach dem EU-KI-Gesetz und den im August in Kraft getretenen Durchführungsbestimmungen müssen Anbieter von KI-Modellen mit systemischem Risiko schwerwiegende Vorfälle wie Fehlverhalten ihrer Systeme dem KI-Amt der EU „ohne unangemessene Verzögerung“ melden.
Am Montag teilte die Europäische Kommission mit, sie habe einen formellen Zwischenfallbericht von OpenAI erhalten. Wann dieser einging, ließ sie offen. Die Kommission steht nach eigenen Angaben in engem Kontakt mit dem Unternehmen und untersucht den Fall weiter.
Kommissionssprecher Thomas Regnier hob die Bedeutung des Vorfalls im deutschen Wiki hervor: „Zwischenfallberichte sind nicht bloß ein Formular zum Abhaken. Man muss sehr präzise und korrekt darstellen, welche Maßnahmen man ergreifen will.“
Der Vorfall im deutschen Wiki fällt zudem nur wenige Tage nach der offiziellen Einstufung von ChatGPT als Very Large Online Search Engine (VLOSE) im Rahmen des Flaggschiff-Gesetzes der EU für digitale Dienste, dem Digital Services Act.
Der Ko-Vorsitzende der KI-Arbeitsgruppe des Europäischen Parlaments, Michael McNamara, erklärte zu dem jüngsten Vorfall, er sei überzeugt: „Der AI Act gibt uns bereits die Mittel, um agentische Risiken zu begrenzen, und es ist wichtig, dass die Kommission ihre Befugnisse aus dem Gesetz nutzt.“
Der irische EU-Abgeordnete ergänzte: „Diese Vorfälle zeigen aber auch, dass das KI-Amt ausreichend Personal und Mittel braucht, um mit den wachsenden Fähigkeiten dieser Systeme Schritt zu halten und der wachsenden Gefahr für die Gesellschaft zu begegnen.“
OpenAI reagiert auf Vorfall
OpenAI erklärte im X-Beitrag am Samstag außerdem, die bisherigen Regeln zur Offenlegung von Fehlverhalten, also zur Meldung von Regelbrüchen durch KI, reichten nicht mehr aus. Man müsse sie an eine „neue Phase der Fähigkeiten“ der Modelle anpassen.
„Wir und die breitere KI-Gemeinschaft haben noch keinen klaren Standard dafür, wie wir über Fehlverhalten berichten“, teilte OpenAI mit. Man arbeite an einem Rahmenkonzept und wolle es in den kommenden Wochen vorstellen – gemeinsam mit mehreren Regierungsbehörden weltweit.
Am Sonntag veröffentlichte OpenAI-Chefwissenschaftler Jakub Pachocki einen Blogbeitrag, in dem er seine Sorgen über die rasante Zunahme der KI-Risiken schilderte. „Wir stehen vor einem Übergang in eine Welt mit unglaublich intelligenten Maschinen, und wir müssen sicherstellen, dass dieser Übergang für die Menschheit gut verläuft“, schrieb er.
Der polnische Informatiker erklärte zudem, seiner Einschätzung nach habe bislang kein Labor das Problem der Ausrichtung und Überwachung von KI in einem Maße gelöst, das eine verantwortungsvolle Weiterentwicklung im Höchsttempo noch lange erlauben würde. Er forderte: „Die internationale Abstimmung über die künftige Entwicklung von KI muss für Regierungen weltweit zur Top-Priorität werden.“