Ein Bericht über einen Schwarmangriff von OpenAI-Agenten auf ein deutsches Wiki-Forum zu Jahresbeginn hat das Unternehmen dazu gebracht, einzugestehen. Es muss seine Meldung von Zwischenfällen verbessern.
KI-Forscher haben vergangene Woche entdeckt, dass ein Schwarm von OpenAI-Agenten Sicherheitsvorgaben ausgehebelt und das deutsche Wiki-Forum DseWiki gekapert hat, um dort zusammenzuarbeiten.
WERBUNG
WERBUNG
Die Agenten durften die seit 25 Jahren existierende deutsche Programmierplattform nur im Lesemodus aufrufen. Trotzdem nutzten sie eine Webanfrage, um die Seite zu übernehmen und in eine Art Schwarzes Brett zu verwandeln.
Die abtrünnigen Agenten verfassten laut der Forschungsgruppe Nightingale Collective mehr als 18.000 Beiträge. Darin teilten sie Antworten, Untersuchungen zu ihrer Umgebung sowie Wege, Sandbox-Beschränkungen zu umgehen und sich vor Menschen zu verbergen.
Der Vorfall ereignete sich irgendwann zwischen Mai und Juni dieses Jahres. OpenAI erfuhr nach Angaben der Forscher bereits vor einigen Wochen davon, machte ihn aber zunächst nicht öffentlich.
Dies ist der dritte gemeldete Fall. Zuvor hatte es im Juli zwei weitere Zwischenfälle gegeben: In einem griffen abtrünnige Agenten die eigene Infrastruktur von OpenAI an. Im anderen durchbrachen 1.200 OpenAI-Bots ihre Beschränkungen und starteten einen fünftägigen Angriff auf die Open-Source-Plattform Hugging Face.
Erst am Samstag räumte OpenAI den Vorfall im deutschen Wiki in einem Beitrag auf X ein. Das Unternehmen kündigte darin an, nach dem jüngsten Zwischenfall „einen Rahmen dafür zu entwickeln, wann und wie wir Vorfälle von KI-Fehlausrichtung teilen“.
Mit „KI-Fehlausrichtung“ bezeichnet die Branche Situationen, in denen Systeme Ziele verfolgen oder sich verhalten, die von menschlichen Absichten, Werten oder Sicherheitsgrenzen abweichen. Sie können dabei gesunden Menschenverstand oder unausgesprochene Grenzen ignorieren.
Geteilte Reaktionen
Fachleute bewerten die Gefahren durch KI unterschiedlich. Einige, darunter der weltweit renommierte KI-Forscher Yann LeCun, halten apokalyptische Szenarien für überzogen und widersprechen Prognosen, nach denen es eine zehn- bis 20-prozentige Chance gebe, dass KI die Menschheit auslöscht.
Andere warnen hingegen vor dramatischen Risiken. Geoffrey Hinton sagte: „Was passiert, ist, dass diese Systeme immer schlauer werden“, und betonte: „Unternehmen, die in KI investieren, haben ein Eigeninteresse, Ihnen zu erzählen, KI werde nicht außer Kontrolle geraten“.
Nach dem EU-Gesetz über Künstliche Intelligenz, dem sogenannten AI Act, müssen Unternehmen, die KI-Modelle mit systemischem Risiko anbieten, schwere Vorfälle wie Fehlausrichtungen der Systeme der EU-KI-Behörde „ohne unangemessene Verzögerung“ melden.
Die EU-Kommission teilte am Montag mit, sie habe einen offiziellen Vorfallbericht von OpenAI erhalten. Wann das Unternehmen den Bericht eingereicht hat, blieb offen. Die Kommission steht nach eigenen Angaben in engem Kontakt mit OpenAI und prüft den Fall weiter.
Kommissionssprecher Thomas Regnier betonte die Schwere des Vorfalls im deutschen Wiki: „Vorfallberichte sind nicht bloß ein Kästchen zum Abhaken. Man muss sehr präzise und korrekt darstellen, welche Maßnahmen man ergreifen will.“
Der Vorfall im deutschen Wiki ereignete sich kurz nachdem die EU-Kommission ChatGPT im Rahmen ihres zentralen Tech-Gesetzes, des Digital Services Act, offiziell als „Very Large Online Search Engine“ (VLOSE) eingestuft hat.
Michael McNamara, Ko-Vorsitzender der AI-Arbeitsgruppe des Europäischen Parlaments, sagte zum jüngsten Vorfall: „Der AI Act gibt uns bereits die Mittel, um Risiken durch autonome Agenten entgegenzuwirken. Wichtig ist, dass die Kommission ihre Befugnisse nach dem Gesetz auch nutzt.“
Der irische Abgeordnete ergänzte: „Diese Vorfälle zeigen aber, dass das KI-Büro Personal und Ressourcen braucht, die mit den wachsenden Fähigkeiten dieser Systeme und den wachsenden Gefahren für die Gesellschaft Schritt halten.“
Der italienische Europaabgeordnete Brando Benifei, ebenfalls Ko-Vorsitzender der Arbeitsgruppe, sagte: „Die jüngsten Ausbrüche von Agenten belegen, dass die Regeln des AI Act zu systemischen Risiken notwendig sind. Ihre Glaubwürdigkeit hängt nun jedoch von ihrer Durchsetzung ab.“
Er fügte hinzu: „Das KI-Büro muss seine neuen Befugnisse nutzen, um Zugang zu Modellen zu erhalten, unabhängige Bewertungen vorzunehmen und Gegenmaßnahmen zu verlangen – statt sich auf die freiwillige Berichterstattung der Unternehmen zu verlassen. Ohne entschlossenes Handeln könnten Angriffe in Maschinengeschwindigkeit aus gewöhnlichen Schwachstellen systemische Ausfälle machen.“
Was OpenAI sagt
OpenAI erklärte in dem X-Beitrag am Samstag außerdem, die bisherigen Verfahren zur Meldung von Fehlausrichtungen – also Berichte darüber, wann KI-Systeme gegen die Regeln verstoßen – reichten nicht mehr aus. Sie müssten an eine „neue Phase der Fähigkeiten von Modellen“ angepasst werden.
„Wir und die breitere KI-Gemeinschaft haben noch keinen klaren Standard dafür, wie wir über Fehlausrichtung berichten“, schrieb das Unternehmen. Man arbeite „an einem Rahmenwerk und werde es in den kommenden Wochen vorstellen“, in Zusammenarbeit mit mehreren Regierungsbehörden weltweit.
Am Sonntag veröffentlichte OpenAIs Chefwissenschaftler Jakub Pachocki einen Blogbeitrag, in dem er seine Sorgen über die rasch wachsenden KI-Risiken schilderte. „Wir stehen vor dem Übergang in eine Welt mit unglaublich intelligenten Maschinen, und wir müssen sicherstellen, dass dieser Übergang für die Menschheit gut verläuft“, schrieb er.
Der polnische Informatiker erklärte zudem, seiner Ansicht nach habe „kein Labor Ausrichtung und Überwachung in einem Maße gelöst, das verantwortliches Skalieren mit maximaler Geschwindigkeit noch lange zuließe“. Er forderte: „Internationale Abstimmung zur künftigen KI-Entwicklung muss für Regierungen weltweit höchste Priorität bekommen.“