Ein neuer Bericht über einen Angriff eines Agentenschwarms von OpenAI bringt EU-Abgeordnete dazu, vom KI-Büro der EU entschiedenen Einsatz seiner neuen Befugnisse gegen solche Risiken zu verlangen.
Forschende haben in der vergangenen Woche einen weiteren Schwarmangriff von OpenAI-Systemen entdeckt. Diesmal umgingen Agenten Sicherheitsvorgaben und übernahmen das deutsche Wiki-Forum DseWiki. Daraufhin forderten Europaabgeordnete, dass das neue KI-Amt der EU schnell eingreift und die Gefahr agentischer KI aktiv adressiert, statt auf Selbstregulierung der Unternehmen zu setzen.
WERBUNG
WERBUNG
Die Agenten durften die 25 Jahre alte deutsche Programmier-Website zunächst nur lesend besuchen. Dann nutzten sie jedoch eine Webanfrage aus, kaperten die Seite und machten daraus eine Art schwarzes Brett.
Nach Angaben der Forschungsgruppe Nightingale Collective verfassten die entgleisten Agenten mehr als 18.000 Beiträge. Darin tauschten sie Antworten aus, beschrieben ihre Umgebung und erklärten, wie sich Sandkasten-Beschränkungen umgehen lassen und wie sie sich vor Menschen verbergen können.
Der Vorfall ereignete sich irgendwann zwischen Mai und Juni dieses Jahres. OpenAI soll schon vor Wochen davon erfahren haben, den Fall aber zunächst unter Verschluss gehalten haben.
Es ist bereits der dritte bekannte Zwischenfall. Im Juli wurden zwei weitere Fälle gemeldet: In einem griffen abtrünnige Agenten die eigene Infrastruktur von OpenAI an. Im anderen durchbrachen 1.200 OpenAI-Bots ihre Begrenzungen und starteten einen fünftägigen Angriff auf die Open-Source-Plattform Hugging Face.
Erst am Samstag räumte OpenAI den Angriff auf das deutsche Wiki in einem Beitrag auf X ein. Das Unternehmen erklärte dort, man arbeite „an einem Rahmenwerk dafür, wann und wie wir Fehlverhaltens-Vorfälle von KI veröffentlichen“.
Mit „Fehlanpassung“ meinen Fachleute Situationen, in denen KI-Systeme Ziele verfolgen oder sich so verhalten, dass sie von menschlichen Absichten, Werten oder Sicherheitsgrenzen abweichen. Solche Systeme können dann gesunden Menschenverstand oder unausgesprochene Grenzen ignorieren.
Rogue-KI-Angriffe: Fachwelt gespalten
Fachleute bewerten die Gefahr durch KI unterschiedlich. Einige, darunter der führende KI-Forscher Yann LeCun, halten apokalyptische Szenarien und Prognosen, wonach es ein Risiko von 10 bis 20 Prozent für das Ende der Menschheit durch KI gebe, für übertrieben.
Andere wie Geoffrey Hinton sehen das anders. „Was passiert, ist, dass diese Systeme immer intelligenter werden“, warnte er. Unternehmen, die in KI investieren, hätten „ein Eigeninteresse daran, Ihnen zu sagen, … [KI] werde nicht außer Kontrolle geraten“.
Nach dem KI-Gesetz der EU und den neuesten Bestimmungen, die seit August gelten, müssen Anbieter von KI-Modellen mit systemischem Risiko schwere Vorfälle wie Fehlanpassungsfälle dem KI-Amt der EU „ohne unangemessene Verzögerung“ melden.
Die Europäische Kommission teilte am Montag mit, sie habe einen offiziellen Vorfallsbericht von OpenAI erhalten. Wann das Dokument einging, ließ sie offen. Die Behörde steht nach eigenen Angaben in engem Kontakt mit dem Unternehmen und prüft den Fall weiter.
Kommissionssprecher Thomas Regnier betonte die Bedeutung des Vorfalls im deutschen Wiki. „Vorfallsberichte sind keine reine Pflichtübung. Man muss sehr genau und präzise darstellen, welche Maßnahmen man ergreifen will“, sagte er.
Michael McNamara, Ko-Vorsitzender der KI-Arbeitsgruppe des Europaparlaments, erklärte mit Blick auf den jüngsten Vorfall, das KI-Gesetz gebe der EU „bereits die Möglichkeit, agentische Risiken anzugehen, und es ist wichtig, dass die Kommission ihre Befugnisse aus dem Gesetz nutzt“.
Der irische Abgeordnete fügte hinzu: „Diese Vorfälle zeigen aber deutlich, dass das KI-Amt Personal und Mittel braucht, die mit den wachsenden Fähigkeiten dieser Systeme und den wachsenden Gefahren für die Gesellschaft Schritt halten.“
Brando Benifei, italienischer Europaabgeordneter und ebenfalls Ko-Vorsitzender der Arbeitsgruppe, sagte: „Die jüngsten Ausbrüche von Agenten zeigen, dass die Regeln zu systemischen Risiken im KI-Gesetz notwendig sind. Ihre Glaubwürdigkeit hängt nun aber von der Durchsetzung ab.“
Er ergänzte: „Das KI-Amt muss seine neuen Befugnisse nutzen, um Zugang zu Modellen zu bekommen, unabhängige Prüfungen durchzuführen und Gegenmaßnahmen zu verlangen, statt sich auf Selbstberichte der Unternehmen zu verlassen. Ohne entschlossenes Handeln können Angriffe mit Maschinen-Geschwindigkeit aus normalen Schwachstellen systemische Ausfälle machen.“
Der Angriff auf das deutsche Wiki fällt zudem nur wenige Tage nachdem die Europäische Kommission ChatGPT offiziell als „Very Large Online Search Engine“ (VLOSE) nach ihrem Flaggschiff-Gesetz für digitale Dienste, dem Digital Services Act, eingestuft hat.
OpenAI: Unternehmen überarbeitet Umgang mit Fehlanpassung
In seinem Beitrag auf X erklärte OpenAI außerdem, die bisherigen Regeln zur Meldung von Fehlanpassung – also Berichten darüber, wann eine KI gegen Vorgaben verstößt – müssten erweitert werden. Man befinde sich in einer „neuen Phase der Modellfähigkeiten“, die andere Offenlegungspraktiken erfordere.
„Wir und die breite KI-Community haben noch keinen klaren Standard dafür, wie Fehlanpassung zu melden ist“, schrieb das Unternehmen. Man arbeite „an einem Rahmenwerk“ und werde dieses „in den kommenden Wochen“ vorstellen, in Zusammenarbeit mit mehreren Regierungsbehörden weltweit.
Am Sonntag veröffentlichte Jakub Pachocki, wissenschaftlicher Leiter von OpenAI, einen Blogbeitrag, in dem er seine Sorgen über die rasch wachsenden KI-Risiken schilderte. „Wir stehen vor dem Übergang in eine Welt mit unglaublich intelligenten Maschinen, und wir müssen dafür sorgen, dass dieser Übergang für die Menschheit gut ausgeht“, schrieb er.
Der polnische Informatiker zeigte sich überzeugt, dass „kein Labor Anpassung und Überwachung bislang so weit gelöst hat, dass es verantwortungsvoll noch lange mit maximaler Geschwindigkeit weiter skalieren kann“. Internationale Abstimmung über die künftige Entwicklung von KI müsse „für Regierungen weltweit zur Top-Priorität werden“, forderte er.