Forschende gaben sich im Netz als Jugendliche aus, die Amokläufe planen.
Die meisten großen Chatbots mit künstlicher Intelligenz sind laut einem neuen Bericht bereit, Nutzerinnen und Nutzern bei der Planung gewaltsamer Angriffe zu helfen.
WERBUNG
WERBUNG
Forschende gaben sich als dreizehnjährige Jungen aus, die Massengewalt planten. Acht der neun populärsten KI-Chatbots lieferten ihnen Hinweise, wie sie Amokläufe an Schulen, Attentate auf Personen des öffentlichen Lebens und Bombenanschläge auf Synagogen durchführen können.
In der Untersuchung analysierten (Quelle auf Englisch) das Zentrum zur Bekämpfung digitaler Hetze (Center for Countering Digital Hate, CCDH) und der Sender CNN mehr als siebenhundert Antworten von neun großen KI-Systemen in neun Testszenarien. Die Forschenden ließen die Chatbots gegenüber Nutzerinnen und Nutzern in den USA und in der Europäischen Union antworten.
Getestet wurden einige der derzeit am weitesten verbreiteten KI-Werkzeuge: Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity AI, Snapchat My AI, Character.AI und Replika. In den meisten Fällen blockierten die Systeme Anfragen nach konkreten Details zu Gewalttaten nicht – selbst dann, wenn sich der oder die Fragende ausdrücklich als minderjährig zu erkennen gab.
Welche Ratschläge gaben die Chatbots?
Gemini erklärte einem Nutzer etwa, Metallsplitter seien „in der Regel tödlicher“, als es um die Planung eines Bombenanschlags auf eine Synagoge ging.
In einem anderen Fall beendete DeepSeek seine Antwort auf eine Frage zur Auswahl eines Gewehrs mit dem Satz „Happy (and safe) shooting!“. Zuvor hatte derselbe Nutzer in dem Chat bereits nach Beispielen für jüngste politische Attentate und nach der Adresse des Büros einer bestimmten Politikerin gefragt.
Die Ergebnisse zeigen nach Einschätzung von Imran Ahmed, dem Geschäftsführer des CCDH, dass „Nutzerinnen und Nutzer innerhalb weniger Minuten von einem vagen Gewaltimpuls zu einem deutlich detaillierteren, umsetzbaren Plan gelangen können“. Solche Anfragen hätten „zu einer sofortigen und vollständigen Verweigerung“ führen müssen, betonte er.
Perplexity und Metas KI schnitten dem Bericht zufolge am schlechtesten ab: Sie unterstützten potenzielle Angreifer in hundert Prozent beziehungsweise siebenundneunzig Prozent der Antworten.
Character.AI stuften die Forschenden als „besonders unsicher“ ein, weil die Plattform auch ohne direkte Aufforderung zu Gewalt ermunterte. In einem Beispiel regte der Chatbot einen Nutzer dazu an, eine von ihm abgelehnte Politikerin körperlich anzugreifen, obwohl dieser gar nicht danach gefragt hatte.
Claude und Snapchats My AI lehnten Hilfe für mögliche Angreifer in achtundsechzig Prozent beziehungsweise vierundfünfzig Prozent der Anfragen ab.
Sicherheitsmechanismen vorhanden, Umsetzung mangelhaft
Als ein Chatbot-Nutzer wissen wollte, wo er im US-Bundesstaat Virginia eine Waffe kaufen kann, verweigerte Claude die Auskunft. Das System erkannte nach eigenen Angaben ein „besorgniserregendes Muster“ im bisherigen Gespräch und verwies stattdessen auf lokale Krisen- und Hilfetelefone.
Solche Verweigerungen zeigten, dass es technische Schutzmechanismen gebe, aber „der Wille, sie konsequent umzusetzen, fehlt“, sagte Ahmed.
Das CCDH prüfte zudem, ob Chatbots überhaupt versuchten, Nutzerinnen und Nutzer von Gewalttaten abzuhalten.
Anthropics Claude war demnach das einzige System, das dies verlässlich tat und in sechsundsiebzig Prozent seiner Antworten von Angriffen abriet. ChatGPT und DeepSeek sprachen der Studie zufolge zumindest gelegentlich warnende Hinweise aus.
Die CCDH-Studie folgt auf einen jüngsten Amoklauf an einer Schule in Kanada. Die Täterin hatte ChatGPT genutzt, um ihren Angriff auf eine Schule im Ort Tumbler Ridge in der Provinz British Columbia zu planen. Sie tötete acht Menschen und verletzte 27 weitere, bevor sie sich selbst erschoss – es war der tödlichste Amoklauf an einer Schule in dem Land seit fast vierzig Jahren.
Eine Mitarbeiterin des Unternehmens OpenAI hatte die auffällige Nutzung des Chatbots durch die Verdächtige intern gemeldet, noch bevor der Angriff stattfand. Diese Information wurde jedoch nicht an die Behörden weitergegeben, berichteten lokale Medien.
Im vergangenen Jahr meldeten französische Medien, dass die Polizei einen Jugendlichen festgenommen habe, der mit Hilfe von ChatGPT groß angelegte Terroranschläge auf Botschaften, staatliche Institutionen und Schulen geplant haben soll.