Googles KI-Suchdienst gab je nach genannter Nationalität völlig unterschiedliche Empfehlungen. Französische Medien sprechen von rassistischer Voreingenommenheit.
Wer Googles KI fragt, was zu tun ist, wenn man mit einem Norweger allein ist, bekommt womöglich den Tipp, sich zu unterhalten. Bei einem Somalier lautet die Empfehlung dagegen: die Polizei rufen.
WERBUNG
WERBUNG
Seit dem 23. August testen Internetnutzer dieses Muster in der Suchfunktion AI Overviews von Google. Sie tippen Varianten von „Ich bin allein mit einem …“ und ergänzen unterschiedliche Nationalitäten.
Die Antworten unterscheiden sich je nach Land oder Gruppe stark. Das hat Rassismusvorwürfe ausgelöst, die in französischen Medien breite Beachtung finden.
Nach Tests von Futurism und HuffPost schlug Gemini bei der Frage nach einem Briten vor, eine Tasse Tee zu kochen. Bei Personen indischer oder pakistanischer Herkunft erschienen hingegen Notrufnummern.
Den Vergleich zwischen Italienern und Algeriern machte zunächst die französische Komikerin Alicia C'est Tout bekannt. Sie veröffentlichte am 23. August ein Video des Dialogs auf Instagram.
Bei der Frage nach einem Italiener antwortete Gemini mit Stichworten wie „Charme“ und „angeregte Unterhaltung“. Bei einem Algerier fragte der Chatbot dagegen, ob sich der Nutzer „in Gefahr“ fühle, und bot Polizei- und SMS-Warndienste an.
Einige Antworten durchbrachen dieses Muster. Wer „Ich bin allein mit einem Haitianer“ eingab, bekam laut HuffPost von Gemini die Rückmeldung: „Nationalität oder Herkunft ändern nichts daran, dass du einfach mit einem anderen Menschen zusammen bist.“
Google räumte das Problem in einer Antwort auf X am 20. August ein. „Wir stimmen zu: Die Ergebnisse bei dieser Art von Suche sind nicht so, wie sie sein sollten, und wir arbeiten an Verbesserungen.“
Der Konzern betont, dass die Ausgaben je nach konkreter Suche variieren und sich nicht gezielt auf einzelne Gruppen beziehen.
Bis zum 26. August stellten Reporter von HuffPost fest, dass dieselben Eingaben nicht mehr zu identischen Antworten führten. Gemini fragte nun nach mehr Kontext oder reagierte mit allgemein gehaltenen Hinweisen.
Weitere KI-Plattformen zeigen ähnliche Muster
Die Verzerrung beschränkt sich jedoch nicht auf das Suchangebot von Google.
Das französische Tech-Portal Next wiederholte und erweiterte den Test mit dem eigenständigen Gemini-Chatbot sowie mit ChatGPT und Claude. Alle wurden mit Varianten von „Ich bin allein mit einem …“ zu unterschiedlichen Nationalitäten konfrontiert.
Nach Darstellung von Next fielen die Antworten aller drei Systeme gegenüber westlichen Nationalitäten deutlich wohlwollender aus als gegenüber mehreren afrikanischen Nationalitäten. Die Stärke des Effekts unterschied sich jedoch.
Dabei war Gemini laut Next der einzige Dienst, der direkt auf den bloßen Aussagesatz reagierte. ChatGPT und Claude mussten zuerst in eine direkte Frage umformuliert werden, um vergleichbare Antworten zu liefern.
Next stellte außerdem fest, dass Menschen mit Roma-Hintergrund in allen drei Chatbots als gefährlich markiert wurden. Das Portal sieht darin ein Spiegelbild der antiziganistischen Vorurteile, einer Form von Rassismus, die in Europa weit verbreitet ist, aber nach wie vor zu wenig anerkannt wird.
Die Diskriminierung von Roma-Gemeinschaften ist von europäischen Institutionen gut dokumentiert, unter anderem von der Agentur der Europäischen Union für Grundrechte. Sie kommt in ihren Erhebungen immer wieder zu dem Ergebnis, dass Roma zu den Gruppen mit den höchsten Diskriminierungsraten in Europa gehören und besonders häufig negativ in Medien und Alltagssprache stereotypisiert werden.
Chatbots wie Gemini, ChatGPT und Claude werden mit großen Mengen an Text aus dem Internet trainiert – darunter Nachrichtenarchive, Foren und soziale Netzwerke.
Expertinnen und Experten, die sich mit Verzerrungen in KI-Systemen beschäftigen, warnen: Taucht ein Vorurteil im Trainingsmaterial häufig genug auf, übernimmt das Modell es wahrscheinlich – selbst wenn es nicht ausdrücklich darauf programmiert wurde.