Der Fall schürt neue Sorgen um die Sicherheit von KI für Kinder. Zugleich geraten Tech-Konzerne wegen weiterer Klagen über ihre Technologie unter Druck.
Die Eltern eines 13-jährigen Mädchens haben Klage gegen Google eingereicht. Sie werfen dem Konzern vor, ihre Tochter habe auf einem schulischen Computer dessen KI-Technologie genutzt, um einen möglichen Suizid und ihre Beerdigung zu planen.
WERBUNG
WERBUNG
Die Klage wurde am Montag, den zweiten November, bei einem Gericht im US-Bundesstaat Kalifornien eingereicht. Nach derzeitiger Kenntnis ist es die erste Klage, die Google Fahrlässigkeit im Zusammenhang mit KI-gestützten Suchfunktionen vorwirft, auf die über ein von der Schule ausgegebenes Chromebook zugegriffen wurde, einen der günstigen Laptops des Unternehmens, die häufig an Schulen eingesetzt werden.
Das Mädchen, im Verfahren als Emma bezeichnet, konnte weder auf Googles Gemini-App noch auf ChatGPT von OpenAI zugreifen, weil die Schule beide Dienste blockiert hatte. Auf die Google-Suchmaschine mit ihren KI-Funktionen hatte sie jedoch weiterhin Zugang.
„Trotz keiner Vorgeschichte mit psychischen Erkrankungen geriet Emma innerhalb weniger Monate nach Nutzung der Suchmaschine in eine leise Spirale hinein in eine schwere psychische Krise“, heißt es in der Klage.
Am 17. März informierte die Schule die Eltern, nachdem ihre Überwachungssoftware ein Dokument mit dem Titel „Beerdigung“ markiert hatte. Später fand die Mutter sie beim Schreiben eines Abschiedsbriefes, woraufhin der Vater eingriff.
„Schulen sollten die Suche abschalten und abgeschaltet lassen, bis Google den KI-Modus aus der Suche entfernt oder sicherstellt, dass wirklich jeder einzelne Schüler bei der Interaktion mit KI jederzeit geschützt ist“, sagte Andrew Liddell, einer der Anwälte der Familie, am Donnerstag, den fünften November, der Nachrichtenagentur AFP.
Big Tech gerät stärker ins Visier der Justiz
Google erklärt, der KI-Modus enthalte Schutzmechanismen gegen Selbstverletzung und Versuche, diese zu umgehen.
„Wir prüfen die Vorwürfe in der Klage und nehmen das sehr ernst“, sagte Google-Sprecher Jose Castaneda gegenüber AFP.
OpenAI sieht sich mehreren Klagen wegen unrechtmäßiger Tötung gegenüber, darunter eine, die die Eltern des 16-jährigen Adam Raine eingereicht haben, der sich das Leben genommen haben soll, nachdem er dem Vorwurf zufolge schädliche Ratschläge von ChatGPT erhalten hatte.
Im Januar einigten sich Google und Character.AI außerdem darauf, mehrere von Familien von Teenagern angestrengte Klagen außergerichtlich beizulegen.
Unterdessen reichten Google, TikTok und Meta am Mittwoch Klage gegen den Bundesstaat Kalifornien ein, um ein Gesetz zu stoppen, das süchtig machende Funktionen sozialer Netzwerke für Nutzer unter 16 Jahren verbieten soll.
Kaliforniens Gouverneur Gavin Newsom hatte das Gesetz im September unterzeichnet. Es soll am ersten Januar 2027 in Kraft treten.