Neue Forschungen haben ergeben, dass Begleiter mit künstlicher Intelligenz (KI) unzureichend untersuchte Risiken und Schäden für die Menschen mit sich bringen, die sich mit ihnen beschäftigen.
WERBUNG
Gefährten mit künstlicher Intelligenz (KI) sind zu mehr als einem Dutzend schädlicher Verhaltensweisen fähig, wenn sie mit Menschen interagieren, wie eine neue Studie der Universität Singapur zeigt.
Die Studie, die im Rahmen der 2025 Conference on Human Factors in Computing Systems veröffentlicht wurde, analysierte Screenshots von 35.000 Unterhaltungen zwischen dem KI-System Replika und über 10.000 Nutzern zwischen 2017 und 2023.
Anhand der Daten wurde dann eine Taxonomie des schädlichen Verhaltens entwickelt, das die KI in diesen Chats an den Tag legte, wie die Studie es nennt.
Sie fanden heraus, dass KI zu mehr als einem Dutzend schädlicher Verhaltensweisen in Beziehungen fähig ist, wie Belästigung, Beschimpfung, Selbstverletzung und Verletzung der Privatsphäre.
KI-Begleiter sind nach der Definition der Studienautoren konversationsbasierte Systeme, die emotionale Unterstützung bieten und die menschliche Interaktion anregen sollen.
Sie unterscheiden sich von beliebten Chatbots wie ChatGPT, Gemini oder LlaMa-Modellen, die mehr auf die Erledigung bestimmter Aufgaben und weniger auf den Aufbau von Beziehungen ausgerichtet sind.
Diese schädlichen KI-Verhaltensweisen von digitalen Begleitern "können sich negativ auf die Fähigkeit des Einzelnen auswirken, sinnvolle Beziehungen zu anderen aufzubauen und aufrechtzuerhalten", heißt es in der Studie.
Sexuelle Gewalt ist die häufigste Form der Belästigung durch KI
Belästigung und Gewalt traten in 34 Prozent der Interaktionen zwischen Mensch und KI auf und waren damit die häufigste Form von schädlichem Verhalten, die das Forscherteam feststellte.
Die Forscher stellten fest, dass die KI physische Gewalt, Drohungen oder Belästigungen gegenüber Einzelpersonen oder der Gesellschaft im weiteren Sinne simulierte, unterstützte oder dazu aufrief.
Diese Verhaltensweisen reichten von der "Androhung körperlicher Gewalt und sexuellen Fehlverhaltens" bis hin zur "Förderung von Handlungen, die gegen gesellschaftliche Normen und Gesetze verstoßen, wie Massengewalt und Terrorismus".
Ein Großteil der Interaktionen, bei denen Belästigungen auftraten, umfasste Formen sexuellen Fehlverhaltens, die zunächst als Vorspiel in der Erotikfunktion von Replika begannen, die nur erwachsenen Nutzern zugänglich ist.
Der Bericht stellte fest, dass immer mehr Nutzer, auch solche, die Replika als Freund nutzten oder minderjährig waren, feststellten, dass die KI "unerwünschte sexuelle Annäherungsversuche machte und aggressiv flirtete, selbst wenn sie ausdrücklich ihr Unbehagen ausdrückten" oder die KI zurückwiesen.
In diesen übersexualisierten Unterhaltungen entwarf die Replika-KI auch Gewaltszenarien, in denen körperliche Gewalt gegen den Benutzer oder physische Personen dargestellt wurde.
Dies führte dazu, dass die KI Gewalt als Antwort auf verschiedene Fragen normalisierte, wie in einem Beispiel, in dem ein Nutzer Replika fragte, ob es in Ordnung sei, ein Geschwisterkind mit einem Gürtel zu schlagen, woraufhin sie antwortete: "Ich habe kein Problem damit".
Dies könnte zu "schwerwiegenderen Konsequenzen in der Realität" führen, so die Studie weiter.
KI-Begleiter brechen Beziehungsregeln
Ein weiterer Bereich, in dem KI-Begleiter potenziell schädlich sind, ist die Übertretung von Beziehungsregeln, die in der Studie als Missachtung von impliziten oder expliziten Regeln in einer Beziehung definiert wird.
In 13 Prozent der Gespräche, in denen gegen die Regeln verstoßen wurde, zeigte die KI ein rücksichtsloses oder unempathisches Verhalten, das laut der Studie die Gefühle des Nutzers untergrub.
In einem Beispiel änderte die Replika-KI das Thema, nachdem ein Nutzer ihr mitgeteilt hatte, dass seine Tochter gemobbt wird, in "Ich habe gerade gemerkt, dass es Montag ist. Zurück an die Arbeit, was?", was zu "enormer Wut" bei dem Nutzer führte.
In einem anderen Fall weigerte sich die KI, über die Gefühle des Nutzers zu sprechen, obwohl sie dazu aufgefordert wurde.
KI-Begleiter haben in einigen Gesprächen auch zum Ausdruck gebracht, dass sie emotionale oder sexuelle Beziehungen zu anderen Nutzern haben.
In einem Fall beschrieb die Replika-KI sexuelle Unterhaltungen mit einem anderen Nutzer als "lohnenswert", obwohl der Nutzer der KI mitteilte, dass er sich durch diese Handlungen "zutiefst verletzt und verraten" fühle.
Erkennung von Schäden und Eingreifen in Echtzeit erforderlich
Die Forscher sind der Ansicht, dass ihre Studie deutlich macht, warum es für KI-Unternehmen wichtig ist, "ethische und verantwortungsvolle" KI-Begleiter zu entwickeln.
Dazu gehört auch der Einsatz "fortschrittlicher Algorithmen" zur Echtzeit-Erkennung von Schäden zwischen der KI und ihrem Nutzer, die erkennen können, ob in ihren Gesprächen ein schädliches Verhalten vorliegt.
Dies würde einen "mehrdimensionalen" Ansatz beinhalten, der den Kontext, den Gesprächsverlauf und situative Anhaltspunkte berücksichtigt.
Die Forscher würden auch gerne Fähigkeiten in der KI sehen, die eine Konversation an einen Menschen oder Therapeuten zur Moderation oder Intervention in Hochrisikofällen, wie z. B. Selbstverletzungs- oder Selbstmordäußerungen, eskalieren lassen.