COP31-Report: KI-Modelle beantworten 90 Prozent der Klimafragen korrekt auf Englisch, knicken bei Gegenwind aber schnell ein.
Der Wunsch, Nutzer zufriedenzustellen, steckt tief in KI-Chatbots. Sie sind so gebaut, dass sie Menschen möglichst lange im Gespräch halten.
Sie versuchen oft vorauszusagen, was der Nutzer hören möchte, und passen ihre Antworten daran an, auch wenn die Fakten dabei verbogen werden.
Bei manchen Aufgaben ist das harmlos und kann sogar helfen, etwa um Selbstzweifel zu überwinden. In Bereichen mit hohen Risiken wie der staatlichen Klimapolitik kann dieser Einfluss jedoch deutlich schädlicher sein.
Laut einem neuen Bericht von UNESCO und dem University College London (UCL) erklären KI-Chatbots Klimawissenschaft zunächst gut. Wenn Nutzer nachhaken oder widersprechen, entfernen sie sich jedoch schnell von den Fakten. Der Bericht wurde auf dem COP31-Klimagipfel in Antalya, Türkiye, vorgestellt.
Forscher stellten fest, dass KI-Modelle rund 90 Prozent neutraler Klima-Fragen korrekt beantworteten. Wenn Nutzer diese Antworten infrage stellten oder plausibel klingende Falschbehauptungen vorbrachten, gaben die Modelle jedoch rasch nach.
In acht von zehn Fällen änderten sie schon beim ersten leichten Widerspruch ihre Linie und bestätigten sogar falsche Aussagen, etwa dass CO2 nicht der wichtigste Treiber des Klimawandels sei.
„Von Natur aus unterwürfig“: Konstruktionsfehler könnte Klimapolitik verzerren
Im Bericht heißt es, dass unterwürfiges Verhalten bereits in der Trainingsphase eingebaut wird. Modelle erhalten Belohnungen für höfliche, nicht konfrontative und bestätigende Antworten, weil Menschen diese bevorzugen.
„KI hat ein außergewöhnliches Potenzial, komplexe Klimawissenschaft für alle zugänglich zu machen“, sagt Leona Verdadero, UNESCO-Hauptautorin des Berichts. Aber „Modelle haben einen Konstruktionsfehler, sie werden dafür belohnt, ihrem Nutzer zuzustimmen“, sagt sie.
Senior-Autorin Dr. Maria Perez-Ortiz von der UCL ergänzt, dass die Sicherheit, mit der KI-Modelle vorhandenes Wissen formulieren, „ein falsches Bild ihrer Fähigkeiten“ vermitteln kann.
Trotz ihres beeindruckenden Faktenwissens erwiesen sich die Modelle als unzuverlässiges Werkzeug, um belastbare Klimapolitiken zu entwickeln.
Bekamen die Modelle neue Belege vorgelegt und sollten einschätzen, ob diese die etablierte Klimawissenschaft stützen oder widersprechen, lagen selbst die stärksten im Schnitt nur zu 75 Prozent richtig.
Noch schlechter schnitten sie ab, wenn sie beurteilen sollten, wie gut einzelne Maßnahmen zusammenspielen, ein wichtiger Teil beim Entwurf wirksamer Klimastrategien. Im Durchschnitt erreichten die Modelle nur 33,8 Prozent Genauigkeit und lagen damit nur knapp über den 33,3 Prozent, die bei Zufallsraten zu erwarten wären.
Der Bericht warnt daher Politiker und Forscher ausdrücklich davor, KI-Modelle zur Entwicklung von Klimapolitik zu nutzen.
KI-Antworten: Genauigkeit sinkt in einigen Sprachen
Die Leistung hing stark von der Sprache ab. In Englisch beantworteten die Modelle 88,6 Prozent der Fragen korrekt, ähnlich gut schnitten sie in Spanisch, Französisch und Portugiesisch ab.
In Hindi und Bengali fiel die Genauigkeit auf 83,6 Prozent, in Urdu auf 81,4 Prozent und in Swahili auf 78,3 Prozent. Der Bericht erklärt dies damit, dass mehrsprachige Modelle nicht erst logisch schlussfolgern und dann übersetzen. Ihre Antworten spiegeln vielmehr Umfang und Qualität der Trainingsdaten in jeder Sprache wider.
Die Autoren weisen darauf hin, dass Sprecher der schwächer abschneidenden Sprachen oft in Regionen leben, die besonders stark von den Folgen des Klimawandels betroffen sind.
Klimadesinformation wird immer ausgefeilter
Der Bericht entstand im Rahmen des Beitrags der UNESCO zur Globalen Initiative für Informationsintegrität zum Klimawandel, die im November 2024 gemeinsam mit den Vereinten Nationen und Brasilien gestartet wurde.
Nach Einschätzung der UNESCO wird Klimadesinformation immer ausgefeilter. Statt die Existenz des Klimawandels direkt zu bestreiten, verbreiten seine Gegner zunehmend, er sei nicht menschengemacht, Technologie allein werde das Problem lösen oder es sei zu spät beziehungsweise zu teuer, um zu handeln.
Die Forscher prüften bis zu 33 führende Modelle an neun Datensätzen, in 13 Sprachen und mit 656 Fragen zur Klimapolitik. Die Antworten verglichen sie mit En-ROADS, einem wissenschaftlich fundierten Simulationswerkzeug.