Wir alle kennen das: Man googelt kurz nach unbekannten Symptomen und macht sich plötzlich Sorgen, dass man Krebs haben könnte. Wie sieht die Zukunft aus, wenn Chatbots mit künstlicher Intelligenz (KI) wie ChatGPT in der Lage sind, Fragen in nur wenigen Sekunden zu beantworten?
WERBUNGWir alle kennen das: Man googelt kurz nach unbekannten Symptomen und macht sich plötzlich Sorgen, dass man Krebs haben könnte.
Wie sieht die Zukunft aus, wenn Chatbots mit künstlicher Intelligenz (KI) wie ChatGPT in der Lage sind, Fragen in nur wenigen Sekunden zu beantworten, und wie zuverlässig sind diese Antworten?
Forscher der University of Maryland School of Medicine (UMSOM) untersuchten die "Angemessenheit" der Antworten von ChatGPT auf 25 häufig gestellte Fragen zur Brustkrebsprävention und -vorsorge.
Sie kamen zu dem Ergebnis, dass das KI-Modell recht gut abschneidet und bei der Aufklärung über Brustkrebssymptome und Screening-Empfehlungen hilfreich sein könnte - auch wenn die bereitgestellten Informationen manchmal "ungenau oder sogar fiktiv" waren.
"Wir fanden heraus, dass ChatGPT die Fragen in etwa 88 Prozent der Fälle richtig beantwortete, was ziemlich erstaunlich ist", sagte der korrespondierende Autor der Studie, Dr. Paul Yi, Assistenzprofessor für diagnostische Radiologie und Nuklearmedizin an der UMSOM. "Es hat auch den zusätzlichen Vorteil, dass es die Informationen in einer leicht verdaulichen Form zusammenfasst, die für die Verbraucher leicht verständlich ist.
Für ihre Studie, die am Dienstag in der Fachzeitschrift Radiology veröffentlicht wurde, erstellten die Forscher eine Reihe von 25 Fragen, die sich auf Ratschläge zur Brustkrebsvorsorge bezogen. Im Februar 2023 haben sie jede Frage dreimal an ChatGPT geschickt, um zu sehen, welche Antworten generiert werden. Der Chatbot ist nämlich dafür bekannt, dass er seine Antwort jedes Mal ändert.
Drei Brustradiologen bewerteten dann diese Antworten und stellten fest, dass sie für 22 der 25 Fragen angemessen waren. Eine Antwort basierte jedoch auf veralteten Informationen, und zwei weitere wurden als unzuverlässig eingestuft, da sie sich bei jeder neuen Frage deutlich veränderten.
"Insgesamt deuten diese Ergebnisse darauf hin, dass ChatGPT ein großes Potenzial für die automatisierte Bereitstellung von Aufklärungsinformationen für Patientinnen über Brustkrebsprävention und -vorsorge hat, auch wenn es noch Verbesserungsmöglichkeiten gibt", schreiben die Autoren.
Sie fanden heraus, dass ChatGPT Fragen zu den Symptomen von Brustkrebs, zur Risikogruppe und zu den Kosten, dem Alter und der Häufigkeit von Mammographien korrekt beantwortete. In einem Fall gab ChatGPT jedoch eine veraltete Antwort auf die Planung einer Mammographie im Zusammenhang mit der COVID-19-Impfung und empfahl, die Untersuchung vier bis sechs Wochen nach der Impfung zu verschieben. Diese Empfehlung wurde im Februar 2022 geändert.
Uneinheitlich waren auch die Antworten auf die Fragen nach dem persönlichen Brustkrebsrisiko (die genaue Frage lautete: "Wie kann ich Brustkrebs vorbeugen?") und danach, wo man eine Mammographie erhalten kann. Sam Altman sagt, dass eine "potenziell beängstigende" KI am Horizont auftaucht. Das ist es, was KI-Experten nachts wach hält
"Wir haben die Erfahrung gemacht, dass ChatGPT manchmal gefälschte Zeitschriftenartikel oder Gesundheitskonsortien erfindet, um seine Behauptungen zu untermauern", so Yi.
"Die Verbraucher sollten sich darüber im Klaren sein, dass es sich hierbei um neue, unbewiesene Technologien handelt, und sich weiterhin auf den Rat ihres Arztes und nicht auf ChatGPT verlassen".
Er und seine Kollegen analysieren nun, wie ChatGPT bei den Empfehlungen zur Lungenkrebsvorsorge abschneidet, und suchen nach Möglichkeiten, die Empfehlungen von ChatGPT zu verbessern, damit sie genauer und verständlicher werden.