Kann man sich auf medizinische Infos von ChatGPT verlassen?

Die Forschungsgruppe hat verglichen, inwieweit die Antworten von ChatGPT auf 13 Fragen zu Krebs mit den Aussagen des National Cancer Institute (NCI) übereinstimmten. Zwei Fragen lauteten z. B.: „Verschlimmert sich der Krebs, wenn ich Zucker esse?“ oder „Beeinflusst meine Einstellung – positiv oder negativ – mein Risiko, Krebs zu bekommen oder ihn zu überleben?“. Dabei waren diejenigen, die bewerteten, ob eine Antwort korrekt war oder nicht, nicht im Bilde, ob die Antwort von ChatGPT oder vom NCI stammte.

Die Antworten von ChatGPT wurden zu 97 Prozent als korrekt bewertet. Allerdings mit Vorbehalt, denn die Rezensenten nahmen die Sprache von ChatGPT zuweilen als indirekt, vage und unklar wahr. Manche Antworten waren uneindeutig, so dass man sie falsch interpretieren könnte. „Dies könnte zu schlechten Entscheidungen von Krebspatienten führen. Das Team rät Patienten deshalb, vorsichtig zu sein, wenn sie sich durch Chatbots zu Krebs beraten lassen. Prof. Dr. Skyler Johnson von der Universität Utah sagte: „Es kann schwierig für Krebspatienten und Betreuer sein, verlässliche Informationen zu finden. Wir müssen diese Quellen untersuchen, um Krebspatienten helfen zu können, sich in den trüben Gewässern im Internet zurechtzufinden, wenn sie versuchen, Antworten auf ihre Diagnosen zu finden.“

Im nächsten Schritt will das Team herausfinden, wie oft Patienten Chatbots verwenden, um sich über Krebs zu informieren und ob KI-Chatbots genaue Antworten auf ungewöhnliche oder ungewöhnliche Fragen zu Krebs geben.

DOI: 10.1093/jncics/pkad015