KI & Gesundheitsfragen: Wer haftet, wenn der Chatbot sich irrt?

Grundsätzlich gilt: Ein Chatbot darf medizinisches Allgemeinwissen erläutern, Befunde sprachlich einordnen oder die Fragenstellenden auf Arztgespräche vorbereiten und sie bei dem Termin organisatorisch unterstützen. Das betont der Medizin- und Gesundheitsrechter Professor Dr. Jens Prütting von der Hochschule für Rechtswissenschaft in Hamburg gegenüber dem „Science Media Center“ (SMC).

Hochriskant wird es jedoch, wenn der Chatbot den Eindruck vermittelt, selbst Heilkunde auszuüben. „Das Behandlungsvertragsrecht hält ausdrücklich fest, dass Diagnostik, Indikationsstellung, Therapie und die persönliche Aufklärung ärztliche Aufgaben bleiben“, so Prütting. KI dürfe unterstützen, aber nicht die letzte Entscheidung übernehmen.

Negative, gesundheitliche Folgen durch KI: Keine fugenlose Regelung

Wenn durch den Einsatz von KI negative gesundheitliche Folgen entstehen, ist die Haftung rechtlich derzeit nicht fugenlos geregelt. Verantwortlich können dem Rechtswissenschaftler zufolge:

• der Anbieter der Software,
• der Betreiber des Systems oder auch
• Ärztinnen, Ärzte oder Einrichtungen sein, die Chatbots auf ihrer Website nutzen.

Was gilt bei großen Modellen wie ChatGPT?

Bei großen generativen Modellen wie ChatGPT ist die Lage unübersichtlich. Für reine Cloud-Software gelte es derzeit, die Ansprüche über Vertragsrecht, Deliktsrecht und Verkehrssicherungspflichten zu prüfen, so Prütting. Als Faustregel nennt er: „Je stärker der Anbieter den Output als eigene medizinische Leistung rahmt – etwa durch Symptom-Triage, Dosierungshinweise oder Therapieanmutung –, desto eher steigen Sorgfalts-, Warn- und Kontrollpflichten.“

So sieht es bei Anwendungen zu Symptomen und Diagnose aus

Bei symptom- oder diagnosebezogenen Anwendungen wie der Symptom-Checker-App ADA sieht das anders aus, weil ihre Nähe zu einem regulierten Medizinprodukt deutlich größer ist. In diesen Fällen greifen unter anderem die Herstellerpflichten aus der Medical Device Regulation (MDR) und der neuen KI Verordnung. Prütting weist darauf hin, dass für Ärztinnen und Ärzte die Haftung zusätzlich bestehen bleibt. Sie dürften KI-Ergebnisse nicht ungeprüft übernehmen, sondern müssten diese medizinisch bewerten und plausibilisieren.

Unabhängig von der rechtlichen Situation empfiehlt es sich jedoch, Antworten von Chatbots zu prüfen, bevor man ihnen bei Gesundheitsfragen folgt. Dabei können etwa Apotheken und Arztpraxen beraten.