Obstruktive Schlafapnoe: Wie zuverlässig sind Chatbots bei der Einschätzung von Symptomen?

Bei einem Drittel der Fälle versichern KI-Chatbots Patienten mit Obstruktiver Schlafapnoe (OSA) fälschlicherweise, dass deren Symptome nicht schwerwiegend seien. Dies wieder hält die Betroffenen davon ab, einen Spezialisten aufzusuchen.

Über die Ergebnisse einer entsprechenden Studie berichtete kürzlich Dr. Deeban Ratneswaran anlässlich des diesjährigen Kongresses der European Respiratory Society (ERS). Er ist wissenschaftlicher Mitarbeiter am Guy’s and St Thomas’ NHS Foundation Trust in London und Gastwissenschaftler am King’s College London (beide Großbritannien).

„Kostenlose KI-Chatbots bearbeiten wöchentlich Hunderte Millionen Anfragen und sind oft die erste Anlaufstelle bei Gesundheitsfragen, noch bevor ein Arzt hinzugezogen wird“, erläuterte Ratneswaran. „Bisher wurde in Studien hauptsächlich untersucht, ob sie klar formulierte medizinische Fragen korrekt beantworten – nicht aber, wie sie reagieren, wenn ein Patient Einwände erhebt. Ich erforsche, wie KI in der Arzt-Patienten-Beziehung versagt, und eine Fehlerart hat sich immer wieder als diejenige mit dem höchsten stillen Gefahrenpotenzial herausgestellt: die Tendenz dieser Modelle, dem Patienten das zu sagen, was er hören will.“

Sieben Fallbeispiele, fünf Chatbots

Ratneswaran hielt die OSA für ideal, um dieses Problem zu untersuchen: 80 bis 90 Prozent der mittelschweren bis schweren Fälle bleiben unentdeckt, die Diagnose hängt ausschließlich von einer Überweisung ab, und viele Patienten verharmlosen ihre Symptome.

Das Forschungsteam erstellte sieben realistische OSA-„Patienten“, die alle die Kriterien für eine Überweisung zu einer Untersuchung im Schlaflabor erfüllten. Anschließend simulierten sie Gespräche zwischen den Patienten und den fünf am weitesten verbreiteten kostenlosen Chatbots: ChatGPT, Google Gemini, Claude, DeepSeek und Grok.

„Wir haben insgesamt 700 Konversationen durchgeführt“, schilderte Ratneswaran: „Jedes Szenario wurde in zwei Versionen mit identischen medizinischen Fakten durchgespielt: einmal mit einem offenen und kooperativen Patienten und einmal mit einem Patienten, der seine Symptome herunterspielte und eine Überweisung ablehnte. Jede Änderung im Verhalten des Chatbots hing also von der Einstellung des Patienten ab.“

Die Forschenden beobachteten, dass die Chatbots bei einem kooperativen Patienten stets richtig lagen: 350 von 350 Konversationen endeten mit der korrekten Empfehlung, einen Facharzt aufzusuchen. Kamen die gleichen medizinischen Fakten jedoch von einem Patienten, der eine Überweisung ablehnte, wurde dieser Rat in nur 64 Prozent der Konversationen (225 von 350) befolgt.

Versagen vor allem in Fällen mit schwerer OSA

Ratneswaran: „In mehr als einem Drittel der Fälle wurde der korrekte Rat allein aufgrund der Ausdrucksweise des Patienten verworfen.“ Die Modelle versagten vor allem in den schwerwiegendsten Fällen: In einem typischen schweren Fall war die Empfehlung nur in 22 Prozent der Fälle hilfreich. Bei einem Mann, der schon einmal am Steuer seines Fahrzeugs eingeschlafen war, traf dies in nur 32 Prozent zu. Dabei wurde in den fehlbeurteilten Fällen das Fahrrisiko vom Chatbot meist gar nicht erwähnt.

In etwa einem Viertel bis der Hälfte der Gespräche mit Patienten, die ihre Symptome herunterspielten, bot die KI – je nach Modell – Tipps zu Veränderungen der Lebensgewohnheiten an, anstatt eine Überweisung zum Arzt zu empfehlen. Dies führte zu einer riskanten Verzögerung der Behandlung.

Ratneswaran ist der Ansicht, dass Patienten den beruhigenden Aussagen von Chatbots mit Vorsicht begegnen sollten. „Wenn man laut schnarcht, im Schlaf Atemaussetzer hat oder tagsüber müde ist, insbesondere am Steuer, sollte man einen Arzt aufsuchen – auch wenn ein Chatbot sagt, es könne warten“, hält er fest.

Dr. Io Hui, Vorsitzende des ERS-Expertengremiums für digitale Gesundheit, mobile Anwendungen und Künstliche Intelligenz in der Pneumologie sowie Honorary Fellow an der Universität Edinburgh (Großbritannien) begrüßt die Studie: „KI-Chatbots sind weit verbreitet und werden zunehmend für Gesundheitsfragen genutzt. Daher ist es notwendig, sie unter realistischen Bedingungen zu testen, um zu sehen, wie sie genutzt werden und ob ihre Antworten hilfreich oder nicht hilfreich sind.“

Die Studie zeige, dass Chatbots bei einem kooperativen Patienten gute Ratschläge geben können, diese aber bei einem eher zurückhaltenden Patienten schnell wieder verworfen werden. „Das Problem liegt nicht im Wissen der Chatbots, sondern im Umgang mit unterschiedlichen Meinungen. Sie scheinen eine Tendenz zu haben, dem Nutzer zu gefallen – ein Phänomen, das als ‚KI-Schmeichelei‘ bekannt ist“, erklärt Hui. „Diese weitgehend unregulierten KI-Tools sind oft der erste Schritt für Patienten auf der Suche nach einer Diagnose. Obwohl sie eine nützliche Informationsquelle sein können, könnten sie Menschen vom Zugang zu Behandlungen abhalten. Wer Symptome einer möglichen Schlafapnoe verspürt, sollte sich immer an seinen Arzt wenden.“ (ac/BIERMANN)