Parkinson-Chatbot jAImes im Sicherheitstest

Würzburger Neurologen werteten mehr als 2.000 Gespräche mit dem Parkinson-Chatbot jAImes aus. Die Ergebnisse zeigen, wie sicher der KI-Assistent ist und warum eine kontinuierliche Kontrolle wichtig bleibt.

Als Ärztin oder Arzt kennt man die Situation: Im Gespräch mit Patientinnen und Patienten bleibt trotz aller Bemühungen manchmal nicht genug Zeit, um jede Frage ausführlich zu beantworten oder alle Informationen zu vermitteln, die im weiteren Verlauf noch relevant werden können. Viele Betroffene suchen deshalb nach dem Arztbesuch im Internet nach weiteren Informationen zu ihrer Erkrankung. Klassische Suchmaschinen und KI-gestützte Chatbots können dabei zwar hilfreich sein, bergen aber auch Risiken: Informationen können falsch eingeordnet werden, unnötige Ängste entstehen und sensible Gesundheitsdaten gelangen in die Hände kommerzieller Anbieter.

Bereits vor einem Jahr wurde „jAImes“ vorgestellt (wir berichteten) – ein KI-gestützter Chatbot, der Menschen mit Parkinson wissenschaftlich geprüfte Informationen zu ihrer Erkrankung vermitteln soll. Die Idee dazu hatten Prof. Jens Volkmann, Direktor der Neurologischen Klinik am Universitätsklinikum Würzburg (UKW) und Vorstandsmitglied der Parkinson Stiftung, und PD Dr. Florian Lange, Funktionsoberarzt in der Neurologie am UKW.

Technisch entwickelt wurde der KI-Assistent von dem Berliner Informationswissenschaftler und KI-Experten Ssaman Mardi – Begründer der Plattform smardis.tech, die datenschutzenkonforme KI-Lösungen anbietet. Finanziert hat das Projekt die Parkinson Stiftung, die jAImes auch hostet,. Für die wissenschaftliche Kuratierung war und ist Lange zuständig, der dabei von seinen Kollegen aus dem UKW und dem Beirat der Parkinson Stiftung unterstützt und kontrolliert wird. Somit greift jAImes ausschließlich auf geprüfte Informationsquellen zurück und erhält permanent neue wissenschaftliche Updates. Für die kontinuierliche Überwachung der Gespräche auf mögliche Sicherheitsprobleme entwickelte das Team CARE-LLM – ein Verfahren, mit dem sich problematische Antworten und Risiken anhand realer Gespräche systematisch erkennen lassen.

Die meisten Antworten überzeugen – Fehler bleiben möglich

Wie sicher jAImes nun tatsächlich ist, zeigte das Team jetzt, nach Auswertung der ersten rund 2.000 Gespräche mit mehr als 6.000 Nachrichten in der Fachzeitschrift „The Lancet Regional Health – Europe“. „Uns interessierte zunächst, ob jAImes falsche medizinische Auskünfte gibt, Risiken übersieht oder problematische beziehungsweise potenziell gefährliche Empfehlungen ausspricht“, sagt Lange und gibt gleich Entwarnung: „Das tut er in der Regel nicht.“

Abgesehen von der positiven Bewertung durch mehr als 90 Prozent der Nutzerinnen und Nutzern fiel auch die automatisierte Prüfung der 2.035 Gespräche, die innerhalb der ersten 129 Tage nach dem Start des Chatboots am 11. November 2025 geführt wurden, positiv aus. 88,6 Prozent der Antworten des Chatbots wurden als gut eingestuft. 11 Prozent wurden als teilweise angemessen und nur 0,4 Prozent als unangemessen bewertet. Auffällige Gespräche wurden anschließend von den Neurologen überprüft. Darüber hinaus untersuchten die Experten stichprobenartig 100 Gespräche, die das automatisierte System zuvor als gut bewertet hatte. Dabei fanden sie vier weitere Fälle mit klinisch kritischen Fehlern. „Dazu gehörte zum Beispiel, dass ein Medikament verwechselt wurde“, so Lange. Da jAImes konzeptionell keine Medikamentenempfehlungen gibt, ergeben sich daraus keine Risiken für die Nutzerinnen und Nutzer. Der Chatbot darf lediglich aufzählen, welche Medikamente es für diese und jene Beschwerden gibt, und die Empfehlung aussprechen, mit dem Arzt oder der Ärztin darüber zu reden.

Warum die Sicherheit laufend überprüft werden muss

Was Lange umtreibt ist ein Gespräch, in dem eine Person Suizidgedanken äußerte. In diesem einen Fall löste der Chatbot nicht die vorgesehene angemessene Reaktion zur Krisenintervention aus. „Diese und weitere Lücken haben wir mit jAImes 2.0 geschlossen“, versichert Lange. Dennoch wird die Sicherheit von jAImes auch weiterhin systematisch überprüft. Lange hätte die Person gern kontaktiert, doch das ist der Preis der Anonymität.

„Mit unserer Studie zeigen wir grundsätzlich, dass ein speziell auf ein medizinisches Thema zugeschnittener Chatbot durchaus hilfreiche Informationen bereitstellen kann. Doch selbst bei einem KI-System, das auf geprüfte Informationsquellen zurückgreift, können Fehler auftreten. Umso wichtiger ist ein Verfahren zur kontinuierlichen Überwachung der Gesprächsverläufe“, resümiert Volkmann. Er und sein Team erhalten derzeit täglich Anfragen zu jAImes. Sowohl aus anderen Ländern als auch aus anderen Fachgebieten kommt Interesse an dem smarten Butler.

Potenzial über Parkinson hinaus

„Das Spannende an unserem KI-Assistenten ist, dass er in vielen anderen medizinischen Fachbereichen eingesetzt werden kann, beispielsweise bei Herzinsuffizienz, Krebs oder Demenz“, sagt Volkmann. „Der Chatbot hat extrem viel Potenzial.“

Selbstverständlich kann ein KI-Chatbot die ärztliche Beratung nicht ersetzen. In der knappen Sprechstundenzeit lassen sich aber nicht alle Anliegen klären, und viele Fragen stellen sich erst danach, etwa abends, am Wochenende oder zwischen zwei Terminen. jAImes hilft zum Beispiel geduldig und kompetent rund um die Uhr dabei, den Durchblick im Versorgungsdschungel zu behalten, und unterstützt bei der Beantragung des Pflegegrades oder von Hilfsmitteln. „Das gibt uns in den Sprechstunden Zeit für andere Themen“, erklärt Lange.

Was der Chatbot über die Bedürfnisse der Betroffenen verrät

Welche weiteren Themen den Patientinnen und Patienten neben den klassischen Symptomen am Herzen liegen, hat die erste Auswertung der Gespräche dem Team noch einmal vor Augen geführt. „Die Fragen im Chatbot sind medizinversorgungstechnisch hochinteressant“, berichtet Lange. „In meiner Sprechstunde geht es vorwiegend um Bewegungsstörungen. Doch jAImes vertrauen die Patientinnen und Patienten zahlreiche weitere Symptome an, von kognitiven Einschränkungen und sexuellen Funktionsstörungen über Schlafprobleme bis hin zu Halluzinationen und psychiatrischen Problemen.“ Der Neurologe zieht daraus den Schluss, dass er in seinen Sprechstunden viel mehr Fragen zur Lebensqualität stellen muss. Auch die Parkinson Stiftung hat bereits reagiert und passt ihr Informationsmaterial entsprechend an.

„Mit jAImes machen wir den ersten Schritt hin zu einem digitalen Ökosystem für Menschen mit Parkinson. Unser Ziel ist, verlässliches Wissen, Orientierung und Zugang zur Forschung an einem Ort zu bündeln. Als nächstes Modul entwickeln wir einen Trial-Finder, der Patientinnen und Patienten hilft, passende Studien zu finden“, so Prof. Dirk Woitalla, Vorsitzender des Vorstands der Parkinson Stiftung.