Forschende fordern klare Regelungen für KI im Bereich mentaler Gesundheit

Personalisierte Chatbots oder KI-Charaktere werden zunehmend bei Fragen zur mentalen Gesundheit zu Rate gezogen. Dies eröffnet neue Möglichkeiten, birgt jedoch auch erhebliche Risiken, insbesondere für verletzliche Nutzergruppen. In zwei Publikationen fordern Forschende aus Dresden daher eine stärkere regulatorische Aufsicht.

Allgemeine Large-Language-Modelle (LLM) wie ChatGPT oder Gemini sind nicht als therapeutische Anwendungen konzipiert oder zugelassen, können jedoch durch einfache Prompts oder spezifische Einstellungen schnell personalisiert und menschenähnlich reagieren. Diese Form der Interaktion kann sich negativ auf Jugendliche und Menschen mit psychischen Belastungen auswirken. Mittlerweile ist bekannt, dass Nutzer starke emotionale Bindungen zu diesen Systemen aufbauen können. Dennoch sind KI-Charaktere in der EU und in den USA weitgehend unreguliert. Anders als klinische beziehungsweise therapeutische Chatbots, die ausdrücklich für medizinische Zwecke entwickelt, getestet und zugelassen werden.

„KI-Charaktere fallen derzeit durch die Lücken der bestehenden Sicherheitsvorschriften“, erklärt Mindy Nunez Duffourc, Assistant Professor of Private Law an der Maastricht University und Mitautorin der ersten Publikation in „Nature Human Behaviour“. „Oft werden sie nicht als Produkte eingestuft und entziehen sich daher Sicherheitsprüfungen. Und selbst dort, wo sie neu als Produkte reguliert sind, fehlen bislang klare Standards und eine wirksame Aufsicht.“

Hintergrund: Digitaler Austausch, echte Verantwortung

In den vergangenen Monaten wurde international über Fälle berichtet, in denen Jugendliche nach intensivem Austausch mit KI-Chatbots in psychische Krisen geraten sind. Die Forschenden sehen einen dringenden Handlungsbedarf: Systeme, die menschliches Verhalten imitieren, müssen klar definierten Sicherheitsanforderungen entsprechen und innerhalb verlässlicher rechtlicher Rahmen agieren. Aktuell gelangen KI-Charaktere jedoch auf den Markt, ohne zuvor eine regulatorische Prüfung zu durchlaufen.

In ihrer zweiten Publikation in „npj Digital Medicine“ machen die Autoren auf die wachsende Zahl von Chatbots aufmerksam, die therapieähnliche Ratschläge geben oder sogar lizenzierte medizinische Fachkräfte imitieren – ohne jegliche Zulassung. 

„KI-Charaktere sind bereits Teil des Alltags vieler Menschen. Oft vermitteln diese Chatbots den Eindruck, ärztliche oder therapeutische Ratschläge zu geben. Wir müssen sicherstellen, dass KI-basierte Software sicher ist. Sie soll unterstützen und helfen, nicht schaden. Dafür braucht es klare technische, rechtliche und ethische Regeln“, fordert Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit an der TU Dresden.

Lösungsvorschlag: Eine „Schutzengel-KI“, die aufpasst

Das Forschungsteam betont, dass die Transparenzanforderung des europäischen AI Act – also die Pflicht offenzulegen, dass es sich um Kommunikation mit einer KI handelt – nicht ausreicht, um gefährdete Gruppen zu schützen. Das Team fordert verbindliche Sicherheits- und Überwachungsstandards, ergänzt durch freiwillige Leitlinien, die Entwicklerinnen und Entwicklern dabei helfen, ihre Systeme sicher zu gestalten.

Als konkrete Maßnahme schlagen die Autoren vor, zukünftige KI-Anwendungen mit einer Chat-Speicherfunktion auszustatten und mit einer „Guardian Angel AI“ oder „Good Samaritan AI“ zu verknüpfen – eine unabhängige, unterstützende KI-Instanz, die den Gesprächsverlauf überwacht und bei Bedarf eingreift. Ein solches zusätzliches System könnte frühe Warnsignale erkennen, Nutzer auf Hilfsangebote hinweisen oder vor riskanten Gesprächsmustern warnen.

Empfehlungen für einen sicheren Umgang mit KI

Neben solchen Schutzmechanismen empfehlen die Forschenden robuste Altersprüfung, altersgerechte Sicherheitsmaßnahmen und verpflichtende Risikobewertungen vor Markteintritt. Sie betonen, dass LLM klar kommunizieren sollten, dass sie keine zugelassenen Medizinprodukte im Bereich mentaler Gesundheit sind. Chatbots dürfen nicht als Therapeuten auftreten und sollten sich auf allgemeine, nicht medizinische Informationen beschränken. Zudem sollten sie erkennen, wann professionelle Hilfe notwendig ist, und Nutzende an geeignete Unterstützungsangebote weiterleiten. Einfache, frei zugängliche Tests könnten helfen, die Sicherheit von Chatbots fortlaufend zu überprüfen.

„Als Ärztinnen und Ärzte wissen wir, wie stark menschliche Sprache das Erleben und die psychische Gesundheit beeinflusst“, erklärt Falk Gerrik Verhees, Psychiater am Dresdner Universitätsklinikum Carl Gustav Carus. „KI-Charaktere nutzen dieselbe Sprache, um Vertrauen und Nähe zu simulieren – deshalb ist Regulierung essenziell. Wir müssen sicherstellen, dass diese Technologien sicher sind und das psychische Wohlbefinden der Nutzerinnen und Nutzer schützen, anstatt es zu gefährden“, fügt er hinzu.

„Die von uns vorgestellten Leitplanken sind entscheidend, damit KI-Anwendungen auch wirklich sicher und im Sinne der Menschen eingesetzt werden“, ergänzt Max Ostermann, Forscher im Team für Medical Device Regulatory Science und Erstautor der Publikation in „npj Digital Medicine“.