Sprechen durch Vorstellen

Informatikerinnen und Informatikern des Cognitive Systems Lab der Universität Bremen ist es in einem internationalen Projekt gelungen, eine Neurosprachprothese zu realisieren. Damit kann vorgestellte Sprache akustisch hörbar gemacht werden – ohne Verzögerung in Echtzeit.

Seit mehreren Jahren arbeiten das Cognitive Systems Lab (CSL) der Universität Bremen, das Department of Neurosurgery an der niederländischen Maastricht Universität und das ASPEN Lab an der Virginia Commonwealth Universität (USA) an einer Neurosprachprothese. Das Ziel: Sprachbezogene neuronale Prozesse im Gehirn direkt in hörbare Sprache umzusetzen. Dieses Ziel haben die Forschenden nun erreicht: „Wir haben es geschafft, dass unsere Versuchspersonen sich reden hören, obwohl sie sich das Sprechen nur vorstellen“, freut sich Professorin Tanja Schultz, die Leiterin des CSL. „Die Gehirnstromsignale von freiwilligen Probanden, die sich vorstellen zu sprechen, werden durch unsere Neurosprachprothese direkt in eine hörbare Ausgabe überführt – und zwar in Echtzeit ohne wahrnehmbare Verzögerung!“

Die Neurosprachprothese basiert auf einem Closed-Loop-System, das Technologien aus der modernen Sprachsynthese mit Gehirn-Computer-Schnittstellen verbindet. Dieses System wurde von Miguel Angrick am CSL entwickelt. Als Eingabe erhält es die neuronalen Signale der Nutzer, die sich vorstellen zu sprechen. Es transformiert diese mittels maschineller Lernverfahren praktisch zeitgleich in Sprache und gibt diese hörbar als Rückmeldung an die Nutzenden aus. „Dadurch schließt sich für diese der Kreis vom Vorstellen des Sprechens und dem Hören ihrer Sprache“, erklärt Angrick.

Zusammenarbeit mit Epilepsiepatientin führt zum Erfolg

Die in „Nature Communications Biology“ veröffentlichte Arbeit basiert auf der Zusammenarbeit mit einer Epilepsiepatientin, der zu medizinischen Untersuchungen Tiefenelektroden implantiert wurden und die sich zur klinischen Überwachung im Krankenhaus aufhielt. Im ersten Schritt las die Patientin Texte vor, aus denen das Closed-Loop-System mittels maschineller Lernverfahren die Korrespondenz zwischen Sprache und neuronaler Aktivität lernte. „Im zweiten Schritt wurde dieser Lernvorgang mit geflüsterter und mit vorgestellter Sprache wiederholt“, erläutert Angrick. „Dabei erzeugte das Closed-Loop-System synthetisierte Sprache. Obwohl das System die Korrespondenzen ausschließlich auf hörbarer Sprache gelernt hatte, wird auch bei geflüsterter und bei vorgestellter Sprache eine hörbare Ausgabe erzeugt.“ Dies lasse den Schluss zu, dass die zugrundeliegenden Sprachprozesse im Gehirn für hörbar produzierte Sprache vergleichbar sind zu denen für geflüsterte und vorgestellte Sprache.

Hilfe für Menschen mit stark eingeschränkter Kommunikation

„Sprachneuroprothetik zielt darauf ab, Personen, die aufgrund körperlicher oder neurologischer Beeinträchtigungen nicht sprechen können, einen natürlichen Kommunikationskanal zu bieten“, erläutert Schultz den Hintergrund für die intensiven Forschungsaktivitäten auf diesem Gebiet. „Die Echtzeitsynthese akustischer Sprache direkt aus gemessener neuronaler Aktivität könnte natürliche Gespräche ermöglichen und die Lebensqualität von Menschen deutlich verbessern, deren Kommunikationsmöglichkeiten stark eingeschränkt sind.“

Originalpublikation:
Angrick M et al. Real-time synthesis of imagined speech processes from minimally invasive recordings of neural activity. Communications Biology 2021;4:1055.