Kognitions- und Neurowissenschaften: Künstliche Intelligenz sagt Augenbewegungen voraus

Permanent strömt eine Vielzahl an Informationen über die Augen in das Gehirn. Die Hirn-Aktivität können Wissenschaftler mithilfe der Magnetresonanztomographie (MRT) messen. Die genaue Messung der Augenbewegungen während eines MRT-Scans verrät Wissenschaftlern zudem sehr viel über Gedanken und Erinnerungen, aber auch über Erkrankungen des Gehirns.

Forscher vom Max-Planck-Institut (MPI) für Kognitions- und Neurowissenschaften in Leipzig und vom Kavli Institute for Systems Neuroscience in Trondheim haben eine Software entwickelt, die mithilfe von Künstlicher Intelligenz (KI) Blickposition und Augenbewegungen aus MRT-Bildern direkt vorhersagen kann. Die Methode eröffnet schnelle und kostengünstige Studien- und Diagnosemöglichkeiten, so zum Beispiel bei neurologischen Erkrankungen, die sich häufig durch Störungen der Augenbewegungen bemerkbar machen.

Zur Erfassung der Augenbewegungen nutzen Forschungseinrichtungen das Eye-Tracking – eine Sensor-Technologie, bei der Infrarotlicht aus einer Kamera auf die Netzhaut des Auges trifft und dort reflektiert wird, was schließlich ausgemessen werden kann. „Da ein MRT ein sehr starkes Magnetfeld hat, kann man darin keine handelsüblichen Kameras benutzen. Man braucht spezielle Eye-Tracker-Kameras, die für Kliniken und kleine Labore oft finanziell und zeitlich nicht realisierbar sind.“, sagt Studienautor Matthias Nau, der gemeinsam mit Markus Frey und Christian Doeller die neue Alternative entwickelt hat. Der hohe Preis dieser Kameras und der experimentelle Aufwand, der mit ihrer Nutzung einhergehe, so das MPI, habe bisher eine breite Anwendung von Eye-Tracking in MRT-Untersuchungen verhindert. Das könne sich nun ändern, denn: „Die Wissenschaftler aus Leipzig und Trondheim haben ihre kostenlose und einfach zu handhabende Software „DeepMReye“ kürzlich im Journal „Nature Neuroscience“ vorgestellt.“

Während bisher bei MRT-Experimenten spezielle Eye-Tracking-Kameras zur Anwendung kamen, kann man nun sogar ohne Kamera herausfinden, wo die Studienteilnehmer wirklich hinschauen. „Das neuronale Netzwerk, das wir nutzen, entdeckt spezifische Muster im MRT-Signal der Augen. Dies ermöglicht uns vorherzusagen, wohin die Person schaut. Die Künstliche Intelligenz hilft uns hier sehr, da wir häufig nicht genau wissen, nach welchen Mustern wir als Wissenschaftler suchen sollen“, erklärt Frey. Er und seine Kollegen haben das neuronale Netzwerk mit eigenen und öffentlich zugänglichen Daten von Studienteilnehmern so trainiert, dass es nun sogar bei neuen Daten vorhersagen kann, wohin jemand schaut. Dies eröffnet viele Möglichkeiten – so kann man nun das Blickverhalten der Teilnehmer und Patienten sogar in existierenden MRT-Daten untersuchen, die ursprünglich ohne Eye-Tracking aufgenommen wurden. Auf diese Weise könnten Wissenschaftler zum Beispiel mithilfe älterer Studien und Datensätze ganz neue Fragen beantworten.

„Die Software kann außerdem vorhersagen, wann die Augen offen oder geschlossen sind“, betont das MPI. Selbst wenn die Studienteilnehmer schliefen oder sogar im Tiefschlaf seien, könne das Modell die Augenbewegungen analysieren. „Ich kann mir daher vorstellen, dass die Software auch im klinischen Bereich eingesetzt werden wird, zum Beispiel im Schlaflabor, um Augenbewegungen in unterschiedlichen Schlafstadien zu untersuchen“, sagt Nau. Zudem hätten für blinde Patienten die speziellen Eye-Tracking-Kameras bisher nur sehr selten genutzt werden können, da eine genaue Kalibrierung sehr umständlich gewesen sei. „Auch hier können mit DeepMReye Studien einfacher durchgeführt werden, da man die Künstliche Intelligenz mithilfe gesunder Probanden kalibrieren könnte, um sie dann in Untersuchungen von blinden Patienten anzuwenden.“ Die Software könnte damit in einer Vielzahl von Einsatzbereichen angewendet werden und vielleicht sogar dazu führen, dass Eye-Tracking in MRT-Studien und im klinischen Alltag zum Standard wird.

Originalpublikation:
Frey M, Nau M, Doeller C. Magnetic resonance-based eye tracking using deep neural networks. Nature Neuroscience 2021. https://www.nature.com/articles/s41593-021-00947-w