Wie reagiert das Gehirn auf visuelle Reize? KI-Sprachmodelle treffen Vorhersagen

Große Sprachmodelle (Large Language Models, LLMs) aus der Künstlichen Intelligenz (KI) können vorhersagen, wie das menschliche Gehirn auf visuelle Reize reagiert. Das zeigt eine neue Studie.

Wenn wir die Welt betrachten, erkennt unser Gehirn nicht nur Objekte wie „einen Baum“ oder „ein Auto“ – es erfasst auch Bedeutungen, Beziehungen und Kontexte. Bisher fehlten der Wissenschaft jedoch geeignete Werkzeuge, um dieses hochabstrakte visuelle Verständnis zu erfassen und vergleichend zu analysieren. In der in „Nature“ erschienenen neuen Studie nutzte das Forschungsteam unter Leitung des Kognitiven Neurowissenschaftlers Prof. Adrien Doerig, Gastprofessor am Cognitive Computational Neuroscience Lab der Freien Universität Berlin, große Sprachmodelle, um sogenannte semantische Fingerabdrücke aus Szenenbeschreibungen zu extrahieren.

Semantische Fingerabdrücke

Diese semantischen Fingerabdrücke nutzten die Forschenden, um funktionelle MRT-Daten zu modellieren, die beim Betrachten von Alltagsbildern aufgezeichnet wurden – darunter Szenen wie „Kinder, die auf dem Schulhof Frisbee spielen“ oder „ein Hund, der auf einem Segelboot steht“. Die Verwendung von LLM-Repräsentationen ermöglichte es dem Team, die Gehirnaktivitäten vorherzusagen – und sogar allein anhand der Bildgebung rückzuschließen, was die Versuchspersonen gesehen haben.

Um diese semantischen Fingerabdrücke direkt aus den Bildern vorhersagen zu können, trainierte das Team zusätzlich Computervisionsmodelle. Diese Modelle – geleitet durch sprachliche Repräsentationen – stimmten besser mit den gemessenen Gehirnaktivitäten überein als viele der derzeit besten Bildklassifikationssysteme.

Wechselwirkung von Neurowissenschaft und KI

„Unsere Ergebnisse deuten darauf hin, dass menschliche visuelle Repräsentationen die Art und Weise widerspiegeln, wie moderne Sprachmodelle Bedeutung darstellen – und eröffnen neue Perspektiven sowohl für die Neurowissenschaft als auch für die KI“, sagt Doerig.

Für die Untersuchung verwendeten die Forschenden LLMs, wie sie auch den Systemen hinter ChatGPT zugrunde liegen.
Die Studie wurde von Doerig gemeinsam mit Kollegen der Universitäten Osnabrück, Minnesota und Montréal unter dem Titel „High-level visual representations in the human brain are aligned with large language models“ in „Nature Machine Intelligence“ veröffentlicht.

Link zur Studie: https://www.nature.com/articles/s42256-025-01072-0