Neuronale Netzwerke: Schnelle Informationsverarbeitung mit langsamen Neuronen

Berner Forschende haben eine Theorie entwickelt, die zeigt, wie das Gehirn extrem schnelle Abfolgen von Sinnesreizen effizient lernen kann. Dies geschieht viel schneller als bisher gedacht, wenn Neuronen über einen Mechanismus verfügen, der ihnen erlaubt, die Zukunft „vorherzusagen“.

Die NeurIPS-Konferenz 2021 (Conference on Neural Information Processing Systems) – seit Jahrzehnten das wichtigste Forum für Künstliche Intelligenz – hat die Arbeit des Berner Teams um Dr. Mihai Petrovici für einen Vortrag ausgewählt. Damit, so die Universität Bern, habe dieser Beitrag zu den besten 100 Präsentationen (1%) aller fast 10.000 eingereichten Forschungsarbeiten gezählt.

In seiner Studie hat sich das Team mit der Frage beschäftigt, wie die tiefen, komplexen neuronalen Netzwerke im Gehirn lernen, Sinnesreize zu erkennen. „Man stelle sich vor, ein Kind sieht zum ersten Mal ein Fahrrad“, erklärt Paul Haider, der Erstautor der Studie. „Die Information fließt von der Netzhaut im Auge über viele Neuronen bis zu einer Region im Hirn, in welcher sich Neuronen darauf spezialisieren, dieses neue Konzept eines Fahrrades zu erfassen. Allerdings müssen nicht nur diese wenigen Neuronen lernen, Fahrräder als solche zu erkennen. Auch alle Neuronen dazwischen müssen sich anpassen, um die visuelle Information möglichst effizient zu verarbeiten.“

Dieses Problem ist in der Hirnforschung als „credit assignment problem“ bekannt: Welchen Beitrag leisten einzelne Neuronen zur Funktion des Netzwerks als Ganzes? Eine wesentliche Schwierigkeit dabei ist, dass Neuronen nicht beliebig schnell reagieren können: Bis Neuronen im Schläfenlappen auf das Bild eines Fahrrades antworten, schaut das Auge möglicherweise bereits auf ein anderes Objekt in der Umgebung. Ohne eine Lösung für dieses Problem würden ständig falsche Assoziationen gelernt werden. Bislang gab es noch keine Erklärung dafür, wie unser Gehirn diese Herausforderung meistern könnte.

Neuronen, die in die Zukunft schauen
„Neuronen mögen langsam erscheinen, aber sie haben einen Trick“, sagt Benjamin Ellenberger, ebenfalls Mitglied des Forscherteams. „Sie können die Änderungen, die sie wahrnehmen, verwenden, um ein Stück weit die unmittelbare Zukunft vorherzusagen. Es ist ein bisschen wie bei einer Autofahrt: Wenn ich weiß, wo ich gerade bin und mit welcher Geschwindigkeit ich fahre, kann ich jetzt schon ungefähr vorhersagen, wo ich in einer Stunde sein werde.“ Die Langsamkeit von Neuronen kann dank dieser Fähigkeit kompensiert werden, und Signale können sich dadurch blitzschnell durch das Gehirn fortsetzen. Somit können sich weit auseinanderliegende Teile des Gehirns synchronisieren und dadurch korrekte zeitliche Assoziationen lernen. „Das Sehen und Erkennen eines Autos passiert nahezu gleichzeitig“, erklärt Ellenberger weiter. „Das erlaubt uns, unseren Blick schnell von Objekt zu Objekt in unserer Umwelt springen zu lassen, ohne unsere Lernfähigkeit einzuschränken.“

Von biologischer zu künstlicher Intelligenz
Diese Idee hilft nicht nur dabei, das Lernen im Gehirn zu verstehen, denn das Problem langsamer Informationsübertragung findet sich in allen physikalischen Systemen wieder und hat daher auch große Bedeutung für die Forschung im Bereich der Künstlichen Intelligenz (KI). Laura Kriener, eine weitere Koautorin der Studie, ist auch an der Entwicklung und Anwendung sogenannter neuromorpher Hardware beteiligt. „Moderne KI geht Hand in Hand mit Forschung in der Neurobiologie“, sagt Kriener. „Neuromorphe Hardware vereinigt Aspekte beider Felder.“ Diese neuartigen Chip-Architekturen enthalten Schaltkreise, die sich sehr ähnlich zu Neuronen im Gehirn verhalten. Der von den Forschenden vorgeschlagene Mechanismus eröffnet daher diesen ohnehin schnellen und energieeffizienten Systemen neue Möglichkeiten.

„Unsere bisherigen Ergebnisse sind nur der Anfang“, sagt Petrovici. „Wir planen bereits eine enge Zusammenarbeit mit Kolleginnen und Kollegen aus verschiedenen Forschungslaboren, um die Vorhersagen unserer Theorie im Gehirn zu untersuchen, und um ihre Prinzipien in neuromorphen Schaltkreisen umzusetzen.“

Die Studie wurde nach Angaben der Universität Bern finanziell unterstützt durch den Schweizerischen Nationalfonds SNF, die Manfred Stärk Stiftung und das European Human Brain Project. Für die Arbeit konnten die European Fenix Infrastructure resources sowie das Insel Data Science Center in Bern genutzt werden.


Originalpublikation:
Haider P, Ellenberger B, Kriener L, Jordan J, Senn W, Petrovici MA. Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons. Advances in Neural Information Processing Systems 34 (NeurIPS), 2021.
https://papers.nips.cc/paper/2021/file/94cdbdb84e8e1de8a725fa2ed61498a4-Paper.pdf


Hintergrund: Berner Beitrag zum Human Brain Project
Das Human Brain Project (HBP) ist das größte Projekt für Hirnforschung in Europa und gehört zu den umfangreichsten Forschungsprojekten, die jemals von der Europäischen Union finanziert wurden. An der Schnittstelle von Neurowissenschaften und Informationstechnologie erforscht das HBP das Gehirn und seine Krankheiten mithilfe hochmoderner Methoden der Informatik, Neuroinformatik und Künstlichen Intelligenz und treibt damit Innovationen in Bereichen wie Brain-Inspired Computing und Neurorobotik voran. Langfristiges Ziel des Human Brain Projects ist die Schaffung einer dauerhaften gemeinsamen Plattform für Neurowissenschaften und Computing in Form einer europäischen Forschungsinfrastruktur, die über den Projektzeitraum 2023 hinaus bestehen bleibt.
Das Institut für Physiologie der Universität Bern ist am HBP mit den Gruppen von Dr. Mihai Petrovici und Prof. Walter Senn beteiligt. Im Jahr 2020 erhielt es dafür einen Förderbeitrag in Höhe von 2,5 Millionen Euro. Die Gruppen entwickeln theoretische Modelle von Nervenzellen und Netzwerken im Hirn, welche eine Verbindung zwischen Verhalten, Lernen, und den entsprechenden Vorgängen und Veränderungen im Hirn herstellen. Die Theorien sind auf biophysikalischen Begriffen aufgebaut und erlauben eine Rekonstruktion der biologischen Vorgänge in sogenannter neuromorpher Hardware, also in Computer-Chips, die ähnlich funktionieren wie das Gehirn selbst.