Erweiterte Realität und 3-D-Druck für die Chirurgie

Ein Verbund unter Leitung der Universität Bremen kombiniert Virtual Reality, Augmented Reality und 3-D-Druck, um die Planung und Durchführung von Operationen zu verbessern. Die Technologien lassen sich auch für die Aus- und Weiterbildung von Ärzten einsetzen. Darüber hinaus ermöglichen gedruckte 3-D-Modelle eine anschaulichere Kommunikation mit den Patienten.

Neue Informationstechnologien können helfen, Chirurgen im Operationssaal wichtige Informationen bereitzustellen und damit die Erfolgsaussichten des Eingriffs spürbar zu erhöhen. Ein Forschungsverbund unter Leitung des Technologie-Zentrums Informatik und Informationstechnik (TZI) der Universität Bremen entwickelt zurzeit beispielhafte Verfahren und Anwendungen, um die Planung und Durchführung einer Operation durch den Einsatz von Virtual Reality (VR), Augmented Reality (AR) und 3-D-Druck zu verbessern. Die Ergebnisse sollen zusätzlich für Trainingszwecke und für die Patienteninformation eingesetzt werden. Das Projekt VIVATOP („Vielseitiger Immersiver Virtueller und Augmentierter Tangible OP“) wird über eine Laufzeit von drei Jahren mit insgesamt 2,2 Millionen Euro vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.

Präoperative Planung

Die Planung einer Operation mit 3-D-Modellen bietet erhebliche Vorteile gegenüber den bislang verbreiteten 2D-Bildern. Ärztinnen und Ärzte erhalten einen wesentlich realistischeren und besser begreifbaren Überblick über den Bereich, in dem sie einen Eingriff vornehmen wollen. Parallel zu den dreidimensionalen Computermodellen wird im Rahmen von VIVATOP auch die Bereitstellung lebensechter physischer Modelle des betroffenen Organs erprobt. Dafür werden die Bilddaten analysiert und aufbereitet, sodass sie in einen 3-D-Drucker importiert werden können, um beispielsweise die Leber einer Patientin realitätsnah anzufertigen. 

Diese gedruckten Modelle ermöglichen dem Arzt die haptische Erfahrung des individuellen Organs, also die Nutzung des Tastsinns, aber sie lassen sich auch gemeinsam mit den virtuellen Modellen einsetzen. So kann jemand das physische Modell in den Händen halten und erklärend gestikulieren, während alle Beteiligten auf der VR-Brille die Gesten in Verbindung mit dem hochdetaillierten Computermodell sehen. Diese Bedienungsweise entspricht eher den natürlichen Gewohnheiten als der Umgang mit Controllern, wie sie bei Spielkonsolen zur Steuerung von Bewegungen eingesetzt werden. 

Die 3-D-Drucke, die sowohl transparent als auch mehrfarbig sein können, erleichtern unterdessen nicht nur die Planung, sondern ermöglichen es dem Ärzte-Team auch, den Patienten das Vorgehen bei den Eingriffen anschaulicher zu erklären. 

Intraoperative Unterstützung

Während der Operation helfen Bilddaten und Modelle des Organs den Ärztinnen und Ärzten, sich zu orientieren und Entscheidungen zu treffen. Dazu erweitert das VIVATOP-Team eine vorhandene Augmented-Reality-Anwendung („erweiterte Realität“), mit der die relevanten Informationen im Sichtfeld einer Brille angezeigt werden. Über die Sprachsteuerung können Chirurgen das Gerät bedienen, ohne die Hände einsetzen zu müssen. Gleichzeitig besteht die Möglichkeit, die Operation live in VR darzustellen, damit externe Expertinnen und Experten außerhalb des Operationssaals interaktiv hinzugezogen werden können („remote, kollaborative, immersive Chirurgie-Konsultation“). Mithilfe von Tiefenkameras, Sensoren und weiteren Technologien werden dabei die Handbewegungen des Ärzte-Teams sowie die Eingriffe am operierten Organ aufgezeichnet und in VR dargestellt. Parallel können in der VR auch die Planungsdaten angezeigt werden. So unterstützt das System per Telepräsenz die weltweite Zusammenarbeit von Fachleuten bei einer Operation. 

Training und Ausbildung

Mit der Integration von AR, VR und 3-D-Druck kann darüber hinaus die Aus-, Fort- und Weiterbildung junger Ärztinnen und Ärzte effizienter gestaltet werden. Konkrete Fälle können anhand der 3-D-Bilddaten erörtert und in der virtuellen Realität präzise nachvollzogen werden. Die ausgedruckten 3-D-Modelle erlauben jungen Ärzten und Ärztinnen, wertvolle erste Erfahrungen zu sammeln. So können sie beispielsweise lernen, einen Tumor in verschiedenen Entwicklungsstadien zu ertasten („haptisches Feedback“), und die Lage anschließend in einer VR-Umgebung begutachten. Außerdem können einzelne Operationsschritte in virtuellen Szenarien trainiert werden. 

Verbund aus Wissenschaft, Wirtschaft und Gesundheitswesen

Das Projekt VIVATOP wird am TZI der Universität Bremen von der Arbeitsgruppe Digitale Medien (Prof. Rainer Malaka) koordiniert und von der Arbeitsgruppe Virtual Reality und Computergraphik (Prof. Gabriel Zachmann) unterstützt. Diese Teams sind in erster Linie für die VR-Interaktion bzw. die VR-Algorithmen zuständig. Das Pius Hospital Oldenburg/Universitätsklinikum für Viszeralchirurgie liefert die klinische Expertise und generiert die Bilddaten. Das Fraunhofer-Institut für Digitale Medizin MEVIS erstellt daraus virtuelle realistische Organ-Modelle für AR/VR und den 3-D-Druck, während die apoQlar GmbH als Spezialistin im Bereich Augmented Reality und die cirp GmbH für den 3-D-Druck eingebunden sind. Die szenaris GmbH verantwortet den Bereich Training und Ausbildung. Der Projektabschluss ist für September 2021 vorgesehen.