Trainingsdaten für medizinische KI auf Herz und Nieren prüfen

In der Physikalisch-Technischen Bundesanstalt (PTB) ist ein neuer Prüfrahmen für Daten zur Entwicklung von Medizinprodukten mit Künstlicher Intelligenz (KI) erstellt worden. Er bildet auch die Basis für einen agilen Zulassungsprozess solcher Softwareprodukte. Das Projektteam stellt dieses METRIC-Framework in „npj Digital Medicine“ vor.

KI bietet ein hohes Potenzial: So können KI-Algorithmen beispielsweise helfen, schnelle MRT-Aufnahmen des bewegten Herzens gestochen scharf zu machen. (MRT: Magnetresonanztomographie) Oder sie können die Diagnosearbeit drastisch beschleunigen, indem sie große Mengen etwa von Vitaldaten (z. B. EKG), Laborwerten (z. B. Blutbild) und medizinischen Bildern schneller auswerten, als ein Mensch das kann.

„Die Einsatzmöglichkeiten sind vielfältig und faszinierend. Aber alles steht und fällt damit, ob es gelingt, bei Ärztinnen und Ärzten sowie Patientinnen und Patienten großes Vertrauen in die Sicherheit dieser Verfahren aufzubauen“, erläutert Dr. Daniel Schwabe, Mathematiker bei der PTB. Hier setzte das Teilprojekt im Rahmen des europäischen TEF-Health-Projektes an, das Schwabe seit Anfang 2023 koordiniert und dessen erstes Ergebnis er jetzt mit seinem Team vorstellt.

KI-Algorithmen müssen trainiert werden, indem ihnen beispielsweise Hunderte und Tausende medizinischer Daten zusammen mit der entsprechenden Diagnose vorgelegt werden. Daraus lernen sie, welche Daten und welche Diagnose zusammenpassen, und können schließlich selber Diagnosen stellen.

„Es ist allgemein klar, dass die Qualität der Trainingsdaten ein entscheidender Punkt ist. Aber was steckt eigentlich genau hinter dem Begriff ‘Datenqualität’ im Kontext medizinischer Anwendungen? Das hat unser Team sich sehr gründlich angesehen“, erklärt Schwabe.

Während einer akribischen Recherche, in die insgesamt 5408 Publikationen eingeflossen sind, haben die Forschenden den Begriff in einzelne Eigenschaften aufgespalten. Diese Systematik haben sie in einer Grafik aufgearbeitet, die sie das „Rad der Datenqualität“ nennen. Es legt den Grundstein für die systematische Analyse der Qualität medizinischer Trainingsdaten. Dies dient vor allem Entwicklern von KI-Medizinprodukten, um die Nutzbarkeit und Eignung ihrer Datensätze besser einzuschätzen. Wenn sie mehr über die Trainingsdaten wissen, verringert sich die Gefahr von Fehleinschätzungen. Das Endprodukt, also der KI-Algorithmus, wird robuster und besser interpretierbar. „Dies leistet einen großen Beitrag zum Ziel der Vertrauenswürdigkeit von KI-Medizinprodukten, wie es vom neuen EU-Gesetz (EU AI Act) gefordert wird “, sagt Schwabe.

Das Rad der Datenqualität kann auch zum Testen von KI-Algorithmen durch Verwendung von Referenzdatensätzen genutzt werden. Das wird die PTB auch in ihrem eigenen Projekt TraCIM (https://tracim.ptb.de/tracim/) nutzen, das im Frühjahr als Demonstrator auf der Hannover Messe vorgestellt wurde. Damit kann sie KI-Algorithmen für die Medizin bewerten. In Zukunft soll TraCIM es Herstellerfirmen ermöglichen, ihre KI-Algorithmen von der PTB als neutraler Stelle überprüfen zu lassen.

Als nächsten Schritt befasst sich das Projektteam um Schwabe mit der Frage, wie sich die gefundenen Eigenschaften der Datenqualität automatisiert messen lassen. Außerdem untersucht das Projektteam wie stark der Einfluss von einzelnen Faktoren der Datenqualität auf die Eigenschaften (z. B. Vorhersage-Qualität, Robustheit, Unsicherheit) eines KI-Medizinprodukts ist.

Das Projekt TEF-Health

Um innovative Ansätze in KI und Robotik im Gesundheitswesen hinsichtlich des neuen EU AI Acts zu prüfen und schneller zur Marktreife zu bringen, hat die EU im Januar 2023 ein Projekt im Rahmen des Programms TEF – Testing and Experimentation Facilities – im Bereich Gesundheit gestartet. Das Projekt mit Namen TEF-Health ist Teil des Programms „Digital Europe“ und wird mit 60 Millionen Euro gefördert. Die PTB ist maßgeblich an einer Projektgruppe beteiligt, die agile Zulassungsprozesse für vertrauenswürdige KI etablieren wird. Innerhalb der PTB ist das Projekt Teil des Innovationsclusters Systemische Metrologie, um Qualitätsstandards für vernetzte Daten und KI auf messbare Größen zurückzuführen.