Zellkomplexität mit kollektiver Intelligenz entschlüsseln

Forschende aus mehr als 50 internationalen Institutionen haben Open Problems ins Leben gerufen – eine kollaborative Open-Source-Plattform, die den Vergleich, die Weiterentwicklung und die Durchführung von Wettbewerben für computergestützte Methoden in der Einzelzellgenomik ermöglicht.

Die gemeinsam von Helmholtz Munich und der Yale University geleitete Initiative hat das Ziel, Bewertungsverfahren zu standardisieren, Reproduzierbarkeit zu verbessern und Fortschritte bei offenen Herausforderungen in diesem dynamischen Forschungsfeld zu beschleunigen.

Eine gemeinsame Sprache für ein komplexes Fachgebiet

Mit dem rasanten Wachstum des Feldes der Einzelzellgenomik ist auch die Zahl der verfügbaren Analysewerkzeuge gestiegen: Inzwischen existieren Tausende von Tools zur Verarbeitung und Interpretation dieser komplexen Daten. Diese Vielfalt stellt Forschende vor eine zentrale Herausforderung: Wie findet man das am besten geeignete Werkzeug – oder die optimale Kombination von Verarbeitungsschritten – für eine bestimmte Fragestellung?

Viele dieser Werkzeuge sind hochspezialisiert, ihre Leistungsbewertung jedoch schwierig, da verlässliche Datensätze mit bekannten Ergebnissen (sogenannte „Ground Truth“) oft fehlen. Daher greifen viele Forschende auf groß angelegte Benchmarking-Studien zurück. Diese sind jedoch häufig uneinheitlich, schnell veraltet und schwer vergleichbar – was es komplizierter macht, die effektivste Methode für eine bestimmte Aufgabe zu identifizieren.

„Wir brauchen eine gemeinsame Sprache, um zu messen, was funktioniert und was nicht – und die langfristig Bestand hat“, sagt Fabian Theis, Direktor des Computational Health Centers bei Helmholtz Munich und Professor an der Technischen Universität München. „Mit Open Problems schaffen wir ein reproduzierbares, transparentes und dynamisches Rahmenwerk, das die Entwicklung und Bewertung von Analysewerkzeugen vorantreibt und aktiv von der Community mitgestaltet werden kann.“

Transparent, reproduzierbar und gemeinschaftsbasiert

Open Problems umfasst derzeit 81 öffentliche Datensätze und testet 171 Methoden in 12 zentralen Aufgaben der Einzelzellanalyse. Jede Methode wird anhand einer Vielzahl quantitativer Metriken bewertet, die ihre Leistungsfähigkeit bei einer konkreten Aufgabe messen – darunter Genauigkeit, Skalierbarkeit und Robustheit. Insgesamt kommen 37 verschiedene Metriken zum Einsatz, wobei für jede Aufgabe die jeweils relevantesten ausgewählt werden.

Alle Bewertungen erfolgen automatisiert in der Cloud und folgen standardisierten Verfahren, um vollständige Reproduzierbarkeit sicherzustellen. Forschende können die Ergebnisse jeder Methode einsehen, den zugrunde liegenden Code analysieren und Verbesserungsvorschläge einbringen. Um langfristig relevant und offen für neue Entwicklungen zu bleiben, ist die Plattform für Beiträge aus der Community ausgelegt: Wissenschaftler können neue Aufgaben vorschlagen, eigene Methoden einbringen, an regelmäßigen Community-Calls teilnehmen und bei kollaborativen Hackathons mitwirken, um die Zukunft des Projekts mitzugestalten.

Konkrete Vorteile für die Forschung

Durch den direkten Vergleich unterschiedlicher Werkzeuge hilft Open Problems Forschenden dabei, die effektivsten Methoden für ihre spezifischen Fragestellungen zu identifizieren – und stellt dabei nicht selten etablierte Annahmen infrage. Wie Dr. Smita Krishnaswamy, Associate Professor für Genetik und Informatik an der Yale School of Medicine, erklärt: „Wir haben festgestellt, dass es genauere Ergebnisse liefert, übergeordnete Muster der Genaktivität zu betrachten, anstatt sich auf einzelne Gene zu fokussieren – etwa, wenn man untersucht, wie Zellen miteinander kommunizieren. Und bei bestimmten Aufgaben, wie der Identifikation von Zelltypen über verschiedene Datensätze hinweg, kann ein einfaches statistisches Modell sogar komplexe KI-Methoden übertreffen – und so die Analyse für viele Forschende schneller und effizienter machen.“

Die Plattform bildet auch die Grundlage für internationale Wettbewerbe im Bereich maschinelles Lernen, etwa die multimodalen Integrations-Challenges der NeurIPS-Konferenz. Diese globalen Wettbewerbe bringen Experten aus Biologie und Künstlicher Intelligenz zusammen, um reale Fragestellungen mit gemeinsamen Datensätzen und standardisierten Bewertungsverfahren zu lösen. „Open Problems senkt die Einstiegshürden für KI-Forschende außerhalb der Biologie, sich in der Genomik zu engagieren“, sagt Dr. Malte Lücken, Erstautor der Studie und Wissenschaftler bei Helmholtz Munich. „Es ist eine Blaupause für interdisziplinäre Innovation.“