Forschende aus über 50 internationalen Institutionen haben Open Problems (https://openproblems.bio) ins Leben gerufen – eine kollaborative Open-Source-Plattform. Ziel dieser Plattform ist es, den Vergleich, die Weiterentwicklung und die Durchführung von Wettbewerben für computergestützte Methoden in der Einzelzellgenomik zu ermöglichen. Die Initiative, gemeinsam geleitet von Helmholtz Munich und der Yale University, strebt danach, Bewertungsverfahren zu standardisieren, die Reproduzierbarkeit zu verbessern und den Fortschritt bei offenen Herausforderungen in diesem dynamischen Forschungsfeld zu beschleunigen.
Eine gemeinsame Sprache für ein komplexes Fachgebiet
Die Einzelzellgenomik revolutioniert unser Verständnis von Zellen, indem sie deren Analyse mit beispielloser Auflösung ermöglicht und so Einblicke in ihre Funktion, Interaktion sowie ihren Beitrag zu Gesundheit und Krankheit liefert. Das rasante Wachstum dieses Feldes hat jedoch zu einer Fülle von Analysewerkzeugen geführt – mittlerweile existieren Tausende davon.
Diese Vielfalt stellt Forschende vor die Herausforderung, das am besten geeignete Werkzeug oder die optimale Kombination von Verarbeitungsschritten für eine spezifische Fragestellung zu finden. Die Leistungsbewertung der hochspezialisierten Werkzeuge wird zusätzlich erschwert, da es oft an verlässlichen Datensätzen mit bekannten Ergebnissen („Ground Truth“) mangelt. Groß angelegte Benchmarking-Studien, die oft zurate gezogen werden, sind leider häufig uneinheitlich, schnell veraltet und schwer vergleichbar, was die Identifizierung der effektivsten Methode für eine bestimmte Aufgabe erschwert.
„Wir brauchen eine gemeinsame Sprache, um zu messen, was funktioniert und was nicht – und die langfristig Bestand hat“, sagt Prof. Fabian Theis, Direktor des Computational Health Centers bei Helmholtz Munich und Professor an der Technischen Universität München. „Mit Open Problems schaffen wir ein reproduzierbares, transparentes und dynamisches Rahmenwerk, das die Entwicklung und Bewertung von Analysewerkzeugen vorantreibt und aktiv von der Community mitgestaltet werden kann.“
Transparent, reproduzierbar und gemeinschaftsbasiert
Open Problems umfasst aktuell 81 öffentliche Datensätze und testet 171 Methoden in 12 zentralen Aufgaben der Einzelzellanalyse. Jede Methode wird dabei anhand von bis zu 37 quantitativen Metriken, wie Genauigkeit, Skalierbarkeit und Robustheit, automatisiert in der Cloud bewertet, um vollständige Reproduzierbarkeit zu gewährleisten. Forschende können die Ergebnisse einsehen, den Code analysieren und Verbesserungsvorschläge einbringen. Die Plattform ist zudem für Community-Beiträge offen, wodurch Wissenschaftler neue Aufgaben vorschlagen, eigene Methoden einbringen und an der Weiterentwicklung des Projekts mitwirken können.
Konkrete Vorteile für die Forschung
Durch direkten Vergleich unterschiedlicher Werkzeuge hilft Open Problems Forschenden dabei, die effektivsten Methoden für ihre spezifischen Fragestellungen zu identifizieren – und stellt dabei nicht selten etablierte Annahmen infrage. Wie Dr. Smita Krishnaswamy, Associate Professor für Genetik und Informatik an der Yale School of Medicine, erklärt: „Wir haben festgestellt, dass es genauere Ergebnisse liefert, übergeordnete Muster der Genaktivität zu betrachten, anstatt sich auf einzelne Gene zu fokussieren – etwa, wenn man untersucht, wie Zellen miteinander kommunizieren. Und bei bestimmten Aufgaben, wie der Identifikation von Zelltypen über verschiedene Datensätze hinweg, kann ein einfaches statistisches Modell sogar komplexe KI-Methoden übertreffen – und so die Analyse für viele Forschende schneller und effizienter machen.“
Die Plattform dient auch als Grundlage für internationale Wettbewerbe im Bereich maschinelles Lernen, wie beispielsweise die multimodalen Integrations-Challenges der renommierten NeurIPS-Konferenz. Diese globalen Wettbewerbe führen Expert:innen aus Biologie und Künstlicher Intelligenz zusammen, um reale Fragestellungen mithilfe gemeinsamer Datensätze und standardisierter Bewertungsverfahren zu lösen. „Open Problems senkt die Einstiegshürden für KI-Forschende außerhalb der Biologie, sich in der Genomik zu engagieren“, sagt Dr. Malte Lücken, Erstautor der Studie und Wissenschaftler bei Helmholtz Munich. „Es ist eine Blaupause für interdisziplinäre Innovation.“
Der gesamte Code sowie alle Ergebnisse sind offen unter einer CC-BY-Lizenz verfügbar unter: github.com/openproblems-bio/openproblems
Quelle
Helmholtz Zentrum München – Deutsches Forschungszentrum für Gesundheit und Umwelt (07/2025)
Publikation
Lücken et al., 2025: Defining and benchmarking open problems in single-cell analysis. Nature Biotechnology. DOI: 10.1038/s41587-025-02694-w