Bioinformatiker der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) und des Helmholtz Instituts für Pharmazeutische Forschung Saarland (HIPS) haben ein neues Tool namens „DataSAIL“ entwickelt, das die Leistungsfähigkeit von KI-Modellen präziser bewerten kann. Dieses Tool sortiert Trainings- und Testdaten automatisch so, dass sie sich maximal voneinander unterscheiden. Dadurch lässt sich zuverlässig prüfen, ob KI-Modelle auch mit variierenden Daten stabil und präzise arbeiten.
Grundlage für Modelle des Maschinellen Lernens ist ein Training mit riesigen Datenmengen. Bevor sie jedoch in der Praxis eingesetzt werden können, müssen diese Modelle umfassend getestet werden. Traditionell werden die Daten dafür in einen größeren Trainingssatz und einen kleineren Testsatz unterteilt: Mit dem Trainingssatz lernt das Modell, und der Testsatz dient anschließend zur Überprüfung seiner Zuverlässigkeit. „Nur wenn die Daten so aufgeteilt werden, dass sich die Testdaten von den Trainigsdaten stark unterscheiden, lässt sich herausfinden, ob das Modell später in der Praxis auch mit neuartigen Daten – so genannten Out-of-Distribution-Daten – umgehen kann“, erklärt Prof. Dr. David Blumenthal, Bioinformatiker am Department Artificial Intelligence in Biomedical Engineering (AIBE) der FAU.
Herkömmliche Algorithmen sind meist nicht in der Lage, ein derart optimiertes Datensplitting vorzunehmen, was häufig zu einer Überschätzung der Leistungsfähigkeit von KI-Modellen führt. Um solche Fehleinschätzungen zu vermeiden und neue Standards in einem wichtigen Bereich des Maschinellen Lernens zu setzen, hat David Blumenthal gemeinsam mit Forschenden des HIPS das Tool DataSAIL entwickelt. Es teilt Datensätze automatisch so auf, dass Trainings- und Testdaten maximal voneinander abweichen. „DataSAIL ist ein kostenloses Tool und kann für alle Arten von Daten genutzt werden, nicht nur für biologische“, sagt Blumenthal. „Die Anwender müssen nur wenige Parameter für ihre Datensätze definieren, den Rest erledigt DataSAIL automatisch und zuverlässig.“
Tool verarbeitet auch Interaktionsdaten
DataSAIL ist zudem das erste Tool, das auch für das automatisierte Splitting von Interaktionsdaten eingesetzt werden kann. Diese mehrdimensionalen Daten spielen beispielsweise in der Wirkstoffforschung eine wichtige Rolle. David Blumenthal erklärt dazu: „Stellen Sie sich vor, Sie möchten KI-Modelle entwickeln, die die Interaktion zwischen Medikamenten und Zielproteinen vorhersagen. Dann müssen Sie beim Testen dieser Modelle bewerten, wie gut sie einerseits für veränderte Wirkstoffmoleküle und andererseits für verschiedene Proteine funktionieren.“ Darüber hinaus ist das Werkzeug in der Lage, Klassenmerkmale zu berücksichtigen – wie zum Beispiel eine gleichmäßige Verteilung männlicher und weiblicher Probanden auf Trainings- und Testdaten. Dies verhindert, dass das Testen eines Modells für ein Geschlecht unrealistischere Ergebnisse liefert als für das andere.
Geplant ist, das Tool in den kommenden Jahren weiterzuentwickeln, um die Laufzeit der Algorithmen zu verringern und Daten noch genauer für verschiedene Praxisszenarien aufbereiten zu können.
Quelle: Friedrich-Alexander-Universität Erlangen-Nürnberg (05/2025)
Publikation:
https://doi.org/10.1038/s41467-025-58606-8