Neue Horizonte für die Wissenschaft

Der Begriff geistert aktuell so verheißungsvoll durch die Wissenschaft wie der Hype um ChatGPT rund um den Globus. Auch die weltweit bekannte und täglich millionenfach genutzte Anwendung für natürliche Sprachverarbeitung ist ein Foundation Model. Doch der Helmholtz Gemeinschaft geht es um mehr als eine textbasierte Frage-Antwort-Maschine. Foundation Models sollen große Datenmengen miteinander verknüpfen und Zusammenhänge oder Muster erkennen, sodass sich zentrale Fragen der Wissenschaft plötzlich lösen lassen.

Damit das gelingt, wird ein Foundation Model in mehreren Phasen trainiert. Zunächst wird es mit Unmengen gut aufbereiteter wissenschaftlicher Daten gefüttert. Anfangs noch ohne konkrete Aufgabe. Es geht darum, dass sich das System eigenständig eine extrem leistungsstarke Wissensgrundlage (die Foundation) aneignet. Anschließend kann es mit verhältnismäßig wenig Aufwand in der nächsten Phase auf gezielte Aufgaben, sogenannte Down Stream Tasks, trainiert werden. Und auf die hat es die Wissenschaft abgesehen. „In Bezug auf die Planktonforschung erhoffen wir uns, mit den gewonnenen Erkenntnissen die Nähr- und Kohlenstoffdynamik der Ozeane besser zu verstehen und somit unsere Klimamodelle optimieren zu können“, sagt Kainmüller.

Ein potentielles Foundation Model zu Planktondaten – es ist noch nicht entwickelt, doch die Arbeit daran hat bereits begonnen – würde mit mehreren Milliarden Fotos gefüttert, die vier Helmholtz-Zentren in ihren Forschungsprojekten kontinuierlich generieren. Einige hunderttausend dieser Bilder wurden vorher von Wissenschaftler:innen markiert und kategorisiert. Man spricht von annotierten oder gelabelten Daten.

So werden für das Grundlagentraining beispielsweise Bildteile aus einigen der Ausgangsfotos herausgeschnitten. Das Modell lernt, die fehlenden Stücke zu ergänzen. Ist das System nach unzähligen Wiederholungen in der Lage, diese Aufgabe zu erfüllen, wird es auf diverse Down Stream Tasks trainiert, etwa unterschiedliche Planktonarten zu identifizieren und visuell hervorzuheben, sie von anderen Arten und Organismen zu unterscheiden, oder zu erkennen, wie viel Kohlenstoff in den Flocken enthalten ist oder wie schnell der Meeresschnee zu Boden sinkt.

Um diese Zielaufgabe zu erfüllen, wird das trainierte Foundation Model beispielsweise um eine weitere Ebene mit nur wenigen Parametern ergänzt. Der Trainingsinput stammt dafür, anders als beim Grundlagentraining, vor allem von annotierten Daten. Der Output des Modells wird dann schrittweise mit den gelabelten Ausgangsdaten verglichen und so lange verfeinert, bis das Ergebnis und ursprünglicher Input im besten Fall identisch sind.

Foundation Models haben enormes Potenzial, in allen Forschungsbereichen. In der Medizin sind einige Systeme bereits im medizinischen Alltag etabliert. Expert:innen vom Centre for Medical Image Computing des University College London sowie des Londoner NIHR Biomedical Research Centre am Moorfields Eye Hospital NHS Foundation Trust trainierten das Modell RETFound anhand von 1,6 Millionen Retina-Bildern. Es ist nun in der Lage, Krankheiten zu diagnostizieren, die sich zwar im Auge zeigen, deren Symptome aber anderswo im Körper auftreten, beispielsweise die Risiken für eine Herzinsuffizienz oder einen Myokardinfarkt.

Auch bei Helmholtz wolle man solche Modelle entwickeln: von der Wissenschaft für die Wissenschaft, sagt Florian Grötsch, Senior Referent für den Bereich Information & Data Science. Helmholtz habe alles Nötige beisammen, um die Entwicklungen im Bereich KI für Wissenschaft und Forschung nicht allein kommerziellen Akteuren zu überlassen: die Daten, das Fachwissen der Forschenden, die Expertise im Bereich der Künstlichen Intelligenz, ausreichend Rechen-Power und die Erfahrung unserer Computer-Expert:innen.

Dazu startete Anfang Februar die Helmholtz Foundation Model Initiative (HFMI). Innerhalb der nächsten drei Jahre sollen mit aktuell existierender Technologie drei Pilotprojekte entstehen, deren Foundation Models einen klaren Mehrwert für Wissenschaft und Gesellschaft bedeuten. Derzeit läuft die Bewerbungsphase. „Die Initiative ist ganz bewusst nicht auf einen Datentyp spezialisiert“, sagt Kainmüller, Mitglied des vierköpfigen Koordinierungskreises der HFMI. Die Entscheidung, welche Projekte gefördert werden, fällt Ende Mai. Die finalen Ergebnisse werden als Open-Source-Projekte für die gesamte wissenschaftliche Community zur Verfügung gestellt: vom Code über die Trainingsdaten bis hin zu den trainierten Modellen.

Wie bei jedem Algorithmus und jeder KI ist auch bei Foundation Models eine durchgehend hohe Qualität der Trainingsdaten entscheidend für die Qualität der Ergebnisse. Dieser Herausforderung sind sich alle Beteiligten der HFMI bewusst. Deswegen liegt ein besonderes Augenmerk darauf, die Datenmengen auf denselben Qualitätsstandard zu bringen. Ein gewaltiges Unterfangen, doch nur so kann sich die Hoffnung der Expert:innen – mit zukünftigen Modellen das Potenzial vorhandener Datensätze effektiver auszuschöpfen – überhaupt realisieren.

Ein weiterer Schwerpunkt der Helmholtz-Arbeit zu Foundation Models: die Vorgehensweise der Künstlichen Intelligenz ein stückweit zu entzaubern. „Wir wissen, dass die Prozesse und Abläufe von KI unglaublich komplex und nur schwer, teilweise gar nicht nachvollziehbar sind. Vorn wandern viele Daten rein und wie das Ergebnis zustande kommt, kann niemand genau erklären. Wir wollen diese Black Box so gut es geht verstehen. Wir wollen wissen, was das Modell gelernt hat“, sagt Kainmüller.

„Derzeit betreiben wir noch Grundlagen- und Methodenforschung und es gibt zahlreiche offene Fragen“, ergänzt Grötsch. Wie lassen sich Trainingsdaten so kuratieren, dass das System die besten Ergebnisse erzeugt? Welche Parameter sind für das beste Ergebnis relevant? Wie kann ich, etwa bei Bilddaten, unbrauchbare Daten zuverlässig aussortieren? Und ab welchem Punkt ist die Wissensbasis gut genug, um mit dem Training aufzuhören? Eines der großen Versprechen der Foundation Models ist die Generierung synthetischer Daten, also die Möglichkeit zeit-, ressourcen- und maschinenintensive Experimente durch simulierte Daten zu ersetzen. Aktuell werfen synthetische Daten noch viele Fragen auf und es wird dauern, bis Foundation Models Experimente ersetzen können werden, ist sich Grötsch sicher.

Die Fragen, die es für das tiefgreifende Verständnis von Foundation Models gibt, sie werden täglich mehr statt weniger. Doch das, versichert Kainmüller, mache dieses Forschungsfeld so unglaublich spannend. Genauso spannend wie Schneefall tief unter der Wasseroberfläche.