TrustLLM
Die europäische Antwort auf ChatGPT
KI-Anwendungen brauchen viel Rechen-Power. Der Jülicher Superrechner JUWELS bietet mit seinem Booster-Modul Deutschlands stärkste Plattform für KI. Bild: Forschungszentrum Jülich
In Europa entsteht ein Large Languange Model, das zuverlässiger, offener, transparenter und energiesparender sein soll als ChatGPT. Der Schlüssel dazu ist Europas größter Computer, der derzeit in Jülich gebaut wird.
Seit das amerikanische Unternehmen OpenAI im November 2022 die Sprachmaschine ChatGPT zugänglich machte, geht das Thema durch die Decke. Können jetzt Personaler ihre Zeugnisse, Anwälte ihre Schriftsätze und Programmierer ihre Codes an Sprachmaschinen outsourcen? Die Reaktionen reichen von Panik bis Euphorie.
Unzweifelhaft steckt (Künstliche) Intelligenz hinter diesen großen Sprachmodellen (Large Language Model, LLM). Gleichwohl heißt das nicht, dass sie auch intelligent antworten. Wer den Chatbot der Suchmaschine Bing fragt, was LLMs sind, dem antwortet er: „Large Language Models sind leistungsstarke Modelle, die darauf ausgelegt sind, menschliche Sprache zu verstehen und zu generieren. Sie können Text analysieren, kohärente Antworten generieren und sprachbezogene Aufgaben ausführen.“ Das entscheidende Wort ist „kohärent“. Das heißt, der Content ist plausibel, die Grammatik korrekt, aber die Fakten müssen nicht stimmen.
Sprachmodelle arbeiten mit künstlichen neuronalen Netzwerken, die von der Funktionsweise des Gehirns inspiriert sind. Wie mit einem virtuellen Nürnberger Trichter wird der Software eine gewaltige Textmenge verabreicht. Die Maschine lernt während des Trainings aus dem Informationsberg, in dem sie nach Muster sucht und darauf basierend neue Inhalte ausgibt. Ob das Ganze stimmt, verraten die Gehirn-Imitate nicht. Sie sagen nur, mit welcher Wahrscheinlichkeit in einem Satz ein Wort auf das andere folgt. Das Ergebnis ist daher nicht frei von Fehleinschätzungen, Manipulationsmöglichkeiten, Verstößen gegen Datenschutz, Urheber- oder undPersönlichkeitsrechten. Gefragt nach der Zuverlässigkeit von ChatGPT antwortet der Chatbot von Bing: „Wir empfehlen, ChatGPT als Quelle der Inspiration und des Feedbacks zu verwenden - aber nicht als Quelle der Information.“
Wer die kostenlose Version von ChatGPT nutzt, gibt sein Einverständnis, dass die Daten zur Weiterentwicklung des Modells verwendet werden dürfen. Das will nicht jeder. „Alle hoffen, dass man durch solche Sprachmodelle mehr Produktivität gewinnt. Es wäre aber bitter, wenn Europa diese Vorteile nur durch das Abgeben von Datensouveränität hätte“, meint Stefan Kesselheim vom Supercomputing Centre des Forschungszentrums Jülich. Den Markt dominieren derzeit amerikanische Firmen. „Ganz unzweifelhaft haben gerade Google und OpenAi einen technologischen Vorsprung. Sie sind am weitesten darin, diese Sprachmodelle einsetzbar zu machen“, so Kesselheim.
Stefan Kesselheim, Head of Applied AI Lab, Forschungszentrum Jülich. Bild: FZJ
Das hat Schattenseiten, denn während die Sprachmaschinen drauflosplaudern, sind deren Produzenten verhalten bei der Frage, welche Daten sie mit welcher Software trainieren. Ein Faktum, dass Politik und Wissenschaft in Europa umtreibt. Die europäische Antwort heißt TrustLLM: „Die Idee ist, dass wir ein öffentliches Gut schaffen, also Sprachmodelle die kommerziell genutzt werden können, so dass Europa wirtschaftliche Vorteile entstehen“, sagt Kesselheim. Für die Entwicklung stellt die EU rund 7 Millionen Euro zur Verfügung. An dem dreijährigen Projekt arbeiten Forschungseinrichtungen und Unternehmen aus Deutschland, Schweden, Island, Dänemark, Norwegen und den Niederlanden.
TrustLLM soll in jeder Hinsicht besser sein als die Konkurrenz: zuverlässiger, offener, ethisch korrekt und nicht zuletzt sparsamer beim Energieverbrauch. „Es geht darum, Alternativen zu schaffen, die besser zu europäischen Werten passen“, sagt Kesselheim und nennt als Beispiel die Sprachenvielfalt in Europa. „Das Modell soll auch für Sprachen funktionieren, die nicht viele Menschen sprechen, zum Beispiel isländisch.“ Das „Trust“ im Projektnamen ist Programm: „Die Nutzer sollen dem Produkt und dem Produktionsprozess vertrauen“, sagt Kesselheim. So wenig Black Box wie möglich ist das Ziel und die Möglichkeit einer Opt-out-Funktion: „Das heißt, dass Datensätze nicht verwendet werden, bei denen der Besitzer verbietet, sie für das Trainieren eines Modells zu nutzen.“ Auf der technologischen Seite wird es darum gehen, der Maschine „Halluzinationen“, also faktische Fehler, abzutrainieren, die das Modell als die Wahrheit verkauft.
Das Herzstück des Trainingszentrums, die „Maschinenhalle“, entsteht derzeit in Jülich. „Wir bauen gerade Europas größten Rechner, vielleicht sogar den weltweit größten KI-Rechner auf“, so Kesselheim. Der Jülicher Supercomputer JUPITER soll als erster Superrechner in Europa die Marke einer Trillion Rechenoperationen pro Sekunde brechen und damit Durchbrüche beim Einsatz von KI ermöglichen.
Konkret sind das rund 6.000 miteinander verschaltete, extrem leistungsfähige Einzelrechner. Sie haben eine Rechenkapazität, die etwa der von zehn Millionen moderner Notebooks entspricht. Und dafür brauchen sie sehr viel Strom: „Das einmalige Trainieren der Sprachmaschine würde einen siebenstelligen Betrag kosten“, schätzt Kesselheim.
Soft- und Hardware werden daher auf Effizienz getrimmt, denn je schneller die Trainingszeit um ist, desto weniger zeigt der Stromzähler am Ende an. Leicht ist das nicht, räumt Kesselheim ein: „Gerade auf so großen Maschinen ist es eine Herausforderung, sie so zum Laufen zu bringen, dass sie schnell und konkurrenzfähig sind.“
Für den Anfang wird sich TrustLLM auf die germanische Sprachfamilie konzentrieren. Neben englisch und deutsch gehört dazu beispielsweise schwedisch und dänisch oder isländisch. Das Projekt ist aber offen angelegt, so dass andere Forscher Sprachmodelle für weitere europäische Sprachen übernehmen und weiterentwickeln können.
Leser:innenkommentare