Projektstart für das europäische­ KI-Sprachmodell Open GPT-X

Zehn deutsche Organisationen aus Wirtschaft, Wissenschaft und der Medienbranche entwickeln die europäische Antwort auf GPT-3^*. Die TU Dresden ist mit ihrem Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Teil des Konsortiums. Das Bundesministerium für Wirtschaft und Klimaschutz fördert das Projekt Open GPT-X mit rund 15 Mio. Euro im Rahmen des Gaia-X Förderwettbewerbs.

Unter der Leitung der Fraunhofer-Institute für Intelligente Analyse- und Informationssysteme (IAIS) und für Integrierte Schaltungen (IIS) startet jetzt das Projekt OpenGPT-X mit dem Ziel, ein großes KI-Sprachmodell für Europa zu entwickeln. Besonderer Wert wird dabei auf den Datenschutz sowie auf die europäische Sprachenvielfalt gelegt.

»Für Wirtschaft, Industrie und Gesellschaft ist das disruptive Potenzial von KI-Sprachtechnologien enorm, das hat die internationale Konkurrenz bereits erkannt. Ein europäisches KI-Sprachmodell wie OpenGPT-X ist daher zwingend notwendig, um die digitale Souveränität und marktwirtschaftliche Unabhängigkeit Europas zu gewährleisten«, sagt Dr. Nicolas Flores-Herr, Leiter des Projekts am Fraunhofer IAIS.

Aufgrund der hohen technischen Anforderungen, wie z. B. der Rechenleistung, lassen sich derart leistungsstarke Sprachmodelle bisher nur von Großunternehmen oder Konsortien umsetzen. Dafür konnte das Projekt vielfältige namhafte Partner gewinnen.

So stellen das ZIH der TU Dresden und das Forschungszentrum Jülich ihre Hochleistungsrechenkapazitäten zur Verfügung und arbeiten an Leistungsverbesserungen von Modellen und Hardwarenutzung, während Fraunhofer IAIS gemeinsam mit dem DFKI sowie den Unternehmen Aleph Alpha und Alexander Thamm GmbH die KI-Modelle entwickeln werden. Die 1&1 IONOS SE wird die Integration in die Gaia-X Struktur betreuen. Domänenspezifische Daten für die Entwicklung der Modelle erhält das Projekt u.a. von ControlExpert und dem WDR. Beide Partner entwickeln im Projekt einen Anwendungsfall. Die Kommunikation des Projektes liegt beim KI-Bundesverband. 

"Das ZIH ist auf verschiedenen Projektebenen involviert: Neben den HPC-Ressourcen, die wir für das Projekt zur Verfügung stellen, werden wir verschiedene Aspekte zur Performance der Sprachmodelle untersuchen. Neben der Güte der Vorhersagen solcher Modelle werden zunehmend Aspekte wie parallele Effizienz und Energieverbrauch beim Training der Modelle wichtig. Insbesondere bei den im Projekt angestrebten großen Sprachmodellen ergeben sich hohe Einsparpotenziale. Schließlich beschäftigen wir uns mit der Anbindung und Erweiterung des projektinternen Datenmanagements“, beschreibt Dr. René Jäkel, wissenschaftlicher Mitarbeiter am ZIH und Geschäftsführer des ScaDS.AI Dresden/Leipzig, die Rolle des ZIH im Projekt.

Sogenannte große KI-Sprachmodelle, wie GPT-3 des amerikanischen Unternehmens OpenAI, das vor ca. 2 Jahren den Markt revolutionierte, seinen seinen Nutzenden jedoch keinen freien Zugang, sondern lediglich eine Schnittstelle als Zugriff bietet, oder wie das chinesische Modell Wu Dao 2.0, nutzen gewaltige Datenmengen, um vielfältige KI-Modelle zu erstellen. Diese Modelle schreiben z.B. journalistische Texte, unterstützen in der Kundenbetreuung oder helfen komplexe Texte zu verstehen. Das Problem: Datenschutz und eine Einbindung europäischer Sprachen sind dabei nicht gewährleistet.

^{* Das amerikanische Unternehmen OpenAI revolutionierte vor rund zwei Jahren mit dem Sprachmodell GPT-3 den Markt für Künstliche Intelligenz. Das Modell wurde mit über 175 Milliarden Parametern trainiert und übertrifft damit vorhergegangene Modelle um das zehnfache. Mehr als 300 Anwendungen benutzen das Sprachmodell bereits. Dabei haben diese Anwendungen keinen freien Zugang auf das Modell, sondern können lediglich auf eine Schnittstelle zugreifen.}

ZIH-Kontakt:
Prof. Dr. Wolfgang E. Nagel und Dr. René Jäkel