High Performance Deep Learning Framework

Mit Deep Learning (DL) hat das maschinelle Lernen in den letzten Jahren einen rasanten Aufschwung genommen. Bild- und Sprachverarbeitung oder autonomes Fahren stießen damit in neue Dimensionen vor und haben mittlerweile Einfluss auf unser Alltagsleben.
Auch die Wissenschaft nutzt DL vermehrt zur Datenanalyse. Eine Grundlage von DL ist die Verarbeitung großer Datenmengen, vor allem beim Lernen. Durch die Komplexität der Algorithmen ist eine parallele Verarbeitung jedoch schwierig – der Lernprozess kann deshalb oft Tage oder gar Wochen dauern.
Im BMBF-Projekt „High Performance Deep Learning Framework“ (HP-DLF) sollen deshalb Methoden und ein Framework zur skalierbaren, dynamischen und auf die Hardware angepassten Autoparallelisierung entwickelt werden.  Ziel ist es, Nutzern ein innovatives Werkzeug für DL zur Verfügung zu stellen, das auf verschiedensten parallelen Architekturen automatisch maximale Skalierbarkeit und Energieeffizienz erreicht. Grundlage sind existierende DL-Bibliotheken und das Autoparallelisierungswerkzeug GPI-Space des Fraunhofer ITWM.

Der Schwerpunkt des ZIH liegt in der Performance-und Daten-Modellierung zur Ermittlung von Zulässigkeitsaussagen und einer Performance-Abschätzung. Darüber hinaus sollen aber auch andere Faktoren wie der Energieverbrauch berücksichtigt werden. In die Modelle werden sowohl statische (Compute, Speicher, Netzwerk) als auch dynamische Informationen einfließen.

Partner

• Deutsches Forschungszentrum für Künstliche Intelligenz
• Fraunhofer ITWM, Competence Center High Performance Computing
• Universität Heidelberg, Visual Learning Lab

ZIH-Kontakt

Andreas Knüpfer

Laufzeit

11/2017-10/2020

Förderung