NHR-Tutorial: Effiziente Nutzung und Analyse von Deep-Learning-Frameworks auf HPC-Ressourcen

Deep-Learning-APIs wie TensorFlow oder PyTorch garantieren in der Regel keine effiziente Nutzung von HPC-Ressourcen. Mit bestehenden HPC-Tools ist die Effizienzanalyse von Deep-Learning-Anwendungen schwieriger als bei klassischen HPC-Anwendungen. Dieses Tutorial zielt darauf ab, die Lücke zwischen Deep-Learning-APIs und klassischer HPC-Infrastruktur zu schließen und stellt praktische Ansätze und Rezepte für ein effizientes Modelltraining auf HPC-Ressourcen vor. Darüber hinaus zeigen wir Methoden zur Analyse der Leistung von DeepLearning-Anwendungen.

Agenda

Dieses Tutorial wird als geführte praktische Sitzung organisiert, die die folgenden Themen abdeckt.

• Installation/Verwendung von Frameworks über PIP, CONDA, EasyBuild-Module und Container. Vor-und Nachteile.
• CPU- und GPU-Zuweisung für die TensorFlow- und PyTorch-Frameworks mit dem SLURM-Batch-System
• Effizientes Bereitstellen und Lesen von (Trainings-)Eingabedaten für verschiedene Klassen von Dateisystemen
• Verwenden von vorgefertigten Containern von Anbietern
• Paralleles Training / Skalierung des Trainings
• Möglichkeiten, die Leistung zu überprüfen

Donnerstag, 24.10.2024, 9:00 - 13:00 Uhr

Kurssprache: Englisch
Link zur Registrierung: http://event.zih.tu-dresden.de/nhr/deepl-hpc/

Für Fragen steht Ihnen Dr. Natalie Breidenbach () zur Verfügung.