Effiziente Nutzung und Analyse von Deep-Learning-Frameworks auf HPC-Ressourcen

NHR-Tutorial (Online)

Donnerstag, 24. Oktober 2024, 9:00 - 13:00 Uhr

Vortragende: Holger Brunst, Sebastian Döbel (NHR@TUD)

Deep-Learning-APIs wie TensorFlow oder PyTorch garantieren in der Regel keine effiziente Nutzung von HPC-Ressourcen. Mit bestehenden HPC-Tools ist die Effizienzanalyse von Deep-Learning-Anwendungen schwieriger als bei klassischen HPC-Anwendungen. Dieses Tutorial zielt darauf ab, die Lücke zwischen Deep-Learning-APIs und klassischer HPC-Infrastruktur zu schließen und stellt praktische Ansätze und Rezepte für ein effizientes Modelltraining auf HPC-Ressourcen vor. Darüber hinaus zeigen wir Methoden zur Analyse der Leistung von DeepLearning-Anwendungen.

Agenda

Dieses Tutorial wird als geführte praktische Sitzung organisiert, die die folgenden Themen abdeckt.

Installation/Verwendung von Frameworks über PIP, CONDA, EasyBuild-Module und Container. Vor-und Nachteile.
CPU- und GPU-Zuweisung für die TensorFlow- und PyTorch-Frameworks mit dem SLURM-Batch-System
Effizientes Bereitstellen und Lesen von (Trainings-)Eingabedaten für verschiedene Klassen von Dateisystemen
Verwenden von vorgefertigten Containern von Anbietern
Paralleles Training / Skalierung des Trainings
Möglichkeiten, die Leistung zu überprüfen

Handouts

Die Teilnehmenden erhalten die Kursfolien (Präsentation).

HPC-Certification Forum Links

Voraussetzungen

Erster Kontakt mit Machine-Learning-Anwendung
Grundlegendes Verständnis von maschinellen Lernansätzen
Hands-On: Verwenden Sie eine TensorFlow-Umgebung

Lernerfolge

Verständnis von HPC-Ressourcen und deren Nutzung mit maschinellen Lernaufgaben
Grundkenntnisse in Tools zur Leistungsanalyse

Registrierung

Link zur Registrierung: http://event.zih.tu-dresden.de/nhr/deepl-hpc/
Die Registrierung schließt am 13.10.2024. Das NHR-Tutorial ist auf 30 Teilnehmende beschränkt.
Die Zugangsdaten erhalten Sie kurz vor der Veranstaltung per Email an Ihre registrierte E-Mail-Adresse.

Weitere Informationen

Kurssprache: Englisch
Zielgruppe: HPC Beginners, HPC Users, HPC Dev, ML Anwender und ML Entwickler

Für Fragen steht Ihnen Dr. Natalie Breidenbach (natalie.breidenbach[at]tu-dresden.de) zur Verfügung.