Trainingsangebote

PIKA ist ein Hardware-Performance-Monitoring-Stack, der speziell für das Taurus-Cluster der TU Dresden entwickelt wurde, um potenziell ineffiziente Jobs zu identifizieren. HPC-Nutzende haben die Möglichkeit, die Effizienz ihrer Jobs mittels einer interaktiven Weboberfläche zu analysieren. Das Tutorial führt in das jobspezifische Monitoring auf den HPC-Systemen des ZIH ein und befähigt die Teilnehmenden, die Performance und Ressourcenauslastung ihrer eigenen Jobs mit Hilfe von PIKA zu bewerten.

Weitere Informationen: Performance-Analyse von HPC-Anwendungen mit PIKA

Vampir ist ein etabliertes Performance-Werkzeug zur Visualisierung und Analyse des Verhaltens hochparalleler HPC-Anwendungen. Ihm zur Seite steht zum einen das Aufzeichnungswerkzeug Score-P bei, mit dessen Hilfe das Laufzeitverhalten von HPC-Anwendungen vollumfänglich aufgezeichnet werden kann. Besonders bei der Nutzung mehrerer paralleler Programmierparadigmen oder geteilter HPC-Ressourcen (I/O), bietet dies einen detaillierten Einblick in die Anwendung. Zum anderen steht das Monitoring-Werkzeug Lo2s zur Verfügung. Hier liegt der Fokus auf die Aufzeichnung von Knoten-lokalen Performancedaten mit wenig Overhead. Der Workshop gibt eine Einführung in die Nutzung von Vampir mit Score-P und Lo2s zur interaktiven und visuellen Analyse des Laufzeitverhaltens von HPC-Anwendungen.

Weitere Informationen: Performance-Analyse von HPC-Anwendungen mit Vampir, Score-P & lo2s

Der Schwerpunkt liegt auf den Programmiermodellen MPI und OpenMP. In praktischen Übungen (in C, Fortran und Python) können Sie die grundlegenden Konstrukte des Message Passing Interface (MPI) und die Shared-Memory-Direktiven von OpenMP (in C und Fortran) sofort testen und verstehen. Anschließend lernen Sie, wie Parallel-Programming Tools zur Fehlererkennung und zur Performance-Optimierung eingesetzt werden können. Dieser Kurs dient der wissenschaftlichen Ausbildung in Computational Science und darüber hinaus dem wissenschaftlichen Austausch der Teilnehmenden untereinander. Er wird vom ZIH in Zusammenarbeit mit dem HLRS organisiert. (Inhaltliches Niveau: 35% für Anfänger, 40% Intermediate und 25% Fortgeschrittene)

Weitere Informationen: Programming Workshop with MPI, OpenMP & Tools - Dresden, 2022

Deep-Learning-APIs wie TensorFlow oder PyTorch garantieren in der Regel keine effiziente Nutzung von HPC-Ressourcen. Mit bestehenden HPC-Tools ist die Effizienzanalyse von Deep-Learning-Anwendungen schwieriger als bei klassischen HPC-Anwendungen. Dieses Tutorial zielt darauf ab, die Lücke zwischen Deep-Learning-APIs und klassischer HPC-Infrastruktur zu schließen und stellt praktische Ansätze und Rezepte für ein effizientes Modelltraining auf HPC-Ressourcen vor. Darüber hinaus zeigen wir Methoden zur Analyse der Leistung von DeepLearning-Anwendungen.

Weitere Informationen: Effiziente Nutzung und Analyse von Deep-Learning-Frameworks auf HPC-Ressourcen

This workshop organised by VI-HPS and the NHR centers RWTH Aachen & ZIH, TU Dresden will:

• give an overview of the VI-HPS programming tools suite
• explain the functionality of individual tools, and how to use them effectively
• offer hands-on experience and expert assistance using the tools

On completion participants should be familiar with common performance analysis and diagnosis techniques and how they can be employed in practice (on a range of HPC systems). Those who prepared their own application test cases will have been coached in the tuning of their measurement and analysis, and provided optimization suggestions.

Further information: https://www.vi-hps.org/training/tws/tw44.html

Der Kurs gibt eine Einführung in den Umgang mit paralleler I/O und verteilten Dateisystemen im High Performance Computing. Im ersten Teil wird auf die Grundlagen von paralleler I/O sowie beim Arbeiten mit verteilten Dateisystemen eingegangen. Die Teilnehmer:innen lernen, welche Hard- und Software-Komponeten bei paralleler I/O involviert sind und wie diese zusammenwirken.
Insbesondere wird auf die Unterschiede zwischen der Arbeit mit lokalen und verteilten parallelen Dateisystemen sowie auf die Bedeutung für die Entwicklung und die Performance eingegangen. Im zweiten Teil werden Möglichkeiten vorgestellt, wie Nutzende die I/O ihrer Anwendung analysieren können. Weiterhin wird auf typische Fallstricke aufmerksam gemacht und es werden erste Möglichkeiten für die I/O-Optimierung aufgezeigt.

Nähere Informationen zum Kurs finden sie unter Einführung in parallele I/O und verteilte Dateisysteme

Skalierbare und effiziente numerische Simulationen gewinnen weiter an Bedeutung, da das Rechnen neben Theorie und Experiment als dritte Säule der Entdeckung fest etabliert ist. Gleichzeitig wächst die Leistung der Computerhardware durch zunehmende heterogene Parallelität und ermöglicht Simulationen immer komplexerer Modelle. Die effiziente Implementierung skalierbarer Codes auf heterogenen, verteilten Hardwaresystemen wird jedoch zum Engpass. Dieser Engpass kann durch zwischengeschaltete Softwareschichten gemildert werden, die Abstraktionen auf höherer Ebene näher an der Problemdomäne bereitstellen, sodass sich Computerwissenschaftler:innen auf die Simulation konzentrieren können. Hier präsentieren wir OpenFPM, ein offenes und skalierbares Framework, das eine Abstraktionsschicht für numerische Simulationen mit Partikeln und/oder Netzen bereitstellt. OpenFPM bietet eine transparente und skalierbare Infrastruktur für Shared-Memory- und Distributed-Memory-Implementierungen von Nur-Partikel- und Hybrid-Partikel-Mesh-Simulationen von diskreten und kontinuierlichen Modellen sowie Nicht-Simulationscodes. Ergänzt wird diese Infrastruktur durch häufig verwendete numerische Routinen sowie Schnittstellen zu Fremdbibliotheken. Der Workshop beschäftigt sich mit den grundlegenden Datenstrukturen in OpenFPM sowie mit den grundlegenden Operationen für die parallele Programmierung auf CPUs und GPUs. Im zweiten Teil wird vermittelt, wie diese verwendet werden können, um Simulationen zu konstruieren.

Weitere Informationen: OpenFPM: Verteilte Datenstrukturen für Partikel- und Partikel-Mesh-Codes auf Parallelrechnern

This workshop teaches the fundamental tools and techniques for accelerating C/C++ applications to run on massively parallel GPUs with CUDA^®. You’ll learn how to write code, configure code parallelization with CUDA, optimize memory migration between the CPU and GPU accelerator, and implement the workflow that you’ve learned on a new task—accelerating a fully functional, but CPU-only, particle simulator for observable massive performance gains. At the end of the workshop, you’ll have access to additional resources to create new GPU-accelerated applications on your own.

Further information: Instructor-Led Workshop: Fundamentals of Accelerated Computing with CUDA C/C++

MATLAB ist eine Programmier- und Numeric-Computing-Plattform, die von Millionen von Ingenieuren und Wissenschaftlern verwendet wird, um Daten zu analysieren, Algorithmen zu entwickeln und Modelle zu erstellen. Es wird von MathWorks entwickelt, dem führenden Entwickler von mathematischer Computersoftware für Ingenieure und Wissenschaftler. Die TU Dresden bietet allen Mitarbeitern und Studierenden einen kostenlosen campusweiten MATLAB-Zugang, einschließlich dedizierter Toolboxen für verschiedene Anwendungen.

Mit MATLAB und dem MATLAB Parallel Server können Forscher die vertraute MATLAB-Umgebung nutzen, um rechenintensive MATLAB-Programme effizient auf Computerclustern auszuführen. Diese Veranstaltung stellt Teilnehmern, die mit der MATLAB-Umgebung vertraut sind, den MATLAB Parallel Server vor und zeigt, wie Batch-Jobs und parallele Berechnungen ausgeführt werden, und vermittelt ein Verständnis der Einschränkungen bei der Ausführung in einer Cluster-Umgebung. Die Veranstaltung zeigt auch, wie die integrierten Funktionen für maschinelles Lernen in MATLAB unter Verwendung des MATLAB Parallel Servers verwendet werden, und zeigt, wie Deep Learning mit MATLAB unter Verwendung moderner GPUs auf einem Cluster-Computer über den MATLAB Parallel Server durchgeführt werden kann. Darüber hinaus widmet sich ein Modul der Interoperabilität von MATLAB mit der Programmiersprache Python.

Weitere Informationen: MATLAB in HPC

Der Workshop führt in etablierte numerische Methoden für Computational Fluid Dynamics im Kontext des Hochleistungsrechnens ein. Ein Schwerpunkt liegt auf expliziten Methoden für kompressible Strömungen, aber auch numerischen Methoden und Betrachtungen für inkompressible Navier-Stokes-Gleichungen werden diskutiert. Weitere Themen sind Diskretisierungen höherer Ordnung zur Lösung partieller Differentialgleichungssysteme und die Lattice-Boltzmann-Methode. Der letzte Tag ist der Parallelisierung gewidmet.

In praktischen Übungen werden die Inhalte der Vorlesungen vertieft und der Einsatz von Clustersystemen für parallele Simulationen geübt. In den meisten dieser Sitzungen werden die Tools der APES-Suite verwendet. Sie decken die Netzgenerierung mit Seeder ab, Visualisierung mit ParaView und Einsatz der parallelen CFD-Löser Ateles und Musubi auf dem lokalen HPC-System.

Weitere Informationen: Introduction to Computational Fluid Dynamics

Forschungsdatenmanagement (FDM) ist ein wenig wie die Steuer: Es begleitet einen latent, aber fordert zuweilen im unpassensten Zeitpunkt viel Aufmerksamkeit (Die Steuererklärung! Wo ist diese eine Rechnung!). Doch gut geplant und konsequent umgesetzt steht am Ende auch im FDM ein Bonus, an dem sich die (Forscher-) Familie langfristig erfreuen kann! Daten bleiben entsprechend der guten wissenschaftlichen Praxis langfristig auffindbar und nachvollziehbar, Verantwortlichkeiten und Prozesse sind klar definiert und machen so den Kopf frei für die wirklich wichtigen Dinge: die eigene Forschung.
Diese NHR-Kursreihe vermittelt die Grundbegriffe, theoretischen Konzepte und praktische Ideen zur Planung und Umsetzung eines bedarfsgerechten FDM. Neben einer allgemeinen Einführung soll das FDM auch aus der Perspektive des HPC betrachtet werden.

Weitere Informationen: Forschungsdatenmanagement im Allgemeinen und im HPC

Aufgrund der Heterogenität von ML-Anwendungen kann die Motivation zum Umstieg auf ein HPC-System vielfältig sein, z.B. aufgrund von großem Speicherbedarf, GPU-Auslastung oder Erhöhung der Rechengeschwindigkeit. Der Kurs zeigt, wie ein typischer ML-Workflow im HPC-Umfeld realisiert werden kann. Ein Wechsel auf das HPC-System ist an unterschiedlichen Stellen im Workflow möglich – je nach Anforderung. Die Entwicklung von ML-Anwendungen erfolgt häufig durch kollaboratives Arbeiten innerhalb von Gruppen, was auch bei der Umsetzung des ML-Workflows berücksichtigt wird.

Weitere Informationen: Machine learning on HPC - Einführung

In diesem Tutorial stellen wir R-Benutzern die Vorteile der Arbeit an R auf einem Hochleistungscluster vor. Wir geben einen Überblick über die gängigsten Machine-Learning-Methoden und gehen dann der Frage nach, wie wir deren Parallelisierung im Sinne einer Beschleunigung der Laufzeit genau untersuchen können. Wir werden auch zeigen, wie einige der Benchmarking-Pakete in R funktionieren. Am Ende haben die Teilnehmer die Möglichkeit, in der Hands-on Session alles selbst zu machen.

Weitere Informationen: R on HPC - Einführung
 

Beim maschinellen Lernen werden Muster und Gesetzmäßigkeiten mithilfe von Algorithmen in Daten gelernt. Derartige statistischen Modelle eignen sich zur Vorhersage von Ereignissen. Die Teilnehmenden erarbeiten praktisch die Erstellung eines Modells zur Regressionsanalyse anhand eines durchgehenden Datenbeispiels (Spotify-Daten). Die Regressionsanalyse gehört zu den statistischen Analyseverfahren. Es werden Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen modelliert. Der Onlinedienst Spotify speichert zu Musikwerken Audio-Eigenschaften, z.B. Energie und Lautstärke. In der Schulung werden die Teilnehmenden mit dem erstellten Modell Musikstücke untersuchen und Eigenschaften prädiktiv bestimmen.

Weitere Informationen: Maschinelles Lernen - Vorhersage von Werten bei Spotify-Daten

Der Fokus der Schulung wird auf der Vermittlung von Grundkenntnissen in der Benutzung der Pandas-Bibliothek an einem durchgehenden betriebswirtschaftlichen Datenbeispiel liegen.

Weitere Informationen: Datenanalyse - Pandas vs. Excel

Bei der Datenanalyse werden statistische Methoden systematisch angewendet, um Zusammenhänge in mitunter sehr großen Datensätzen erkennen und daraus neues Wissen gewinnen zu können. Die in der Regel durchzuführenden Prozessschritte erfordern den Einsatz computergestützter Methoden. Ein relevanter Prozessschritt ist die Datenaufbereitung (Data Preparation), um deren Qualität für die anschließende Analyse zu erhöhen. In diesem Training werden anhand eines Beispiel-Datensatzes verschiedene Aspekte der Datenaufbereitung, sowohl theoretisch betrachtet als auch gemeinsam in einem Jupyter-Notebook praktisch erarbeitet. Betrachtet wird die Restrukturierung und Indexierung der Daten, der Umgang mit fehlenden Werten und Ausreißern sowie ein abschließender Vergleich der Analyse-Ergebnisse basierend auf verschiedenen Varianten der Vorverarbeitung.

Weitere Informationen: Datenanalyse - Datenaufbereitung

Dieses Tutorial vermittelt den Teilnehmern die wesentlichen Fähigkeiten zum Entwerfen und Implementieren von High-Performance Computing (HPC)-kompatiblen Datenanalyse-Workflows mit Snakemake. Durch praktische Übungen und praktische Demonstrationen lernen die Teilnehmer, wie sie die Leistungsfähigkeit dieses Workflow-Managers nutzen können, um HPC-Ressourcen effektiv zu nutzen und die Reproduzierbarkeit ihrer Datenanalyse-Workflows sicherzustellen. Das Snakemake-Workflow-System wird häufig in der Bioinformatik, der Experimentalphysik und anderen Datenanalysebereichen eingesetzt.

Weitere Informationen:Erstellen von HPC-kompatiblen Snakemake-Datenanalyse-Workflows

Das Aufsetzen und Administrieren eines HPC Clusters erfordert spezielle Software. xCAT ist ein Open Source Tool, welches HPC Admins erlaubt Cluster jeglicher Art möglichst schnell und einfach zu konfigurieren. Zusätzlich bietet xCAT weitere Tools, welche Administratoren bei der täglichen Arbeit unterstützen. In diesem Kurs erlernen die Teilnehmer den Umgang mit xCAT und werden eine VM basierte Testumgebung aufbauen um sich mit den einzelnen Funktionen vertraut zu machen.

Weitere Informationen: HPC Cluster Administration mit xCAT