Projektantrag zur Nutzung der Hochleistungs­rechner

Für das Hochleistungsrechnen (High Performance Computing, HPC) betreibt das CIDS/ZIH als ein Zentrum des Nationalen Hochleistungsrechnens (NHR) verschiedene HPC-Systeme, die sowohl auf nationaler Ebene (Tier 2), als auch auf regionaler Ebene (Tier 3) angeboten werden.

Voraussetzung

Voraussetzung für die Nutzung der Hochleistungsrechner ist ein HPC-Projektantrag. Aufgrund der o.g. zwei Ebenen gibt es grundsätzlich zwei verschiedene Antragsschienen, worin es wiederum verschiedene Projektkategorien gibt. Welche Kombination der richtige HPC-Projekttyp ist, hängt von folgenden Faktoren ab:

• Höhe des Bedarfs an Rechenressourcen

• Affiliation

• Verwendungszweck

• Erst- oder Folgeantrag

Der Antragsprozess, der in einem Online-Formular abgebildet wird, ist grundlegend für alle Projektkategorien gleich, unterscheidet sich jedoch im inhaltlichen Schwerpunkt und Umfang, da ggf. ein separates Dokument für die detaillierte Projektbeschreibung erforderlich sein kann.
Es gibt zwei wichtige Rollen: Die des Antragstellers (Person of Contact, PC) und die des verantwortlichen Projektleiters (Principal Investigator, PI), die in den HPC Nutzungsbedingungen weiter ausgeführt sind. Als verantwortliche Projektleiter (PI) sind ausschließlich promovierte Forscher:innen deutscher Hochschulen berechtigt (FH, HAW, Universität). Dies ist durch die angegebenen Kontaktdaten (E-Mail-Adresse) sowie elektronische Signatur kenntlich zu machen. Anträge von externen Kooperationspartnern gemeinsamer Berufungen müssen entsprechend eine:n Hochschul-Angehörige:n als PI aufweisen.

Gewöhnlich wird ein Rechenzeitprojekt nach Begutachtung für ein Jahr bewilligt, kann je nach Bewilligungszeitraum des Forschungsprojektes jedoch auch kürzer oder ggf. länger gewählt werden.

Nationales Hochleistungsrechnen (NHR, Tier 2)

Rechenzeitressourcen auf nationaler Ebene (Tier 2) werden in einem vereinheitlichten Verfahren im Rahmen des Nationalen Hochleistungsrechnens (NHR) vergebenen. Alle Informationen dazu wie Verfahrensablauf, Voraussetzungen, Projektkategorien, Fristen, Rechenzeitabschätzung, erforderliche Angaben, Vorlagen für die Projektbeschreibung inklusive Beispiel und der Einstieg zum Online-Antrag wird von NHR auf folgender Webseite bereitgestellt:

nhr-verein.de/access-support/hpc-access/

Tier 3

Die TU Dresden bietet außerdem Rechenressourcen auf Landesebene (Tier 3) für Antragsteller:innen der TU Dresden und Hochschul-Angehörige aus Sachsen an, deren Hochschule über keine eigenen Compute-Ressourcen verfügt. Auf dieser Ebene werden ebenfalls Rechenressourcen für Lehrveranstaltungen der TUD vergeben, sowohl für semesterübergreifende als auch Blockveranstaltungen.
Ressourcen auf dieser Ebene beantragen Sie bitte über das

Tier 3-Antragsverfahren 

Eigene HPC-Anteile 

Wenn Ihre Institution über eigene Hardwareressourcen verfügt oder Anteile finanziert hat, die am ZIH betrieben werden, nutzen Sie bitte das Tier-3-Antragsverfahren (s.o.) und machen Ihre Institution und Hardwareanspruch entsprechend kenntlich. Eine Ausnahme hiervon bilden ScaDS.AI-assoziierte Antragsteller:innen, die bitte das separate ScaDS-Antragsverfahren nutzen.

Übersicht der Projektkategorien

Für die detaillierte Beschreibung der NHR-Projektkategorien siehe NHR-Webseite.

HPC-Einstieg

Für Antragsteller ohne HPC-Erfahrung oder Anträge mit noch nicht abschätzbarem Rechenzeitaufwand gibt es drei Optionen zur Antragstellung: 

• Starter-Projekt (einmalig pro PI, siehe oben NHR) 
• Testprojekt (zweckgebunden zur besseren Abschätzung, siehe oben NHR) 
• Tier-3-Projekt (mit geringem Ressourcenbedarf und entsprechender Kennzeichnung, siehe oben Tier 3)

Für diese ist keine wissenschaftliche Begutachtung erforderlich, was den Antragsprozess vereinfacht.

Neue HPC-Projekte

Je Forschungsprojekt kann ein begleitendes HPC-Projekt der Kategorie Tier 3, NHR Normal oder NHR Large beantragt werden (Erstantrag). Die Wahl hängt von der benötigten Ressourcenmenge ab (siehe Projektkategorien), die vorab abgeschätzt und im Antrag erläutert werden muss. Für eine Abschätzung ist erforderlich, dass folgende Kenngrößen entweder aus Tests auf eigener Hardware oder mit Hilfe eines NHR-Test-Projektes aus den Projektstatistiken sowie aufgezeichneten Jobstatistiken abgeleitet werden können:

Kenngrößen

• Anzahl der (effektiv) verwendeten CPU-Kerne, bzw. GPUs (abhängig von Problemgröße)
• CPU: benötigte Rechenzeit pro Job, Iteration oder simulierter Zeit
• GPU: Größe der Trainingsdaten, Anzahl der Trainingsschritte, Trainingsdurchsatz in Tokens/s, Samples/s, Zeit pro Epoche oder Step (abhängig von Batchgröße) 
  ⇒ Rechenzeit pro GPU-Job

Rechenzeitabschätzung

CPU [CPU-core h]: (Anzahl CPU-Kerne) × (Joblaufzeit in h) × (Anzahl Berechnungen)
GPU [GPU-h]: (Anzahl GPUs) × (Joblaufzeit in h) × (Anzahl Berechnungen)

Beispiele

Low-Res-Sim: 50 Simulationen × 48 CPU-Kerne × 1,5 h/Sim = 3.600 CPU core-h
High-Res-Sim: 5 Simulationen × 104 CPU-Kerne × 40 h Sim-Zeit × 3 (h pro Sim. h) = 62.400 CPU core-h
Modelltraining: 10 Modelle × 50 Trainings × 3 Epochen × 30.000 Samples ÷ 60 Samples/s × 4 GPUs ÷ 3.600 s/h = 1.000 GPUh
Inferenz: 15.260 Steps (4 Mrd. Tokens ÷ (128 Samples á 2048 Tokens pro Step)) × 30 s/Step × 4 GPUs ÷ 3.600 s/h ≈ 508 GPUh

HPC-Projektverlängerung

Für eine HPC-Projektverlängerung ist wie beim Erstantrag ein Rechenzeitantrag notwendig (Folgeantrag), in dem das bisherige Projekt-Kürzel angegeben wird (z.B. p_project). Der inhaltliche Fokus liegt im Gegensatz zum Erstantrag nicht auf der Förderwürdigkeit des wissenschaftlichen Projektes durch HPC, sondern auf dem Verlauf und Status des HPC-Projektes. Für den Folgeantrag ist unabhängig von der bisherigen Projektkategorie Tier 3, NHR Normal oder NHR Large vorgesehen. Die Wahl hängt von der benötigten Ressourcenmenge ab (siehe Projektkategorien), die vorab abgeschätzt und im Antrag erläutert werden muss.

Die bisherige Rechenzeitnutzung kann dafür als Einschätzungsgrundlage dienen. Insbesondere Kenngrößen eigener Berechnungen sind durch die vorläufige, bzw. aktuelle Projektnutzung für die weitere Abschätzung zu ermitteln. Diese lassen sich aus den Projektstatistiken sowie aufgezeichneten Jobstatistiken ableiten, die für PI und PC einsehbar sind. Das Vorgehen zur Bestimmung der geeigneten Projektkategorie für einen Folgeantrag ist demnach:

Hochleistungsrechnen

• Ggf. Tests geplanter, bisher noch nicht durchgeführter Berechnungsarten durchführen
• Kenngrößen eigener Berechnungen ableiten, siehe
  • Projektstatistiken
  • Jobstatistiken
• Rechenzeitabschätzung durchführen
• Projektkategorie wählen

Weitere Hinweise

Projektstart ist formal jeweils der 1. eines Monats. Es wird ggf. vorläufiger Zugang gewährt.

Förderung / Vereinfachung: Keine erneute wissenschaftliche Begutachtung für NHR-Normal-Projekte bei Förderung durch ausgewiesene Einrichtung (Angabe von z.B. Link zu GEPRIS oder CORDIS, siehe NHR). Bei NHR-Normal- oder NHR-Large-Projekten ist kein Skalierungsnachweis für bekannte parallele Codes notwendig.

Projektmitglieder: Weitere Nutzer:innen können durch ihren PC/PI über das HPC-Managementsystem in das HPC-Projekt integriert werden.
Projektleiter:innen sind angehalten, dem ZIH jegliche Änderungen, die die Projektmitarbeiter:innen betreffen, insbesondere Austritt, Institutswechsel oder E-Mail-Kontakt, etc. zu melden.

Zugang: Für den Zugang zum HPC wird ein TU-Dresden-Account (Login) benötigt. Externe Nutzer:innen, die als Projektmitglieder vorgesehenen sind, sollten ein persönliches Gastlogin beantragen, das unabhängig vom Projekt eine Gültigkeit von einem Jahr hat.

Nutzungsbedingungen: Für die Nutzung der HPC-Systeme ist das Akzeptieren der aktuellen HPC-Nutzungsbedingungen erforderlich.

Spezifischer Support: Für Anwendungen im Bereich unserer NHR-Schwerpunktthemen bieten wir dedizierte Unterstützung an.

Publikationen: Antragsteller:innen sind verpflichtet, das ZIH im Acknowledgement ihrer Publikationen über Ergebnisse, zu denen die Nutzung des HPC beigetragen hat, zu nennen (NHR: Beispiele, Tier 3: Beispiele).

Exportkontrolle: Supercomputer gelten als Dual-Use-Güter und unterliegen Exportkontroll-Vorschriften. Für deren Einhaltung sind Antragsteller und Projektleiter verantwortlich. BAFA - Exportkontrolle in Forschung und Wissenschaft

Nutzungsstatistiken: Projektleiter:innen bzw. Projektadministrator:innen steht das HPC-Managementsystem zur Verfügung (Zugang über ZIH Login). Hier können die aktuellen Projekte eingesehen und deren Ressourcengebrauch pro Monat/Jahr und User beobachtet werden. Hier weitere Informationen. Für Statistiken auf HPC Job-Basis steht allen Nutzenden das Job-Monitoring- und Visualisierungstool PIKA zur Verfügung.

Kein Windows-System: Für Alternativen zu HPC mit Windows-Unterstützung ziehen Sie bitte die Möglichkeit der Research-Cloud / Enterprise-Cloud in Betracht.