TUD-Hochleistungs­rechner Capella ist Nummer 3 der leistungs­stärksten deutschen Supercomputer und weltweit auf Platz 5 für seine Energieeffizi­enz

Capella – das neuinstallierte Supercomputing-System am Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) der TU Dresden – belegt in der im November veröffentlichten TOP500-Liste der schnellsten Supercomputer Platz 51 weltweit sowie den 3. Platz unter den deutschen Systemen. Darüber hinaus setzt Capella Maßstäbe in der Energieeffizienz und erreicht Platz 5 auf der Green500-Liste der energieeffizientesten Supercomputer weltweit. Das ZIH-System übertrifft damit alle anderen NVIDIA H100-basierten Rechner.

Architektur und Einsatzszenarien in der Forschung

Mit mehr als 38 Petaflop/s Spitzenrechenleistung (Anzahl der doppelt genauen Operationen, die das System pro Sekunde ausführen kann) erreicht das ZIH-System Capella in der aktuellen November-Ausgabe der Top500-Liste der schnellsten Hochleistungsrechner sehr gute Platzierungen. Der von der sächsischen Firma Megware installierte und in enger Zusammenarbeit mit Lenovo und weiteren Firmen konzipierte Hochleistungsrechner ist mit mehr als 140 Knoten ausgestattet. Jeder dieser Knoten verfügt über vier H100-Beschleuniger von NVIDIA und zwei AMD-Prozessoren mit je 32 Kernen. Darüber hinaus ist jeder Grafikprozessor (GPU) mit 94 Gigabyte High Bandwidth Memory, d.h. Speicher mit besonders hoher Bandbreite, ausgestattet. Ein über 1 Petabyte sehr schnelles Speichersystem stellt als sogenannter „Burst-Buffer“ Daten mit über 1.500 Gigabyte/s für die KI-Beschleuniger zur Verfügung, wovon datenintensive Anwendungen wie das Training großer KI-Modelle profitieren. Mit der Integration von Capella in die vorhandene Infrastruktur im Rechenzentrum konnten im Gesamtkomplex auch die Dateisysteme des HPC-Clusters Barnard effizient angebunden werden. Mit seiner Warmwasserkühlung und Abwärmenutzung setzt Capella die hohen Maßstäbe im Rechenzentrum des ZIH in der Energieeffizienz fort.

Capella ist vielseitig einsetzbar. Mit der Kombination aus mehr als 560 schnellen KI-Beschleunigern und schnellem Zwischenspeicher zur Datenbereitstellung ist Capella jedoch für Anwendungen im Bereich Künstliche Intelligenz und Datenanalyse prädestiniert und wird u.a. ein essenzielles Arbeitsgerät für die Mitglieder des KI-Kompetenzzentrums ScaDS.AI Dresden/Leipzig. So sind das Training und die Verbesserung europäischer Sprachmodelle ein wichtiges Einsatzszenario für Capella, wie z.B. im Projekt OpenGPT-X. Weitere Anwendungsgebiete mit hohen Performance- und Speicheranforderungen finden sich in der medizinischen Forschung, wo beispielsweise Methoden des maschinellen Lernens für die Krebsdiagnose und die Entwicklung neuer Medikamente eingesetzt werden, oder auch in der Erdsystemwissenschaft, z.B. um neue Erkenntnisse über Naturkatastrophen und den Klimawandel aus Erdbeobachtungsdaten zu gewinnen.

Supercomputing am ZIH

Als Nationales Hochleistungsrechenzentrum im NHR-Verbund (Nationales Hochleistungsrechnen) hat das ZIH die Aufgabe, den Forschenden genau die Infrastruktur, Methodenentwicklung und Unterstützung bereitzustellen, mit denen sie effizient und nachhaltig Lösungen für die komplexen Forschungsfragen ihrer jeweiligen Fachgebiete voranbringen können. Ein wichtiger Fokus des ZIH liegt dabei auf den strategischen Schwerpunkten Big Data, Data Analytics und KI – insbesondere in den Lebens- und Erdsystemwissenschaften. Um diesem Auftrag gerecht zu werden, betreiben, entwickeln und testen die ZIH-Mitarbeiter:innen seit Jahren erfolgreich neue Technologien rund um Hochleistungrechnen (HPC), datenintensives Rechnen sowie energieeffizientes Rechnen. Neben der kontinuierlichen eigenen Forschung, die insbesondere potenzielle Lösungen für große HPC-Herausforderungen in den Mittelpunkt stellt, werden diese Bestrebungen kontinuierlich von Marktanalysen und dem intensiven Austausch mit den Nutzenden flankiert, um maßgeschneiderte Systeme auf dem aktuellen Stand der Technik anzubieten.

Wie schon die zuvor installierten Cluster bieten auch die eingesetzten Capella-Komponenten interessante Möglichkeiten für Messungen zur Energieeffizienzforschung und Performanceoptimierung am ZIH.

Neben dem direkten HPC-Support für die bereitgestellten Systeme, der allen Nutzenden offen steht, gehören auch Weiterbildungen zum ZIH-Portfolio. Die zahlreichen Schulungsangebote reichen von Einführungen zur Nutzung der Systeme bis hin zu Schulungen zu den verfügbaren Software-Werkzeugen und Programmierung. Dazu kommt, dass das ZIH als Ausbildungsbetrieb eine erstklassige Fachinformatiker:innen-Berufsausbildung anbietet. Damit adressieren wir u.a. auch den zukünftigen Bedarf an Unterstützungsangeboten und den technischen Betrieb der Systeme.

Finanzierung

Finanziert wird das Cluster durch das Nationale Hochleistungsrechnen (NHR@TUD) und durch das KI-Kompetenzzentrum ScaDS.AI Dresden/Leipzig – zu gleichen Teilen durch das BMBF und den Freistaat Sachsen – sowie das Deutsche Zentrum für Astrophysik.

Informationen zum Ranking der Top500- und der Green500-Liste

Während weltweit die meisten in der Liste platzierten Systeme in den USA (172) stehen, zeigt die Gesamtwertung, dass die leistungsstärksten europäischen Rechner in Italien, Finnland und der Schweiz stehen. Deutschland liegt mit 41 platzierten Systemen vor Frankreich (24) und Großbritannien (14). Das mittelständische Unternehmen Megware aus Chemnitz konnte sich in der aktuellen Liste insgesamt gut positionieren, mit acht Rechnern an deutschen Universitäten; darunter drei neue Systeme, zu denen auch Capella an der TU Dresden gehört.

Die Liste der Green500 stuft die Systeme der TOP500 nach ihrer Leistungseffizienz ein, die in Gigaflops/Watt gemessen wird. Hier ist also nicht die reine Leistungsfähigkeit maßgebend, sondern, wie viel Rechenleistung ein System pro Watt verbrauchter elektrischer Leistung erbringt. Ausschlaggebend ist hier also nicht die Größe des Systems, sondern seine Technologie.

Kontakt

Jacqueline Papperitz 
Öffentlichkeitsarbeit
CIDS – Center for Interdisciplinary Digital Sciences