ADA-FS - Advanced Data Placement via Ad-hoc File Systems at Extreme Scales
Für zukünftige HPC-Systeme ist das Datenmanagement ein essentieller Faktor. Die Lokalität der Daten, die während einer Berechnung benötigt werden, spielt eine zentrale Rolle für die Effizienzsteigerung von HPC-Systemen. Während auf Prozessor-Level bereits effiziente Methoden zum Vorhalten von Daten existieren, ist der Zugriff auf das parallele Dateisystem immer noch ein Engpass. Die Datenvolumen, die für die Berechnung zukünftiger Anwendungen erwartet werden, übersteigen die Kapazitäten des Knoten-lokalen Speichers und erfordern das Nachladen von Daten aus dem parallelen Dateisystem während der Laufzeit der Anwendung.
Bei HPC-Dateisystemen handelt es sich heutzutage üblicherweise um ein gemeinsam genutztes Medium, das von vielen Nutzern parallel verwendet wird. Des weiteren ist die Performance begrenzt durch die Schnittstelle zwischen dem zentralen Dateisystem und den Compute-Nodes. Somit ist es momentan für eine Anwendung nicht möglich, den tatsächlichen I/O-Load vorherzusehen und das I/O-Subsystem optimal zu nutzen.
Das DFG-Projekt ADA-FS zielt darauf ab, die I/O-Leistung für hoch-parallele Anwendungen durch verteilte Ad-hoc-Overlay-Dateisysteme zu verbessern. Dazu wird erforscht, wie jobspezifische temporäre Dateisysteme effizient für HPC-Umgebungen bereitgestellt werden können. Diese Dateisysteme sollen aus den Ressourcen der beteiligten Rechenknoten zusammengestellt und schon vor Beginn des Jobs durch eine Integration in das Scheduling-System des Hochleistungsrechners mit den benötigten Daten gefüllt werden. Nach Beendigung des Jobs werden die Daten in das globale parallele Dateisystem zurück migriert.
Der Forschungsansatz umfasst sowohl den Entwurf des Dateisystems selbst als auch die Fragen nach der richtigen Scheduling-Strategie zur Planung der notwendigen I/O-Transfers.
Projektwebseite
Partner
- Zentrum für Informationsdienste und Hochleistungsrechnen an der Technische Universität Dresden
- Steinbuch Centre for Computing (SCC) am Karlsruher Institut für Technologie
- Zentrum für Datenverarbeitung an der Johannes Gutenberg-Universität Mainz
ZIH-Kontakt
Laufzeit
02/2016-01/2019
Förderung
DFG (Schwerpunktprogramm Software for Exascale Computing)