Interaction between HPC, AI, and Research Data (HAI)
Pipelines für die Datenverarbeitung sind aufgrund des hohen Umfangs an Softwareentwicklung und Rechenleistung kostenintensiv. Das Projekt HAI dient der Entwicklung von Strategien und Werkzeugen für eine effiziente und kollaborative Softwareentwicklung sowie Rechenffizienz. Im Zentrum stehen die effiziente und kollaborative Entwicklung von Datenverarbeitungs- und KI-Pipelines sowie deren Rechen- und Energieeffizienz auf HPC- und Cloud-Ressourcen. Ziel ist es, Strategien und Softwarewerkzeuge für effiziente und skalierbare KI-Workloads und Datenverwaltung auf den NHR-Rechenressourcen zu entwickeln und diese den Nutzenden zur Verfügung zu stellen. Um die Produktivität und Kompetenzen dieser zu erhöhen, orientiert sich HAI an konkreten Anwendungsfällen dieser Nutzenden.
Schwerpunkte des Projektes
- Effiziente Erstellung und Ausführung von Datenverarbeitungspipelines mit LLM-automatisiertem Data Engineering für eine schnelle Entwicklung.
- Effiziente und nachhaltige Nutzung von HPC-Ressourcen für skalierbare KI-Modell-Trainingspipelines unter Verwendung von Überwachungs- und Optimierungstechniken.
- Bereitstellung einer kollaborativen Codeentwicklungs- und -ausführungsumgebung, gepaart mit FAIR-Datenverwaltungspraktiken zur Gewährleistung der Integrität während des gesamten KI-Projektlebenszyklus.
Das Projekt bietet in verschiedenen Bereichen einen Mehrwert für das NHR und ihre strategischen Ziele. Es wird:
- Strategien für eine erhöhte Effizienz und Nutzbarkeit von HPC-Ressourcen beitragen
- neue technische und wissenschaftliche Erkenntnisse über die effiziente Entwicklung und Ausführung von Datenanalyse-Pipelines auf HPC (einschließlich Methoden zur Steigerung der Nachhaltigkeit und Energieeffizienz) gewinnen
- die Kompetenzen von HPC-Nutzern und jungen Forschern durch Tutorien und andere Formen der Ausbildung stärken
- Open-Source-Software weiterentwickeln und veröffentlichen und die Zusammenarbeit zwischen den NHR-Zentren fördern
Die Nutzenden werden über einen „Call for Use Cases“ und geplante Anwendungsfälle aus der Community einbezogen, um die Entwicklungen auf ihre Bedürfnisse abzustimmen. Durch die Zusammenarbeit, Schulungen, Dokumentationen und die Veröffentlichung von Best Practices werden zudem die Kompetenzen der Nutzer gestärkt. Außerdem können Nutzer:innen von einfach zu bedienende Schnittstellen für das LLM-gestützte Data-Engineering-Tool und die kollaborative Data-Science-Umgebung sowie von den Open-Source-Entwicklungen profitieren. Die Software ist nicht an bestimmte Zentren gebunden und kann auch anderswo eingesetzt werden.
Partner
- RWTH Aachen University (IT Center, Institut für Energy-Efficient Buildings and Indoor Climate, Institut für Automation of Complex Power Systems)
- NHR4CES@TUDa (Darmstadt)
- NHR@FAU (Erlangen)
- NHR-Nord@Göttingen
- TU Dresden
- NHR@KIT (Karlsruhe)
- Verbund NHR@SW
- ScaDS.AI
Laufzeit
ab 10/2024–09/2026
Förderung
NHR Strategy Fund Project
ZIH-Kontakt
