28.03.2021
Datenflussautomatisierung - Ja! Aber wie?
Eine Forschungsgruppe der TU Dresden kam auf die Kontaktstelle Forschungsdaten zu, um Unterstützung bei der Automatisierung ihrer Datenablage zu erhalten. Die Forschungsgruppe widmet sich der Analyse umliegender Dresdener Bäche und sammelt dazu kontinuierlich Sensordaten zur Wasserqualität.
Die Sensordaten werden vor Ort kontinuierlich von einem kleinen Messrechner erfasst und automatisch in einem festen Intervall auf den Datashare der TU Dresden und auf eine virtuelle Maschine in der Enterprise Cloud des ZIH kopiert.
Auf der virtuellen Maschine wurde eine Zeitreihen-Datenbank installiert und entsprechend konfiguriert. Der Clou: mit Hilfe dieser Datenbank können die Forschenden die Sensordaten in „Echtzeit“ im Webbrowser abrufen. Und nicht nur das: bei Bedarf können die Forschenden die Sensordaten auch gleich grafisch darstellen oder auch durch konfigurierbare Skripte automatisch verarbeiten lassen.
Grundlage für dieses technische Set-Up war ein Datenmanagement-Konzept, dass die Kontaktstelle Forschungsdaten in enger Abstimmung mit der Forschungsgruppe entwickelt hat. Das Konzept umfasst die Ordnerstruktur zur Ablage der Messdaten, den synchronisierten Transfer der Messdaten in die Zeitreihen-Datenbank, sowie Möglichkeiten der Verarbeitung der Daten.
Arbeiten Sie auch mit kontinuierlichen Messreihen bzw. Zeitreihenanalysen? Oder wünschen Sie sich manchmal einfach nur ein wenig mehr Automatisierung in Ihrer Datenerfassung und -speicherung?
Gerne kommen wir mit Ihnen ins Gespräch. Kontaktieren Sie uns dazu per E-Mail über Kontaktstelle Forschungsdaten, buchen Sie sich einen Termin, besuchen Sie unsere wöchentliche Sprechstunde oder nutzen Sie unser Weiterbildungsangebot.