LWM nimmt erfolgreich an der PHME21 Data Challenge teil

"Stimmen die Modelle? Werden die Fehlerklassen richtig vorhergesagt? Sind die Vorhersagen schnell genug? Wie schlagen wir uns gegen die anderen Teams?" Diese Gedanken gingen den Mitarbeitern des LWM noch in später Nacht durch den Kopf – kurz vor Abgabe ihres Beitrags zur diesjährigen Data Challenge der PHME21 (Prognostics and Health Management Societey Europe). Die Fragen wurden nun offiziell von der PHME beantwortet. Als Team PrIMA (abgeleitet von der Forschungsabteilung ProzessInformatik und MaschinendatenAnalyse) haben unsere Mitarbeiter Felix Conrad, Kim Feldhoff, Mauritz Mälzer und Dr. Michael Schwarzenberger erstmals an einer Data Challenge teilgenommen und konnten mit Platz 6 von insgesamt 21 teilnehmenden Teams gleich einen Erfolg verbuchen. Am Start waren internationale Teams aus Industrie und Forschung.

Seit über 10 Jahren findet im Vorfeld der PHME-Konferenz eine Data Challenge statt, bei der Systeme zur Erkennung und Vorhersage von Fehlern und Schäden entwickelt werden sollen. In diesem weltweiten Wettkampf um die beste Lösung gibt es jedes Mal ein neues Problem mit speziellen Herausforderungen.

Dieses Jahr bezog sich die Aufgabe auf einen Versuchsstand zur automatischen Überprüfung von elektrischen Sicherungen. Dafür sollte ein Condition-Monitoring-System entwickelt werden. Der Versuchstand beinhaltete einen Roboterarm, zwei Kamerasysteme und mehrere Förderbänder. In diesem System sollten acht unbekannte Fehlerklassen und der Normalbetrieb erkannt werden. Die Fehler wurden dabei systematisch durch die PHME eingebaut, z.B. wurde die Belichtung bei einer Kamera manipuliert. Um das Ganze noch schwieriger zu gestalten, war der Normalbetrieb in zwei unbekannte Betriebsmodi unterteilt. Der bereitgestellte Datensatz enthielt über 50 Signale, darunter das Maschinenverhalten (z.B. Druck, Vakuum, Geschwindigkeit), die Umgebung (z.B. Temperatur und Luftfeuchtigkeit) und weitere Aspekte (z.B. CPU-Temperatur, Speicherausleistung). Auf Basis des Datensatzes sollten die Fehlerklassen möglichst schnell vorhergesagt werden. Zudem war eine Begründung für die jeweilige Fehlerklassifikation gefordert. Es galt also herauszufinden, welche Signale für den vorhergesagten Fehler verantwortlich waren.

Die Data Challenge erforderte eine Lösung, die weit über die blinde Anwendung von KI-Verfahren hinausgeht. Unter anderem spielte ein fundiertes Prozesswissen eine wichtige Rolle, um Fehler richtig zu identifizieren und wichtige von unwichtigen Signalen zu unterscheiden. Einige Fehler, z.B. ein undichtes Ventil des Vakuumgreifers, ließen sich leichter identifizieren. Bei anderen Fehlern, wie einer fehlerhaften Einstellung der Roboterbewegungen, gestaltete sich dies schwieriger. Hier halfen uns Methoden des ExplainableML, also des Erklärbaren Maschinellen Lernens. Am Ende konnte das LWM-Team mit detaillierten explorativen Datenanalysen und mit baumbasierten ML-Verfahren sowohl die beiden unbekannten Betriebsmodi des Normalbetriebs als auch sieben der acht Fehlerklassen zuverlässig vorhersagen.

Die Teilnahme an der Data Challenge führte zu einer intensiven Zusammenarbeit innerhalb des Teams. Dabei entwickelte sich die Data Challenge schnell zu einem ehrgeizigen Freizeitprojekt. Jeder brachte sich fortlaufend mit neuen Ideen und Methoden ein, damit die Vorhersagen noch schneller und stabiler wurden. Dieser Aufwand hat sich gelohnt – einerseits aufgrund der guten Platzierung, andererseits aufgrund des großen Wissenszuwachses. Die neu angewandten Softwarewerkzeuge und Vorhersagemethoden und die gewonnenen Erkenntnisse kommen nun u.a. den Forschungsprojekten am LWM zugute.

Weitere Informationen zur Data Challenge sind auf https://phm-europe.org/data-challenge zu finden. Das vollständige Endergebnis (Teamname „PriMA“) kann auf der PHME-Webseite eingesehen werden: https://phm-europe.org/data-challenge-results

LWM / Prozessinformatik und Maschinendatenanalyse / Dr. Michael Schwarzenberger