Vergleich von Projekten zu Störungsdiagnose in industriellen Umgebungen
In mehreren Forschungsprojekten untersuchen wir Prozesse der Mensch-Maschine-Interaktion in komplexen Arbeitsumgebungen. Diese Projekte haben viele Gemeinsamkeiten, da sie auf die Erkennung, Diagnose und Behandlung von Störungen durch menschliche Operators in industriellen Umgebungen fokussieren. Darüber hinaus gehen sie alle von der Annahme aus, dass es für Operators wichtig ist, ein gründliches Verständnis (a) des Produktionsprozesses und (b) der Funktionsweise des Mensch-Maschine-Systems zu entwickeln.
Allerdings unterscheiden sich die Projekte auch in wichtigen Punkten. Um diese Unterschiede transparent zu machen, geben wir einen kurzen Überblick über die Projekte und stellen sie dann in einer Tabelle gegenüber.
HyTec: Hypothesen beim diagnostischen Problemlösen in technischen Domänen: Mentale Grundlage, Prozess und Ergebnis (DFG, 2021-2024)
In HyTec untersuchen wir, welche mentalen Modelle Techniker und Auszubildende über das technische System haben (Auto oder Verpackungsmaschine) und wie sich dies auf ihre mentalen und praktischen Aktivitäten bei der Störungsdiagnose auswirkt. Um ihre mentalen Modelle zu bewerten, lassen wir sie Concept Maps zeichnen und testen dann, ob gute Maps auch sinnvolle Hypothesen und eine erfolgreiche Diagnose vorhersagen.
XAI-Dia: Erklärbare künstliche Intelligenz in der Störungsdiagnose: Einfluss auf menschliche Diagnoseprozesse und Diagnoseleistung (DFG, 2022-2025)
In XAI-Dia fragen wir, wie Menschen mit erklärbarer künstlicher Intelligenz (XAI) umgehen und wie dieser Umgang davon abhängt, ob die KI korrekt ist oder welche Fehler sie macht. Um diese XAI zu erzeugen, lassen wir zunächst Bilder von Schokoladenriegeln bei der Qualitätskontrolle durch Convolutional Neural Networks (CNN) analysieren. Dann implementieren und visualisieren wir XAI-Algorithmen, um transparent zu machen, welche Information der CNN-Algorithmus zur Berechnung seiner Entscheidung verwendet hat. Wir testen auch, wie sich diese Algorithmen von menschlichen Beobachtern in Bezug auf die Bildbereiche unterscheiden, auf die sie achten.
XRAISE: Erklärbare KI für die Sicherheits-Evaluation im Bahnverkehr (Eisenbahn-Bundesamt, 2024-2025)
Das Projekt XRAISE ähnelt dem Projekt XAI-Dia, aber wird im Kontext der Sicherheits-Evaluation im Bahnverkehr durchgeführt. Wir untersuchen, wie Menschen XAI nutzen, um zu bewerten, wie zuverlässig Computer Vision Systeme Hindernisse auf Bahngleisen erkennen. Dabei variieren wir, ob Bilder verschiedener Sensoren tatsächlich Hindernisse enthalten und ob diese richtig erkannt werden, welche Umgebungsbedingungen vorliegen, welche XAI-Algorithmen verwendet werden und wie die Ergebnisse präsentiert werden.
MoCa-Dia: Modellierung und Visualisierung von kausalen Zusammenhängen in Prozessketten: Wie beeinflussen multi-lineare versus systemische Ansätze die Störungsdiagnose? (DFG, 2024-2027)
In diesem Projekt wollen wir untersuchen, wie man kausale Zusammenhänge in Prozessketten modellieren und visualisieren kann. Wenn in einer komplexen Industrieanlage eine Störung auftritt, welche Information sollte ein Assistenzsystem Operators zur Verfügung stellen, damit sie verstehen können, warum die Störung aufgetreten ist? Ist es besser, (a) lineare Modellierungsmethoden zu verwenden (z.B. Kausaldiagramme), die zwar leicht zu verstehen sind, aber die tatsächliche Komplexität des Prozesses nicht erfassen, (b) systemische Modelle (z.B. Funktionsnetzwerke), die zwar realistisch sind, aber den Betrachter überfordern können, oder (c) Kombinationen aus beiden Ansätzen? Der Hauptunterschied zu HyTec besteht darin, dass letzteres keine Intervention oder Assistenz für Problemlöser bietet, sondern lediglich ihre kognitiven Prozesse untersucht. Der Hauptunterschied zu XAI-Dia und XRAISE besteht darin, dass letztere sich nicht auf kausale Zusammenhänge stützen, sondern rein datengetriebenes ML verwenden und erklären, wie dessen Ergebnisse erzeugt wurden.
Hier ist ein Überblick über die Unterschiede zwischen den Projekten:
| HyTec | XAI-Dia und XRAISE | MoCa-Dia | |
| Assistenz-Ziele | Keine |
Verstehen des Algorithmus (anstatt des Prozesses) |
Verstehen des Produktionsprozesses |
| Assistenz-Methode | Keine | Hervorheben von Bildbereichen, die der ML-Algorithmus genutzt hat | Präsentation von funktionalen/ kausalen Zusammenhängen |
| Modell-Inhalte |
Abstraktions-Hierarchie |
Datengetriebenes ML und XAI |
Funktionale/ kausale Zusammenhänge |
| Modell-Visualisierung | Von Probanden angenommene Funktionsstruktur des technischen Systems (Concept Maps) | Kritische Bildbereiche (Saliency Maps) | Korrektes Systemfunktionieren und Störungen (Diagramme von funktionalen/ kausalen Zusammenhängen) |
| Vergleich von Modellierungs-Methoden | Keine (nur lineare, expertenbasierte Master-Maps) | Verschiedene ML- und XAI-Algorithmen | Multi-linear vs. systemisch |
| Wer erstellt die Modell-Visualisierung | Von Auszubildenden selbst erstellt (Experten-Map nur zur Datenanalyse) | Von Algorithmus erstellt, durch AS bereitgestellt (automatisch generierte Bilder als Intervention) | Von Experten erstellt, durch AS bereitgestellt (Experten-Map als Intervention) |
| Systemgrenzen | Einzelmaschine (Auto, Verpackungs-maschine) | XAI-Dia: Prozesskette (Gießanlage und Transportband), XRAISE: Bahngleise |
Prozesskette (Produkt-verarbeitung und Verpackungsmaschine) |
| Art des System-Vergleichs | Zwischen Domänen (Autos vs. Verpackungs-maschinen) | XAI-Dia: keiner, XRAISE: verschiedene Umgebungsbedingungen | Innerhalb einer Domäne (verschiedene Verpackungslinien) |
| Fokus des System-Vergleichs | Kognitive Anforderungen an Diagnostiker (keine Assistenz) | XAI-Dia: keiner, XRAISE: Auswirkungen auf die menschliche Sicherheitsbewertung | Systemabhängige Anforderungen an die Assistenz (Modellierung und Visualisierung) |
Bemerkungen: AS = Assistenzsystem, ML = Machine Learning, XAI = erklärbare künstliche Intelligenz