Aktuelle Projekte
Bereits abgeschlossene Projekte
[XRAISE] Erklärbare KI zur Sicherheits-Evaluation im Bahnverkehr
Kann das Computer Vision (CV) System eines autonomen Zuges hinreichend sicher erkennen, ob eine Abweichung in den erfassten Bilddaten durch einen Schatten hervorgerufen wird oder vielleicht doch durch ein Kind, das auf den Gleisen spielt? Und wie kann sich ein Mensch während der Sicherheitsbewertung sicher sein, dass das CV-System sich nicht fälschlicherweise zu sicher ist? Wie kann er dafür sorgen, dass seine Sicherheitsbewertung auf hinreichend sicheren Füßen steht – vor allem dann, wenn die Technologie des CV-Systems es prinzipiell unmöglich macht, den entsprechenden Beweis zu erbringen?
In der Entwicklung zukünftiger CV-Systeme zur Kollisionsvermeidung im Schienenverkehr muss es möglich sein, deren Sicherheit anhand der Ergebnisse von tiefen neuronalen Netzen (DNN) zu bewerten. Normen aus dem Bahnbereich für die Entwicklung funktional sicherer Systeme (z.B. EN 5012x), können auf statistische Aussagen von DNN jedoch nicht appliziert werden. Die Methodik von 100% Testabdeckung ist für eine Künstliche Intelligenz (KI) nicht leistbar. Die Dimensionalität der Eigenschaftsräume innerhalb der Netze und mögliches chaotisches Verhalten verhindern eine deterministische Herangehensweise. Hinzu kommt, dass diese komplexen Interaktionen intransparent sind und die Arbeitsweise der Netze einer Black Box entspricht. Um diese Black Box transparenter zu machen, können Methoden der erklärbaren künstlichen Intelligenz (XAI) angewendet werden.
XAI bietet große Potentiale für die Sicherheitsprüfung von bahnspezifischen CV-Systemen, aber birgt auch das Risiko für kognitive Verzerrungen. Zu deren experimenteller Testung wird von folgendem Anwendungsszenario ausgegangen: Für eine Auswahl an Bildern wird durch XAI-Hervorhebungen angezeigt, welche Bereiche das DNN beachtet hat, um über das Vorhandensein von Kollisionsobjekten zu entscheiden. Basierend auf dieser Information sollen Sicherheitsprüfer bewerten, ob und unter welchen Bedingungen das CV-System richtige Entscheidungen trifft und wann es zu Problemen kommt. Dabei werden in sechs Experimenten folgende Faktoren variiert: (1) die verwendete XAI-Methode, (2) drei Sensortypen und deren multimodale Kombination, (3) verschiedene Prüfaspekte in Form von Kollisionsobjekten und Umweltbedingungen und (4) die Reliabilität des CV-Systems. Im Folgenden wird erläutert, welche Arbeitsschritte nötig sind, um diese Evaluation zu ermöglichen. Um zu klären, welche Prüfaspekte zu beachten sind und welcher technologischen Grundlagen es bedarf, erfolgt im ersten Schritt eine Anforderungsanalyse und die Architektur des CV-Systems wird definiert. Damit die geeignetsten XAI-Methoden zielführend zum Einsatz kommen, erfolgt im zweiten Schritt ein Literaturreview. Recherchiert werden für den Bahnkontext geeignete XAI-Methoden sowie deren Auswirkungen auf menschliche Nutzer, deren Nebenwirkungen und mögliche Maßnahmen gegen Verzerrungen. Basierend auf dieser Grundlage wird im dritten Schritt ein Evaluationsrahmen spezifiziert. Dazu gehört auch die Implementierung der technischen Grundlagen (CV-System mit DNN und XAI). Im vierten Schritt werden sechs Experimente durchgeführt, in denen ein Vergleich der XAI-Methoden erfolgt und deren Auswirkungen kritisch geprüft werden. Am Ende des Projekts werden die Ergebnisse in Handlungsempfehlungen überführt.
Im Rahmen des XRAISE-Projektes entsteht ein interaktives, webbasiertes Assistenzsystem zur Bewertung von KI-Entscheidungen: XAIminer
Laufzeit: 2024-2026
Gefördert durch: Eisenbahn-Bundesamt
Kontakt: Romy Müller
[INAK] Interaktives nutzerzentriertes Assistenzsystem für die Knochenchirurgie im Kopfbereich
Beim Fräsen im Schädelknochen entstäht Lärm. Dieser Lärm lässt sich bei Cochlea-Implantat-Operationen nicht vermeiden, aber durchaus so reduzieren, dass das verbleibende Hörvermögen des Patienten nicht geschädigt wird. Das stellt Chirurgen jedoch vor die herausfordernde Aufgabe, verschiedene Prozessparameter situationsgerecht anzupassen. Wie kann man Chiruregn mithilfe von KI darin unterstützen?
Im Projekt wird ein selbstlernendes KI-basiertes Assistenzsystem für die Ohrchirurgie entwickelt. Dieses System unterstützt Chirurgen darin, Fräsarbeiten am Schädelknochen so durchzuführen, dass Patienten vor Schädigungen durch Lärm, Wärme oder Verletzungen von Nerven und Gefäßen bewahrt werden. Dazu erfasst das System mit moderner Sensortechnologie verschiedene Prozesswerte und nutzt KI-Verfahren, um aus der Kombination dieser Werte in Zusammenhang mit individuellen Patientendaten vorhersagen zu können, wann die Situation droht, für den Patienten gefährlich zu werden. Die Ergebnisse der KI-Algorithmen sollen so an Chirurgen kommuniziert werden, dass sie auf dieser Basis die aktuelle Situation genauer verstehen können und in ihrer Entscheidungsfindung unterstützt werden.
Laufzeit: 2024-2026
Gefördert durch: SAB
Kontakt: Romy Müller
[MoCa-Dia] Modellieren und Visualisieren von Kausalbeziehungen in Prozessketten: Wie beeinflussen multi-lineare, systemische und kombinierte Methoden die menschliche Störungsdiagnose?
Viele Störungen in der Verarbeitungs- und Verpackungsindustrie sind auf vorherige Produktionsschritte zurückzuführen. Solche Ursachen sind Operateuren oft nicht bekannt, so dass es schwierig ist, Fehler richtig zu diagnostizieren. Unterstützungssysteme könnten das Verständnis für kausale Zusammenhänge fördern, indem sie zum Beispiel Kausaldiagramme anbieten. Solche multilinearen Fehlermodelle bilden jedoch die Komplexität der Anlagen nicht angemessen ab. Dies können systemische Methoden, die zeigen, wie Wechselwirkungen von Systemfunktionen möglicherweise unerwünschte Effekte hervorrufen. Allerdings können diese komplexen und eher abstrakten Modelle schwer zu verstehen und anzuwenden sein. Daher werden Methodenkombinationen benötigt, aber es ist unklar, welche Information wie dargestellt werden soll und wie sich dies auf die menschliche Fehlerdiagnose auswirkt. Diese Fragen werden im Projekt untersucht.
Zunächst modellieren wir die kausalen Beziehungen in einer Prozesskette mit einer multi-linearen, einer systemischen und zwei kombinierten Methoden. Die Kombinationen basieren entweder auf Kausaldiagrammen oder Funktionsnetzen, in die sie Informationen der jeweils anderen Methode integrieren. Darüber hinaus liefern sie Information auf verschiedenen Abstraktionsebenen und unterstützen damit das Erkennen allgemeiner Prinzipien sowie das Integrieren von Funktionswissen mit konkreten Symptombeobachtungen. Anschließend testen wir die Generalisierbarkeit der Modelle, indem wir sie auf drei weitere Verpackungslinien übertragen, die sich in ihrer Ähnlichkeit zur ersten unterscheiden. Schließlich formalisieren wir die Modelle in einer domänenspezifischen Ontologie der Kausalbeziehungen.
Im empirischen Teil untersuchen wir, wie sich die Modellvisualisierungen auf die menschliche Fehlerdiagnose sowie auf das Lernen und Verstehen von Kausalbeziehungen auswirken. In vier Experimenten wird jeweils eine der Visualisierungen verwendet, wobei zwei situative Faktoren variiert werden, die die Auswirkungen der Visualisierungen beeinflussen könnten (Komplexität der Fehler und Verfügbarkeit visueller Hervorhebungen). Ein fünftes Experiment vergleicht die Visualisierungen in ein und demselben Experiment. Wir messen die Geschwindigkeit und die Korrektheit bei der Auswahl von Fehlerursachen, das Prüfen relevanter Prozessparameter und das Erinnern und Ableiten von Kausalinformation. Folgende Hypothesen werden getestet: (1) für einfache Fehler sind Kausaldiagramme nützlich, das systemische Modell jedoch nicht, (2) für Wechselwirkungen sind beide Basismodelle unzureichend (weil Kausaldiagramme sie nicht adäquat darstellen, während systemische Modelle zu komplex sind und diagnostisch relevante Information fehlt), (3) die kombinierten Visualisierungen erhalten die Vorteile beider Methoden und mildern die Probleme ab. Die Ergebnisse dienen dazu, unsere Modelle anzupassen und das beste in ein Unterstützungskonzept zu integrieren, das wir mit Operateuren evaluieren.
Laufzeit: 2024-2027
Gefördert durch: DFG
Kontakt: Romy Müller
[DESIGNATE] Disruption im Internet: Mehr Souveränität gegenüber Deceptive Technologies
Bei der Interaktion mit Websites finden zunehmend Entscheidungsarchitekturen Einsatz, die den eigentlichen Interessen der Nutzer:innen zuwiderlaufen. Dabei handelt es sich um sogenannte Dark Patterns. Durch die Zusammenarbeit von Informatik, Psychologie und Rechtwissenschaft sollen innerhalb des Projekts folgende Fragen untersucht werden: (i) Inwieweit ist eine Verhaltensbeeinflussung durch ausgewählte Dark Patterns möglich? (ii) Konzeption und Effektivitätsanalyse von softwareseitigen Gegenmaßnahmen. (iii) Untersuchung der rechtlichen Zulässigkeit von Dark Patterns sowie Bedarf nach zusätzlicher rechtlicher Regulierung. Weitere Informationen gibt es hier.
Laufzeit: 2022 - 2026
Gefördert durch: BMBF / EXU
Kontakt: Deborah Löschner
[XAI-Dia] Erklärbare künstliche Intelligenz in der Störungsdiagnose: Einfluss auf menschliche Diagnoseprozesse und Diagnoseleistung
Die Störungsdiagnose in industriellen Anlagen ist eine herausfordernde Aufgabe. Obwohl sie durch maschinelles Lernen (ML) unterstützt werden kann, ist eine Kooperation von Mensch und Maschine essentiell, um ML-Algorithmen zu überwachen und zu bewerten. Dies wird jedoch dadurch erschwert, dass ML auf Black-Box-Modellen beruht. Um die Transparenz zu erhöhen, kann erklärbare künstliche Intelligenz (XAI) Information darüber liefern, welche Merkmale das ML genutzt hat, um ein Ergebnis zu erzielen. Das kann zum Beispiel durch ein Hervorheben der Bildbereiche erfolgen, die der Algorithmus beachtet hat. Bisherige Studien berichten in anderen Kontexten sowohl Vorteile als auch Risiken von XAI. Allerdings ist bislang unklar, wie XAI die Prozesse und Leistung bei der Störungsdiagnose beeinflusst. Vor allem sollte untersucht werden, unter welchen Bedingungen XAI dazu führt, dass Personen ML-Ergebnisse kritisch bewerten oder aber sich auf inkorrekte Erklärungen verlassen.
Das Projekt untersucht wie Prozess und Leistung bei der Diagnose durch XAI beeinflusst werden, wenn ML-Ergebnisse auf drei Ebenen erklärt werden: Anomaliedetektion, Klassifikation und Diagnose. XAI zur Detektion und Klassifikation wird umgesetzt, indem Bereiche in Bildern von Produkten hervorgehoben werden, die vom Algorithmus beachtet wurden. XAI zur Diagnose informiert darüber, welche Prozessparameter aus dem vorangegangenen Produktionsschritt genutzt wurden. In einen computerbasierten Schokoladenproduktions-Szenario erhalten Personen entweder XAI-Information oder werden nur über die Ergebnisse des ML informiert. Ihre Aufgabe ist es, diese Ergebnisse zu bewerten. Neben der Anwesenheit von XAI werden die Korrektheit des ML und die Schwierigkeit der Aufgabe variiert.
Zur Erfassung der Diagnoseleistung analysieren wir Lösungszeiten und Fehler. Zur Erfassung von Diagnoseprozessen analysieren wir Blickbewegungen und Handlungen zur Überprüfung der ML-Ergebnisse. Wie nehmen an, dass XAI die Geschwindigkeit erhöht, wenn ML-Ergebnisse korrekt sind und Fehlerraten verringert, wenn ML-Ergebnisse falsch sind. Allerdings erwarten wir, dass diese Effekte vom Fehlertyp abhängen. Konkret nehmen wir an, dass Personen sich zu stark auf XAI verlasen, wenn neben dem hervorgehobenen Fehler weitere Fehler existieren. Weiterhin vermuten wir, dass die Effekte von XAI mit der Aufgabenschwierigkeit variieren. Um diese Hypothesen zu testen, führen wir drei Experimente durch, eins für jede Ebene von ML und XAI (Detektion, Klassifikation, Diagnose). Außerdem wählen wir mittels einer Pilotstudie geeignete Stimuli aus und bewerten im Rahmen einer Nutzerstudie die Interpretierbarkeit der XAI-Ausgaben.
In einer Feldstudie untersuchen wir schließlich, inwiefern die Ergebnisse sich auf die Störungsdiagnose von Experten in einer realen Anlage übertragen lassen. Insgesamt beschreiben unsere Studien wie Leistung von XAI beeinflusst wird und erklären dies durch Einblicke in den zugrundeliegenden Diagnoseprozess.
Laufzeit: 2022-2025
Gefördert durch: DFG
Kontakt: Romy Müller
[HyTec] Hypothesen beim diagnostischen Problemlösen in technischen Domänen: Mentale Grundlage, Prozess und Ergebnis
Beim diagnostischen Problemlösen spielen Hypothesen über Fehlerursachen eine zentrale Rolle und bestimmen die Qualität nachfolgender Diagnosen. In einem vorangegangenen Projekt wurde festgestellt, dass Auszubildende der Kfz-Mechatronik unterschiedliche Strategien anwenden (fallbasiert, computerbasiert und modellbasiert), und dass vor allem bei schwierigen Problemen die Abhängigkeit von mentalen Modellen über das System entscheidend ist. Es ist jedoch nicht hinreichend verstanden, ob die Strategien einen kausalen Effekt haben, wie die modellbasierte Strategie zur Generierung von Hypothesen angewendet wird und ob sich dies zwischen Domänen unterscheidet.
Basierend auf der in unserem vorherigen Projekt verwendeten Methode werden vier Studien durchgeführt. Auszubildende der Kfz-Mechatronik und Mechatronik diagnostizieren Fehlerursachen aus ihrer jeweiligen Domäne, entweder in einer Fahrzeugsimulation oder an einer Verpackungsmaschine. Sie generieren zunächst Hypothesen und testen diese später, um Fehlerursachen zu diagnostizieren. Daten aus Logfiles, Eyetracking-Daten und verbale Protokolle werden verwendet, um den Prozess und die Ergebnisse der Hypothesengenerierung zu charakterisieren. Darüber hinaus erstellen die Teilnehmer in zwei Studien Concept Maps, die ihre mentalen Modelle des Systems widerspiegeln. Der Inhalt dieser Modelle wird mit dem Verhalten beim Hypothesengenerieren in Zusammenhang gebracht.
Studie 1 dient als Replikation des vorangegangenen Projekts zu den Auswirkungen von drei spontan angewandten Strategien in der Kfz-Mechatronik und ergänzt dies um eine detaillierte Charakterisierung des Hypothesengenerierungsprozesses. Studie 2 manipuliert die Strategien in der Kfz-Mechatronik experimentell, um kausale Zusammenhänge zwischen den Strategien und der Qualität der Hypothesengenerierung zu untersuchen. In Studie 3 werden Experten in beiden Domänen untersucht und die mentalen Modelle von Experten über das Fahrzeug oder die Verpackungsmaschine werden gemessen. In Studie 4 werden diese Expertenmodelle verwendet, um die mentalen Modelle von Auszubildenden zu bewerten. Es wird untersucht, wie sich die Qualität von mentalen Modellen auf Prozess und Ergebnis der Hypothesengenerierung auswirken. In Kombination ermöglichen die Studien eine theoretisch und empirisch fundierte Beschreibung von Hypothesengenerierungsprozessen und der Rolle von mentalen Modellen in verschiedenen technischen Domänen. Auf Basis dieser Beschreibung liefern die Studien Implikationen für die Unterstützung von Hypothesengenerierungsprozessen in der beruflichen Ausbildung.
Laufzeit: 2021-2024
Gefördert durch: DFG
Kontakt: Romy Müller
[CeTI] Das Zentrum für Taktiles Internet mit Mensch-Maschine-Interaktion
Im Zuge der Digitalisierung wird die Vernetzung von Mensch und Maschine zunehmend vorangetrieben. Diese ermöglicht uns nicht nur den Zugriff auf Informationen – vielmehr nehmen Menschen und Maschinen Einsicht in Prozesse, die kooperativ kontrolliert und gesteuert werden sollen. Dabei ist eine funktionierende Interaktion zwischen Mensch und sogenannten Cyber-Physischen Systemen (CPS) Voraussetzung und gleichzeitig Chance gleichberechtigt am gesellschaftlichen Leben unabhängig von z.B. Alter oder körperlichen Einschränkungen teilzuhaben.
Das Exzellenzcluster CeTI (Centre for Tactile Intelligence with Human-in-the-Loop) verfolgt durch seine einzigartige interdisziplinäre Forschung sechs zentrale Zielstellungen, um ein Gelingen der Echtzeit-Kommunikation des Menschen mit vernetzten automatisierten Systemen und ein gegenseitiges Lernen beider zu ermöglichen. Dazu zählen der Aufbau (1) intelligenter Netzwerke sowie (2) eines grundlegenden Verständnisses für menschliches Lernen und zielgerichtetes Verhalten, welche kooperatives Lernen und Interagieren zwischen Mensch und CPS zuverlässig in (quasi) Echtzeit ermöglichen. Zudem sollen (3) technologische Neuerungen zur Erweiterung der menschlichen Sensor- und Aktuatorsysteme, (4) neue haptische Codierverfahren zur Bewältigung der angereicherten sensorischen Informationen sowie (5) eine geeignete Elektronik (flexibel, schnell, rekonfigurierbar) entwickelt werden und letztlich (6) eine Übertragung der Neuentwicklungen in die Telemedizin, Industrie (Coworking) und innovative Lehr- und Lernumgebungen erfolgen.
Als Teil des Clusters untersuchen wir, inwiefern die erweiterte Sinneswahrnehmung, gerade auch beim Zusammenspiel verschiedener Sinnesmodalitäten (visuell, haptisch, auditiv), und die Interaktion zwischen Mensch und CPS von zeitlichen und anderen Kontext-Faktoren wie unterschiedlichen Zielsetzungen beeinflusst werden. Für viele Anwendung ist es z.B. entscheidend die Auswirkungen von zeitlichen Verzögerungen etwa bei der Umsetzung von ausgeführten Kontrollhandlungen zu berücksichtigen. Auch werden geeignete Schnittstellen für die Integration multimodaler Sinnesinformationen und eine optimierte erweiterte Interaktion zwischen Mensch und CPS entwickelt.
Laufzeit: seit 01/2019
Gefördert durch: DFG (Exzellenzcluster 2050)
Weiterführende Informationen: TUD - Exzellenzcluster
Kontakt: Corinna Kührt