XAIminer: KI-Entscheidungen interaktiv verstehen

XAIminer ist ein browserbasiertes Werkzeug, mit dem sich nachvollziehen lässt, worauf ein KI-Modell seine Entscheidung stützt. Im Forschungsprojekt XRAISE wird es auf eine Frage aus dem automatisierten Bahnbetrieb angewendet: Befinden sich Personen in der Nähe des Gleises oder nicht?

Warum interaktiv statt vorgegeben?

Wie nützlich eine XAI-Methode ist, hängt von Aufgabe, KI-Modell, Modellgüte und Bild ab. Eine Methode, die in einem Kontext trägt, kann in einem anderen uninformativ oder sogar irreführend sein. Deshalb schreibt das Projekt XRAISE keine Methode vor: Prüfende sollen situationsangemessen wählen, wechseln und Ergebnisse nebeneinanderlegen können. Ob das gelingt, prüfen eine experimentelle Nutzerstudie und eine Fokusgruppe mit Sicherheitsprüfern.

Im Bild oben erkennen beide Modelle die Person zuverlässig (100 % und 91 %). Die Grad-CAM-Karten zeigen aber, dass nur ConvNeXt-T (Mitte) auf die Person schaut — VGG16 (rechts) stützt sich auf den rechten unteren Bildrand. Richtiges Ergebnis, fragwürdige Begründung.

Was das System kann

XAIminer läuft im Browser und ist modular aufgebaut: beliebig viele Panels nebeneinander, jedes mit eigenem KI-Modell, Trainingsstand, XAI-Verfahren (Grad-CAM, LRP, CRAFT, CRP) und Filter. Panels lassen sich koppeln, sodass alle dasselbe Bild zeigen. Zu jedem Bild erscheinen Klassifikationswahrscheinlichkeiten und die wahre Klasse; Auffälligkeiten können notiert werden.

Im Bild oben derselbe Netztyp in zwei Trainingsständen: Der eine meldet „Person" (91 %), obwohl keine im Bild ist — die LRP-Karte (Mitte) zeigt, dass er auf das Gebäude am Bildrand reagiert (Clever-Hans-Effekt). Der saubere Trainingsstand (rechts) entscheidet korrekt.

Hintergrund: XRAISE

Beim automatisierten Fahren in den Stufen GoA3 und GoA4 muss ein technisches System den Fahrweg überwachen und Hindernisse erkennen – heute die Aufgabe des Triebfahrzeugführers. Ohne maschinelles Lernen ist das nicht zu lösen. Der Sicherheitsnachweis nach DIN EN 50716 lässt sich auf tiefe neuronale Netze jedoch nicht anwenden, weil ihre Komponenten nicht wie konventionelle Software interpretierbar sind. XRAISE untersucht, ob Methoden der erklärbaren KI diese Lücke verkleinern können – und welche Risiken entstehen, wenn Menschen XAI-Ergebnisse deuten. XAIminer ist dabei das Werkzeug, mit dem Prüfende diese Ergebnisse vergleichen.

Partner: TU Dresden (Professur für Grundlagen der Elektrotechnik; Professur für Ingenieurpsychologie und angewandte Kognitionsforschung), EYYES Deutschland GmbH, PECS-WORK GmbH.

Demo-Version: XAIminer online
Laufzeit: 2024-2026
Gefördert durch: DZSF beim Eisenbahn-Bundesamt
Kontakt: Sascha Weber, Carsten Knoll