XAIminer: KI-Entscheidungen interaktiv verstehen
Warum interaktiv statt vorgegeben?
Wie nützlich eine XAI-Methode ist, hängt von Aufgabe, KI-Modell, Modellgüte und Bild ab. Eine Methode, die in einem Kontext trägt, kann in einem anderen uninformativ oder sogar irreführend sein. Deshalb schreibt das Projekt XRAISE keine Methode vor: Prüfende sollen situationsangemessen wählen, wechseln und Ergebnisse nebeneinanderlegen können. Ob das gelingt, prüfen eine experimentelle Nutzerstudie und eine Fokusgruppe mit Sicherheitsprüfern.
Im Bild oben erkennen beide Modelle die Person zuverlässig (100 % und 91 %). Die Grad-CAM-Karten zeigen aber, dass nur ConvNeXt-T (Mitte) auf die Person schaut — VGG16 (rechts) stützt sich auf den rechten unteren Bildrand. Richtiges Ergebnis, fragwürdige Begründung.
Was das System kann
Xaminer läuft im Browser und ist modular aufgebaut: beliebig viele Panels nebeneinander, jedes mit eigenem KI-Modell, Trainingsstand, XAI-Verfahren (Grad-CAM, LRP, CRAFT, CRP) und Filter. Panels lassen sich koppeln, sodass alle dasselbe Bild zeigen. Zu jedem Bild erscheinen Klassifikationswahrscheinlichkeiten und die wahre Klasse; Auffälligkeiten können notiert werden.
Im Bild oben derselbe Netztyp in zwei Trainingsständen: Der eine meldet „Person“ (87 %), obwohl keine im Bild ist — die LRP-Karte (Mitte) zeigt, dass er auf das Gebäude am Bildrand reagiert (Clever-Hans-Effekt). Der saubere Trainingsstand (rechts) entscheidet korrekt.
Laufzeit: 2024-2026
Gefördert durch: DZSF beim Eisenbahn-Bundesamt
Kontakt: Sascha Weber, Carsten Knoll