CPEC

Wie müssen Systeme konzipiert, geregelt und im Hinblick auf die Transparenz eingesetzt werden, um eine wirksame menschliche Aufsicht und Kontrolle zu ermöglichen?

KI-basierte Systeme werden zunehmend in Bereichen eingesetzt, in denen ihr Einsatz mit gesellschaftlichen Risiken verbunden ist. Die Erhöhung der Systemtransparenz kann eine Strategie sein, um solche Risiken zu vermeiden oder zumindest deutlich abzuschwächen. Denn mehr Klarheit verspricht bessere Systeme, indem sie beispielsweise die Entwicklung robusterer Systeme ermöglicht oder wichtige
Systemeigenschaften und Funktionalität überprüfbar macht. Weitere mögliche risikomindernde Effekte von Transparenz sind jedoch weniger gut bekannt.

Dieses Projekt widmet sich einer besonders wichtigen, aber auch besonders komplexen Strategie zur Risikominimierung, die auf Einsicht beruht: dem menschlichen Versagen. Diese Strategie konzentriert sich auf Risiken, die sich nicht ohne weiteres im Voraus vermeiden lassen. So können autonome cyber-physische Systeme (CPS; z. B. Drohnen) zwar mit hoher Präzision
Obwohl autonome cyber-physische Systeme (CPS; z. B. Drohnen) in kontrollierten Umgebungen mit hoher Präzision arbeiten, kann ihr Einsatz in der realen Welt in unvorhergesehenen Fällen zu lebensbedrohlichen Unfällen führen. In ähnlicher Weise werden KI-basierte Systeme zunehmend zur Unterstützung der Entscheidungsfindung in Hochrisikobereichen (z. B. Management, Medizin) eingesetzt, wo ihre Ergebnisse das Schicksal von Menschen direkt beeinflussen.

Obwohl KI-gestützte Entscheidungen in solchen Bereichen eine höhere Genauigkeit aufweisen können als die von Experten, sind sie nie perfekt. Manchmal können sie z. B. weniger genaue oder sogar unfair verzerrte Ergebnisse für bestimmte Minderheitengruppen liefern, was ein inakzeptables Systemverhalten widerspiegelt, das Risiken für die beteiligten Akteure birgt. Dies betrifft Menschen, die diese Systeme zur Unterstützung ihrer Entscheidungen nutzen (z. B. können voreingenommene Systemempfehlungen zu Gerichtsverfahren führen), oder Menschen, die von solchen Entscheidungen oder Systemen betroffen sind (z. B. werden Bewerbungen aufgrund fehlerhafter Systementscheidungen abgelehnt). Solche Risiken können zur Laufzeit auftreten und haben möglicherweise Ursachen, die auf die Entwurfszeit zurückgeführt werden können, wenn die Undurchsichtigkeit eine angemessene Bewertung und Vorhersage unbeabsichtigter Nebenwirkungen verhindert. Gleichzeitig können solche Risiken während der Inspektionszeit fortbestehen, wenn die Undurchsichtigkeit die Entdeckung von Fehlerursachen verhindert, was z. B. die Fähigkeit untergraben kann, die Verantwortlichkeit für nachteilige Ergebnisse angemessen zuzuordnen. Um solche Risiken zu minimieren, befürworten ethische Leitlinien wie der UNESCO-Entwurf zur KI-Ethik und die Ethik-Leitlinien der europäischen hochrangigen Expertengruppe für vertrauenswürdige KI die menschliche Kontrolle und Aufsicht. Gleichzeitig betonen sie die zentrale Rolle des Durchblicks für die Förderung menschlicher Kontrolle. In jüngster Zeit haben Rechtsrahmen wie der Vorschlag der EU-Kommission für ein KI-Gesetz aus dem Jahr 2021 oder das deutsche Gesetz über das autonome Fahren die Forderungen nach Aufsicht, Kontrolle und Klarheit aufgenommen und in konkrete (vorgeschlagene) Vorschriften gegossen, wobei die menschliche Aufsicht als wichtig für die Gewährleistung der Sicherheit und der Einhaltung der Gesetze hervorgehoben wird. Mit der wachsenden Notwendigkeit, die mit KI-basierten Systemen verbundenen Risiken zu managen, entstehen weitere regulatorische Anforderungen.
Während in den Ethikrichtlinien und in den vorgeschlagenen Vorschriften weltweit Einigkeit darüber zu herrschen scheint, dass die menschliche Aufsicht für die Risikominimierung von entscheidender Bedeutung ist und dass Klarheit eine wichtige Voraussetzung für die menschliche Aufsicht ist, bleibt das genaue Zusammenspiel zwischen den technischen Grundlagen der Klarheit und den rechtlichen Verpflichtungen zur Erreichung der Klarheit unklar.

Der Transregio-Sonderforschungsbereich 248 „Grundlagen durchschaubarer Softwaresysteme“ soll das Verstehen in einer cyber-physischen Welt mit dem Menschen im Mittelpunkt ermöglichen. Er wurde im Januar 2019 eingerichtet. Nach einem erfolgreichen Verlängerungsantrag befindet er sich nun in seiner zweiten Förderperiode, die bis 2026 finanziert wird.

Gefördert durch die DFG Deutsche Forschungsgemeinschaft 

Weitere Informationen finden Sie hier.