Einsatz von Künstlicher Intelligenz in Forschungsvor­haben

Künstliche Intelligenz (KI), Algorithmen und Large Language Models (LLMs) werden zunehmend in der Forschung eingesetzt - etwa zur Datenanalyse, Bild- und Textauswertung, Mustererkennung oder Entscheidungsunterstützung. Die Ethikkommission bittet Antragstellende, die nachfolgenden Hinweise bei der Antragstellung zu beachten.

Angabe im Antrag

Der Einsatz von KI-, algorithmischen oder LLM-basierten Anwendungen ist im Antrag vollständig und nachvollziehbar darzustellen. Dies gilt insbesondere, wenn personenbezogene, pseudonymisierte, klinische oder anderweitig vertrauliche Daten (z. B. Bilddaten, Befunde oder Freitexte) verarbeitet werden.

Entscheidend ist dabei folgende Unterscheidung:

• KI als Hilfsmittel: Das System unterstützt den Forschungsprozess (z. B. statistische Auswertung, Literaturrecherche, Textüberarbeitung).
• KI als Forschungsgegenstand: Das System selbst wird entwickelt, trainiert, validiert, getestet, bewertet oder am Menschen erprobt. 

Im zweiten Fall kann eine vertiefte datenschutzrechtliche, ethische und ggf. regulatorische Prüfung erforderlich sein.

Erforderliche Angaben im Antrag

Bitte beschreiben Sie verständlich:

• Verwendungszweck der KI-/LLM-Anwendung im Vorhaben
• Art der verarbeiteten Daten
• Bezeichnung, Anbieter, Version und Funktionsweise der eingesetzten Software bzw. des Modells
• ggf. Trainings- und Validierungsdaten sowie Verweise auf einschlägige Publikationen
• Ort der Verarbeitung (lokal, institutionelle Infrastruktur, externe Anbieter, Drittland)
• etwaige Datenübermittlungen an Dritte und deren Rechtsgrundlage
• Verfahren zur Qualitätssicherung und Überprüfung der KI-Ergebnisse (z. B. menschliche Kontrolle, Plausibilitätsprüfung)
• Umgang mit möglichen Verzerrungen (Bias), Fehlern und Halluzinationen

Soweit personenbezogene, pseudonymisierte oder vertrauliche Daten verarbeitet werden, sollten die entsprechenden datenschutzbezogenen Angaben im Antrag bzw. in den einzureichenden Unterlagen nachvollziehbar dargestellt und ggf. mit den zuständigen Datenschutzbeauftragten abgestimmt werden.

Regulatorische Einordnung

Sofern KI im medizinischen Zusammenhang entwickelt, geprüft, bewertet oder eingesetzt wird, kann je nach Zweckbestimmung z. B. eine Einordnung als Medizinprodukt (MDR) in Betracht kommen. Je nach Einsatzart können zusätzliche Regelungen nach IVDR oder CTR / AMG tangiert werden. Ergänzend ist die KI-Verordnung der EU (Verordnung (EU) 2024/1689, "AI Act") zu beachten.

Maßgeblich ist daher nicht allein, dass "KI" verwendet wird, sondern wie und zu welchem Zweck. Zur ersten Orientierung kann ergänzend der Medtec Online Leitfaden des BfArM "Regulatorische Einordnung klinischer Studien mit Medizinprodukten" herangezogen werden.