In der Fachzeitschrift „The Lancet Digital Health“ geben Forschende um die Professoren Stephen Gilbert und Jakob N. Kather vom Else Kröner Fresenius Zentrum für Digitale Gesundheit der Technischen Universität Dresden einen Überblick über Stärken und Schwächen sowie die regulatorischen Herausforderungen aktueller Gesundheitsanwendungen, die auf großen Sprachmodellen, sogenannten Large Language Models – LLMs, basieren. Sie fordern Rahmenbedingungen, die den Fähigkeiten und Grenzen dieser KI-Anwendungen gerecht werden und betonen, dass bestehende Vorschriften dringend durchgesetzt werden müssen. Ein weiterhin zögerliches Vorgehen seitens der Behörden gefährdet nicht nur die Nutzerinnen und Nutzer, sondern auch das Potenzial zukünftiger LLM-Anwendungen in der Medizin.

Chancen und Risiken von LLM-basierten Gesundheitsanwendungen
Anwendungen, die auf Künstlicher Intelligenz (KI) basieren, sind mittlerweile ein unverzichtbarer Bestandteil der Medizin. Große Sprachmodelle– wie GPT-4 bieten vielfältige Unterstützungsmöglichkeiten in der Diagnose, Versorgung und Betreuung von Patientinnen und Patienten. Gleichzeitig gibt es Bedenken bezüglich ihrer Sicherheit und Regulierung. Ergebnisse variieren häufig, sind schwer nachvollziehbar und bergen das Risiko erfundener Aussagen (Halluzinationen). Die Zulassung LLM-basierter Anwendungen für medizinische Zwecke als Medizinprodukte nach US- und EU-Recht stellt die zuständigen Behörden deshalb vor Herausforderungen. Trotz der Risiken, etwa durch Fehldiagnosen oder ungeprüfte medizinische Ratschläge, sind solche Anwendungen bereits auf dem Markt erhältlich. Seit der Einführung von großen Sprachmodellen haben Entwickler wie Google, Meta, OpenAI und Microsoft diese stetig verbessert und neue Modelle vorgestellt. Auch für medizinische Anwendungen wird deren Leistung immer besser. „LLMs haben das Potenzial die Gesundheitsversorgung zu verändern und gewinnen in den Bereichen Krebsdiagnose und -behandlung sowie bei Vorsorge, Fernbetreuung, Dokumentation und Unterstützung bei medizinischen Entscheidungen immer mehr an Bedeutung. Sie bieten großes Potenzial, bergen aber auch Risiken“, sagt Prof. Dr. med. Jakob N. Kather, Professor für Klinische Künstliche Intelligenz am EKFZ für Digitale Gesundheit der TU Dresden und Onkologe am Dresdner Universitätsklinikum Carl Gustav Carus. Derzeit wird noch intensiv daran geforscht, ob bei medizinischen Anwendungen die Vor- oder Nachteile überwiegen. Abgesehen von den vielseitigen Möglichkeiten und Chancen weisen die Forschenden in ihrer Publikation klar auf offene rechtliche und ethische Fragen hin, insbesondere mit Blick auf Datenschutz, Wahrung des geistigen Eigentums sowie auf die Problematik geschlechtsspezifischer und rassistischer Vorurteile.

Zulassung als Medizinprodukte erforderlich
Sobald Anwendungen medizinischen Rat für Laien bezüglich ihrer Diagnose oder Behandlung von Erkrankungen anbieten, handelt es sich nach EU- und US-Recht um Medizinprodukte, die als solche eine entsprechende Zulassung erfordern. Während die Einhaltung dieser Regelungen bei bisherigen, eng gefassten Anwendungen relativ eindeutig war, stellt die Vielseitigkeit der LLMs die Behörden vor regulatorische Herausforderungen. Trotz rechtlicher Unklarheiten, sind solche Anwendungen jedoch unreguliert und ohne Zulassung durch die zuständigen Behörden auf dem Markt erhältlich. Die Forschenden machen deutlich, dass Behörden in der Pflicht stehen, geltende Regeln durchzusetzen. Gleichzeitig sollten sie sicherstellen, dass angepasste Rahmenbedingungen für die Prüfung und Regulierung von auf großen Sprachmodellen basierenden Gesundheitsanwendungen entwickelt werden. „Diese Technologien existieren bereits auf dem Markt und wir müssen zwei grundlegende Dinge beachten, um eine sichere Entwicklung solcher Anwendungen zu gewährleisten. Erstens braucht es passende Methoden, um diese neuen Technologien bewerten zu können. Zweitens müssen die geltenden rechtlichen Vorgaben gegenüber unsicheren LLM-Anwendungen auf dem Markt durchgesetzt werden. Das ist unerlässlich, wenn wir diese medizinischen KI-Anwendungen in Zukunft sicher nutzen wollen“, sagt Prof. Dr. Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit der TU Dresden.

Publikation
Oscar Freyer, Isabella Catharina Wiest, Jakob Nikolas Kather, Stephen Gilbert: A future role for health applications of large language models depends on regulators enforcing safety standards; The Lancet Digital Health, 2024. https://www.thelancet.com/journals/landig/article/PIIS2589-7500(24)00124-9/fulltext

Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit
Das EKFZ für Digitale Gesundheit an der TU Dresden und dem Universitätsklinikum Carl Gustav Carus Dresden wurde im September 2019 gegründet. Es wird mit einer Fördersumme von 40 Millionen Euro für eine Laufzeit von zehn Jahren von der Else Kröner-Fresenius-Stiftung gefördert. Das Zentrum konzentriert seine Forschungsaktivitäten auf innovative, medizinische und digitale Technologien an der direkten Schnittstelle zu den Patientinnen und Patienten. Das Ziel ist dabei, das Potenzial der Digitalisierung in der Medizin voll auszuschöpfen, um die Gesundheitsversorgung, die medizinische Forschung und die klinische Praxis deutlich und nachhaltig zu verbessern.

Kontakt
EKFZ für Digitale Gesundheit
Anja Stübner und Dr. Viktoria Bosak
Presse- und Öffentlichkeitsarbeit
Tel.: +49 351 – 458 11379

https://digitalhealth.tu-dresden.de/