Sicherer Einsatz großer Sprachmodelle in der Krebsmedizin: Forschende des EKFZ für Digitale Gesundheit gestalten neue internationale Leitlinie mit

Unter der Leitung von Prof. Jakob N. Kather, Professor für Clinical Artificial Intelligence am Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit, Technische Universität Dresden (TUD) und Universitätsklinikum Carl Gustav Carus Dresden, hat ein internationales Expertengremium Leitlinien für den sicheren Einsatz von Large Language Models (LLMs) in der Onkologie erarbeitet. Prof. Stephen Gilbert und Dr. med. Isabella Wiest, EKFZ für Digitale Gesundheit, brachten ebenfalls ihre Expertise mit ein. Die Initiative entstand innerhalb der „Real World Data & Digital Health Task Force“ der Europäischen Gesellschaft für Medizinische Onkologie (ESMO). Die neuen Leitlinien sollen Patientinnen und Patienten, medizinisches Fachpersonal sowie Gesundheitseinrichtungen beim verantwortungsvollen Einsatz von KI-Sprachmodellen unterstützen.

Die Europäische Gesellschaft für Medizinische Onkologie (ESMO) hat gerade die ESMO-Leitlinien zur Verwendung großer Sprachmodelle in der klinischen Praxis (ELCAP) veröffentlicht. Dabei handelt es sich um die ersten strukturierten Empfehlungen für den sicheren und effektiven Einsatz von KI-Sprachmodellen in der Onkologie. Die ELCAP wurden in der peer-reviewten Fachzeitschrift „Annals of Oncology” der ESMO veröffentlicht und erscheint zeitgleich mit einer Sitzung zum Thema „ChatGPT und Krebsbehandlung” auf dem ESMO-Kongress 2025 in Berlin.

ELCAP konzentriert sich auf unterstützende LLMs, die unter menschlicher Aufsicht arbeiten – also darauf ausgelegt sind, Fachpersonal durch Informationsbereitstellung oder Texterstellung zu unterstützen, nicht aber eigenständig Maßnahmen zu ergreifen.

„Diese Systeme sollen klinische Arbeitsabläufe und Entscheidungsprozesse verbessern – und nicht ersetzen“, sagte Jakob N. Kather, stellvertretender Vorsitzender der ESMO Real World Data & Digital Health Task Force, Professor für Clinical AI an der TUD sowie Onkologe am Dresdener Universitätsklinikum (NCT/UCC) und Mitautor der Studie. „Gleichzeitig weist die Leitlinie auf die rasche Verbreitung autonomer oder ‚agentischer‘ KI-Modelle hin, die ohne direkte Anweisungen Maßnahmen einleiten können. Dies bringt neue sicherheitsrelevante, regulatorische und ethische Herausforderungen mit sich und wird in Zukunft spezifische Leitlinien erfordern“, fügte er hinzu.

„Eine der größten Herausforderungen bei der Einführung von LLMs in die klinische Praxis besteht darin, mit regulatorischen Einschränkungen und der heterogenen Umsetzung von Regularien in verschiedenen Regionen – selbst innerhalb der EU – umzugehen. Wir brauchen EU-weit pragmatische Standards und Governance-Strukturen, die einerseits zentrale Schutzmechanismen wie Transparenz, Validierung und menschliche Aufsicht wahren und zugleich die notwendige Flexibilität für lokale Umsetzung und Anwendung ermöglichen“, erklärte Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit der TUD.

In allen Anwendungsbereichen hängt die Zuverlässigkeit der Ergebnisse maßgeblich von der Vollständigkeit und Richtigkeit der Eingabedaten ab: Lücken in der klinischen Dokumentation oder unvollständige Patientenanfragen können zu ungenauen oder irreführenden Antworten führen – was die Notwendigkeit von menschlicher Aufsicht und klaren Eskalationswegen deutlich macht.

 „ELCAP erkennt an, dass der Wert von Sprachmodellen davon abhängt, wer sie verwendet“, sagte Miriam Koopman, Vorsitzende der ESMO Real World Data & Digital Health Task Force und Mitautorin der Publikation. „Indem wir zwischen patientenorientierten, klinisch genutzten und institutionellen Hintergrundsystemen unterscheiden, definieren wir die Erwartungen für jedes Einsatzfeld: überwachte Abläufe für Patientinnen und Patienten, validierte und transparente Werkzeuge für Ärztinnen und Ärzte sowie kontinuierlich überwachte, klar gesteuerte Systeme, die in die elektronische Gesundheitsakte eingebettet sind.“ 

Mit der zunehmenden Nutzung von LLMs in der Onkologie erkennt ELCAP, dass Chancen und Risiken je nach Nutzergruppe – ob Patientinnen und Patienten, Ärztinnen und Ärzte oder Gesundheitseinrichtungen – unterschiedlich ausfallen. Deshalb sind die Empfehlungen in einer dreiteiligen Struktur aufgebaut, die übergeordnete Prinzipien in 23 Konsensaussagen für die klinische Praxis übersetzt:

• Die erste Kategorie (Typ 1) betrifft patientenorientierte Anwendungen wie Chatbots zur Aufklärung oder Symptombegleitung. Diese sollen die klinische Versorgung ergänzen, in überwachten Abläufen eingesetzt werden und klare Eskalationsmechanismen sowie einen robusten Datenschutz gewährleisten.
• Die zweite Kategorie (Typ 2) umfasst Anwendungen für medizinisches Fachpersonal, etwa zur Entscheidungsunterstützung, Dokumentation oder Übersetzung. Diese Systeme erfordern eine formale Validierung, transparente Angabe ihrer Grenzen und eine klare menschliche Verantwortlichkeit für klinische Entscheidungen.
• Die dritte Kategorie (Typ 3) betrifft institutionelle Hintergrundsysteme, die in elektronische Gesundheitsakten integriert sind und Aufgaben wie Datenextraktion, automatisierte Zusammenfassungen und die Zuordnung klinischer Studien übernehmen. Diese Systeme erfordern Tests vor der Einführung, eine kontinuierliche Überwachung auf Verzerrungen und Leistungsänderungen, institutionelle Governance und eine erneute Validierung, wenn sich Prozesse oder Datenquellen ändern.

„ESMOs Priorität ist es, sicherzustellen, dass Innovationen messbaren Nutzen für Patientinnen und Patienten bringen und praktikable Lösungen für das medizinische Personal bieten. Mit ELCAP stellt ESMO ein praxisnahes, onkologiespezifisches Rahmenwerk bereit, das den Einsatz von KI verantwortungsvoll integriert, dabei aber klinische Verantwortung, Transparenz und strikten Datenschutz wahrt“, sagte Fabrice André, Präsident der ESMO.

ELCAP wurde zwischen November 2024 und Februar 2025 von einem 20-köpfigen internationalen Expertengremium entwickelt, das Fachleute aus den Bereichen Onkologie, Künstliche Intelligenz, Biostatistik, Digitale Gesundheit, Ethik sowie Vertreterinnen und Vertreter von Patienten vereinte. Die Arbeit erfolgte unter dem Dach der ESMO Real World Data & Digital Health Task Force.

Publikation

E.Y.T. Wong, L. Verlingue, M. Aldea, M.A. Franzoi, R. Umeton, S. Halabi, N. Harbeck, A. Indini, A. Prelaj, E. Romano, E.Smyth, I. B. Tan, A. Valachis, J. Vibert, I. C. Wiest, Y.H. Yang, S. Gilbert, G. Kapetanakis, G. Pentheroudakis, M. Koopman, J.N. Kather: ESMO guidance on the use of Large Language Models in Clinical Practice (ELCAP); Annals of Oncology, 2025.

Die Veröffentlichung ist abrufbar unter: https://www.annalsofoncology.org/article/%20S0923-7534(25)04698-8/fulltext

DOI: 10.1016/j.annonc.2025.09.001

Kontakt:

Anja Stübner | Dr. Viktoria Bosak

Else Kröner Fresenius Center (EKFZ) für Digitale Gesundheit

Medizinische Fakultät Carl Gustav Carus

Technische Universität Dresden

 
+49 351 458 11379

Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit

Das EKFZ für Digitale Gesundheit an der TU Dresden und dem Universitätsklinikum Carl Gustav Carus Dresden wurde im September 2019 gegründet. Es wird mit einer Fördersumme von 40 Millionen Euro für eine Laufzeit von zehn Jahren von der Else Kröner-Fresenius-Stiftung gefördert. Das Zentrum konzentriert seine Forschungsaktivitäten auf innovative, medizinische und digitale Technologien an der direkten Schnittstelle zu den Patientinnen und Patienten. Das Ziel ist dabei, das Potenzial der Digitalisierung in der Medizin voll auszuschöpfen, um die Gesundheitsversorgung, die medizinische Forschung und die klinische Praxis nachhaltig zu verbessern. digitalhealth.tu-dresden.de

ESMO-Pressestelle
 

European Society for Medical Oncology (ESMO)

Mit mehr als 45.000 Mitgliedern aus der Onkologie ist die ESMO eine führende Referenzorganisation für onkologische Aus-, Fort- und Weiterbildung sowie Fachinformation. Getragen von der gemeinsamen Überzeugung, die bestmöglichen Behandlungsergebnisse für Patientinnen und Patienten zu erzielen, setzt sich ESMO dafür ein, allen, die sich der Krebsbekämpfung widmen, zur Seite zu stehen – indem sie die vielfältigen Bedürfnisse der #ONEoncologycommunity adressiert, #educationforLIFE fördert und sich für eine #accessiblecancerCARE engagiert. www.esmo.org