Episode 09: No longer thought: AI made - A debate about AI in medicine

Stephan Wiegand: Ein Podcast der Medizinischen Fakultät der TU Dresden in Kooperation mit der Sächsischen Zeitung, dem COSMO Wissenschaftsforum und den Städtischen Bibliotheken Dresden.

Franziska Fischer: Hallo liebe Zuhörer, liebes Publikum vor Ort und danke, dass ihr eingeschaltet habt. In der neunten Podcastfolge You Ask We Explain ‚Nicht mehr gedacht - KI gemacht‘, widmen wir uns vollständig dem Thema KI in der Medizin. Ein wie ich finde, sehr bedeutsames Thema, das unsere moderne Medizin in den nächsten Jahren stark beeinflussen könnte. Lasst uns gemeinsam herausfinden, welche Chancen, aber auch welche Sorgen die medizinische Anwendung von intelligenten Computersystemen mit sich bringt. Ich bin Franziska Fischer und werde diese Folge moderieren. Unsere heutigen Gäste haben sich extra Zeit genommen, neben ihrer klinischen und akademischen Karriere heute mit uns zu sprechen und die Fragen zu klären, die sie schon immer zum Thema KI in der Medizin interessiert haben. Begrüßen Sie mit mir zunächst Professor Dr. Ingo Röder, Direktor des Instituts für Medizinische Informatik und Biometrie, Professor für medizinische Statistik und Biometrie und Studiendekan des Studiengangs Medizin an der Medizinischen Fakultät der TU Dresden.

Ingo Röder: Hallo.

Franziska Fischer: Ingo. Erinnerst du dich, als du das erste Mal von dem Thema KI gelesen oder gehört hast? Und was waren deine ersten Gedanken zu dieser Innovation?

Prof. Ingo Röder: Das ist in der Tat gar nicht so eine einfache Frage und ich musste ein bisschen darüber nachdenken in Vorbereitung auf diesen Podcast heute, wann ich KI zum Ersten Mal gehört habe. Und in der Tat, das ist elend lange her. Ich kann mich tatsächlich erinnern. Ich habe angefangen zu studieren Mathematik 1988. Dort gab es, weiß ich nicht, im 1. Oder 2. Studienjahr eine Informatikvorlesung. Da haben wir eine Programmiersprache namens Prolog gelernt, die nämlich logische Sachen bearbeiten kann. Anders als eine prozedurale Programmiersprache war das eine, wo man quasi Definitionen angegeben hat und dann Fragen gestellt hat an das Programm. Und er hat die Fragen beantwortet. Das erinnert einen dann schon irgendwie an ChatGPT und da war KI durchaus schon ein Thema als Begriff. Später war es in meiner Doktorarbeit. Mein Doktorvater hat ein Buch geschrieben, was 1997 erschienen ist. Da gibt es ein Einführungskapitel in neuronale Netze, künstliche neuronale Netze und KI. Das war 1997 wie gesagt, die Zeiten haben sich geändert. Heute guckt man sicher anders darauf. Aber der Begriff an sich ist natürlich nicht so neu, wie er vielen heutzutage erscheint.

Franziska Fischer: Okay, dann werden wir wohl mal schauen, was man heutzutage so darüber denkt. Als nächstes möchte ich Ihnen vorstellen Privatdozentin Dr. Carina Riediger, leitende Oberärztin in der Klinik und Poliklinik für Viszeral-, Thorax und Gefäßchirurgie am Uniklinikum Dresden. (...) Carina, was motiviert dich bei deiner Forschungsarbeit die KI in deiner Arbeit in der Chirurgie einzubinden. Also, was hat dich an KI fasziniert?

Carina Riediger: Der Kernpunkt ist, dass wir an der Technischen Universität Dresden einfach das große Glück haben, nicht sehr fachspezifisch unterwegs zu sein, sondern einfach auch die Möglichkeit haben, viele technische Disziplinen mitzuhaben, mit denen wir zusammenarbeiten können. Denn ich habe KI definitiv nicht zum Ersten Mal 1988 gehört, sondern Jahrzehnte später. Und da sieht man schon in der Medizin ist das natürlich deutlich später angekommen. Birgt ja aber unglaubliche Möglichkeiten, gerade im operativen Bereich, wo wir auch technisch weiterentwickeln wollen, mit Operationstechniken, Methoden, auch Hilfsmitteln für eine Operation, ist das etwas, was für die Chirurgen interessant ist, aber auch natürlich für die Medizin, weil KI, das, denke ich, haben die meisten schon gehört, hat was mit großen Datenmengen zu tun und die sind in der Medizin auf jeden Fall vorhanden.

Franziska Fischer: Okay, dann werden wir später noch mehr dazu hören, welche Anwendungen es vielleicht auch in der Chirurgie für KI gibt. Als nächstes möchte ich vorstellen Professor Dr. Jakob Kather, Professor für Klinische Künstliche Intelligenz am Else-Kröner-Fresenius-Zentrum der Technischen Universität Dresden. (...) Jakob, Der Titel Professor für Klinische Künstliche Intelligenz breitet ja eine riesige Spanne an möglichen Forschungsfragen. Was ist vielleicht deine Vision von der Einbindung von KI in den klinischen Alltag? Also wie könnte so ein Krankenhaus aussehen mithilfe von KI Unterstützung?

Jakob N. Kather: Erst mal vielen Dank, dass ich hier sein kann. Super spannend. Ich habe meine normale ärztliche Ausbildung gemacht und dabei immer gerne noch programmiert, nebenbei und einfach Sachen ausprobiert. Und so bin ich eigentlich relativ pragmatisch zur KI gekommen. KI hat vor allem einen großen Stellenwert in der Bildverarbeitung. Und die Medizin ist voll mit Bildern und ich wollte dann immer selber Probleme lösen, die mit Bildern zu tun haben. Zum Beispiel in der Krebsmedizin, was auch mein klinisches Feld ist. Was ich dann festgestellt habe, ist, dass es natürlich ein total langer Weg ist, um die Sache in die Klinik zu bringen. Das dauert viele Jahre, von der Wissenschaft bis zur klinischen Anwendung. Zu Recht, weil die Patientinnen und Patienten ja ein Recht darauf haben, dass sie nur mit sicheren KI Methoden in Kontakt kommen. Und daher muss man sagen, dass man da immer sehr lange Geduld haben muss. Aber am Ende, die Vision ist ganz klar In der Medizin gibt es viele Sachen, die uns als Ärztinnen und Ärzten Spaß machen, aber auch viele langweilige, repetitive Sachen. Und mein Traum wäre eigentlich, dass die ganzen langweiligen, repetitiven Sachen von der KI schneller wegautomatisiert werden und man sich als Ärztin oder Arzt den spannenden Sachen widmen kann. Und für die Patienten ist das am Ende auch gut, weil die Ärztinnen und Ärzte mehr Zeit haben und mehr geistige Kapazität, sich mit den spannenden Themen auseinanderzusetzen. Und das ist so meine Vision, die mich antreibt.

Franziska Fischer: Okay, das klingt für mich als Medizinstudentin natürlich ziemlich attraktiv, wenn sich diese Änderungen so ergeben. Ich stelle mich auch mal kurz vor Studentin an der TU Dresden. Ich promoviere auch in einem Projekt, das sich mit künstlicher Intelligenz beschäftigt. Wir versuchen, eine künstliche Intelligenz herzustellen, die Beatmungseinstellungen vorschlägt. Aber das erste, woran ich denken muss, wenn ich das Wort KI höre, ist, wie wahrscheinlich auch vielen Zuhörern erstmal das Wort ChatGPT. Das ist mittlerweile so allgegenwärtig und es gibt ja auch ab und zu Schlagzeilen. Chat GPT hat wohl einen Hund richtig diagnostiziert. Da stellt sich natürlich die Frage ist das auch interessant für den medizinischen Bereich? Kann ich da als Studentin vielleicht auch mal ein paar Fragen beantworten, indem ich ChatGPT? Frage Kommt es auch zur richtigen Diagnose? Damit verbunden sind natürlich aber auch viele problematische Fragen Was ist mit der Datensicherheit? Wenn ich da meine Gesundheitsdaten reingebe? Kann ich so einem künstlichen System vertrauen? Sind diese Diagnosen richtig? Aber lassen Sie uns erst mal das Feld von vorne aufrollen. Zuerst mit ein paar grundlegenden Fragen. Ingo Stichwort Intelligenz Was ist künstliche Intelligenz und wodurch unterscheidet sie sich eventuell von menschlicher?

Ingo Röder: Hm, gute Frage am Anfang. Ich fürchte, ich kann das auch nicht vollständig beantworten. Ich glaube, unsere Runde hier vorne, da fehlt der Psychologe oder die Psychologin jetzt an der Stelle, weil zunächst müsste man sich ja mal unterhalten. Was ist denn Intelligenz überhaupt? Also wenn ich anfange zu sagen menschliche Intelligenz, künstliche Intelligenz, was ist der Unterschied? Wenn ich nicht mal weiß, was Intelligenz ist, fällt es mir verhältnismäßig schwer, die beiden Sachen miteinander zu vergleichen. Intelligenz, wenn man mal so landläufige Definitionen anguckt, hat es ja mit kognitiven oder geistigen Leistungen zu tun und mit Problemlösen, also die Fähigkeit, selbstständig Probleme lösen zu können. Und da muss ich sagen ja, also Algorithmen der künstlichen Intelligenz können durchaus Probleme lösen. Wenn das die Frage ist, ist dann noch die Frage welche Probleme? Aber Problemlösungen können sie durchaus. Also der Jakob hat das gerade gesagt. Ein Bild. Bestimmte Strukturen in dem Bild erkennen ist ein Problem. Das kann man mit KI Methoden lösen. Also insofern hat KI durchaus Eigenschaften, die man mit Intelligenz bezeichnen kann. Andererseits, wenn man beim Menschen guckt Intelligenz, da kommen noch andere Sachen mit rein. Da kommen dann auch so Voreingenommenheiten, die da reinkommen, vielleicht auch Gefühle, die das mit beeinflussen. Dann die Entscheidungen, die man trifft bei einem Problemlösen. Und da bin ich mir nicht sicher und hoffe ehrlich gesagt, dass das eine Sache ist, die künstliche Intelligenz heutzutage vielleicht (noch) nicht kann.

Franziska Fischer: Dann habe ich mich gefragt Wie lernt so eine künstliche Intelligenz eigentlich? Ist das vergleichbar, so wie Kinder lernen? Gibt es da Parallelen, Unterschiede? Kann man das vielleicht so ausdrücken, dass es ähnlich funktioniert?

Ingo Röder: Wieder eine ähnliche Frage. Also Wie lernt ein Kind? Auch da fehlt wahrscheinlich jetzt wieder ein Entwicklungspsychologe oder eine Entwicklungspsychologin hier. Es gibt verschiedene Lernkonzepte beim Menschen oder in der kindlichen Entwicklung und ein Konzept, was dort auftritt, das nennt man statistisches Lernen. In der Mathematik, in der Statistik oder jetzt in der Datenanalytik gibt es auch statistisches Lernen. Aber die zwei Sachen sind nicht unbedingt dasselbe. Sie wurden von unterschiedlichen Communities geprägt. Aber das ist schon ein bisschen so was. Statistisches Lernen bei Kindern ist im Prinzip, dass man sehr, sehr häufig, also Statistik ist immer die Wissenschaft von vielen Dingen, dass man sehr häufig Dinge hört, und wenn man die immer wieder hört und Bestätigung kriegt, dass das etwas ist, was für das Kind relevant ist, dann merkt sich das eine, lernt es das und andere Dinge, die nicht so wichtig sind, die vergisst es einfach wieder. Und in dem Sinn kann man die Verfahren schon. (...) Ich habe mir gemerkt, wo ich aufgehört habe.

Franziska Fischer: Ich nehme mal an, das Wort vergleichen darf ich dann noch ergänzen. Okay, Jakob. Wie entwickelt man denn kurz zusammengefasst so eine KI? Also welche Schritte durchläuft man, um eine KI zu entwickeln?

Jakob N. Kather: Ja, also die eigentliche KI, also das Herzstück ist das künstliche neuronale Netzwerk und das entwickelt praktisch keine Wissenschaftlerin oder Wissenschaftler irgendwie selber, sondern man lädt sich einfach eins runter, dass Google oder Facebook Open Source zur Verfügung gestellt haben. Und das kann man dann nehmen, um damit Probleme zu lösen, zum Beispiel Röntgenbilder von Lungenentzündungen oder Lungenentzündungen zu klassifizieren. Das heißt, eigentlich ist das ganz einfach, man googelt, man braucht ein paar Grundkenntnisse im Programmieren, man googelt dann und dann findet man überall irgendwelche Blogs oder so, wo Leute sagen, so kann man neuronale Netzwerke nutzen, um Hunde von Katzen zu unterscheiden. Und dann macht man das einfach, Kocht man das einfach nach für medizinische Bilder Lungenentzündungen oder nicht Lungenentzündungen. Und so fangen die meisten an, die bei mir auch in der Arbeitsgruppe arbeiten. Und so macht das auch am meisten Spaß, weil man dann nach einem Nachmittag schon Ergebnisse hat. Natürlich wird es dann über die Zeit alles viel, viel komplizierter. Aber wenn man ehrlich ist, auch die Medizinprodukte, die zugelassen sind, die in der Radiologie zum Einsatz kommen, beruhen auch genau auf dem gleichen Prinzip.

Franziska Fischer: Apropos zugelassenes Medizinprodukt Ich war heute früh beim Hautarzt und man wartet da ja wirklich monatelang auf einen Termin. Und ich habe jetzt letztens gesehen, dass Google eine KI rausbringt, die DermAssist heißt. Funktioniert auch mit Bildverarbeitung, wo man dann einfach drei Fotos von der Hautveränderung macht. Und ehe man dann drei Monate lang sich sorgt, ist das jetzt was Gefährliches oder nicht, hat man da schnell schon mal eine Diagnose. Ist auch in der EU zugelassen als Medizinprodukte, aber noch nicht verfügbar für den Anwender. Soweit ich das gesehen habe. Ich würde gern darüber reden, welche Anwendungsgebiete es sonst noch gibt. Dazu vielleicht Carina. Welche Anwendungen interessieren dich als Chirurgin besonders und wo siehst du potenzielle große Unterstützungsmöglichkeiten und welche Bereiche betrachtest du vielleicht eher als kritisch in der Chirurgie?

Carina Riediger: Also ich denke, generell hatte ich gesagt, schon Bereiche, in denen wir große Datenmengen zur Verfügung haben. Und in der Chirurgie ist es zum einen bei den ganzen minimalinvasiven Operationsmethoden wie der Robotik. Da kann man die Daten filmen, das ist ja ein 3D Film, der da mitläuft und das kann man sozusagen dann von jeder Operation die Daten dann natürlich anonymisiert auswerten und so die künstliche Intelligenz lernen lassen. Da gibt es dann eben verschiedene Schritte bei so einer Operation, die man analysiert. Das erste ist eben ganz banal, dass man versucht zu zeigen, dass die Strukturen erkannt werden. Das wäre der erste Schritt. Der zweite Schritt wäre, dass man eben bestimmte Operationsschritte, also während der Operation mit den Instrumenten, was passiert. Und das Dritte wäre dann eben, dass die künstliche Intelligenz sich so weit entwickelt, dass sie sagt Achtung, hier ist es gefährlich, hier besser nicht schneiden. Und auf der anderen Seite, hier ist es ein grüner Bereich, hier kann man schneiden. Also das wäre sozusagen der Ausblick, was einfach die Sicherheit dann erhöhen könnte für eine Operation. So weit sind wir noch nicht, muss man sagen. Das steckt in den Anfängen. Und das ist natürlich auch langwierig. Wir haben gerade gehört, das Stichwort Medizinprodukte. Künstliche Intelligenz in der Robotik ist ein Medizinprodukt und deswegen auch von der Zulassung dauert es relativ lange, bis man die Prozesse durchlaufen hat. Aber da laufen ungemein viele wissenschaftliche Projekte zu dem Thema. Und was für mich persönlich interessant ist ich bin spezialisiert auf Leberchirurgie und Leber ist ein sehr komplexes Organ. Das heißt, von außen sieht ja aus wie ein brauner Klumpen, wenn man es mal salopp sagt. Ist aber unheimlich spannend, weil in der Leber natürlich unheimlich viele Gefäße, Gallenwege sind mit vielen anatomischen Varianten, was man als Chirurg in der Draufsicht nicht sehen kann. Und bei Operationen oder auch komplexen Operationen ist es eben wichtig, dass man sich nicht verläuft in so einer Leber. Und das hat natürlich sehr, sehr viel mit Erfahrung mit klinischer Erfahrung als Operateur zu tun. Man hat natürlich Hilfsmittel wie den Ultraschall, aber man kann ja nicht reingucken. Und wenn man es durchgeschnitten hat, dann ist es sozusagen zu spät. Und da ist es natürlich wünschenswert, gerade wenn man wie eine Landkarte wie beim Navigieren und das machen wir tatsächlich, über die Leber legt, die einem sozusagen von außen draufprojiziert. Hier drunter ist jetzt das. Und künstliche Intelligenz kann eben dabei helfen, diese Prozesse genauer zu machen, bei dieser Navigation also das ist ein Ansatz. Das sind jetzt so rein chirurgische Sachen, was die onkologische Chirurgie betrifft. Es gibt ja unglaublich viele, ich meine, als Medizinstudentin wirst das schon gemerkt haben, dass es viel zu lernen gibt in der Medizin. Und das ist ja sozusagen exponentiell. Also wenn ich überlege, was ich damals gelernt habe, noch als ich Medizin studiert habe, ich denke, das war auch schon genug. Aber wenn man jetzt ein umfassendes Wissen haben müsste, Stichwort Genetik, diese ganzen Möglichkeiten, dann ist es natürlich schon so, wenn man eine künstliche Intelligenz hat, die einem gefiltert, dieses ganze Wissen selektiv rauszieht, weil der Tag hat ja nur 24 Stunden und man kann nur so und so viel lesen und sich das aneignen. Und wenn die künstliche Intelligenz dabei hilft, das gefiltert rauszuziehen und die Essenz einem sag ich mal zumindest vorzulegen. Man überprüft das, man kann es ja selber noch überprüfen. Das wäre ein unheimlicher Gewinn und unheimliche Zeitersparnis auch, denke ich.

Franziska Fischer: Also du siehst im Hauptsächlichen mehr Gewinn in Assistenzsystemen, zum Beispiel in der Navigation in der Chirurgie.

Carina Riediger: Derzeit ist es noch ein Assistenzsystem. Also derzeit sind die Systeme noch nicht so, dass man sagen kann ‚Jawohl, da kann man sich jetzt ohne Chirurg in der Nähe unters Messer legen.‘ Ich denke, das wäre noch ein bisschen verfrüht. Das ist so weit sind wir noch nicht ganz, aber es ist natürlich perspektivisch.

Franziska Fischer: Also so weit sind wir noch nicht ganz. Aber in der Zukunft könnte es irgendwann mal sein, dass zum Beispiel so ein Da Vinci Roboter, also so ein Operationsroboter, von der KI gesteuert wird und nicht von einem Menschen.

Carina Riediger: Das ist die Perspektive. Ob es dann tatsächlich so sein wird, bleibt spannend, bleibt spannend.

Franziska Fischer: Ich habe mal versucht, die großen Anwendungsbereiche für KI in der Medizin zusammenzufassen und bin da auf die Schlagworte Prävention und Früherkennung, Diagnostik, Therapie und Medikamentenentwicklung gekommen, wenn man jetzt die Pharmakologie mit zur Medizin zählen möchte. Jakob Würdest du sagen, das passt so ungefähr? Oder habe ich da noch irgendeinen wichtigen Bereich vergessen, der dir noch in den Kopf kommt?

Jakob N. Kather: Nein, das passt so, wobei das primär glaube ich mal Anwendungen waren, die sich auf professionelle Anwenderinnen und Anwender beziehen. Also man darf natürlich auch nicht vergessen, dass Patientinnen und Patienten mit der App, mit der Smartwatch rumlaufen und da ganz viel KI drin ist, die am EKG Vorhofflimmern erkennen kann usw. Also es gibt diesen ganzen Bereich der Consumer Electronic, wo das Feld auch noch mal ein bisschen weiter ist und der professionellen Anwendungen und im Bereich der professionellen Anwendung, genau stimmt das auf jeden Fall. Ich finde es auch gut, dass du die Wirkstoffentwicklung, also die Pharmaforschung da mit drin hast. Da kann auch KI eben extrem helfen, die Prozesse zu beschleunigen, die es dauert, so ein neues Medikament zu entwickeln. Und gerade der Punkt Früherkennung/ Screening ist ja genau das, was wir vorhin schon besprochen haben die langweiligen Aufgaben, weil das ja was ist. Da kommen gesunde Menschen und die unterziehen sich Krebsfrüherkennungsuntersuchungen. Das heißt Darmkrebs, Screening, Hautkrebsscreening, Brustkrebsscreening wird in Deutschland ja an vielen Millionen Leuten jeden Tag gemacht. Und einfach dieses Volumen dieser hochstandardisierten Untersuchungen bindet enorm viel Arbeit. Und das ist einer der offensichtlichsten Anwendungsfälle für KI.

Franziska Fischer: Sehr spannend. Da habe ich wohl noch was übersehen. Ingo wollte gerade noch was ergänzen.

Ingo Röder: Ich wollte mich noch mal auf deine Liste von den Anwendungsbeispielen beziehen. Alles was du genannt hast, ist ja im Prinzip, wenn man darüber nachdenkt, was die KI-Algorithmen da tun, Mustererkennung. Also sie erkennen bestimmte Sachen, Strukturen, genetische Profile etc. pp. Aber ich glaube, eine Sache, die in Zukunft und das ist für mich eigentlich so ein extremer Schritt, der noch dazugekommen ist, auch zu dem, was vor mir über die vor 30 Jahren KI geredet. Was damals überhaupt niemand daran gedacht hat, ist glaube diese Generation von Wir generieren die Algorithmen generieren Dinge neu? Ob neu oder ob sie nur Sachen repetieren, die es schon woanders gab. Aber sie generieren halt neue Sachen. Es werden Texte generiert, es werden Dinge generiert. Ich glaube, das ist eine ganz große Anwendung. Nicht nur erkennen, Muster erkennen, die da sind und sagen, sie sind da, sondern einfach neue generieren. Und ich glaube, das ist ein Anwendungsgebiet, was sicher in vielen Bereichen noch gar nicht abzusehen ist, was man damit alles tun oder besser lassen sollte. Je nachdem.

Franziska Fischer: Wir bei IntelliLung arbeiten ja an der Optimierung von Beatmung zum Beispiel und erhoffen uns davon, die Beatmungsleitlinien sind sehr vage gehalten, und wir erhoffen uns davon zum Beispiel auch, dass wir vielleicht in einem Experiment neue Verknüpfungen sehen, die die KI sieht, die wir als Menschen noch nicht gesehen hat, was wichtig ist und damit eventuell auch einen Einfluss hat auf zum Beispiel Leitlinien und solche Sachen. Das wäre ja auch irgendwie eine Generation von neuem medizinischen Wissen, dass man neue Verbindungen knüpft, die wir als Menschen vorher so noch nicht gesehen hatten. Vielleicht passt das ja auch mit vielleicht.

Ingo Röder: Vielleicht ist es auch nur ein Erkennen von Mustern, was für uns zu komplex ist.

Franziska Fischer: (...) Chat GPT hat das USMLE (United States Medical Licensing Examination)mit Mindestpunktzahl mehrfach bestanden. Was heißt das? GPT hat das Staatsexamen für Medizin von den USA schon mehrfach mit einer nicht Top Leistung aber niedrigen Punktzahl bestanden. Was heißt das für mich? Vielleicht wäre es ein gutes Hilfsmittel bei meinem Staatsexamen nächsten Monat. Aber natürlich fragt man sich dann auch Das setzen wir als Grenze für Menschen und sagen wenn man diese Staatsexamina bestanden hat, darf man sich Arzt nennen, Darf man sich eine Approbation abholen. Bei einer KI funktioniert das vielleicht nicht so, dass wir einfach sagen können, wir machen hier einen Test und dann können wir sagen Chat GPT wäre ein guter Arzt. Ich glaube, das wäre sehr gewagt. Carina, du hast eine Studie veröffentlicht, wo ihr 303 Kolleg*innen, also Chirurg*innen, ich glaube von acht Universitätskliniken Deutschlands, befragt habt zu dem Thema KI in der Chirurgie. Was sind da vielleicht auch so Vor- und Nachteile? Was sehen deine Kolleg*innen als kritisch an? Was hat dich motiviert, diese Studie durchzuführen und was war für dich die interessantesten Erkenntnisse?

Carina Riediger: Ja, also die Motivation ist klar. Künstliche Intelligenz bietet natürlich viele Möglichkeiten, macht aber auch ein bisschen Angst. Ich denke, macht so ein bisschen Angst: bin ich als Arzt am Ende überflüssig, Wenn zumindest gerade in den vielleicht nicht schneidenden Fächern, da kommt es dann ja vielleicht noch schneller. Oder verlasse ich mich auf Informationen von einer künstlichen Intelligenz, die vielleicht völlig falsch zusammengestellt und fehlinterpretiert sind? Und verliere ich vielleicht den Kontakt zum Patienten? Wir hatten ja eingangs die Diskussion Was ist Intelligenz? Ich denke, es gibt ja auch sehr viele Formen von nicht nur künstliche, menschliche. Es gibt ja Menschen, die haben eine unglaubliche soziale Intelligenz, sind jetzt aber vielleicht mathematisch nicht so begabt. Also das ist ja sehr vielschichtig und die soziale Intelligenz und ich denke, das ist auch vorher angeklungen. So weit sind wir noch nicht, dass es die künstlich-soziale Intelligenz gibt. Und das ist ja im Arztberuf die Interaktion auch ganz wichtig. Und zum einen war es halt spannend, mal zu sehen, wie die Kollegen das einschätzen, ob da die Neugierde überwiegt oder die Angst überwiegt. Und auf der anderen Seite denke ich einfach vor Neuerungen, die einfach abzulehnen, weil man Angst vor etwas hat, ist immer eine schlechte Methode, sondern man muss sich dem öffnen, man muss sich dem stellen und immer das Beste rausziehen. Und was ich eben vorher sagte Wenn man die Möglichkeit hat, dass einem die künstliche Intelligenz viel Lesearbeit, viel Recherche usw abnimmt gerade wir wollen ja auf dem Weg Richtung individualisierte personalisierte Medizin gehen, wo die ganzen genetischen Informationen einfließen, was für diesen oder jenen Patienten jetzt genau von der wissenschaftlichen Datenlage das Richtige wäre, Das ist das eine. Und das ist die Information, die der Arzt von der künstlichen Intelligenz bekommt. Aber das bedeutet ja noch nicht, dass das bindend ist, sondern dann gibt es ja noch den Arzt, der den Menschen kennt, der die Umstände des Menschen kennt, die sozialen, die persönlichen Umstände und dann vielleicht die Entscheidung anders ausfällt, als sie vielleicht jetzt auf harten wissenschaftlichen Daten beruht. Und das war ganz spannend und auch ganz spannend, dass die Einschätzungen oft auseinander gingen.

Franziska Fischer: Ich habe hier aus deiner Studie herausgesucht, welchen Vorteil die meisten Kollegen angegeben hatten. Und da kommt hier ganz eindeutig die Diagnostik. Aber du meintest ja zum Beispiel, dass eine künstliche Intelligenz keine sozialen Kompetenzen hat. Kann das nicht sein, dass eine Diagnostik auch stark behindert ist, wenn man kein so persönliches Gespräch führt? Häufig ist es ja auch die zwischenmenschliche Interaktion zwischen Arzt und Patient, die dazu beiträgt, dass der Patient sich zum Beispiel erst richtig öffnet und alle Informationen dann auch teilt.

Carina Riediger: Diagnostik ist ein weites Feld und das, was wir letzten Endes oder was die Kollegen gemeint haben, ist ja, dass im Gegensatz zu operativen oder therapeutischen Ansätzen die diagnostischen, sprich zum Beispiel radiologische Bilder, also es gibt ja schon Untersuchungen, die gezeigt haben, dass die künstliche Intelligenz, wenn die mit genug Daten gefüttert wurde, deutlich genauer zum Beispiel Lungenrundherde im Röntgen, Thorax oder so diagnostizieren kann, als es vielleicht auch ein Arzt kann. Das ist die eine Sache. Und das ist ja völlig unabhängig von sozialer Intelligenz. Das sind Röntgenbilder. Man muss einschätzen, ist das jetzt eine Entzündung, Ist es ein Tumor? Der Arzt macht ja letzten Endes der Radiologe macht ja auch nichts anderes als Lernen, nur dass er wahrscheinlich eine längere Zeit braucht, diese Datenmengen sozusagen zu sehen, zu verarbeiten. Und ich denke, das ist was, was absolut valide ist. Das soll aber nicht bedeuten, dass man nicht kritisch hinterfragt, was die Ergebnisse sind. Also man darf sich natürlich nicht der künstlichen Intelligenz unterordnen. Ich denke, das ist auch ganz wichtig. Aber das ist Diagnostik in der Studie gemeint, im Gegensatz zu therapeutischen Ansätzen. Also haben die Kollegen eher gemeint, sie sehen jetzt eher mal in der Diagnostik Auswertung von diesen Dingen und noch nicht einen Satz von Der Roboter legt alleine los zu operieren. So war das gemeint.

Franziska Fischer: Okay, an zweiter Stelle stand übrigens die Erleichterung von monotonen Arbeiten. Das würde ja zu Jakobs Vision ganz gut passen. Du hattest auch erwähnt, dass wir sehr viele Daten in der Medizin erheben und vielleicht auch als Ärzt*innen verarbeiten müssen. Man kann ja immer mehr auch digital erheben, also zum Beispiel eine Blutdruckkurve oder so was. Das kann ja alles digital laufen heutzutage. Ingo Wir erheben immer mehr Daten. Können wir als Menschen all diese Daten erfassen Und bietet da nicht vielleicht eine künstliche Intelligenz den Vorteil, dass so ein Computersystem mit seiner Rechenleistung vielleicht doch alle Informationen zu einem Patienten verarbeiten kann, was ein Mensch so bewusst nicht kann.

Ingo Röder: Also erst mal würde ich die Frage mit Ja beantworten, dass ein Mensch nicht alle Daten, die wir erheben können, irgendwie erfassen kann. Das zweite ist die Frage Für die Datenerfassung braucht man keine KI, Das geht auch anders. Das kriegt man. Die Daten erfassen, das ist schwierig genug und wird auch viel falsch gemacht. Und es funktioniert oft nicht richtig. Aber das geht auch ohne künstliche Intelligenz. Die Frage ist Was machen wir dann? Was lernen wir aus den Daten? Da brauchen wir unter Umständen solche Algorithmen, die uns dabei helfen, komplexe Dinge zu erkennen, die wir nicht erkennen können. Ich würde schon sagen, wir brauchen die Unterstützung. Und wir sollten sie uns auch abholen, wenn wir sie denn haben. Aber wir sollten immer gucken, Was ist das Ziel? Und also Daten einfach sammeln. Brauchen wir keine KI. Andererseits um KI vernünftig anwenden zu können, müssen wir vorher Daten gesammelt haben. Weil ohne das funktioniert es nicht. Das kann Jakob sicher bestätigen.

Carina Riediger: Ich unterbreche ungern, aber wir sind leider jetzt noch nicht so weit mit KI in der Klinik und deswegen muss ich mich leider vorzeitig verabschieden. Tut mir leid.

Prof. Ingo Röder: Da sind die Männer hier ganz alleine.

Carina Riediger: Ja, das sind sie nicht alleine. Sie haben doch hier eine ganz charmante Gesprächspartnerin. Also, vielen Dank, dass ich hier sein durfte. Tut mir leid, dass ich vorzeitig gehen muss.

Franziska Fischer: Vielen Dank, dass Sie sich die Zeit genommen haben.

Franziska Fischer: Jetzt fiel eben schon das Stichwort. Man muss viele Daten erheben, um eine künstliche Intelligenz sinnvoll trainieren zu können. Man sagt auch immer gerne Garbage in Garbage out. Das heißt, wenn man mit einem Datensatz eine KI trainiert, das umgangssprachlich gesprochen Müll ist, dann wird da auch ein Algorithmus rauskommen, der Müll vorschlägt. Jakob Brauchen wir die elektronische Patientenakte, um gute KIs entwickeln zu können?

Jakob N. Kather: Die elektronische Patientenakte brauchen wir auf jeden Fall. Also Deutschland ist ja da komplett international hinterher. In den Niederlanden, in England, in Schweden kann man irgendwo zum Arzt gehen und dann kann, wenn man dann nachts in die Notaufnahme geht, kann man auf frühere Befunde zugreifen. In Deutschland ist das alles auf Papier, mit Fax auf CDs brennen, das ist absolut katastrophal. Also da sind wir komplettes Entwicklungsland und brauchen das auf jeden Fall einfach so um die medizinische Versorgung auf internationalem Niveau abbilden zu können, von KI noch gar nicht zu sprechen. Und für KI ist es natürlich aber auch eine Voraussetzung im Moment. Wir machen Forschung überwiegend mit Daten, die wir auch aus dem Ausland kriegen, weil es in Deutschland wenig digitale Daten gibt. Und ich glaube, dass die KI Systeme, die wir entwickeln, am Ende den Patienten zugutekommen und Leben verlängern, Wartezeiten verringern. Und natürlich wäre es schön, wenn wir das in Deutschland auch mit eigenen Daten machen könnten. Also ja, wir brauchen elektronische Patientenakte und auch Digitalisierung in ganz vielen anderen Bereichen im Gesundheitssystem.

Franziska Fischer: (...) Die größten Sorgen nach dieser Studie, die ich vorhin schon zitiert habe, liegen übrigens im Bereich Ethik und Recht. Und deswegen möchte ich vielleicht auch ein bisschen mehr über das Thema Ethik und Verantwortung reden, was irgendwie automatisch entsteht. Immer wenn man eine neue Innovation entwickelt, die so viel Einfluss hat. Dazu vielleicht ein kleines Beispiel: 2020 wurde GPT3 getestet, also noch vor Chat GPT und dabei wurde bei einem Experiment mit einem fiktiven Patienten, als der gefragt hat ‚Soll ich mir eventuell das Leben nehmen?‘ von der KI geantwortet: ‚Ich denke, das solltest du tun.‘ Das ist natürlich sehr kritisch und heutzutage passiert das auch nicht, zumindest bei GPT. Da kriegt man dann einen Sicherheitsdisclaimer. Das habe ich mal ausprobiert, ob sich daran was geändert hat. Und da werden ja auch ständig Änderungen vorgenommen und werden dann zum Beispiel Hilfehotlines vorgeschlagen usw. Also das ist schon ganz gut gelöst, aber es gibt ja noch ganz viele andere Baustellen, wo man sich vielleicht noch Sorgen macht. Jakob, Wo siehst du Bedarf für die Regulierung zur Erschaffung und Verwendung von KI in der Medizin? Was macht dir da Sorgen?

Jakob N. Kather: Regulierung ist ganz wichtig. Also egal ob man jetzt einen Herzschrittmacher bekommt oder ob man sich vom Operationsroboter operieren lässt oder ob man eine App zur Hautkrebserkennung auf dem Handy hat. In unserer Gesellschaft verlassen wir uns darauf, dass die Politik und die Gesetzgeber dafür gesorgt haben, dass alles, was wir benutzen und was entsprechend gekennzeichnet ist für medizinische Benutzung, dass das sicher ist. Und dafür gibt es in der EU auch recht gute Regeln, die das sicherstellen. Und deswegen, wenn du also einen Herzschrittmacher brauchst und du bekommst einen, kannst du dich in der EU drauf verlassen, dass der funktioniert. Das Problem ist, dass die Mühlen der Politik natürlich langsam mahlen und dass eine KI ein bisschen anders funktioniert als ein Herzschrittmacher. Und da sind wir ein bisschen hinterher in der Regulation, weil auch gar nicht unbedingt klar ist, welche Regeln passen jetzt genau auf einer KI zum Beispiel Chat GPT kann ja offensichtlich irgendwie helfen in der Medizin, aber es ist nicht zulasssbar als Medizinprodukt, weil der ganze Entwicklungsprozess gar nicht entsprechend diesen Regularien ablief. Also da muss die Politik halt nachbessern und das dauert seine Zeit. Aber an sich bin ich da sehr optimistisch, weil wir in der EU die komfortable Situation haben, dass wir den Sachen vertrauen können, die auf dem Markt sind. Und das ist nicht überall auf der Welt so.

Ingo Röder: Vielleicht darf ich noch was dazu ergänzen, was mir da auch ein bisschen auf der Seele brennt. Also man muss natürlich immer gucken, wie reguliert man. Also Regulation ist sicher notwendig. Ohne Regeln funktioniert halt nichts. Also sonst treten Konflikte auf, die man nicht haben will. Andererseits muss man natürlich auch gucken. Also das Medizinproduktegesetz heutzutage sagt auch, dass jeder Algorithmus, den ich mit einem Computer löse, ein Medizinprodukt ist. Das heißt, wenn ich eine Formel aufschreibe und die per Hand ausrechnen und mich verrechne und das so anwende das Ergebnis ist okay, wenn ich das in ein Programm gieße und den Computer dafür nutze und sage, der macht das Für mich ist ein Medizinprodukt. Und das macht natürlich bei der Entwicklung, auch beim Einsatz unter Umständen große Probleme. Das heißt, die Regulation ist zurzeit wie mit so einem Rasenmäher über alles hinweg. Egal ob gefährlich, ob komplex, ob irgendwas oder ganz einfach und simpel es gilt für alles gleich. Und das macht die Sache manchmal nicht besonders einfach. Und ich glaube, da muss man auf politischem Weg noch mal ran, um dieses Gesetz entsprechend auf die neuen Anforderungen einzustellen.

Franziska Fischer: Jetzt fiel schon ein paar Mal das Wort Medizinprodukt. Kannst du vielleicht noch mal kurz erklären, was das denn alles so beinhaltet?

Jakob N. Kather: Also die genaue Definition laut Gesetz weiß ich jetzt auch nicht, aber letztlich jede Software oder jede Hardware, die uns irgendwie eine medizinische Entscheidung abnimmt oder in den Menschen implantiert wird. Und am besten ist, glaube ich mit Beispielen. Also ein einfaches Computerprogramm, dass Ärztinnen und Ärzte anwenden, welches irgendwelche simplen Formeln drin hat, ist ein Medizinprodukt. Ein Herzschrittmacher ist ein Medizinprodukt. Ein Gelenkimplantat ist ein Medizinprodukt und natürlich auch eine KI. Die einzige Abgrenzung von Medizinprodukten gibt es zum Thema Medikamente, also Arzneimittel. Wobei da auch die Grenzen fließend sind.

Stephan Wiegand: Wir haben natürlich auch immer gefragt, weil wir einen Podcast sind, der in der Öffentlichkeit stattfindet, haben wir auch immer die Gäste gefragt, ob sie sich für das Thema interessieren und was so ihre Meinungen dazu sind, zu dieser Diskussionsrunde, die wir einmal im Monat stattfinden lassen und heute zum Thema KI wurde beispielsweise gefragt Gibt es international zertifizierte Kontrollinstitutionen für KI-Applikationen in der Medizin, wird da international geregelt?

Jakob N. Kather: Das wird auf EU Ebene geregelt. Also in der EU gibt es ein Regelwerk dafür und wenn man KI Modell auf dem auf den Markt bringen möchte, dann durchläuft man ein Verfahren und dann ist das in allen EU Ländern zugelassen. In den USA gibt es auch eine große Behörde, die FDA, die das macht. In England gibt es auch eine große Behörde und so gibt es das in unterschiedlichen Ländern. Und das ist, denke ich, eines der großen Vorteile, dass wir hier nicht in Europa, nicht in Deutschland eins haben, ein Regelwerk in den Niederlanden, in England, in Tschechien, sondern dass…

Stephan Wiegand: Merkt man das als Patient irgendwo, dass es eine Kontrollinstitution gibt? Wird das ausgewiesen, wird er gesagt okay, also das ist jetzt kontrolliert worden und dem können Sie einem größeren Vertrauen schenken.

Jakob N. Kather: Auf jeden Fall also alle Medizinprodukte, die in der EU auf den Markt kommen und vermarktet werden mit einem medizinischen Zweck. Die müssen sowas haben, sonst ist es illegal. Und in der Praxis sieht man da dieses CE Zertifikat, wenn man einen Herzschrittmacher kauft und da ist dann so ein kleines CE Symbol eingelasert wie auf dem Handy.

Stephan Wiegand: Und dann steht das beim Arzt an der Praxis - also der Typ macht das mit KI, also CE Label.

Jakob N. Kather: So ungefähr. Genau.

Stephan Wiegand: Kann man als Patient sich dem irgendwie entziehen, hat uns jemand gefragt. Kann man sagen ich möchte nicht, dass ich mit einem KI Modus diagnostiziert werde. Ich möchte lieber auf das Wissen oder auf die Kompetenz eines Menschen bauen?

Jakob N. Kather: Na klar. Man muss gar nichts machen. Man muss auch nicht ein Medikament nehmen. Man muss sich auch nicht operieren lassen. Es wird ja keiner zu irgendwas gezwungen. Vor jeder medizinischen Handlung gibt es ein Gespräch, es wird aufgeklärt, es werden die Vorteile und Nachteile erörtert und dann passiert das. Aber man muss auch nicht zum Arzt gehen. Aber in manchen Fällen ist es empfehlenswert.

Stephan Wiegand: Man muss natürlich immer vorher, also so weit empathisch mitdenken, dass Patienten, die sich in die Hände der Medizin begeben, dass sie natürlich in einer Konfliktsituation sind, vielleicht in der größten Konfliktsituation, die man sich vorstellen kann, so als Mensch. Und da kann ich mir schon vorstellen, dass der eine oder andere wir machen das immer anonym mit den Fragen, dass der eine oder andere da schon Berührungsängste hat, zum Beispiel auch aus religiösen Gründen. Also kann man nahcvollziehen.

Jakob N. Kather: Ich würde es auch gar nicht abwerten und ich mache das ja mit meinen Patientinnen und Patienten jeden Tag. Und viele wollen kein Röntgenbild oder wollen keine Blutkonserven oder wollen ein bestimmtes Medikament nicht. Und das ist für mich völlig okay. Und unsere Aufgabe als Ärztinnen und Ärzte ist es, die zu beraten über die Vor- und Nachteile. Und dann machen wir das so!

Stephan Wiegand: Das passt zu dem Themenkomplex. Es wurde angesprochen, dass zum Beispiel Robotertechnologie in der Medizin eingesetzt werden kann. Und da gab es eine Frage dazu Wer kontrolliert den Roboter? Wer ist derjenige, der am anderen Ende sitzt? Was passiert da eigentlich mit mir?

Jakob N. Kather: Die musste leider weg, weil sie den Roboter nämlich kontrollieren muss. Da gibt es keinen autonomen Roboter, sondern das sind alles nur Werkzeuge, die von einem Menschen direkt kontrolliert werden und auch nicht von einem Menschen, der im Ausland sitzt, sondern von einem Menschen, der im gleichen OP Saal sitzt, sozusagen nur 2 Meter weiter. Und das passiert sogar recht häufig, dass man dann irgendwann sagt nee, das ist jetzt irgendwie zu mühselig oder es dauert zu lange und man konvertiert auf die Standardtechnik.

Stephan Wiegand: Man kann sich vorstellen, dass KI rechnet, Das ist eine gewisse Rechenleistung, jede Prognose. Rechenleistungen sind Unmengen an Daten. Gibt es da irgendwie ein Limit, wo man feststellt Das kriegen wir nicht mehr gebacken?

Ingo Röder: Ja, kannst du sicher besser behandeln, aber das gibt es mit Sicherheit. Ja.

Jakob N. Kather: Auf jeden Fall gibt es da Limits. Wobei man sagen muss, auch heutzutage kann auch auf einem Handy eine KI laufen. Also die Elektronik, die wir mit uns herumtragen, ist so mächtig und eine KI zu trainieren, da braucht man extrem große Supercomputer und sozusagen den Stromverbrauch, den die Stadt Dresden in einem Jahr hat, um so einen Large Language Model zu trainieren, aber um das dann am Ende anzuwenden. Das geht dann am Ende auch auf dem Handy oder auf leichtgewichtige Hardware.

Stephan Wiegand: Eine Frage, die kann vielleicht sogar die Moderatorin beantworten. Sind KI Systeme Teil des Medizinstudiums Bereits wird darauf abgehoben, wird darauf hingewiesen.

Franziska Fischer: Also es gibt auf jeden Fall das Fach Medizinische Informatik und Biometrie…

Ingo Röder: So so..

Franziska Fischer: … in dem wir aber tatsächlich nicht besonders viel auf künstliche Intelligenz eingegangen sind. Das ist auch, glaube ich, ein noch recht spezielles Feld. Und das Medizinstudium beinhaltet schon wirklich sehr viele Dinge, wie ich jetzt merke bei meinem 100 Tage Lernplan. Aber wenn das in mehr Medizinprodukten implementiert wird in der Zukunft und halt, sage ich mal eine größere Rolle spielt im Alltag von Ärztinnen, dann bin ich mir sicher, dass auch da was ergänzt wird.

Ingo Röder: Vielleicht darf ich dann, falls die Musik mich noch lässt, noch mal kurz was in meiner….

Stephan Wiegand: Eine Frage lässt die Musik noch zu.

Ingo Röder: … Rolle als Studiendekan dazu sagen. Also im Moment ist das ganze Feld KI, wenn man das mal so umschreiben, das ist ja ein riesiges Feld, da sind ja viele verschiedene Sachen drin. So an sich noch nicht im Curriculum der Medizinstudierenden abgebildet. Allerdings sind bestimmte Sachen, die da drin agieren, ja also diese Rechenalgorithmen, sage ich, was dort passiert, das kommt schon durchaus vor. Aber es ist einem vielleicht gar nicht bewusst, dass das auch in KI Systemen angewendet wird. Aber ich glaube, es ist ganz zwingend notwendig, dass wir in Zukunft da mehr drauf eingehen, weil wenn wir mit Patientinnen reden wollen oder wenn wir selber solche Sachen anwenden wollen und wissen wollen, was sinnvoll ist und was nicht, muss das natürlich im Studium vermittelt werden. Und wir haben auch schon einen. (...) So viel Werbung muss erlaubt sein. Stefan Sorry, wir haben an der Fakultät auch einen sogenannten Vertiefungskomplex, der freiwillig ist, sozusagen, wo Studierende freiwillig das machen können. Der heißt Oh Gott, wie heißt der Klinikum Digitale? Und das heißt, dort werden Medizinstudierende mit Studierenden der Informatik oder den Ingenieurwissenschaften zusammen freiwillig über ihr Studium hinaus genau in solchen Sachen schon ausgebildet. Das heißt, das gehört zwar noch nicht offiziell zur Ausbildung, aber wir machen da schon so erste Schrittchen.

Stephan Wiegand: Und dann haben wir noch eine Mail gekriegt. Die würde ich ganz gerne noch in die Runde mit reinbringen, weil ich glaube, dass es so noch nicht angesprochen worden. Genetische Daten und KI. Also da gibt es schon Berührungsängste, auch bei vielen Leuten. Also was die genetische Disposition so anbetrifft, gibt es da eine Möglichkeit, dass Daten gesichert werden und auch so gesichert werden, dass ein Fremdzugriff nicht unmittelbar möglich ist? Hat man überhaupt so einen Kontrollmechanismus noch bei der Hand?

Jakob N. Kather: Auf jeden Fall. Ich meine, auch da gilt Jeder kann entscheiden, was mit seinen Daten passiert. Wenn Patienten bei uns zum Beispiel ins Tumorzentrum kommen, fragen wir die auch explizit, bevor Daten zu wissenschaftlichen Zwecken verwendet werden. Wir klären die darüber auf. Wir besprechen das, und dann ist es auch völlig okay, wenn man da Nein sagt. Passiert auch jeden Tag und ist völlig okay. Genetische Daten sind noch mal ein bisschen heikler als andere Daten, weil die sich schwerer anonymisieren lassen. Man kann aus den genetischen Daten, die sind ja einmalig, da kann man ja sozusagen den Menschen zurückverfolgen. Und außerdem betrifft es oftmals nicht nur die Patientinnen und Patienten, sondern auch die Familie. Wenn zum Beispiel ein genetisches Risiko da ist, eine Krebserkrankung zum Beispiel früher zu entwickeln. Aber auch da gibt es ganz klare Gesetzgebungen, dass gerade im Bereich von der Handhabung von genetischen Daten und der genetischen Beratung ganz besondere Sicherheitsvorkehrungen notwendig sind. Zum Beispiel darf ich gar nicht meine Patienten über erbliches Risiko beraten, sondern dafür müssen die noch mal zu einer Ärztin für Humangenetik gehen. Das ist besonders streng und besonders sicher in Deutschland.

Stephan Wiegand: Und dann möchte ich die Gelegenheit noch nutzen, darauf hinzuweisen. Jeder, der eine Frage hat Man findet uns bei Instagram You ask We explain. Beziehungsweise auf den Homepages der TU Dresden. Und da gibt es ein Formular, das ist anonymisiert und jeder kann uns Fragen zusenden, auch zu vorangegangenen Ausgaben unseres Podcasts. Und wir versuchen die dann gemeinsam mit unseren Gästen zu beantworten und jedem so zumindest einen Ansatz zu geben oder einen Impuls zu geben, wie wir die eine oder andere Thematik verstanden haben und was wir als Lösungsansätze so ein bisschen im Visier hatten. Vielen Dank. Das waren erst mal die Hörerfragen. Ich sammle noch die Kärtchen ein. Mal sehen, wie es weitergeht.

Franziska Fischer: Was ich mich immer frage. Wenn wir KI Systeme entwickeln, die zum Beispiel Therapievorschläge machen, wer ist denn da verantwortlich, wenn da mal einen Vorschlag nicht so sinnvoll war? Wird dann der Hersteller von der künstlichen Intelligenz verantwortlich gemacht? Oder wird es doch der Arzt sein, der da vielleicht auf einen Vorschlag hin reagiert? Was meinst du dazu?

Jakob N. Kather: Das ist am Ende die Ärztin und der Arzt. Das ist ganz klar. Auch jetzt, heute schon, wenn ein Patient mit einer Tumorerkrankung zu mir in die Sprechstunde kommt, dann basieren die Therapieempfehlungen auf ganz vielen unterschiedlichen komplexen Sachen auf einem MRT, auf einem CT, auf genetischen Testungen, auf Labortestungen. Diese ganzen Apparate, die dahinter stecken, die sind mindestens so komplex wie eine KI. Eine KI basierte Vierte Empfehlung ist dann nur noch ein weiteres Puzzlestück und dann guckt man sich das an und bespricht es gemeinsam mit dem Patienten. Und dann machen wir gemeinsam eine Entscheidung, aber am Ende die Verantwortung, wenn es schief geht. Wer verklagt wird, ist die Ärztin oder der Arzt und nicht der Hersteller von dem System.

Franziska Fischer: Okay, das ist jetzt für den Fall, dass man ein sogenanntes Open Loop System hat. Das heißt, die KI bekommt Informationen von Patienten, macht dann einen Vorschlag, kann aber diesen Vorschlag nicht selbst ausführen, sondern man braucht noch einen Arzt oder eine Krankenschwester zum Beispiel dazwischen, die diesen Vorschlag ausführt, gibt es auch die Bemühungen natürlich dann solche Closed Loop Systeme zu machen, also dass die KI selbstständig agieren kann. Und wie wäre das da mit der rechtlichen Frage?

Jakob N. Kather: Super Punkt, wenn ich darf. Closed Loop Systeme sind zum Beispiel bei Typ I Diabetikern, die immer Insulin spritzen müssen, total gefragt oder gewünscht, weil die müssen ja permanent Zucker messen und wenn der zu hoch ist, müssen die dann mehr spritzen Und wenn der zu niedrig ist, müssen die was essen und so und wenn man ein Closed Loop System hätte, also einen Blutzuckersensor und eine Insulinpumpe, dann muss man gar nichts mehr machen. Dann wird das einfach alles automatisch geregelt und das ist ein riesiger Sprung in der Lebensqualität. Und deswegen möchten Patientinnen und Patienten das. Aber natürlich ist das auch riskant. Das muss dann besonders streng reguliert werden. Und am Ende ist da kein Mensch dann in der Entscheidung, das Insulin zu applizieren. Und deswegen ist auch mein Kenntnisstand aus dem Studium, dass es richtige Closed Loop Systeme noch praktisch gar nicht gibt, nur in eben Teststudien nur so etwas ausprobiert wird.

Franziska Fischer: Bei dem Beispiel mit dem Insulinpatienten werden die Patienten dann im Vorhinein auch darüber aufgeklärt, dass es dieses Risiko gibt. Das ist halt ein System, das funktioniert halt hoffentlich in den meisten Fällen richtig. Genau. Also man wird dann informiert als Patient?

Jakob N. Kather: Auf jeden Fall. Man wird immer informiert, gerade mit, man wird immer informiert. Es gibt auch bei zum Beispiel Diabetes ganz viele Alternativen, wie man seinen Blutzucker misst. Man kann sich pieksen, man kann sich was implantieren lassen. Man kann sich für so was auf die Haut stecken. So ein Sensor. Man muss sagen, dass von den Patientinnen und Patienten der Wunsch ausgeht, das so einfach wie möglich zu machen und so automatisiert wie möglich. Aber es gibt eine breite Bandbreite an Optionen, und das wird immer im Gespräch gemeinsam besprochen, die Vor- und Nachteile und keiner wird zu irgendwas gezwungen. Das ist ganz wichtig.

Franziska Fischer: Wir hatten schon viel über das Thema Daten und KI geredet, also dass man gute Datensets braucht, um sinnvolle KIs herstellen zu können. Da kommt bei mir natürlich die Frage auf Werden wir mit Daten freizügiger umgehen? Also medizinische Daten sind ja sehr gut geschützt. Wie ist das? Werden dann eventuell irgendwelche privaten Unternehmen zur Entwicklung von KIs Zugriff haben auf solche Daten? Wird das irgendwie anonymisiert in Datenbanken gespeichert, wo Forschungsgruppen darauf zugreifen können. Was passiert eventuell alles mit meinen Daten, wenn ich zu einem Arzt gehe? Und erfahre ich immer, was damit alles passiert.

Ingo Röder: Na ja, also du hast das vorhin schon mal angesprochen. Also das ist die Frage von Regulation, wie man solche Sachen macht. Also, und das muss natürlich auf einer regulatorischen Ebene geklärt werden, welche Daten für welchen Zweck verwendet werden dürfen. Und da muss man immer natürlich auch abwägen. Welcher Schutz ist notwendig und welche Freiheit benötigt man, um bestimmte Sachen zu machen? Aber vielleicht ist hier ein Anwendungsgebiet, wo ich glaube, dass vielleicht solche Algorithmen der künstlichen Intelligenz gerade auch Nutzen bringen können. Weil wir können auch Daten, die denen von realen Personen extrem ähnlich bis identisch sind, erzeugen. Das heißt, dieses Thema Digital Twins, was es da so gibt, dass man sagt, okay, ich mache klinische Studien gar nicht mehr anhand von realen Patientendaten, sondern auf Daten, die denen quasi identisch entgegen kommen. Das heißt, dann gibt es das Datenschutzproblem nicht mehr, weil sozusagen die Daten entkoppelt sind von dem Individuum. Also das ist auch eine Möglichkeit, die man durchaus in Zukunft nutzen kann. Und das ist eben, ich hatte das ganz am Anfang mal gesagt, Diese generativen Modelle, also Modelle, die gelernt haben und dann Daten produzieren. In dem Fall wäre das aus meiner Sicht eine ziemlich gute Anwendung. Da könnte man nämlich auch Studien für Sachen machen, wo es sonst sehr heikel ist. Genau bei genetischen Sachen zum Beispiel, wo man auf die Identität der Leute schließen kann. Dann braucht man das nicht mehr.

Franziska Fischer: Ein Modell, das einen Menschen nachahmt, klingt für mich erst mal sehr komplex. Also wenn man mit Patienten interagiert und da Therapien anwendet, weiß man ja auch nicht immer, was am Ende für ein Outcome rauskommt. Wie weit ist man denn bei so einer Entwicklung von so einem Digital Twin?

Ingo Röder: Man darf das jetzt nicht missverstehen. Also Digital Twin heißt nicht, dass da irgendeine Puppe gefertigt wird, die so aussieht wie ein Mensch. Es sind nur spezifische Daten. Also, wenn ich ein genetisches Profil habe. Wir haben vorhin drüber geredet. Man hat irgendwie die ganze Genexpression und die Sachen, die bei einem Menschen in bestimmter Weise vorliegen, erbliche Dispositionen usw und diese Sachen kann man quasi generieren. Da ist kein Gesicht dazu, keine Haarfarbe, keine Schuhe usw. Also das ist schon noch ein anderes Level. Man kann diese Zwillinge natürlich für ganz bestimmte Teile, mit denen man sich beschäftigt machen. Also es geht hier überhaupt nicht darum irgendwie so Avatare oder wie heißt das zu schaffen. Also das ist vielleicht eine Verwechslung.

Franziska Fischer: Wenn es keine Fragen mehr von der Publikumsseite gibt. Das wäre jetzt so die letzte Gelegenheit.

Zuhörer: Ja, ich habe mich gefragt Ist es im Sinne der Akzeptanz, der Akzeptanz von den Patienten nun besser oder schlechter? Diese einfachen Automatismen, also das vorhin, die Blutzuckermessung ist ja jetzt keine KI. Da sind wir uns glaube ich einig, diese einfachen, dummen Maschinen als KI aber trotzdem zu bezeichnen. Ist es jetzt besser oder schlechter für die Akzeptanz? Der Begriff KI erweckt ja bestimmte Erwartungen. Oder hatte ich mich gefragt, ob ihr euch damit auseinandergesetzt habt, gegebenenfalls einfach das besser zu labeln? Ist die Gefahr quasi zu groß, wenn ich jetzt sage, was einfaches, was eigentlich keine große Gefahr darstellt, als KI zu bezeichnen, ist das jetzt besser oder schlechter?

Ingo Röder: Also ich finde das eine ganz wichtige Frage, weil ich glaube, die Kommunikation, was ist eigentlich KI? Also mir ist dieser Begriff schlicht und ergreifend viel zu inflationär. Das ist ein Riesenhype. Quasi jeder kann KI. Jeder macht KI. Jeder versteht KI, ohne überhaupt zu wissen, was da eigentlich dahinter ist. Ich glaube, wir müssen viel mehr ins Detail gehen und das ist leider ein etwas langwieriger Prozess. Das muss in der Schule losgehen, dass man begreift, um was es da an welcher Stelle geht. Und wir haben das gemerkt, man rutscht da sehr schnell ab. So ein Blutzuckermessgerät, das kann natürlich Künstliche Intelligenz Algorithmen beinhalten, wenn es noch irgendwelche anderen Sachen verwendet oder so, muss es aber nicht. Also vielleicht ist da gar keine KI drin. Vielleicht ist es schlicht und ergreifend ein Messgerät und eine Spritze gekoppelt Mechanisch also hoffentlich nicht, aber sowas in der Art? Ich glaube, da ist wirklich sehr viel. Auch wenn es darum geht, mit den Ängsten umzugehen, zu erklären, was ist es denn eigentlich?

Stephan Wiegand: (...) Ich weiß nicht, ob die Band auf Kante komponiert hat, aber ansonsten würde ich noch versuchen, eine Frage mit reinzubringen. Weiß der Arzt/Anwender, mit welchen Daten die KI gefüttert wurde? Nur dann kann er doch entscheiden, ob das Ergebnis im konkreten Einzelfall richtig sein kann, oder?

Jakob N. Kather: Ja, sehr guter Punkt. Ja, es sollte so eine Art Beipackzettel geben für die KI, die sagt Ist das jetzt nur auf Männern oder nur auf Frauen oder nur in China oder nur in Europa trainiert worden? Und tatsächlich muss man das in Europa bei der Zulassung zum Medizinprodukte relativ umfassend darlegen, sodass die Informationen da vorhanden sind, aber extrem wichtiger Punkt.

Ingo Röder: Vielleicht kann man noch dazu sagen, es gibt ja auch unterschiedliche Arten von solchen KI Algorithmen. Es gibt, man sagt dazu auch generische oder Foundation Models. Das sind Sachen, die sehr, sehr allgemeine Sachen erst mal lernen. Bei GPT ist es so, dass lernt erst mal überhaupt Sprache Struktur von Sprachen zu verstehen und dann später erst Englisch, Deutsch usw. und so fort. Oder ein spezielles Anwendungsgebiet Medizin oder sowas. Das heißt, da gibt es auch noch unterschiedliche Stufen, wie solche Sachen gelernt werden. Aber im Endeffekt, wenn es dann ein Spezialsystem ist für eine spezielle medizinische Anwendung, dann wäre es schon gut zu wissen, auf welchen Daten das ganze trainiert wurde.

Stephan Wiegand: Ja, ich habe natürlich auch noch eine persönliche Frage. Wir haben uns im Vorfeld ganz lange so einen Kopf gemacht und auch miteinander unterhalten. Und ich frag mich dann immer so eine KI, die zu programmieren, die irgendwie auf den Weg zu bringen. Und da hattest du Ingo gesagt, also so kompliziert ist das an manchen Stellen gar nicht. Also für mich ist das so ein Buch mit sieben Siegeln und ich kann mir überhaupt nicht vorstellen, wie so etwas funktionieren kann.

Ingo Röder: Gibt es YouTube Videos, kannst du auch.

Stephan Wiegand: Dass ich auch KI machen kann?

Ingo Röder: Das ist genau ein Punkt, der mir. Also es gibt viele Ängste, die ich nicht habe, die andere Leute bei dem Thema haben. Aber das ist einer, den ich habe. Es ist so einfach, mit diesen zum Teil sehr mächtigen Instrumenten umzugehen. Dass es eigentlich heutzutage fast jeder, Ich sage nicht jeder, aber fast jeder und fast jede kann, wenn man es will. Und ich glaube, da besteht vielleicht Bedarf, mal drüber nachzudenken.

Stephan Wiegand: Wir wollen ja gemeinsam auch noch mal einen Podcast machen, vielleicht unterhalten wir uns darüber und ich mache mal selber eine richtig schöne KI. Vielen Dank.

Franziska Fischer: Ich denke, wir haben dann jetzt einen ziemlich guten Überblick gegeben über das Thema KI in der Medizin. Sowohl über Ausblicke und Hoffnungen, die da vielleicht drinstecken, als auch kritischere Themen. Und ich möchte mich noch mal ganz herzlich bedanken bei unseren Gästen, dass sie sich die Zeit genommen haben. Das war für mich ein sehr angenehmes, interessantes Gespräch. Ich hoffe, dem Publikum hat es auch Spaß gemacht und. (...) Und ich hoffe auch, dass ihr zu Hause vor den Bluetooth Boxen das nächste Mal wieder einschaltet bei You Ask We explain.