Augmented ​ Reality and ​ Artificial ​ Intelligence supported Laparoscopic ​Imagery in ​ Surgery​ ​ (ARAILIS)

Titel des Projekts

Augmented ​ Reality and ​ Artificial ​ Intelligence supported Laparoscopic ​Imagery in ​ Surgery​ ​ (ARAILIS)

Beschreibung

Projektlaufzeit: 01.02.2020 - 31.12.2022

Minimalinvasive Operationen unter Nutzung von Endoskopen ermöglichen die notwendigen Nachsorge sowie der Einschränkungen für Patienten nach chirurgischen Eingriffen zu reduzieren. Aufgrund der eingeschränkten Sichtverhältnisse und des fehlenden haptischen Feedbacks können diese Operationen aber anspruchsvoller für die Ärzte sein. Ziel des Projektes ist daher die Unterstürzung der Chirurgen während der Operation durch das Anzeigen von Informationen im Kamerabild.

Grundlage für chirurgische Eingriffe sind CT-, MRT- oder Ultraschalldaten welche vor einer Operation aufgenommen werden um beispielsweise die Lage von Tumoren zu ermitteln. Diese Daten sollen während der Operation zur Unterstürzung der Navigation über dem Kamerabild angezeigt werden. Darüber hinaus können versteckte Gefäße und die gesuchten Tumore sichtbar gemacht werden. Die besondere wissenschaftliche Herausforderung liegt unter anderem dabei in der Deformation des menschlichen Körpers zwischen Aufnahme der präoperativen Daten und des späteren Eingriffes sowie während der eigentlichen Operation.

Aufgaben der Photogrammetrie in dem Projekt ist die Entwicklung eines Konzeptes zur Kalibrierung der verwendeten Stereoendoskope, wobei die Einschränkungen und Routinen im Operationssaal berücksichtigt werden müssen. Darüber hinaus sollen durch Verbesserungen bei der räumlichen Rekonstruktion unter Berücksichtigung der dynamischen Umgebung die Navigation zuverlässiger werden.

Eine kurze Demonstration des Gesamtsystems zeigt den möglichen Ablauf:

Zusätzliche Information bei den Projektpartnern:

• Professur für Multimedia-Technologie (MT)
• Professur für Softwaretech­nologie (SWT)

Publikationen

Docea, R., Pfeiffer, M., Müller, J., Krug, K., Hardner, M., Riedel, P., Menzel, M., Kolbinger, F. R., Frohneberg, L., Weitz, J., & Speidel, S. (2022). A Laparoscopic Liver Navigation Pipeline with Minimal Setup Requirements. In BioCAS 2022 - IEEE Biomedical Circuits and Systems Conference: Intelligent Biomedical Systems for a Better Future, Proceedings: Intelligent Biomedical Systems for a Better Future, Proceedings (pp. 578-582). [9948587] IEEE Xplore. https://doi.org/10.1109/BioCAS54905.2022.9948587

Müller, J., Docea, R., Hardner, M., Krug, K., Riedel, P., & Tetzlaff, R. (2022). Fast High-Resolution Disparity Estimation for Laparoscopic Surgery. In BioCAS 2022 - IEEE Biomedical Circuits and Systems Conference: Intelligent Biomedical Systems for a Better Future, Proceedings: Intelligent Biomedical Systems for a Better Future, Proceedings (pp. 573-577). [9948563] IEEE Xplore. https://doi.org/10.1109/BioCAS54905.2022.9948563

Hardner, M., Docea, R., & Schneider, D. (2022). Guided Calibration of Medical Stereo Endoscopes. In International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives (XLIII-B2-2022 ed., Vol. 43, pp. 679-686). The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences Vol. XLIII-B2-2022 https://doi.org/10.5194/isprs-archives-XLIII-B2-2022-679-2022 

Projektpartner

• Klinik und Poliklinik für Viszeral-, Thorax- und Gefäßchirurgie (VTG)

• Abteilung für Translationale Chirurgie Onkologie am Nationalen Centrum für Tumorerkrankungen Dresden (NCT)

• TU Dresden, Professur für Softwaretech­nologie (SWT)

• TU Dresden, Professur für Grundlagen der Elektrotechnik (ETIT)

• TU Dresden, Professur für Multimedia-Technologie (MT)

Kontakt

• M.Sc. Matthias Hardner (Bearbeitung)
• Prof. Dr. Danilo Schneider (Projektleiter Teilprojekt Photogrammetrie)

Förderung

Dieses Vorhaben wird mitfinanziert aus Steuermitteln auf Grundlage des von den Abgeordneten des sächsischen Landtages beschlossenen Haushaltes. TG70/SAB