Integration of a new developed platform in the surgical workflow

• Applicants: Professor Hubertus Feussner, Ph.D.; Professor Dr. Nassir Navab, Ph.D.
• Subject Area: Medical Physics, Biomedical Technology ; Automation, Mechatronics, Control Systems, Intelligent Technical Systems, Robotics ; Software Engineering and Programming Languages
• Term: from 2011 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 136437427

• Final Report Year: 2021

Final Report Abstract

Zusammenfassend kann festgehalten werden, dass im Rahmen des Teilprojekts alle angestrebten Funktionalitäten erreicht und zumindest ein Proof-of-Concept erbracht werden konnte. Dies betrifft einerseits die technische Seite, also die prototypische Konstruktion und Fertigung der umgebenden Module der OP-Plattform, und andererseits die Algorithmik für die kontext-sensitive Workflow-Unterstützung. Zur Demonstration der Funktionsfähigkeit der OP-Plattform wurde gegen Ende des Projekts ein Video gedreht, in dem alle essentiellen Teile des PLAFOKON-Konzepts demonstriert werden. Das fertige SPOT-System wurde mit dem robotischen Führungsarm, dem Instrumentenwechselsystem, der Bedienkonsole, chirurgischen Assistenzsystemen sowie der kontextsensitiven kooperierenden Benutzerschnittstelle zu einem Gesamtsystem integriert. Und im Rahmen einer in vitro OP-Simulation erfolgreich eingesetzt. In klinischer Hinsicht konnten grundlegende Erkenntnisse zur Bedeutung biometrischer und sonstiger Daten für die Eingriffsprädiktion gewonnen werden. Die Kontextsensitivität des Systems wurde bereits für Maßnahmen wie das Telefonmanagement und die automatisierte Erstellung von OP-Berichten genutzt. Insgesamt ist das ganze Potential aber bei weitem noch nicht erschöpft, sondern soll in weiteren Arbeiten weiter erschlossen werden.

Publications

• 2017. Context Awareness for the Operating Room of the Future. Technical University of Munich
  Stauder, R.R.
  (See online at https://doi.org/10.14459/2018MD1398068)
• 2017. Surgical data processing for smart intraoperative assistance systems. Innovative Surgical Sciences 2, 145–152
  Stauder, R., Ostler, D., Vogel, T., Wilhelm, D., Koller, S., Kranzfelder, M., Navab, N.
  (See online at https://doi.org/10.1515/iss-2017-0035)
• 2017. Surgical data science for next-generation interventions. Nature Biomedical Engineering 1, 691–696
  Maier-Hein, L., Vedula, S.S., Speidel, S., Navab, N., Kikinis, R., Park, A., Eisenmann, M., Feussner, H., Forestier, G., Giannarou, S., Hashizume, M., Katic, D., Kenngott, H., Kranzfelder, M., Malpani, A., März, K., Neumuth, T., Padoy, N., Pugh, C., Schoch, N., Stoyanov, D., Taylor, R., Wagner, M., Hager, G.D., Jannin, P.
  (See online at https://doi.org/10.1038/s41551-017-0132-7)
• Evaluation of Eye-Tracking vs Color-code Tracking for Robotic Camera Assistance in Minimally Invasive Surgery. J Surg Clin Pract 2017
  Elsherbiny A, Koller S, Kohn N, Ostler D, Schneider A, Vogel T, Wilhelm D, Friess H, Feussner H, Kranzfelder M
  
• The next step: intelligent digital assistance for clinical operating rooms. Innov Surg Sci 2017; 2(3): 159-161
  Miehle J, Ostler D, Gerstenlauer N, Minke W
  (See online at https://doi.org/10.1515/iss-2017-0034)
• 2018. Analysis of physiological data to quantify stress and workload of surgeons with different levels of training during a laparoscopic cholecystectomy
  Samm, N., Ostler, D., Vogel, T., Marahrens, N., Wilhelm, D., Feussner, H., Stauder, R.
  (See online at https://dx.doi.org/10.18154/RWTH-CONV-224975)
• 2018. Oncological surgery 4.0. ONKOLOGE 24, 400–405
  Ostler, D., Marahrens, N., Kohn, N., Koller, S., Stauder, R., Navab, N.
  (See online at https://doi.org/10.1007/s00761-018-0365-4)
• Neues zu mechatronischen Assistenzsystemen und Telemanipulatoren, Coloproctology, 2018
  Koller, S.; Krieger, Y. S.; Marahrens, N.; Brecht, S. V.; Ostler, D.; Vogel, T.; Kranzfelder, M.; Wilhelm, D.; Lüth, T. C.
  (See online at https://doi.org/10.1007/s00053-017-0226-4)
• (2020): Machine Learning in the OR: A Collaborative Environment for Surgical Interventions in Visceral Medicine. In: Surgical technology international 37, S. 16–21
  Ostler, D.; Wilhelm, D.; Bernhard, L.; Fuchtmann, J.; Kranzfelder, M.; Vogel, T.; Feussner, H.
  
• 2020. TeCNO: Surgical Phase Recognition with Multi-stage Temporal Convolutional Networks, in: Martel, A.L. et al. (Eds.), Medical Image Computing and Computer Assisted Intervention – MICCAI 2020, Lecture Notes in Computer Science. Springer International Publishing, Cham, pp. 343–352
  Czempiel, T., Paschali, M., Keicher, M., Simson, W., Feussner, H., Kim, S.T., Navab, N.
  (See online at https://doi.org/10.1007/978-3-030-59716-0_33)