Image-guided non-invasive tracking for radiotherapy using machine learning

• Applicant: Professor Dr. Mattias Heinrich
• Subject Area: Medical Physics, Biomedical Technology ; Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2015 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 286491894

• Final Report Year: 2022

Final Report Abstract

Das zentrale Anliegen des abgeschlossenen Forschungsprojekts war die Entwicklung schneller, echtzeitfähiger Algorithmen für die medizinische Bildregistrierung im Kontext von bildgestützten Interventionen. Ziel hierbei ist es eine (nichtlineare) geometrische Transformation zwischen zwei oder mehreren Bildern einer zeitlichen Abfolge automatisch zu schätzen. Insbesondere für komplexe Bewegungsmuster, welche schnelle Bewegungen und größere Deformationen enthalten, konnten vielversprechende Fortschritte durch eine Kombination aus neuronalen Faltungsnetzwerken (CNNs) zur Merkmalsextraktion und einer diskreten Optimierung der Verschiebungsvektoren erzielt werden. Überraschenderweise konnten die populärsten aktuellen Deep-Learning (DL) Ansätze, die z.B. exzellente Ergebnisse für Segmentierungen ermöglichen, keine zufriedenstellenden Ergebnisse für die Registrierung von intra-operativen Ultraschallaufnahmen und Magnetresonanztomographien (MRT) - also für eine multimodale Fusion - erreichen. Dahingehend haben wir - teilweise abweichend vom ursprünglichen Projektplan - eine Reihe von neuen Konzepten entwickelt, die sich den neuen Herausforderungen für lernbasierte Registrierung widmen. Einerseits, konnten wir zeigen, dass eine Kombination aus semantischer Segmentierungsarchitektur, welche mit Expertenannotationen von relevanten Anatomien vortrainiert wurde, und weiteren Netzwerken zur Transformationsschätzung vorteilhaft ist. Andererseits wurde deutlich, dass die Diskretisierung des Suchraums möglicher Bewegungen die Robustheit für intra-operative Registrierung deutlich erhöht, jedoch insbesondere bei vorrangig rigiden Transformationen eine angepasste Optimierung erfordert. Hier konnten wir durch eine regularisierte diskrete Instanz-Optimierung, einen sehr guten Kompromiss aus Laufzeit und Genauigkeit für eine robuste Fusion von Ultraschall und MRT erreichen. Während einige unserer Konzepte bereits in folgende (internationale) Forschungsarbeiten eingeflossen sind erwarten wir uns in Zukunft auch einen praktischen Anwendungsnutzen und Transfer in gewerbliche, klinisch-eingesetzte Medizinprodukte. Eine spannende zukünftige Entwicklung, die bereits im Laufe des Projekts initiiert und nach Abschluss veröffentlicht wurde, ist die Idee die Diskretisierung der Verschiebungen mit Hilfe von Heatmap-CNNs in der Verlustfunktion eines Registrierungsnetzes zu behandeln. Hierdurch wird die Problematik von neuronalen Netzwerken beim Lernen von Regressionsaufgaben, welche herausfordernder als Klassifikationsprobleme sind, erfolgreich adressiert und eine deutliche Beschleunigung des Trainingsvorgangs erreicht. Dies ist insbesondere für Zukunftsthemen wie föderiertes, privatsphärenerhaltendes Lernen und spezifische Anpassungen von DL-Modellen auf einzelne Patient:innen von Bedeutung.

Publications

• Comparing Deep Learning Strategies and Attention Mechanisms of Discrete Registration for Multimodal Image-Guided Interventions. LABELS/HAL-MICCAI/CuRIOUS@MICCAI 2019: 145-151
  In Young Ha, Mattias P. Heinrich
  
• Geometric deep learning and heatmap prediction for large deformation registration of abdominal and thoracic CT Medical Imaging with Deep Learning MIDL 2019
  Ha, I. Y., Hansen, L., Wilms, M., and Heinrich, M. P.
  
• Model-Based Sparse-to-Dense Image Registration for Realtime Respiratory Motion Estimation in Image-Guided Interventions. IEEE Trans. Biomed. Eng. 66(2): 302-310 (2019)
  In Young Ha, Matthias Wilms, Heinz Handels, Mattias P. Heinrich
  
• Semantically Guided Large Deformation Estimation with Deep Networks. Sensors 20(5): 1392 (2020)
  In Young Ha, Matthias Wilms, Mattias P. Heinrich
  
• "Modality-agnostic self-supervised deep feature learning and fast instance optimisation for multimodal fusion in ultrasound-guided interventions." Comput. Methods Programs Biomed. 211: 106374 (2021)
  In Young Ha, Mattias P. Heinrich
  
• Fast Image Registration for Image-guided Interventions (Schnelle Bildregistrierung für Bildgeführte Interventionen)
  In Young Ha
  
• Semantically Guided 3D Abdominal Image Registration with Deep Pyramid Feature Learning. Bildverarbeitung für die Medizin 2021: 16-21
  Mona Schumacher, Daniela Frey, In Young Ha, Ragnar Bade, Andreas Genz, Mattias P. Heinrich