Integrated Analysis and Probabilistic Registration of Medical Images with Missing Correspondences

• Applicant: Dr. Jan Ehrhardt
• Subject Area: Epidemiology and Medical Biometry/Statistics
• Term: from 2015 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 271947978

• Final Report Year: 2019

Final Report Abstract

Die Registrierung (Fusion) von Bilddaten ist ein zentraler Schritt für die Analyse medizinischer Bilddaten, wenn Informationen mehrerer Bilder involviert sind, d.h. wenn Bilder verschiedener Zeitpunkte, verschiedener Modalitäten oder verschiedener Patienten zusammengeführt werden müssen. Die Entwicklung von Algorithmen insbesondere für die nicht-lineare Registrierung von Bilddaten war in den letzten Jahren ein wesentliches Forschungsfeld der medizinischen Bildverarbeitung – mit bemerkenswertem Erfolg. Doch obwohl zahlreiche Evaluationsstudien eine hohe mittlere Genauigkeit für aktuelle nicht-lineare Registrierungsverfahren belegen, wird die Präzision dieser Verfahren durch pathologische Strukturen, inhomogene Bildbereiche oder resezierte Gewebe massive beeinflusst, was die Anwendbarkeit dieser Verfahren im klinischen Umfeld beeinträchtigt. Wesentliches Ziel dieses Projektes war die Entwicklung eines Verfahrens, das eine präzise und robuste Registrierung pathologischer oder inhomogener Bilddaten erlaubt. Grundlage des entwickelten Verfahrens sind dabei Korrespondenzwahrscheinlichkeiten, d.h. neben der zu bestimmenden Transformation werden auch die Wahrscheinlichkeiten berechnet, welche Bildpunkte zueinander korrespondieren. Diese Korrespondenzwahrscheinlichkeiten ermöglichen die Identifikation von Bildbereichen die z.B. pathologisch verändert sind und somit ohne Entsprechung im anderen Bild. In Experimenten konnte gezeigt werden, dass dieser probabilistische Registrierungsansatz in seiner Genauigkeit mit Methoden des Standes der Technik vergleichbar ist, jedoch eine wesentlich höhere Robustheit bei pathologischen Bilddaten aufweist. Ein weiteres Ziel des Projektes war die Bestimmung lokaler Registrierungsunsicherheiten, wodurch eine automatische Unterscheidung von lokalen Bildbereichen mit hoher und möglicherweise geringer Registrierungsgüte ermöglicht wird. Hier konnte gezeigt werden, dass die Korrespondenzwahrscheinlichkeiten zwar keine quantitative Abschätzung des Registrierungsfehlers erlauben, jedoch eine Korrelation damit aufweisen. So können die Korrespondenzwahrscheinlichkeiten beispielsweise genutzt werden, um pathologische Bildbereiche automatisch zu detektieren. Eine Schwierigkeit bei der Projektbearbeitung ergab sich dadurch, dass der Einfluss pathologischer Veränderungen auf die Genauigkeit von Registrierungsverfahren kaum quantitativ untersucht wurde und demzufolge keine geeigneten Benchmark-Datensätze zur Verfügung stehen. Deshalb wurden im Rahmen des Projektes neue Evaluationstechniken für die Interpatienten–Registrierung mit pathologischen Bilddaten entwickelt. Ein generatives neuronales Netzwerk erzeugt dabei auf der Basis eines bestehenden (gesunden) Bildes ein synthetisches realistisch aussehendes Bild mit eingebrachter Pathologie. Das entstehende Bildpaar (gesund + pathologisch) kann dann genutzt werden, um dediziert die Einflüsse pathologischer Strukturen auf die Registrierungsgüte zu untersuchen. Neben pathologischen Veränderungen können auch verschiedene Bildmodalitäten bzw. –eigenschaften simuliert werden, was ein breites Anwendungsspektrum für diesen Ansatz eröffnet.

Publications

• (2020) Registration with probabilistic correspondences — Accurate and robust registration for pathological and inhomogeneous medical data. Computer Vision and Image Understanding 190 102839
  Krüger, Julia; Schultz, Sandra; Handels, Heinz; Ehrhardt, Jan
  
• „A Multilevel Markov Chain Monte Carlo Approach for Uncertainty Quantification in Deformable Registration“. In: SPIE Medical Imaging 2018: Image Processing. Hrsg. von E. D. Angelini. Bd. 10574. SPIE. Houston, Texas, United States: SPIE, 2018, 0O–1–0O–8
  S. Schultz, H. Handels und J. Ehrhardt
  
• „A Probabilistic Approach for the Registration of Images with Missing Correspondences“. In: Medical Imaging 2019: Image Processing. Bd. 10949. International Society for Optics and Photonics, März 2019, S. 25–1–25–8
  J. Krüger, J. Ehrhardt, S. Schultz und H. Handels
  
• „Bayesian Inference for Uncertainty Quantification in Point-Based Deformable Image Registration“. In: Medical Imaging 2019: Image Processing. Bd. 10949. International Society for Optics and Photonics, März 2019, 1S–1–1S–8
  S. Schultz, J. Krüger, H. Handels und J. Ehrhardt
  
• „Evaluation of Image Processing Methods for Clinical Applications - Mimicking Clinical Data Using Conditional GANs“. In: Bildverarbeitung Für Die Medizin 2019. Hrsg. von H. Handels et al. Informatik Aktuell. Springer Fachmedien Wiesbaden, 2019, S. 15–20
  H. Uzunova, S. Schultz, H. Handels und J. Ehrhardt
  
• „Unsupervised Pathology Detection in Medical Images Using Conditional Variational Autoencoders“. In: Int J CARS 14.3 (März 2019), S. 451–461
  H. Uzunova, S. Schultz, H. Handels und J. Ehrhardt