Rekonstruktion komplexer Deformationen in 3D Szenen aus Bild- und Tiefendaten

• Antragsteller: Professor Dr.-Ing. Reinhard Koch
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Messsysteme
• Förderung: Förderung von 2014 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 257332386

• Erstellungsjahr: 2019

Zusammenfassung der Projektergebnisse

Das dem Projekt zugrundeliegende Analyse-durch-Syntheseverfahren konnte um Deformationsmodelle für beliebige Topologien erweitert werden. Durch Verwendung eines unscharfen Synthesemodelles ist es gelungen, eine unscharfe Objektmodellierung durch die komplette AbS-Pipeline hindurch zu propagieren. Durch eine randomisierte dünne Synthese ist es gelungen, Feature-Positionen einem Modellvertex eindeutig zuzuordnen und diese unter Zuhilfenahme von probabilistischen Modellen zur Konditionierung der Optimierung einzusetzen. In dem Projekt wurden vier Deformationsmodelle evaluiert: zwei splinebasierte Modelle, das speziell für das Projekt entwickelte GeoRICS Modell und das in der Literatur häufig verwendete ARAP Modell. Obwohl das ARAP Modell zunächst als ungeeignet für den Einsatz in einem AbS-Verfahren schien, hat es sich als das praktikabelste Modell in Hinblick auf das Gesamtprojekt erwiesen. Um Überschneidungen zu während der Laufzeit des Projektes veröffentlichen Arbeiten anderer Autoren zu minimieren, wurden die Projektziele leicht zu Gunsten der Stärken des AbS-Verfahrens angepasst. Es wurde mehr Wert auf Robustheit als auf geringe Laufzeit gelegt und das Verfahren auf Volumenbilder erweitert. Das entwickelte System konnten wir erfolgreich auf dem Gebiet der medizinischen Bildanalyse einsetzen. Wir arbeiten derzeit an einer Erweiterung des AbS-Systems, um neben den geometrischen Eigenschaften weitere nicht direkt messbare Objekteigenschaften, wie die Dichteverteilung in einem Knochen, zu schätzen. Dies sollte eine Reihe von weiteren möglichen Einsatzgebieten des in dem Projekt entwickelten Verfahrens eröffnen.

Projektbezogene Publikationen (Auswahl)

• "An Adaptable Robot Vision System Performing Manipulation Actions With Flexible Objects," IEEE Transactions on Automation Science and Engineering, vol. 11, no. 3, pp. 749 - 765, Juli 2014
  L. Bodenhagen, A. R. Fugl, A. Jordt, M. Willatzen, K. A. Andersen, M. M. Olsen, R. Koch, H. G. Petersen and N. Krüger
  
• "Tracking of object deformations in color and depth video: deformation models and applications," Videometrics, Range Imaging, and Applications XIII, vol. 9528, Juni 2015
  A. Jordt, S. Reinhold and R. Koch
  
• Dissertation “Deformation Tracking in Depth and Color Video - An Analysis by Synthesis Approach”, Mai 2015
  A. Jordt
  
• "Randomly Sparsified Synthesis for Model-Based Deformation Analysis," Pattern Recognition. GCPR 2016. Lecture Notes in Computer Science, vol. 9796, August 2016
  S. Reinhold, A. Jordt and R. Koch
  
• "An Analysis by Synthesis Approach for Automatic Vertebral Shape Identification in Clinical QCT," Pattern Recognition. GCPR 2018, vol. 11269, Februar 2019
  S. Reinhold, T. Damm, L. Huber, R. Andresen, R. Barkmann, C.-C. Glüer and R. Koch