Reconstruction of Complex Deformations in 3D Scenes from Color and Depth Images

• Applicant: Professor Dr.-Ing. Reinhard Koch
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Measurement Systems
• Term: from 2014 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 257332386

• Final Report Year: 2019

Final Report Abstract

Das dem Projekt zugrundeliegende Analyse-durch-Syntheseverfahren konnte um Deformationsmodelle für beliebige Topologien erweitert werden. Durch Verwendung eines unscharfen Synthesemodelles ist es gelungen, eine unscharfe Objektmodellierung durch die komplette AbS-Pipeline hindurch zu propagieren. Durch eine randomisierte dünne Synthese ist es gelungen, Feature-Positionen einem Modellvertex eindeutig zuzuordnen und diese unter Zuhilfenahme von probabilistischen Modellen zur Konditionierung der Optimierung einzusetzen. In dem Projekt wurden vier Deformationsmodelle evaluiert: zwei splinebasierte Modelle, das speziell für das Projekt entwickelte GeoRICS Modell und das in der Literatur häufig verwendete ARAP Modell. Obwohl das ARAP Modell zunächst als ungeeignet für den Einsatz in einem AbS-Verfahren schien, hat es sich als das praktikabelste Modell in Hinblick auf das Gesamtprojekt erwiesen. Um Überschneidungen zu während der Laufzeit des Projektes veröffentlichen Arbeiten anderer Autoren zu minimieren, wurden die Projektziele leicht zu Gunsten der Stärken des AbS-Verfahrens angepasst. Es wurde mehr Wert auf Robustheit als auf geringe Laufzeit gelegt und das Verfahren auf Volumenbilder erweitert. Das entwickelte System konnten wir erfolgreich auf dem Gebiet der medizinischen Bildanalyse einsetzen. Wir arbeiten derzeit an einer Erweiterung des AbS-Systems, um neben den geometrischen Eigenschaften weitere nicht direkt messbare Objekteigenschaften, wie die Dichteverteilung in einem Knochen, zu schätzen. Dies sollte eine Reihe von weiteren möglichen Einsatzgebieten des in dem Projekt entwickelten Verfahrens eröffnen.

Publications

• "An Adaptable Robot Vision System Performing Manipulation Actions With Flexible Objects," IEEE Transactions on Automation Science and Engineering, vol. 11, no. 3, pp. 749 - 765, Juli 2014
  L. Bodenhagen, A. R. Fugl, A. Jordt, M. Willatzen, K. A. Andersen, M. M. Olsen, R. Koch, H. G. Petersen and N. Krüger
  (See online at https://doi.org/10.1109/TASE.2014.2320157)
• "Tracking of object deformations in color and depth video: deformation models and applications," Videometrics, Range Imaging, and Applications XIII, vol. 9528, Juni 2015
  A. Jordt, S. Reinhold and R. Koch
  (See online at https://doi.org/10.1117/12.2190780)
• Dissertation “Deformation Tracking in Depth and Color Video - An Analysis by Synthesis Approach”, Mai 2015
  A. Jordt
  
• "Randomly Sparsified Synthesis for Model-Based Deformation Analysis," Pattern Recognition. GCPR 2016. Lecture Notes in Computer Science, vol. 9796, August 2016
  S. Reinhold, A. Jordt and R. Koch
  (See online at https://doi.org/10.1007/978-3-319-45886-1_12)
• "An Analysis by Synthesis Approach for Automatic Vertebral Shape Identification in Clinical QCT," Pattern Recognition. GCPR 2018, vol. 11269, Februar 2019
  S. Reinhold, T. Damm, L. Huber, R. Andresen, R. Barkmann, C.-C. Glüer and R. Koch
  (See online at https://doi.org/10.1007/978-3-030-12939-2_6)