Ergänzung fehlender Informationen bei der Erstellung von 3D-Modellen durch Inferenz in einem Markov-Zufallsfeld

• Antragsteller: Professor Dr.-Ing. Wolfgang Straßer (†)
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2005 bis 2009
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 18693830

• Erstellungsjahr: 2009

Zusammenfassung der Projektergebnisse

Im vorliegenden Projekt wurden Techniken zur Datenfusion von Farb- und Tiefenwerten erforscht. Dabei wurden direkt im Sensorraum die Ergänzung fehlender Informationen sowie das Problem der Rauschunterdrückung beu trachtet. Ein ursprünglich aus der Bildverarbeitung stammendes Verfahren (Non-Local-Means) wurde auf die im Vergleich zu natürlichen Bildern unterschiedliche Charakteristik von Tiefendaten hin angepasst. Dieser Ansatz hat sich, verglichen mit der ursprünglich vorgeschlagenen Modellierung mittels eines Markov-Zufallsfeldes, als überlegen herausgestellt. Die stark rauschbehafteten Daten einer Time-Of-Flight-Kamera konnten mit diesem Verfahren sehr gut rekonstruiert werden und es hat sich gezeigt, dass der vorgeschlagene Ansatz auch zur Ergänzung fehlender Informationen geeignet ist. So konnte einerseits eine Steigerung der Auflösung von Tiefendaten unter Verwendung von hochaufgelösten Bildinformationen erreicht werden, andererseits eine Kompensation von Parallaxen-Effekten bei der Integration beider Modalitäten und auch bei der Simulation von Tiefenunschärfe erfolgreich durchgeführt werden. Aufbauend auf den Fusionsergebnissen wurde außerdem die Registrierung mehrerer Aufnahmen bearbeitet und ein signifikanter Fortschritt durch die Verwendung der kombinierten Daten erreicht.

Projektbezogene Publikationen (Auswahl)

• Integrating 3D Time-of-Flight Camera Data and High Resolution Images for 3DTV Applications. In Proc. 3DTV CON ’07, 2007
  Benjamin Huhle, Sven Fleck, and Andreas Schilling
  
• On-the-Fly Scene Acquisition with a Handy Multi-Sensor System. Int. J. of Intelligent Systems Technologies and Applications, 5(3/4):255–263, 2008
  Benjamin Huhle, Philipp Jenke, and Wolfgang Straßer
  
• Parallel Non-Local Denoising of Depth Maps. In Proc. International Workshop on Local and Non-Local Approximation in Image Processing (EUSIPCO Satellite Event), 2008.
  Timo Schairer, Benjamin Huhle, Philipp Jenke, and Wolfgang Straßer
  
• Registration of Colored Point Clouds with a Kernel-based Extension to the Normal Distributions Transform. In Proc. IEEE International Conference on Robotics and Automation (ICRA), 2008
  Benjamin Huhle, Martin Magnusson, Wolfgang Straßer, and Achim J. Lilienthal
  
• Robust Non-Local Denoising of Colored Depth Data. In Proc. IEEE CVPR Workshop on Time-of-Flight Based Computer Vision (TOF-CV), 2008
  Benjamin Huhle, Timo Schairer, Philipp Jenke, and Wolfgang Straßer