Echtzeit-Pose-Tracking mittels markanter Merkmale

• Applicants: Professor Dr.-Ing. Dietrich Paulus; Professor Dr. Lutz Priese
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2007 to 2012
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 49271567

• Final Report Year: 2013

Final Report Abstract

Im Bereich des Feature-Matchings mit Merkmalen aus der Scale Invariant Feature Transform (SIFT) wurde ein neues Verfahren zum Matchen von Merkmalsgruppen entwickelt. Dieses Verfahren ermöglicht höhere Sicherheit bei Zuordnungen gegenüber der Zuordnung einzelner Merkmale. Zur Gebäuderkennung wurde mit dem Fassaden-Blueprint ein neues höheres Merkmal zum Abgleich geschaffen, das zur Ermittlung der Grobpose verwendet werden kann. Die Fassaden- Blueprints stützen sich auf das ebenfalls selbst entwickelte Verfahren zur Fluchtpunktextraktion in Bildern urbaner Umgebungen. Ebenso notwendig ist der im Rahmen des Projekts entwickelte Himmelsdetektor. Dieser Detektor ermöglicht weiterhin die Extraktion der Horizontlinien, die zur Verfeinerung der Grobposen verwendet werden. Zum Matching von Blueprints wurden Ansätze für zwei Verfahren entworfen, welche mittels kantenbasierter Farbhistogramme bzw. geradenbasierter Homographien arbeiten. Erste Ansätze im Bereich der Gebäudeexraktion aus Punktewolken lassen auf die Automatisierung der Modellkonstruktion hoffen. Das Themengebiet eignet sich für weitere Forschung. Es wurde ein neues, visuell motiviertes Qualitätsmaß für die Qualität einer Pose eingeführt, das dazu genutzt wurde, bekannte Verfahren zur Bestimmung der absoluten Pose zu evaluieren. Eine Fortentwicklung des SURF-Merkmalsdetektors für Farbe wurde vorgestellt, bei dem der SURF-Algorithmus sowohl im Detektor-, als auch im Deskriptorschritt um Farbinformation erweitert wurde. Für die Modellauswahl bei der Rekonstruktion aus Mehrkameraaufnahmen wurde ein neues Verfahren vorgestellt, um auch bei degenerierten Konfigurationen das korrekte Modell selektieren zu können. Zur modellbasierten Kameraposebestimmung aus Bildern wurde das sogenannte IMP, das inkrementelle Modell zur Posebestimmung, entwickelt und evaluiert, mit dem die Pose eines Anfragebildes berechnet werden kann. Der explizite Schleifenschluss und die Integration von zwei Modellen ermöglichen eine genauere und flexiblere Modellerstellung. Eine qualitative und quantitative Evaluation zeigen eine hohe Genauigkeit der erstellten Modelle, sowie ihre Robustheit und Skalierbarkeit. Die Ergebnisse des Projekts führten zu zwei erfolgreichen Promotionsvorhaben.

Publications

• Grouping of Semantically Similar Image Positions. In: S ALBERG, Arnt-Borre (Hrsg.) ; Hardeberg, Jon Y. (Hrsg.) ; Jenssen, Robert (Hrsg.): 16th Scandinavian Conference, SCIA 2009, Oslo, Norway, June 15-18, Proceedings Bd. 5575, 2009 (Lecture Notes in Computer Science), S. 726–734
  Priese, Lutz and Schmitt, Frank and Hering, Nils
  
• Image Understanding Using Selfsimilar SIFT features. In: Fourth International Conference on Computer Vision Theory and Applications (VISAPP) 2009, Lisboa, Portugal Bd. 2, 2009, S. 114– 119
  Hering, Nils and Schmitt, Frank and Priese, Lutz
  
• Sky detection in CSC-segmented color images. In: Fourth International Conference on Computer Vision Theory and Applications (VISAPP) 2009, Lisboa, Portugal Bd. 2, 2009, S. 101–106
  Schmitt, Frank ; Priese, Lutz
  
• Vanishing Point Detection with an Intersection Point Neighborhood. In: Discrete Geometry for Computer Imagery Bd. 5810, Springer Berlin / Heidelberg, 2009, S. 132–143
  Schmitt, Frank ; Priese, Lutz
  
• Dense Statistic Versus Sparse Feature-Based Approach for 3D Object Recognition. In: 10th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-10-2010) Bd. 1. Moscow : Springer MAIK Nauka/Interperiodica, 2010, S. 181–184. – isbn = 978-5-7325-0972-4
  Decker, Peter ; Thierfelder, Susanne ; Paulus, Dietrich ; Grzegorzek, Marcin
  
• Extending SURF to the Color Domain. In: CGIV 2010 - Fifth European Conference on Colour in Graphics, Imaging and Vision. Springfield, USA : Society for Imaging Science and Technology (IS&T), 2010. – ISBN 978–0–89208–291–9, S. 215–221
  Gossow, David ; Decker, Peter ; Paulus, Dietrich
  
• Model Based Pose Estimation Using SURF. In: Koch, Reinhard (Hrsg.) ; Huang, Fay (Hrsg.): Computer Vision - ACCV 2010 Workshops, Springer Berlin Heidelberg, 2011 (LNCS 6469). – ISBN 978–3–642– 22818–6, S. 11–20
  Decker, Peter ; Paulus, Dietrich
  
• Semantik aus Segmenten. Zwei neue Verfahren zur Detektion und Identifikation von Objekten im 2-D und 3-D. Der Andere Verlag, Uelvesbüll, Universität Koblenz-Landau, Diss., 2011
  Schmitt, Frank
  
• Modellbasierte Kameraposebestimmung aus Bildern. Der Andere Verlag, 2012. – ISBN 978–3–86247– 307–6
  Decker, Peter