Methodology for characterizing image analysis algorithms and its use in digital photogrammetry

• Applicant: Professor Dr.-Ing. Wolfgang Förstner
• Subject Area: Geophysics
• Term: from 1999 to 2004
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5182644

• Final Report Year: 2007

Final Report Abstract

Im Mittelpunkt des Projekts stand die Entwicklung eines Konzepts zur Qualitätsbewertung von Bildanalysealgorithmen. Die Qualitätsbewertung läßt sich in die algorithmenspezifische Charakterisierung und die anwendungsabhängiger Evaluierung zerlegen. Schnittstelle ist eine kostenrelevante Charakterisierung der Algorithmen. Dazu müssen für die die betrachteten Bilder und die verwendeten Algorithmen geeignete, für möglichst viele Anwendungen relevante charakterisierende Parameter ausgewählt werden. Da die eingehenden Größen, die Daten und Verfahren charakterisieren, unsicher sind, wird eine probabilistische Charakterisierung vorgeschlagen, die dann auch probabilistische Aussagen über die Qualität erlaubt. Das grundliegende Ergebnis des Projektes enthält Vorschläge für die Systematisierung der ein Verfahren charakterisierenden Größen. Für die empirischen Untersuchungen wurden Verfahren zur automatischen Bestimmung der Bildschärfe, die Punktverwaschungsfunktion, zur automatischen Orientierung von Kameras aus beobachteten Punkten und Geraden und zur Varianzanalyse entwickelt. Das Thema des Projekts ist mittlerweile 20 Jahre alt. Entgegen den Erwartungen werden die Ergebnisse aus den grundlagenorientierten Forschungsarbeiten nur sehr zögernd von Anwendern aufgegriffen. Dies steht im Widerspruch zu dem von den Anwendern geäußerten Interesse an klaren Ergebnissen zur Charakterisierung von Bildanalysealgorithmen. Nach Meinung des Antragstellers liegt dies einerseits an der Isoliertheit der Ergebnisse und andererseits an dem mangelnden Konsens über die Art der Charakterisierung. Die Isoliertheit der Ergebnisse liegt m. E. an der Vielfalt der Verfahren und der Schwierigkeit, sich auf eine vergleichsweise kleine Menge relevanter Charakteristika zu einigen. Der mangelnde Konsens über die Art der Charakterisierung liegt m. E. an der Verschiedenheit des fachlichen Hintergrundes derjenigen, die Bildanalysealgorithmen entwickeln; allerdings wächst seit einigen Jahren - wenn auch langsam - das Bewußtsein für die Notwendigkeit experimenteller Protokolle im Bereich Computer Vision.

Publications

• (2001). Optimal camera orientation from points and straight lines. In: B. Radig and S. Florczyk (Eds.), DAGM-Symposium, Volume 2191 of Lecture Notes in Computer Science, pp. 84-91. Springer
  Luxen, M. and W. Förstner
  
• (2003). Learning optimal parameters for self-diagnosis in a system for automatic exterior orientation. In: J. L. Crowley, J. H. Piater, M. Vincze, and L. Paletta (Eds.), Computer Vision Systems, Third International Conference, ICVS 2003, Graz, Austria, April 1-3, 2003, Proceedings, Volume 2626 of Lecture Notes in Computer Science, pp. 236-246. Springer
  Förstner, W. and T. Läbe
  
• (2003). Variance component estimation in performance characteristics applied to feature extraction procedures. In: B. Michaelis and G. Krell (Eds.), DAGM-Symposium, Volume 2781 of Lecture Notes in Computer Science, pp. 498-506. Springer
  Luxen, M.
  
• (2004). Performance evaluation in natural and controlled environments applied to feature extraction procedures. In: M. O. Altan (Ed.), Proceedings of the 20th ISPRS Congress, Volume XXXV, Teil B3 of The International Archives of The Photogrammetry, Remote Sensing and Spatial Information Sciences, Istanbul, Türkei, pp. 1061-1067. ISPRS
  Luxen, M.
  
• (2002). Characterizing image quality: Blind estimation of the point spread function from a single image. In: R. Kalliany, F. Leberl, and F. Fraundorfer (Eds.), PCV02 Photogrammetric Computer Vision, Volume XXXIV of The International Archives of The Photogrammetry, Remote Sensing and Spatial Information Sciences, Graz, Österreich, pp. A: 205. ISPRS Comm. III
  Luxen, M. and W. Förstner
  
• (2005). Performance Evaluation and Benchmarking of Algorithms or Systems for Calibration, Orientation and Surface Reconstruction. In: O. Hellwich, I. Niini, C. Ressl, V. Rodehorst, D. Scharstein, and P. Sturm (Eds.), Proceedings of the ISPRS Workshop BenCOS 2005 Towards Benchmarking Automated Calibration, Orientation and Surface Reconstruction from Images, Volume VOLUME XXXVI, PART 3/W36 of International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences
  Förstner, W.