Detailseite
Projekt Druckansicht

Probabilistische Präferenzmaße für wissensbasierte Szeneninterpretation

Fachliche Zuordnung Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Förderung Förderung von 2007 bis 2012
Projektkennung Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 37823326
 
Erstellungsjahr 2012

Zusammenfassung der Projektergebnisse

Im Projekt PRAESINT wurde eine Theorie für die Szeneninterpretation entwickelt, die auf einer Kombination von prädikatenlogisch und probabilistisch modelliertem Wissen fußt. Dabei wurden für Teilaspekte unterschiedliche konkrete Repräsentationsformen untersucht (z.B. Beschreibungslogik, Prädikatenlogik und Markov-Logik) sowie neue Repräsentationsformen entwickelt, insbesondere für die Repräsentation von und Inferenz mit probabilistischem Wissen (Bayes’sche Kompositionelle Hierarchien). Als Grundlage für die Definition einer Szeneninterpretation haben sich Konstruktionsoperatoren (Aggregierung, Teileerzeugung, Spezialisierung und Verschmelzung) bewährt, mit denen ausgehend von Eingaben (Evidenz r) ein Konstruktionssuchraum aufgespannt werden kann, in dem sich Lösungen für das Interpretationsproblem als wahrscheinlichste Konstruktionen I ergeben. Der theoretische Ansatz wurde durch zwei Implementierungen gestützt, die jeweils unterschiedliche Aspekte komplementär beleuchten. In den Untersuchungen erfolgte in einem Ansatz eine operationale Realisierung des Interpretationssystems aus den Wissensbasen durch Generierung einer Constraint- und regelbasierten Interpretationsmaschine (System SCENIOR). In dem anderen Ansatz (RMI-Maschine) wurde untersucht, wie die elementaren Konstruktionsschritte als logische Inferenz (Abduktion und Deduktion) begriffen werden können. Mit Abduktion können auch mehrere Modellinstanzen pro Szene hergeleitet werden. Während, etwas vereinfach ausgedrückt, im ersten Ansatz (SCENIOR) argmax i P(Γ, I) als Optimierungskriterium gewählt wurde, konnte im zweiten Ansatz (RMI) gezeigt werden, dass sich auch argmax i P(Γ | I) als Formulierung eines Präferenzmaßes für I eignet. Die Bestimmung der P-Werte erfolgte auf verschiedene Weisen, einmal über eine Implementierung des BCH-Formalismus, im anderen Fall über externe Markov-Logik-Schlussverfahren (Alchemy). In beiden Implementierungen wurde die (optimale) Lösung im Konstruktionsraum durch Approximation mittels lokaler Gradientensuche und Strahlsuche realisiert, so dass Realzeitsysteme mit der gewünschten Funktionalität entstanden. Durch die Arbeiten in PRAESINT wurde die prädikatenlogische Formalisierung von Interpretationswissen und Interpretationsverfahren (Möller & Neumann, 2008) unseres Erachtens wegweisend um probabilistisches Wissen erweitert. Die Logik definiert den grundsätzlichen Interpretationsraum, das probabilistische Wissen favorisiert darin enthaltene Instanzen als Lösungen des Interpretationsproblems. Für beide im Projekt PRAESINT entwickelten komplementären Ansätze konnte in konkreten Implementierungen gezeigt werden, dass Eingabedaten Γ trotz Beschränkungen von Zeit- und Platzressourcen um bedeutungstragende Interpretationen I angereichert werden können, die für praktische Anwendungen verwendbar und nützlich sind.

Projektbezogene Publikationen (Auswahl)

  • High-level Expectations for Low-level Image Processing. Proc. KI-2008, Springer, 2008, 87-94
    Hotz, L.; Neumann, B.; Terzic, K.
  • Ontology-Based Reasoning Techniques for Multimedia Interpretation and Retrieval. In: Y. Kompatsiaris, P. Hobson (Eds.): Semantic Multimedia and Ontologies: Theory and Applications, Springer 2008, 55-98
    Möller, R.; Neumann, B.
  • Context-aware Classification for Incremental Scene Interpretation. Proc. Workshop on Use of Context in Vision Processing (UCVP 2009), Boston, Nov 2009
    Kreutzmann, A.; Terzif, K.; Neumann, B.
  • Formalizing Multimedia Interpretation based on Abduction over Description Logic Aboxes. In Proc. of the 2009 International Workshop on Description Logics DL- 2009, 27 to 30 July 2009, Oxford, United Kingdom, 2009. CEUR Workshop Proceedings (Vol. 477)
    Espinosa, S. ; Kaya, A.; Möller, R.
  • Generation of Rules from Ontologies for High-level Scene Interpretation. In: G. Governatori et al. (eds.): Rule Interchange and Applications, Proc. International Symposium RuleML 2009, Springer LNCS 5858, 2009, 93-107
    Bohlken, W., Neumann, B.
  • Integrating Context Priors into a Decision Tree Classification Scheme. Proc. International Conference on Machine Vision, Image Processing, and Pattern Analysis (MVIPPA 2009), Bangkok, December 2009
    Terzic, K.; Neumann, B.
  • A Probabilistic Abduction Engine for Media Interpretation based on Ontologies. In J. Alferes, P. Hitzler, and Th. Lukasiewicz, editors, Proc. International Conference on Web Reasoning and Rule Systems (RR-2010), 2010
    Gries, O.; Möller, R.; Nafissi, A.; Rosenfeld, M.; Sokolski, K.; Wessel, M.
  • Context-based Probabilistic Scene Interpretation. In: Proc. IFIP AI-2010, Brisbane, Sept. 2010,155-164
    Neumann, B.; Terziç, K.
  • Incremental Recognition of Multi-object Behaviour Using Hierarchical Probabilistic Models. Proc. of the 5th Workshop on Behaviour Monitoring and Interpretation, BMI'10, CEUR-WS.org, issn 1613-0073, 2010, 8-21 2011
    Zimmer, F.-M.; Neumann, B.
  • Learning and Recognizing Structures in Façade Scenes (eTRIMS) - a Retrospective. KI, 24(1), 2010, 63-68
    Hotz, L.; Neumann, B.
  • Islands and Query Answering for ALCHI-Ontologies. In Proc. Third International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management, Heidelberg, Germany, volume 128 of CCIS, pages 224-236. Springer, 2011
    Wandelt, S.; Möller, R.
  • Knowledge-Driven Multimedia Information Extraction and Ontology Evolution, volume 6050 of LNCS, chapter Logical Formalization of Multimedia Interpretation, pages 110-133. Springer, 2011
    Espinosa, S.; Kaya, A.; Möller, R.
  • Ontology-Based Realtime Activity Monitoring Using Beam Search. In: Crowley, J.L. et al. (eds.): ICVS 2011, LNCS 6962, 112-121. Springer, Heidelberg (2011)
    Bohlken, W.; Neumann, B.; Hotz, L.; Koopmann, P.
 
 

Zusatzinformationen

Textvergrößerung und Kontrastanpassung