Situiertes Sehen zur Erfassung von Form und Affordanzen von Objekten

• Antragstellerinnen / Antragsteller: Professorin Dr. Simone Frintrop; Professor Dr. Bastian Leibe
• Mitantragstellerinnen / Mitantragsteller: Professorin Barbara Caputo, Ph.D.; Professor Dr. Markus Vincze
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2011 bis 2016
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 173793293

Ziel dieses Projekts ist es, Modelle und Methoden zu erarbeiten, um die dreidimensionale Form und Affordanzen von alltäglichen Objekten zu erfassen und zu kategorisieren. Zur Lösung entwickeln wir das Paradigma des ”situierten Sehens” - die 3D Wahrnehmung der Umgebung aus der Sicht des Roboters. Dieser Ansatz verwendet neue Erkenntnisse der Kognitions- und Neurowissenschaften: durch die Fusion von Bildmerkmalen wird es möglich, 3D-Formelemente zu extrahieren, zu gruppieren und in Relation zu Affordanzkategorien zu stellen. Visuelle Aufmerksamkeit und aufgabenorientierte Suche konzentrieren die Verarbeitung auf relevante Szenenbereiche. Die Analyse der Formelemente wird verwendet, um semantische 3D-Konzepte wahrzunehmen, z.B. “stellbare Fläche”, und zu lernen, welche Elemente Affordanzkategorien bilden. Wir zeigen die Allgemeingültigkeit des Ansatzes anhand einer Evaluierung in drei Wohnungen mit variierender Komplexität. Vier renommierte Gruppen mit Expertisen in verschiedenen Bereichen haben sich zusammengeschlossen, um dieses Vorhaben zu realisieren: visuelle Aufmerksamkeit, Kategorisierung, Formwahrnehmung und Lernen sind notwendig um dieses neue Paradigma der Wahrnehmung für kognitive Systeme eingehend zu erforschen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Österreich, Schweiz
• Partnerorganisation: Fonds zur Förderung der wissenschaftlichen Forschung (FWF); Schweizerischer Nationalfonds (SNF)