Online Rekonstruktion und Verstehen von 3D Szenen

• Antragsteller: Professor Dr. Leif Kobbelt
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2018 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 392037563

3D-Szenen sind das Ergebnis der Digitalisierung von realen Umgebungen. Im Vergleich zu zweidimensionalen visuellen Medien wie Bildern und Videos tragen 3D-Szenen viel reiche "free-viewpoint" Informationen und sie können räumliche Beziehungen zwischen Objekten erfassen, auch wenn sie nicht aus dem gleichen Blickwinkel gesehen werden können. Dies macht 3D-Szenendarstellungen für eine breite Palette von Anwendungen nützlich, bei denen orts- und posenabhängige Informationen abgerufen werden müssen, z.B. für autonome Fahrzeuge oder mobile Augmented Reality Anwendungen. Während sich die 3D-Messtechnik dynamisch weiterentwickelt hat, sowie erhebliche Fortschritte bei effizienten 3D-Rekonstruktionsalgorithmen gemacht wurden, ist die Präzision und Qualität von 3D-Szenen, die mit heutigen consumer-level (tragbaren) Geräten erfasst wurden, noch nicht vollständig befriedigend. Dies gilt vor allem in Online-Szenarien, in denen die Szeneninformation ständig aktualisiert werden muss. Darüber hinaus sind in vielen Anwendungen geometrische low-level Darstellungen (z. B. Punktwolken) einer Umgebung nicht ausreichend, so dass Segmentierungs- und Klassifizierungsalgorithmen erforderlich sind, die robust gegen Rauschen, Verzerrungen und unvollständige Daten sein sollten. Schließlich wollen wir Agenten (Menschen oder Roboter) mit ihrer Umgebung interagieren lassen, was es notwendig macht, Interaktionsmuster der Agenten mit (segmentierten und markierten) Objekten in einer 3D-Szene zu analysieren und zu modellieren. Unsere Ziele sind:- Die Präzision und Qualität von Online-3D-Rekonstruktionen aus Datenströmen von Multisensor-Rohdaten deutlich zu verbessern, indem wir probabilistische Formulierungen verwenden, die sorgfältig alle Arten von Unsicherheiten im Capture-Prozess modellieren.- Durch Nutzung dynamisch wechselnder Kontextinformationen eine robuste Online-3D-Szenensegmentierung und -kennzeichnung durchzuführen. Auch hier werden probabilistische Formulierungen, aber auch maschinelle Lernmethoden angewendet.- Analyse von Interaktionsmustern durch die Entwicklung von Algorithmen für eine robuste Handverfolgung und Gestenklassifizierung sowie durch Ausnutzen großer Repositories von 3D-Szenen und Interaktionsdatensätzen für die datengetriebene Interaktionsmodellierung.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: China
• Partnerorganisation: National Natural Science Foundation of China
• Kooperationspartner: Professor Shi-Min Hu