IPAR: Interacting with Photorealistic Augmented Reality

• Applicants: Professor Dr.-Ing. Raimund Dachselt; Professor Dr. Thorsten Grosch
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2012 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 211423895

Die Erweiterte Realität (AR) hat das Potenzial, künftig auch jenseits industrieller Anwendungen verstärkt zum Einsatz zu kommen. Photorealistische Darstellung von und intuitive Interaktion mit AR-Szenen sind dafür zwei wesentliche, bisher wenig erforschte, Erfolgsaspekte. Für eine Manipulation der augmentierten, realen Welt werden sowohl in Echtzeit generierte, photorealistische Darstellungen als auch natürliche Interaktionsformen mit den virtuellen Objekten benötigt. Grundlage für eine Interaktion des Menschen auf einer photorealistischen Augmentierung ist die Vermessung der komplexen, realen Lichtverhältnisse, die als Eingabe für die Echtzeit-Beleuchtung der virtuellen Objekte verwendet werden. Neben der Veränderung der real wirkenden virtuellen Objekte wird damit auch eine virtuelle Manipulation realer Objekte möglich. Beides kann aufgrund der konsistenten Beleuchtung als echt empfunden werden. Für diese Interaktionen sollen sowohl indirekte Techniken mit in der Hand gehaltenen Magischen Linsen als auch direkte gestische Interaktionstechniken in Kombination mit einer (mobilen) Projektion auf reale Objekte entwickelt und durch Nutzerstudien evaluiert werden. Unter anderem sollen folgende Forschungsfragen beantwortet werden: Kann eine zeitlich und räumlich variierende Beleuchtung in Innenräumen interaktiv vermessen und gespeichert werden? Können virtuelle Objekte mit korrekter Beleuchtung an jeder beliebigen Stelle im Raum in Echtzeit eingefügt werden? Welche Herausforderungen ergeben sich aus dieser nahtlosen Integration bezüglich der Nutzerinteraktion und Akzeptanz? Welches sind die geeigneten, natürlichen Interaktions-formen mit der realistisch augmentierten Umgebung?

• DFG Programme: Research Grants