"Virtuelle Werkstatt": A demonstration platform for virtual reality based prototyping using gesture and speech
Final Report Abstract
Das Projekt "Virtuelle Werkstatt" hat Forschungsarbeiten aus den Bereichen Multimodale Interaktion und Virtuelles Konstruieren erweitert und derart zusammengeführt, dass ihre realitätsnahe Erprobung in der Virtuellen Realität demonstrierbar wird. Multimodale Interaktion betrifft die unmittelbare Umsetzung von Benutzereingriffen in einer visualisierten 3D-Szene aufgrund von sprachbegleiteten Gesteneingaben. Virtuelles Konstruieren betrifft die Erstellung und Erprobung computergraphisch visualisierter 3D-Modelle geplanter mechanischer Konstruktionen (sog. virtueller Prototypen), um eine realistische Vorabexploration von Entwürfen per Simulation in der Virtuellen Realität zu ermöglichen. Der Einsatz eines mehrseitigen VR-Großdisplays hat hierbei gleichzeitig Benutzerinteraktionen mit sprachbegleiteten Gesteneingaben sowohl im Greifraum als auch im Fernraum erforschbar gemacht. An der Erprobungsdomäne der virtuellen Konstruktion von CAD-basierten Bauteilen eines Kleinfahrzeugs ("Citymobil") wurde ein integratives Rahmenwerk für die Erkennung, Interpretation und Umsetzung gestischer und sprachlich-gestischer Eingriffe in VR entwickelt, welches mit Hilfe wissensbasierter Methoden die Erstellung, Modifikation, funktionale Überprüfung sowie Eignungserprobung virtueller Variantenkonstruktionen ermöglicht. Im Berichtszeitraum 2006/2007 wurden abschließend zwei weitere Projektphasen (4 und 5) an die bereits erfolgten drei Phasen des initialen Bewilligungszeitraums 2001-2004 angeschlossen. In der vierten Projektphase wurden neue Methoden entwickelt, um Formbeschreibungen in den Konstruktionsprozess zu integrieren. Die Beschreibung von Verformungen erfolgt über eine Parametrisierung gekrümmter Formen und wird durch ikonische Gesten vermittelt. In der fünften Projektphase wurden darüber hinaus Methoden zur morphologischen Veränderung von Bauteilen entwickelt. Besonderes Augenmerk galt der Übertragbarkeit der Ergebnisse durch wiederverwendbare Methoden, Techniken und Softwarekomponenten. Zum Abschluss des Projektes können in der virtuellen Werkstatt komplette Konstruktionen frei gebaut und exploriert werden. Die multimodale Interaktion erlaubt sprachlich-gestische Eingaben im Greif- und Fernraum und unterstützt insbesondere Interaktionen auf Basis ikonischer Gesten. Dabei sind sowohl die Repräsentationen der Bauteile, ihrer Verbindungen und parametrischen Veränderungen, als auch weitestgehend die Anwendungslogiken über deklarative (XML-)Formate beschrieben. Die parametrischen Veränderungen umfassen heterogene Skalierungen und Transformationen der Bestandteile. Darüber hinaus kann die Bauteilmorphologie, z.B. für die Generierung neuer Verbindungsgeometrien, während der Konstruktion verändert werden. Die virtuelle Konstruktion erlaubt den vollständigen Aufbau komplexer Zielaggregate, wobei alle Anpassungen über die Parameter im kompletten Aufbau weiterhin möglich sind. Die im Projekt "Virtuelle Werkstatt" geschaffene Entwicklungsplattform steht für weitere Forschungsarbeiten zur Verfügung. Exploriert werden Anschlussarbeiten im Rahmen des Exzellenzclusters 277 "Cognitive Interaction Technology", dazu gehört einerseits die Erarbeitung echtzeitfähiger Freiform-Deformationen und andererseits die Erprobung der Übertragbarkeit auf eine neue Domäne. Mögliche Anwendungen liegen in der Vorbereitung durchgängiger Verfahren für den Einsatz "intelligenten" virtuellen Konstruierens im Vorfeld industrieller Forschung und Produktentwicklung und allgemein in dem Einsatz wissensbasierter Techniken für interaktive VR-Anwendungen durch multimodale Interaktionssysteme.
Publications
- (2006). Scene synchronization in close-coupled worid representations using SCIVE. International Journal of Virtual Reality, IJVR 5(3), 47-52
Latoschik, M. E., Fröhlich, C. & Wendler, A.
- (2006): Ein visuelles VR-Programmiersystem mit lokalen Constraints für die interaktive virtuelle Konstruktion. Dissertation, Universität Bielefeld/Technische Fakultät, 2006
Peter Biermann
- (2007). Semantic information and local constraints for parametric parts in interactive virtual construction. Proceedings of the 8th International Symposium on Smart Graphics 2007, SG2007, Kyoto, Japan, pp. 124-134
Biermann, P., Fröhlich, C , Latoschik, M. E. & Wachsmuth, I.
- (2007). Semantic reflection - knowledge based design of intelligent simulation environments. In J. Hertzberg, M. Beetz, R. Englert (Eds.), Kl 2007: Advances in Artificial Intelligence. LNCS 4667, Springer, 481-484
Latoschik, M. E.
- (2007). Semantic reflection for intelligent virtual environments. In: Proceedings of the IEEE VR2007, Charlotte (NC), USA, March 2007, pages 305-306
Latoschik, M.E. & Fröhlich C.
- (2007). Towards intelligent VR: multi-layered semantic reflection for intelligent virtual environments. In: Proceedings GRAPP 2007 - 2nd International Conference on Computer Graphics Theory and Applications, Barcelona, Spain, pages 249-259
Latoschik, M. E. & Fröhlich C.
- (2008). Incorporating the actor model into SCIVE on a semantic level. In: Software Engineering and Architectures for Realtime Interactive Systems (SEARIS), Proceedings of the IEEE Virtual Reality Workshop, Reno, USA, (pp. 61-64), Aachen: Shaker
Fröhlich C. & Latoschik M.E.
- (2009). Processing iconic gestures in a multimodal virtual construction environment. In: M. Dias, S. Gibet, M. M. Wanderley, R. Bastos (Eds.), Gesture-Based Human-Computer Interaction and Simulation. Springer LNAI 5085, 187-192
Fröhlich, C , Biermann, P., Latoschik, M. E., & Wachsmuth, I.
