VRSP - virtuelle-Realität-basierende sensomotorische Plattform
Final Report Abstract
Die VRSP ermöglicht tiefe Immersion in virtuelle Umgebungen: Sie besteht aus einer 3 m durchmessenden Hohlkugel, die frei rotierbar auf Rollen gelagert ist. Ein Proband innerhalb der Kugel kann „auf der Stelle“ beliebig weite Strecken in jede Richtung laufen. Dabei trägt er oder sie ein Head-Mounted-Display, über das die virtuellen Umgebungen präsentiert werden. Ein Intertialsensor erfasst die Kopfbewegungen, so dass es möglich ist, sich natürlich in der virtuellen Umgebungen umzusehen. In den vergangenen Jahrzehnten wurde angenommen, dass die Repräsentation von Raum im menschlichen Gehirn ähnlich einer zweidimensionalen Karte vorliegt. In den vergangenen Studien mit Hilfe der VRSP konnten wir nachweisen, dass diese „Mental Map“ auf einer grundlegend anderen Art der Repräsentation beruhen muss. Das verwendete „Impossible-Worlds-Paradigma“ zeichnet sich dadurch aus, dass Navigationsaufgaben in virtuellen Umgebungen durchgeführt werden, die schwere Verletzungen der euklidischen Geometrie beinhalten. Ein Beispiel ist eine virtuelle Umgebung, die aus drei geschlossen miteinander verbundenen Korridoren besteht und folglich einen Dreicksgrundriss ergeben würde. Die Korridore selber waren allerdings in rechten Winkeln miteinander verbunden, was nicht mit dem dreieckigen Grundriss vereinbar ist. In anderen Umgebungen wurden nicht nur Winkel manipuliert, sondern auch Distanzen oder die Topologie (oder Kombinationen davon). Die Aufgabe der ProbandInnen war es nun, diese virtuellen Umgebungen zunächst gründlich zu erkunden, also (ermöglicht durch die VRSP) diese Umgebungen abzulaufen und sich darin umzusehen. Danach wurden Ihnen Navigations- oder Erinnerungsaufgaben gestellt. Es zeigt sich, dass die ProbandInnen Navigationsausgaben in „unmöglichen Welten“ genauso gut erfüllen können wie in geometrisch möglichen Welten. Das lässt den Rückschluss zu, dass die Repräsentation von Raum im menschlichen Gehirn nicht kartenartig sein kann, da von diesen unmöglichen Umgebungen keine widerspruchsfreien, euklidischen Repräsentationen angelegt werden können. In Tests der räumlichen Erinnerung zeigte sich weiterhin, dass ProbandInnen über eine präzise Repräsentation der gelaufenen Distanzen und der Winkel von Ecken und Abbiegungen in den unmöglichen virtuellen Umgebungen verfügen. Es kann also ausgeschlossen werden, dass während der Exploration nur eine unvollständige oder verzerrte Repräsentation angelegt wurde. Interessanterweise bemerkte der größte Teil ProbandInnen die geometrischen Unmöglichkeiten der virtuellen Umgebungen während der gesamten Experimentreihe nicht. Daneben wurden mit Hilfe der VRSP individuelle Navigationsstrategien mit Hilfe linguistischen Methoden (Think Aloud) erforscht und der Einfluss des Hörens auf die Repräsentation von Raum untersucht. Die VRSP spielt hier eine zentrale Rolle, da Studien dieser Art nicht in natürlichen Umgebungen realisiert werden können, sondern nur in der virtuellen Realität (VR) möglich sind. VR-Experimente sind allerdings typischerweise durch „unnatürliche“ Eingabegeräte, wie beispielsweise Tastaturen oder Gamepads, eingeschränkt: Es ist kein realistisches Erleben möglich, was die angelegte Raumrepräsentation beeinträchtigen kann. Die VRSP ist eine Möglichkeit, diese experimentellen Setups in VR realistisch und natürlich zu gestalten und somit valide Ergebnisse zu erzielen. In diesem Zusammenhang ist auch wichtig, dass von anderen Autoren nachgewiesen wurde, dass vollständige Repräsentationen - so genanntes Übersichtswissen (Survey Knowledge) von Raum - nicht allein auf Basis des sensorischen, beispielweise des visuellen, Eingangs angelegt werden, sondern dass sie erheblich von der motorisch/propriozeptiven Komponente – also der Muskeltätigkeit beim Laufen – abhängen. Diese Vorstellung von einem engen Zusammenhang zwischen Wahrnehmung und Aktion wird auch durch neurobiologische Befunde unterstützt. Die aktuellen Befunde aus Studien mit dem Impossible Worlds Paradigma sind nicht vereinbar mit einer kartenartigen Repräsentation. Eine interessanter Alternative, die mit den Ergebnissen im Einklang steht und die auch o.g. Annahme von „aktiver Wahrnehmung“ berücksichtigt, ist eine sensomotorische Repräsentation, in der Raum in Form von motorischen Aktionen und mit ihnen assoziierten sensorischen Informationen codiert wird. Ein von uns entwickeltes Agentensystem, was auf der Modellierung einer solchen sensormotorischen Repräsentation basiert, zeigt das gleiche Verhalten wie die Befunde der Humanexperimente, was diese These zusätzlich validiert. Gantenberg, J.; Schill, K. & Zetzsche, C.: Im Cyber-Hamsterrad durch virtuelle Welten. Forschung. Das Magazin der Deutschen Forschungsgemeinschaft. 2011
Publications
- (2011). Multi-sensory-motor research: Investigating auditory, visual, and motor interaction in virtual reality environments. i-Perception, 2(8), 790
Kluss, T., Schult, N., Hantel, T., Zetzsche, C., & Schill, K.
- (2012, May). Sensorimotor Representation of Space: Application in Autonomous Systems and in a Wayfinding Assistant for Alzheimer's Disease. Computer and Information Science (ICIS), IEEE/ACIS 11th International Conference on (pp. 219-224). IEEE
Zetzsche, C., Gerkensmeyer, T., Schmid, F., & Schill, K.
- (2013), Spatial Models in Impossible Worlds. Perception 42 ECVP Abstract Supplement, 53
Marsh, W. E., Kluss, T., Hantel, T., Zetzsche, C.
- (2013). Auditory Contributions to the Representation of Space. Sonification Conference - Multisensory Motor Behavior: Impact of Sound, Leibnitz Universität Hannover & ETH Zürich, Hannover
Kluss, T. , Hantel, T., Marsh, W. E., Schult, N., & Zetzsche C.
- (2013). Multisensory ambiguities in impossible worlds: Assessing auditory, visual, and motor contributions to the representation of space. Multisensory Research, 26, 156
Kluss, T., Schult, N., Hantel, T., Marsh, W. E., & Zetzsche, C.
- (2013, March). Is the user trained? Assessing performance and cognitive resource demands in the Virtusphere. 3D User Interfaces (3DUI), 2013 IEEE Symposium on (pp. 15-22). IEEE
Marsh, W. E., Hantel, T., Zetzsche, C., & Schill, K.
- (2015). Capturing user intent in a Virtusphere. Proceedings of the 11th Biannual Conference on Italian SIGCHI Chapter, 170-173. ACM
Marsh, W. E., & Kluss, T.
(See online at https://doi.org/10.1145/2808435.2808459) - (2015). Representation of impossible worlds in the cognitive map. Cognitive processing, 16(1), 271-276
Kluss, T., Marsh, W. E., Zetzsche, C., & Schill, K.
(See online at https://doi.org/10.1007/s10339-015-0705-x)
