Detailseite
Projekt
Kompensation intersensorischen Unbehagens in Echtzeit
Antragstellerinnen / Antragsteller
Professor Dr. Albrecht Schmidt; Professorin Dr.-Ing. Katrin Wolf
Fachliche Zuordnung
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Förderung
Förderung seit 2023
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 521602817
Sensorische Illusionen sind die Basis für glaubwürdige Mixed-Reality-Erlebnisse. Visuelle Illusionen, wie animierte Bilder, sind bereits gut erforscht. Die für eine realistischere Verschmelzung von physischen und virtuellen Eindrücken essenziellen Illusionen funktionieren jedoch oft nur unzureichend und können bei vielen Menschen Unwohlsein hervorrufen. Multimodale Illusionen treten auf, wenn Sinnesmodalitäten widersprüchliche Informationen liefern und eine Sinnesmodalität die wahrgenommene Information durch eine andere überschreibt, sodass der Gesamteindruck stimmig erscheint. Bisher ist noch wenig erforscht, wie multimodale Illusionen eine überzeugende und unbehagen-freie Mixed-Reality-Erfahrung schaffen können. Mehrere Forschungsprojekte, einschließlich unserer früheren Arbeiten, haben die Machbarkeit der technischen Umsetzung solcher Illusionen anhand verschiedener Einzelphänomene demonstriert. In diesem Projekt wollen wir multimodale Integration in Mixed-Reality systematisch erforschen. Zentraler Aspekt ist hier das Phänomen des Unwohlseins in Mixed-Reality, auch Cybersickness genannt. Ist die multisensorische Information inkohärent, reagiert der Mensch darauf. Wir fühlen wir bspw. unwohl. Reisekrankheit und Cyberkrankheit sind Phänomene, bei denen diese Diskrepanz zwischen gefühlter und gesehener Bewegung nicht in eine kohärente Wahrnehmung integriert werden konnte. Unser Bestreben ist, physiologische Messungen zu nutzen, um den Beginn einer solchen Diskrepanz zu erkennen, bevor sich die Menschen unwohl fühlen. Wenn dies möglich ist, könnten wir die Diskrepanz korrigieren und eine funktionierende Illusion in Mixed-Reality erzeugen. Hierbei beziehen wir uns auf Forschungen, die untersucht haben, unter welchen Bedingungen intersensorische Integration technisch realisiert werden kann. Dies soll als Basis dienen, systematisch konzeptionelle Modelle dafür zu erstellen, welche sensorische Informationskombination welche sensorische Illusion erzeugen kann. Wir erweitern bestehende statischen Modelle um physiologische Wahrnehmung, um intra- und interpersonelle Unterschiede, die kognitive Modellen zu eigen sind, zu überwinden. Unsere Vision ist es, die wissenschaftlichen Grundlagen für eine neue Generation von Mixed-Reality-Systemen und -Anwendungen zu ermöglichen, die das Stören einer Illusion detektieren und ihm entgegenwirken können. Wenn wir in Echtzeit messen können, wann ein Benutzer eines interaktiven Systems multisensorische Informationen nicht mehr integrieren kann, könnte das System die multisensorische Ausgabe anpassen und Unwohlsein vermeiden. Ein Beispiel hierfür ist die Anpassung der visuellen Szene, sobald erkannt wird, dass eine Illusion nicht mehr funktioniert. Hierdurch könnten MR-Technologien für mehr Menschen und Anwendungen genutzt werden, und somit ein neuartiges Interaktionsparadigma durch Intersensory Discomfort Compensation in Echtzeit geschaffen werden.
DFG-Verfahren
Schwerpunktprogramme
