Multimodal Integration with Tool Use
Final Report Abstract
Das Projekt befasste sich mit grundlegenden Prozessen von Wahrnehmung und Handlung bei transformierten Bewegungen. Typischerweise treten solche Transformationen beim (modernen) Werkzeuggebrauch auf: Zur Steuerung eines Cursors auf dem Bildschirm werden üblicherweise (proximale) Bewegungen der Hand beim Bedienen der Computermaus in längere oder beschleunigte (distale) Cursorbewegungen übersetzt. Diese Diskrepanzen zwischen den proximalen und distalen Handlungseffekten löst das menschliche Informationssystem häufig durch eine Dominanz distaler Handlungseffekte bei gleichzeitiger Abschwächung proximaler Handlungseffekte auf. In dem vorliegenden Projekt wurde der Beschaffenheit dieses Mechanismus nachgegangen. Theoretisch fußt das Projekt auf der TEC, dem ideomotorischen Prinzip und dem MLE-Modell. In einer ersten Fragestellung klärten wir ab, mit welchem Anteil propriozeptiv/ taktile und visuelle Informationen aus den jeweiligen Rückkopplungsschleifen zur Handlungskontrolle in das Gesamtperzept eingehen. Die Ergebnisse legen nahe, dass feinere graduelle Unterschiede in den Anteilen des propriozeptiv/ taktilen und visuellen Feedbacks in der bottom-up Verarbeitung nicht berücksichtigt werden. Der oben beschriebene Dominanz-Abschwächungs-Mechanismus funktioniert also eher nach dem Alles-oder-Nichts-Prinzip. Darüber hinaus werden Merkmalsüberlappungen zwischen den proximalen und distalen Handlungseffekten in einem weiten Bereich in der sensorischen Informationsverarbeitung berücksichtigt. Auch top-down Prozesse wirken auf die multisensorische Integration. Welche Rolle dabei Aufmerksamkeitsprozesse und die propriozeptive Rückmeldung der Okulomotorik spielen, wurde in der zweiten Fragestellung in zwei noch unveröffentlichten Experimenten adressiert. Die Befunde zeigen eine Reduktion der Nacheffekte bei geteilter Aufmerksamkeit. Die propriozeptive Rückmeldung der Okulomotorik hatte dagegen keinen nachweisbaren Einfluss auf die Nacheffekte. Inwieweit die propriozeptive Rückmeldung der Okulomotorik in das Gesamtperzept eingeht, ließ sich in diesem Experimentaldesign nicht bestimmen. Die Befunde legen jedoch nahe, dass die Feedbackschleife der Okulomotorik in sensomotorischen Transformationsaufgaben einen geringen (und eher untergeordneten) Anteil in der Informationsverarbeitung einnimmt. Die dritte Fragestellung befasste sich mit der Persistenz der propriozeptiv/ taktilen Information und den Auswirkungen motorischer und visueller Distraktoren. Generell zeigen die Befunde sehr deutlich den Einfluss visueller Distraktoren auf die Wahrnehmungs-Handlungs-Interaktion. Diese wirken sich nicht nur auf frühen Stufen der Informationsverarbeitung aus, sondern auch auf die Handlungsausführung. Wir demonstrierten die zeitliche Stabilität der Nacheffekte in sensomotorischen Transformationsaufgaben. Bei verzögertem Abruf waren die Richtung der Nacheffekte (Assimilation oder Kontrast) jedoch davon beeinflusst, zu welchem Zeitpunkt die divergierende sensorische Information präsentiert wurde: Unmittelbar vor der n-1 Replikation löste dies Kontrast-Nacheffekte aus. Wahrscheinlich ist, dass in diesem Fall die sich unterscheidenden Merkmale der beiden Ereignisse aktiviert wurden, um sie voneinander zu separieren.
Publications
- (2014). Visual target distance, but not visual cursor path length produces shifts in motor behavior. Frontiers in Psychology, 5
Wendker, N., Sack, O. S., Sutter, C.
(See online at https://doi.org/10.3389/fpsyg.2014.00225) - (2015). Age-related differences in processing visual device and task characteristics when using technical devices. Applied Ergonomics, 48, 214-223
Oehl, M. & Sutter, C.
(See online at https://doi.org/10.1016/j.apergo.2014.12.002) - (2017). About the role of bottom-up and topdown processes on perception-action interaction in sensorimotor transformations. Journal of Cognitive Psychology, 29(4), 483-496
Sack, O.S., & Sutter, C.
(See online at https://doi.org/10.1080/20445911.2017.1279165)
