Das Zusammenspiel von multisensorischer kausaler Inferenz und Aufmerksamkeit in der audiovisuellen Wahrnehmung (MultiAttend)

• Antragsteller: Professor Tim Rohe, Ph.D.
• Fachliche Zuordnung: Biologische Psychologie und Kognitive Neurowissenschaften ; Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 530232909

Ständig werden wir mit multisensorischen Signalen bombardiert, die unser Gehirn über die verschiedenen Sinneskanäle hinweg kohärent verknüpft, um eine multisensorische Wahrnehmung der Umwelt zu erzeugen, z. B. die Stimmen und Gesichter mehrerer SprecherInnen auf einer Party. Doch wie soll das Gehirn in einer komplexen Umgebung mit zahlreichen multisensorischen Signalen seine begrenzten Aufmerksamkeitskapazitäten nutzen um zu bestimmen, welche Objekte die Signale verursacht haben und deshalb integriert werden können? Das Gehirn muss zwei verknüpfte Probleme lösen: Erstens muss es die kausale Struktur der multisensorischen Signale erschließen, um sie im Falle einer gemeinsamen Ursache gewichtet nach ihrer sensorischen Reliabilität zu integrieren oder sie im Falle unabhängiger Ursachen zu segregieren. Zweitens muss das Gehirn selektive Aufmerksamkeit einsetzen, um im Wettbewerb der multisensorischen Signale die begrenzten Aufmerksamkeitsressourcen auf relevante Signale zu lenken. Das Gehirn kann diese beiden Aufgaben jedoch nicht isoliert lösen, sondern muss seine begrenzten Aufmerksamkeitsressourcen nutzen, um spezifisch die kausale Struktur relevanter multisensorischer Reize zu erschließen. Das aktuelle Projekt untersucht daher das Zusammenspiel von multisensorischer kausaler Inferenz und Aufmerksamkeit in der audiovisuellen (AV) Wahrnehmung. Aufmerksamkeit könnte mit kausalen Inferenzen interagieren, indem sie die apriorischen kausalen Annahmen, die sensorischen Reliabilitäten und/oder die Kombination von AV mit unisensorischen Signalschätzern moduliert. Um die Interaktion von multisensorischer kausaler Inferenz und Aufmerksamkeit untersuchen, wird das Projekt psychophysikalische Experimente mit neurophysiologischen EEG-Messungen an gesunden menschlichen ProbandInnen in drei Arbeitspaketen (AP) kombinieren. Im ersten AP werden wir ermitteln, wie das Gehirn die endogene und exogene selektive visuelle räumliche Aufmerksamkeit lenkt, um kausale Inferenzen bei AV räumlichen Reizen zu beeinflussen. Im zweiten AP erforschen wir mit einem Dual-Task-Design, wie die Verfügbarkeit von Aufmerksamkeitsressourcen die kausalen Inferenzen des Gehirns bezüglich AV räumlicher Stimuli moduliert. Im dritten AP untersuchen wir, wie das Gehirn die kausale Struktur bei einem numerischen AV Zielreiz erschließt, der mit einem synchronen numerischen AV Distraktorreiz um Aufmerksamkeitsressourcen konkurriert. Die Ergebnisse des Projekts werden unser Verständnis vertiefen, wie Menschen komplexe aufmerksamkeitsfordernde Umgebungen multisensorisch wahrnehmen. Grundsätzlich könnten die Ergebnisse die derzeitigen Modelle der Bayes'schen multisensorischen kausalen Inferenz erweitern, um Aufmerksamkeitsprozesse zu berücksichtigen. In Anwendungen könnten die Ergebnisse wichtig sein, um qualitativ hochwertig AV Medien und benutzerfreundliche Mensch-Maschine-Schnittstellen entsprechend den Wahrnehmungs- und Aufmerksamkeitsleistungen unseres Gehirns zu gestalten.

• DFG-Verfahren: Sachbeihilfen