Audiovisuelle Integration bei der Identifikation von Sprecher und Sprache
Final Report Abstract
Das Betrachten eines sprechenden Gesichts aktiviert auditorische Cortexareale selbst bei fehlender akustischer Stimulation. Die audiovisuelle Integration (AVI) dynamischer visueller und akustischer Informationen in Gesicht und Stimme ist ein wichtiger Mechanismus der Sprachwahrnehmung. Wir verstehen Sprache effizienter, wenn wir zusätzlich zum akustischen Signal die Mundbewegungen der sprechenden Person sehen. Im Rahmen der ersten beiden Jahre dieses Projekt demonstrierten wir erstmals audiovisuelle Integrationsprozesse bei der Identifikation von Personen. Dabei wurden funktionelle Mechanismen dieses Phänomens in behavioralen Experimenten detailliert untersucht und die beteiligten neuronalen Mechanismen mit ereigniskorrelierten Potentialen (EKPs) erfaßt. Die im Rahmen dieses Projektes durchgeführte Forschung zur audiovisuellen Integration von Gesicht und Stimme bei der Personenwahrnehmung ist technisch äußerst aufwändig. Vor diesem Hintergrund sind im Förderungszeitraum bemerkenswerte Erkenntnisfortschritte insbesondere auf folgenden Gebieten erreicht worden: Im Projekt konnte erstmals belegt werden, dass (1) audiovisuelle Integration nicht nur für die Sprachwahrnehmung relevant ist, sondern eine wichtige Rolle auch bei der Identifikation von Personen spielt. Weiterhin wurde empirisch gezeigt, dass (2) audiovisuelle Integration stark von der Bekanntheit einer Person (und damit dem Vorliegen einer durch Erfahrung etablierten multimodalen Personenrepräsentation) abhängt. (3) Audiovisuelle Gesicht-Stimme Integration ist sensitiv für die zeitliche Synchronisation zwischen Stimme und dynamischer facialer Artikulation, und (4) die Integration findet vermutlich in bidirektionaler Weise statt. Das zeitliche Integrationsfenster scheint dabei, jeweils im Vergleich zu etablierten Befunden bei der Sprachwahrnehmung, (5) bei der AVI für Personenidentität qualitativ ähnlich, doch quantitativ etwas breiter zu sein. Schließlich scheint, unseren EKP-Daten zufolge, (6) die Integration bei der Identifikation von Personen später in der Zeit (nach etwa 250 ms) als bei der Sprachwahrnehmung zu erfolgen. Insgesamt zeichnet sich ein Bild unterschiedlicher neurokognitiver Mechanismen der Gesicht-Stimme Integration in Abhängigkeit der jeweils untersuchten sozialen Information ab.
Publications
- (2006). Hearing faces: A visual influence on voice recognition. 29th European Conference on Visual Perception, St. Petersburg, Russia, August 20-25, 2006
Robertson, D., Kaufmann, J.M., & Schweinberger, S.R.
- (2007). Hearing facial identities. Quarterly Journal of Experimental Psychology, 60, 1446-1456
Schweinberger, S.R., Robertson, D. & Kaufmann, J.M.
- (2007). Hearing facial identities: Audiovisual integration in the recognition of people. Joint meeting of the Experimental Psychology Society and the Psychonomic Society, Edinburgh, 4-7 July, 2007
Robertson, D., & Schweinberger, S.R.
- (2008). Auditory adaptation in the perception of voice gender. Annual Meeting of the Cognitive Neuroscience Society, San Francisco, 12-15 April, 2008
Schweinberger, S.R., Casper, C., Hauthal, N., Kaufmann, J.M., Kawahara, H., Kloth, N., Robertson, D.M.C., Simpson, A.P., & Zäske, R.
- (2008). Auditory adaptation in voice perception. Current Biology, 18, 684-688
Schweinberger, S.R., Casper, C., Hauthal, N., Kaufmann, J.M., Kawahara, H., Kloth, N., Robertson, D.M.C., Simpson, A.P., & Zäske, R.
- (2008). Neural correlates of adaptation to face and voice gender: Is the N170 sensitive to gender adaptation or to face detection? Annual Meeting of the Cognitive Neuroscience Society, San Francisco, 12-15 April, 2008
Kloth, N., Schweinberger, S.R., & Kovács, G.
- (2010). Hearing facial identities: ERP correlates of face-voice integration in speaker identification. Meeting of the Experimental Psychology Society, Manchester, UK, 7-9 July, 2010
Schweinberger, S.R., Kloth, N., & Robertson, D.
- (2010). Neural correlates of generic versus gender-specific face adaptation. Journal of Cognitive Neuroscience, 22(10), 2345-2356
Kloth, N., Schweinberger, S.R., & Kovács, G.
- (2010). The role of audiovisual asynchrony in person recognition. Quarterly Journal of Experimental Psychology, 63(1), 23-30
Robertson, D.M.C., & Schweinberger, S.R.
- (2010). Voice aftereffects of adaptation to speaker identity. 52. Tagung experimentell arbeitender Psychologen, Saarbrücken, 22.-24. März 2010
Zäske, R., & Schweinberger, S.R.
- (2010). Voice Aftereffects of Adaptation to Speaker Identity. Hearing Research, 268(1-2), 38-45
Zäske, R., Schweinberger, S.R., & Kawahara, H.
- (2011). Audiovisual face-voice integration in the recognition of familiar people. Annual Meeting of the Cognitive Neuroscience Society, San Francisco, 2-5 April, 2011
Schweinberger, S.R.
- (2011). Audiovisual Integration in the Recognition of Familiar People. 53. Tagung experimentell arbeitender Psychologen, Halle, 13.-16. März 2011
Schweinberger, S.R., Kloth, N., & Robertson, D.M.C.
- (2011). Cognitive Neuroscience of Multimodal Person Perception. Annual Meeting of the Cognitive Neuroscience Society, San Francisco, 2-5 April, 2011
Schweinberger, S.R., & Wiese, H.
- (2011). Hearing facial identities: Brain correlates of face-voice integration in person identification. Cortex, 47, 1026-1037
Schweinberger, S.R., Kloth, N., & Robertson, D.M.C.
