Audiovisuelle Sprachwahrnehmung von Cochlea-Implantat Nutzern

• Antragstellerinnen / Antragsteller: Professor Dr. Hartmut Meister; Professorin Dr. Pascale Sandmann
• Fachliche Zuordnung: Hals-Nasen-Ohrenheilkunde, Phoniatrie und Audiologie
• Förderung: Förderung von 2019 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 416867313

Sprache ist multimodal. Neben auditiven geben visuelle Signale wichtige Sprachinformationen. Dies ist von speziellem Interesse bei Cochlea-Implantat (CI)-Patienten, die häufig besondere Fähigkeiten der Nutzung visueller Sprachmerkmale aufweisen. Allerdings wird die Sprachwahrnehmung sowohl in der klinischen Routine als auch im wissenschaftlichen Kontext vornehmlich unter auditiven Gesichtspunkten untersucht. Dies liegt u.a. daran, dass geeignete audiovisuelle Testverfahren kaum verfügbar sind. Eine zusätzliche Betrachtung multimodaler Aspekte würde jedoch Alltagssituationen deutlich besser gerecht werden und damit die ökologische Validität erhöhen. Das beantragte Projekt verfolgt diesbezüglich den besonderen Ansatz, visuelle Sprachmerkmale über ein Artikulationsmodell (sog. "talking head") bereitzustellen. Diese Option der Visualisierung über computer-basierte Animationen hat mehrere entscheidende Vorteile: Erstens können die etablierten (auditiven) sprachaudiometrischen Materialien unverändert weitergenutzt werden, da sie lediglich lippensynchron um die visuelle Modalität erweitert werden. Zweitens bietet das Artikulationsmodell die Möglichkeit, beliebige Visualisierungen (kongruent, inkongruent, unterschiedliche Salienz) zu realisieren und damit hochgradig kontrollierte audiovisuelle Stimuli bereitzustellen. Basierend auf diesem Ansatz ist das Ziel des beantragten Projekts, verschiedene audiovisuelle Sprachmaterialien zu etablieren, die sowohl für den klinischen als auch den wissenschaftlichen Einsatz geeignet sind. Mit diesen Materialien lassen sich verschiedene Fragestellungen bearbeiten, die sich z.B. auf die Entwicklung der multimodalen Sprachwahrnehmung nach einer Cochlea-Implantation beziehen. Auch werden Aspekte der cross-modalen Reorganisation auf verschiedenen Sprachverarbeitungsebenen berücksichtigt, indem kongruente und inkongruente audiovisuelle Stimuli eingesetzt werden. Darüber hinaus wird die Sprachwahrnehmung bei CI-Trägern im audiovisuellen Kontext in typischen "Cocktail-Party"-Situationen mit mehreren Sprechern wie auch die Prosodie-Wahrnehmung bei zusätzlicher visueller Darbietung sprachlicher Signale untersucht. Die bestehende Forschungslücke hinsichtlich der multimodalen Sprachwahrnehmung bei CI- Patienten kann mithilfe der innovativen Methodik des Artikulationsmodells geschlossen werden. Dadurch ist zu erwarten, dass das beantragte Projekt detaillierte Einblicke in unterschiedliche Bereiche der Sprachwahrnehmung unter Berücksichtigung ökologisch valider Gesichtspunkte ermöglicht, was signifikante klinische und wissenschaftliche Auswirkungen haben wird.  

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Martin Walger