Neurobiologische und algorithmische Mechanismen der audiovisuellen Sprachverarbeitung

• Antragstellerinnen / Antragsteller: Professorin Dr.-Ing. Dorothea Kolossa; Professor Dr. Tobias Reichenbach
• Fachliche Zuordnung: Kognitive und systemische Humanneurowissenschaften ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 523344822

Mündliche Kommunikation ist in vielen Lebensbereichen von grundlegender Bedeutung. Das Verstehen von Sprache kann jedoch schwierig sein, insbesondere wenn, wie in einer lauten Bar oder einem vollen Restaurant, Hintergrund- und Nebengeräusche vorhanden sind. Solche komplexen akustischen Bedingungen stellen besonders für Schwerhörige ein Problem dar, welches auch durch das Benutzen von Hörgeräten nicht wesentlich vermindert wird. Ein möglicher Weg zu einer Verbesserung des Sprachverstehens in Hintergrundrauschen ist die Verwendung anderer Sinnesmodalitäten. Insbesondere das Sehen des Gesichtes eines Sprechers kann das Sprachverstehen deutlich verbessern, und auch die Höranstrengung vermindern. Die Spracherkennung eines Computers kann ebenso durch das Bereitstellen der Gesichtsbewegungen erheblich genauer werden. Die neurobiologischen Mechanismen, durch die wir Menschen die visuelle mit der auditorischen Information integrieren, sind jedoch noch weitgehend unbekannt. Ebenso fehlen uns immer noch Computeralgorithmen, um die Verstehbarkeit audiovisueller Sprache präzise voraussagen zu können. Außerdem erfordert die von uns vorgeschlagene Form audiovisueller Hörassistenz eine künstliche Erzeugung animierter Gesichter aus dem Sprachsignal, ein Thema, mit dessen Untersuchung erst kürzlich begonnen wurde. Dieses Projekt will die Lücken in unserem Verständnis und unseren Fähigkeiten durch die Kombination von neurobiologischen Untersuchungen und der Entwicklung von Computeralgorithmen angehen. Das Projekt wird deshalb von zwei Experten im jeweiligen Gebiet gemeinsam geleitet. In einem ersten Schritt werden wir Computermaße der Verständlichkeit audiovisueller Sprache untersuchen und sie mit neurobiologischen Mechanismen audiovisueller Sprachverarbeitung vergleichen. Letztere sollen dabei mittels Verhaltensexperimenten und elektroenzephalographischer Messungen (EEG) an menschlichen Probanden untersucht werden. In einem zweiten Schritt werden wir dann die Computermaße benutzen, um künstliche Gesichtsanimationen aus einem Sprachsignal zu erzeugen, die für das Verstehen von Sprache in komplexen akustischen Bedingungen optimiert sind. Als drittes Ziel werden wir die Effekte der künstlichen Gesichtsanimationen auf die Höranstrengung untersuchen und mit Computermaßen für diese Höranstrengung vergleichen. Das vorgeschlagene Projekt wird dazu beitragen, die neurobiologischen Mechanismen audiovisueller Sprachverarbeitung besser zu verstehen, insbesondere im Hinblick auf die kortikale Aktivität bezüglich Sprachrhythmen. Es wird weiterhin Computeralgorithmen entwickeln, die Verständlichkeit und Höranstrengung bezüglich audiovisueller Sprache besser vorhersagen können. Schließlich wird das Projekt Gesichtsanimationen generieren, die dafür optimiert sind, das Verstehen von Sprache in Hintergrundgeräuschen zu verbessern, mit möglichen Anwendungen in zukünftigen audiovisuellen Hörhilfen.

• DFG-Verfahren: Sachbeihilfen