Sprachbegleitende Gesten und Prosodie als multimodaler Ausdruck der Informationsstruktur

• Antragstellerinnen / Antragsteller: Professor Dr. Frank Kügler; Professorin Pilar Prieto, Ph.D.
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502013510

Informationsstruktur (IS) wird als eine kognitive Domäne angesehen, die mit den linguistischen Modulen Syntax, Phonologie und Morphologie interagiert, um den gemeinsamen Sprecher-Hörer-Hintergrund zu kontrollieren und zu aktualisieren (Zimmermann & Féry 2010). Während diese Interaktion intensiv untersucht ist, gibt es nur wenige Erkenntnisse zur visuellen Markierung der IS. Aus prosodischer Sicht ist hinlänglich bekannt, dass Sprachen prosodische Merkmale wie Pitchakzente nutzen, um IS auszudrücken (Calhoun & Kügler 2020 für einen Überblick). In germanischen Sprachen tendieren gegebene Referenten beispielsweise dazu, öfter deakzentuiert zu werden als neue Referenten (Baumann & Grice 2006; Baumann & Schumacher 2020; Féry & Kügler 2008). In romanischen Sprachen hingegen erscheinen fokussierte Konstituenten in phrasen-finaler Position (Zubizarreta 1998) und zeigen keine systematische Deakzentuierung gegebener Information (Ladd 2008; Swerts et al. 2002). Aus multimodaler Sicht ist hinlänglich bekannt, dass sprachbegleitende Gesten üblicherweise mit Pitchakzenten alignieren (McNeill 1992; Kendon 2004; Loehr 2004). Obwohl Gestenstudien auf die Beziehung zwischen der Anwesenheit einer “beat gesture” und der Markierung fokussierter Information hingewiesen haben, haben unserer Kenntnis nach nur wenige Studien erforscht, ob IS einen Einfluss auf (a) die Anwesenheit von sprachbegleitenden Gesten, und (b) die zeitliche Alignierung von Gesten und Sprache sowie die Prominenzgrade der gesamten Geste hat.Das Hauptziel dieses Projekts ist es, die multimodale Markierung der IS aus sprachvergleichender Perspektive zwischen Deutsch und Katalanisch zu untersuchen. Beide nutzen Pitchakzente für die prosodische Markierung von IS. Sie unterscheiden sich jedoch in der Flexibilität der Akzentposition (variable Fokusposition im Deutschen vs. Fokusposition am rechten Rand einer Äußerung im Katalanischen). Ausgehend von der gängigen Koordination zwischen sprachbegleitenden Gesten und prosodischer Prominenz stellen wir die generelle Frage, ob unterschiedliche IS-Kategorien nicht nur durch prosodische Ereignisse, sondern auch durch sprachbegleitende Gesten signalisiert werden. Das Projekt wird die Schnittstelle der Markierung der IS und prosodischer sowie gestischer Merkmale sowohl mit kontrollierten experimentellen Daten als auch mit spontansprachlichen Korpusdaten analysieren. Wir erwarten für beide Sprachen, (a) dass sprachbegleitende Gesten häufiger mit Pitchakzenten assoziieren, die Fokusdomänen und neue Information markieren; (b) dass die zeitliche Alignierung der sprachbegleitenden Gesten mit gesprochener Sprache direkt durch die IS bestimmt wird; (c) dass die Amplitude der Gesten direkt mit dem Grad der Prominenz korreliert. Generell erwarten wir, dass die Anwesenheit einer sprachbegleitenden Geste nicht direkt durch die An/Abwesenheit eines Pitchakzents vorhergesagt wird, sondern eher eine eigenständige Rolle spielt, die durch die IS vorhergesagt wird.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)
• Internationaler Bezug: Spanien