Empirische und komputationale Untersuchung der Intergration von Sprache und ikonischen Gesten unter Berücksichtigung ihrer Entwicklung bei Vorschulkindern. (EcoGest)

• Antragstellerinnen / Antragsteller: Professorin Dr. Friederike Kern; Professor Dr.-Ing. Stefan Kopp, since 8/2018; Professorin Dr. Katharina Rohlfing
• Subject Area: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Term: from 2017 to 2022
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 322326507

Gesten und Sprache formen ein integriertes kommunikatives System. Die Integration wurde bereits unter dem Aspekt der Kommunikation und des Lernens untersucht. Aktuelle Studien versuchen dabei zu erklären, wie Gesten Sprache beeinflussen und wie Gesten -- als eine spezielle Form der Handlung -- die Sprecher dazu bewegt, sensomotorische Information in ihr Repräsentationssystem aufzunehmen. In diesen kognitiven Ansätzen wird die Tatsache, dass Gesten für unterschiedliche Zwecke und in verschiedenen kommunikativen Genres eingesetzt werden, missachtet. Doch zeigten bisherige Untersuchungen, dass unterschiedliche Typen von kommunikativen Genres verschiedene kognitive und kommunikative Fähigkeiten von Sprechern und Hörern erfordern: Zum Beispiel sind für eine Erzählung ein anderes strukturelles Wissen und andere verbale Fähigkeiten von Nöten als für eine Erklärung. Während das Auftauchen der Gesten in kompetenten Sprecher fließend erscheint, könnte bei Kindern, die erst lernen müssen, mit der Vielfalt der diskursiven Kontexten zurechtzukommen, die Rolle der Geste in und für unterschiedliche kommunikative Genres besser zu beobachten sein: Eine Möglichkeit ist, dass für manche kommunikativen Genres Gesten eine zusätzliche Visualisierungsressource für die gegenseitige Verständigung sind, und Kinder sie mit wachsenden linguistischen und kognitiven Fähigkeiten entdecken und nutzen. Eine andere Möglichkeit -- die die erste nicht ausschließt -- ist, dass Gesten helfen, die kommunikativen Anforderungen zu bewältigen, die Kindern in unterschiedlichen Kontexten begegnen. Das heißt, dass zusätzlich zu der sensomotorischen Information, die für das Sprechen nötig ist, die Geste auch eine integrale Ressource des Sprechens ist, und sie sich unterschiedlich, je nach kommunikativem Genre, in denen sich andere Anforderungen an das Sprechen stellen, äußert. Diese Möglichkeiten werfen neue Fragen in Bezug auf Integration von Gesten und Sprache auf: Werden Gesten in Abhängigkeit von dem kommunikativen Genre gebraucht und wenn ja, wie wird der pragmatische Aspekt in die Sprachproduktion integriert? In unserem Projekt verwenden wir qualitative und quantitative Analysen wie auch komputationale Evaluationsmethoden, um die längsschnittliche Integration von Sprache und Gesten bei 4- und 5jährigen Kindern zu erfassen und zu untersuchen, wie der Kontext (das kommunikative Genre) die unterschiedlichen gestischen Techniken bei Kindern in der Interaktion beeinflusst. Das Ziel des Projektes ist es, zu der Theorie der Integration von Gesten und Sprache unter Berücksichtigung der kognitiven und pragmatischen Aspekte der Entwicklung beizutragen.

• DFG Programme: Sachbeihilfen
• International Connection: USA
• Kooperationspartnerinnen: Dr. Erica Cartmill; Marjorie Harness Goodwin
• Ehemalige Antragstellerin: Dr.-Ing. Kirsten Bergmann, until 7/2018