Detailseite
Projekt
VR-unterstützte multimodale distributionale Semantik für Gesten im Dialog
Antragsteller
Dr. Andy Lücking; Professor Dr. Alexander Mehler
Fachliche Zuordnung
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Angewandte Sprachwissenschaften, Computerlinguistik
Angewandte Sprachwissenschaften, Computerlinguistik
Förderung
Förderung seit 2022
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502018965
Sowohl die korpusgestützte Linguistik als auch die gegenwärtige Computerlinguistik beruht auf der Verwendung häufig großer, sprachlicher Ressourcen. Die Erweiterung des linguistischen Gegenstandsbereichs auf visuelle Kommunikationsmittel wie Gestikulation ist bislang nicht mit entsprechenden Korpora hinterlegt. Das bedeutet, dass die "multimodale Linguistik" und Dialogtheorie nicht an etablierten distributionellen Methoden der Korpuslinguistik und Computersemantik partizipieren kann. Die Hauptursache für diesen Missstand ist in der Schwierigkeit auszumachen, multimodale Daten in geeigneter Weise und in geeignetem Umfang zu erfassen. Unter Verwendung neuester, AR- und VR-gestützter Aufzeichnungsmethoden strebt das Projektvorhaben GeMDS an, diese Datenlücke zu schließen und visuelle Kommunikation mittels maschinenbasierter Verfahren unter innovativer Verbindung neuronalen und aktiven Lernes für kleine Datenemengen anhand der systematischen Bezugsdimensionen der Assoziativität und Kontiguität ihrer Merkmale zu untersuchen. GeMDS zeichnet sich dabei vor allem durch folgende Besonderheiten aus:- Ökologische Validität: die Datenerfassung erfolgt in Dialogsituationen und nimmt somit insbesondere auch Alltagsgesten oder interaktive Gesten in den Blick. GeMDS setzt sich hierin ab von Sammlungen von teils emblematischen Handformen oder gestischen Scharaden.- Echte Multimodalität: die VR-gestützte Aufzeichnungstechnik nimmt nicht nur Hand-und-Arm-Bewegungen sowie Handformen sondern auch Gesichtsausdrücke auf -- es ist die echte Multimodalität, die Kennzeichen natürlichsprachlicher Interaktion ist. Hierin antizipiert GeMDS potentielle weitere Entwicklungen von ViCom.Das auf diese Weise erstellte Korpus wird der Forschungsgemeinde zur Verfügung gestellt (FAIR-Prinzipien). Die Ergebnisse von GeMDS gehen ein in soziale Mensch-Maschine-Interaktion, tragen bei zur Erforschung von Gestenfamilien, und stellen eine Grundlage für explorative Korpusanalysen und weitere Annotationen dar. Des Weiteren untersucht das Projekt, inwieweit die erzielten Ergebnisse für das Inputproblem der Bedeutungsrepräsentation in formalen Semantiken dienen können (kurz: um einen multimodale Gesamtbedeutung kompositionell zu errechnen, ist es zu allererst nötig, die sprachlichen und die nicht-vokalen Teile einer Äußerung mit Bedeutungen zu assoziieren, etwas, das bislang nur intuitiv geschieht). In der letzten Projektphase wird ein VR-Avatar zu einem Wiedergabemedium des zuvor aufgezeichneten multimodalen Verhaltens ausgebaut. Dies dient zur visuellen Evaluation der Methodik. Der Avatar kann zudem als experimentelle Plattform z.B. in Kooperation mit anderen Projekten genutzt werden.
DFG-Verfahren
Schwerpunktprogramme
