Analyse, Modellierung und Synthese sichtbarer Sprechbewegungen bei unterschiedlichen Sprechgeschwindigkeiten

• Applicant: Dr. Sascha Fagel
• Subject Area: General and Comparative Linguistics, Experimental Linguistics, Typology, Non-European Languages
• Term: from 2007 to 2010
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 40177908

Trotz intensiver Forschungs- und Entwicklungsarbeit im Bereich Mensch-Maschine- Interaktion bieten aktuelle Sprachvisualisierungssysteme nicht die Möglichkeit, unterschiedliche Sprechgeschwindigkeiten adäquat darzustellen. Da solche Systeme jedoch eingesetzt werden um sprech- und hörgestörten Menschen barrierefreien Zugang zu Informationssystemen zu ermöglichen, ist diese Funktionalität von großer Bedeutung. Auch in weiteren Anwendungen wie z.B. Animationsfilmen und Computerspielen werden immer realistischere Sprechbewegungen benötigt. Durch die exakte Modellierung der sichtbaren Sprechbewegungen leistet das Projekt hierzu einen wichtigen Beitrag. Im Rahmen des Vorhabens werden unterschiedlich schnell gesprochene Äußerungen optisch aufgezeichnet und mithilfe eines aktuellen gestischen Modellansatzes für gesprochene Sprache analysiert. So werden die sichtbaren Bewegungen hinsichtlich des Sprechtempos allgemein beschreibbar und es lassen sich neue Erkenntnisse über den Vorgang der Sprachproduktion ableiten. Anschließend wird das entwickelte Modell in aktuelle Systeme zur Sprachvisualisierung (zur Reproduktion aufgenommener Daten) und visuellen Sprachsynthese (zur Erzeugung beliebiger Sprachäußerungen) implementiert. Die Qualität der resultierenden synthetischen visuellen Sprache bezüglich der Sprechgeschwindigkeit wird mittels Wahrnehmungsexperimenten evaluiert. Die Ergebnisse können anschließend in kommerziellen Systemen zur Computeranimation eingesetzt werden. Eine Übertragung der entwickelten Modelle auf nonverbale Mimik ist ebenfalls möglich.

• DFG Programme: Research Grants