Simultanes Dolmetschen von Vorlesungen von/nach Deutsch

• Antragsteller: Professor Dr. Alexander Waibel
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2017 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 326928774

Entscheidende Verbesserungen in der automatischen Spracherkennung und der maschinellen Übersetzung erlauben es erste Anwendungen zu bauen, die das Potential dieser Technologie aufzeigen. Ein erfolgreiches Beispiel hierfür ist das Vorlesungsübersetzungssystem am KIT. Dieses System transkribiert Vorlesungen an der Universität, die in Deutsch geben werden, und übersetzt sie ins Englische. Dies ermöglicht es ausländischen Studenten, der Vorlesung zu folgen, obwohl ihre Deutschkenntnisse noch nicht gut genug wären. Dazu werden ihnen englische Untertitel der Vorlesung auf einer Webseite angezeigt.Obwohl diese Systeme das Potential der Technik zeigen, sind noch signifikante Verbesserungen der Technologie nötig, um eine simultanen Übersetzungsservice an deutschen Universitäten anzubieten. Dies ist eine besondere Herausforderung, da es bekannt ist, dass die maschinelle Übersetzung besonders schwierig ist, falls eine der involvierten Sprachen Deutsch ist. Daher befasst sich dieser Antrag mit Techniken, um besser Übersetzungen von Deutsch nach Englisch zu erzeugen und einen Übersetzungsservice von Englisch nach Deutsch zu erstellen. Durch ein zusätzliches Übersetzungssystem von English nach Deutch ermöglichen wir ausländischen Studenten eine aktive Teilnahme an den Lernveranstaltungen. Um dies in zufriedenstellender Qualität zu erreichen, müssen verschiedene wissenschaftliche Fragen behandelt werden. Mittels maschineller Übersetzung können zwar bereits relative gute Ergebnisse für viele Sprachenpaare erzeugt werden, mehrere Phänomene der deutschen Sprache müssen allerdings noch besser im Übersetzungssystem modelliert werden. So ist, zum Beispiel, die unterschiedliche Wortstellung zwischen deutscher und englischer Sprache eine schwierige Aufgabe für aktuelle Übersetzungssysteme. Außerdem muss die Modellierung der Morphologie und der Kongruenz im Satz verbessert werden. Dabei werden im Besonderen Methoden entwickelt, die in Szenarien eingesetzt werden können, die eine geringe Latenz benötigen.Darüber hinaus werden Ansätze zur Strukturierung der Ausgabe des automatischen Spracherkennungssystems benötigt. Dafür müssen spontansprachliche Effekte im Text markiert und entfernt werden. Außerdem enthält die gesprochen Sprache keine Segmentierung in Sätze und Absätze. Damit die Studenten dem Text aber während der Vorlesung folgen können, sollte er strukturiert ausgegeben werden. Daher ist eine Segmentierung der Eingabe in Sätze und Absätze notwendig. Außerdem ist es nicht möglich, genügend Trainingsdaten für die Spracherkennungssysteme und Übersetzungssysteme zu sammeln, die aus der passenden Domäne der spezifischen Vorlesung kommen. Daher werden wir Methoden untersuchen, um Bewertungen und Korrekturen von Benutzern zu sammeln. Diese Daten können dann benutzt werden, um die verschiedenen Komponenten des Systems zu verbessern.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Dr.-Ing. Sebastian Stüker