Deep Learning für robuste audiovisuelle Signalverarbeitung (A06)

• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Kognitive, systemische und Verhaltensneurobiologie
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 261402652

Projekt A6 entwickelt neuartige Algorithmen zur gemeinsamen Verarbeitung von akustischen und visuellen Merkmalen mit dem Ziel eine verbesserte Verarbeitung in beiden Domänen zu erreichen. Es werden Methoden entwickelt die auch bei unübersichtlichen Daten aus der Praxis robust sind. Das schließt Robustheit bei einer Vielzahl von realen Geräuschtypen ein, aber auch Robustheit gegenüber bewusst gestalteten Störquellen, sogenanntem adversarial noise. Mit Hilfe von Aufmerksamkeitsmechanismen und dem Prinzip des Informationsgewinns bestimmen wir, welche Teile der Daten am vielversprechendsten für die folgende Verarbeitung sind. Schließlich werden visuelle und akustische Daten gemeinsam verarbeitet um eine verbesserte akustische Quellentrennung und Sprachverbesserung zu erreichen. Die entwickelten Methoden werden in ein multimodales Robotersystem integriert, was die Berücksichtigung praktischer Beschränkungen wie begrenzte Trainingsdaten, begrenzte Rechenkapazität und Echtzeitanforderungen erfordert.

• DFG-Verfahren: Transregios
• Teilprojekt zu: TRR 169: Crossmodales Lernen: Adaptivität, Prädiktion und Interaktion
• Internationaler Bezug: China
• Antragstellende Institution: Universität Hamburg
• Teilprojektleiterinnen / Teilprojektleiter: Professorin Dr. Simone Frintrop; Professor Dr.-Ing. Timo Gerkmann; Professor Dr. Xiaolin Hu; Dr. Cornelius Weber, bis 12/2019