Detailseite
Projekt
EXC 284: Multimodal Computing and Interaction. Robust, Efficient and Intelligent Processing of Text, Speech, Visual Data and High Dimensional Representations
Fachliche Zuordnung
Informatik
Förderung
Förderung von 2007 bis 2019
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 39134088
Unsere Lebens- und Arbeitsumstände haben sich in den letzten drei Jahrzehnten dramatisch verändert. Diese Veränderung wird gemeinhin als Aufbruch in die Informationsgesellschaft beschrieben. Vor zehn Jahren bestanden digitale Inhalte überwiegend aus Text, heute sind diese Inhalte erweitert um Audio, Video und Grafik. Als Herausforderung ergibt sich, diese multimodale Information auf robuste, effiziente und intelligente Weise zu organisieren, zu verstehen und zu durchsuchen sowie zuverlässige Systeme mit intuitiven multimodalen Interaktionsmöglichkeiten zu schaffen.
Der Exzellenzcluster stellt sich dieser Herausforderung. Hierbei bezeichnet der Begriff "multimodal" sowohl die unterschiedlichen Arten von Information wie Text, Sprache, Bilder, Video, Grafik und hochdimensionale Daten wie auch die Art der Wahrnehmung und Kommunikation, insbesondere durch Sehen, Hören und menschlichen Ausdruck. Die tägliche zwischenmenschliche Kommunikation beruht auf einer Vielzahl unterschiedlicher Modalitäten. Unser erstes Ziel ist eine ähnlich natürliche multimodale Interaktion mit Informationssystemen, und zwar überall und zu jeder Zeit. Die Systeme müssen den Umgebungskontext berücksichtigen, auf Sprache, Text und Gesten reagieren und mit Sprache, Text, Video, virtuellen Darstellungen oder mittels virtueller Charaktere antworten. Unser zweites Ziel ist es, die Fähigkeiten von Computersystemen zu verbessern, Daten ganz unterschiedlicher Modalitäten zu erfassen, zu verarbeiten und darzustellen. Auch große, verteilte, verrauschte und unvollständige multimodale Daten sollen analysiert und interpretiert werden; das erfasste Wissen soll aufbereitet und in Echtzeit visualisiert werden. Wir bezeichnen dies als multimodale Verarbeitung.
Der Exzellenzcluster umfasst die führenden deutschen Fachbereiche für Informatik bzw. Computerlinguistik und Phonetik der Universität des Saarlandes, das Max-Planck-Institut für Informatik, das Deutsche Forschungszentrum für Künstliche Intelligenz sowie das neu gegründete Max-Planck-Institut für Softwaresysteme. Alle beteiligten Einrichtungen haben sich auf ein gemeinsames und langfristiges Forschungsprogramm verständigt, das die Grundlage dieses Exzellenzclusters bildet.
Ein zentrales Ziel ist die Qualifikation und Förderung des wissenschaftlichen Nachwuchses. Der überwiegende Teil der beantragten Mittel ist deshalb für die Einrichtung von unabhängigen Nachwuchsgruppen vorgesehen.
Der Exzellenzcluster stellt sich dieser Herausforderung. Hierbei bezeichnet der Begriff "multimodal" sowohl die unterschiedlichen Arten von Information wie Text, Sprache, Bilder, Video, Grafik und hochdimensionale Daten wie auch die Art der Wahrnehmung und Kommunikation, insbesondere durch Sehen, Hören und menschlichen Ausdruck. Die tägliche zwischenmenschliche Kommunikation beruht auf einer Vielzahl unterschiedlicher Modalitäten. Unser erstes Ziel ist eine ähnlich natürliche multimodale Interaktion mit Informationssystemen, und zwar überall und zu jeder Zeit. Die Systeme müssen den Umgebungskontext berücksichtigen, auf Sprache, Text und Gesten reagieren und mit Sprache, Text, Video, virtuellen Darstellungen oder mittels virtueller Charaktere antworten. Unser zweites Ziel ist es, die Fähigkeiten von Computersystemen zu verbessern, Daten ganz unterschiedlicher Modalitäten zu erfassen, zu verarbeiten und darzustellen. Auch große, verteilte, verrauschte und unvollständige multimodale Daten sollen analysiert und interpretiert werden; das erfasste Wissen soll aufbereitet und in Echtzeit visualisiert werden. Wir bezeichnen dies als multimodale Verarbeitung.
Der Exzellenzcluster umfasst die führenden deutschen Fachbereiche für Informatik bzw. Computerlinguistik und Phonetik der Universität des Saarlandes, das Max-Planck-Institut für Informatik, das Deutsche Forschungszentrum für Künstliche Intelligenz sowie das neu gegründete Max-Planck-Institut für Softwaresysteme. Alle beteiligten Einrichtungen haben sich auf ein gemeinsames und langfristiges Forschungsprogramm verständigt, das die Grundlage dieses Exzellenzclusters bildet.
Ein zentrales Ziel ist die Qualifikation und Förderung des wissenschaftlichen Nachwuchses. Der überwiegende Teil der beantragten Mittel ist deshalb für die Einrichtung von unabhängigen Nachwuchsgruppen vorgesehen.
DFG-Verfahren
Exzellenzcluster
Antragstellende Institution
Universität des Saarlandes
Beteiligte Institution
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI); Max-Planck-Institut für Informatik; Max-Planck-Institut für Softwaresysteme
Sprecher
Professor Dr. Hans-Peter Seidel
beteiligte Wissenschaftlerinnen / beteiligte Wissenschaftler
Professor Dr. Michael Backes; Professor Dr. Matthew W. Crocker; Professor Peter Druschel, Ph.D.; Professor Dr. Matthias Hein; Professor Dr. Antonio Krüger; Professor Dr. Thomas Lengauer; Professor Dr. Kurt Mehlhorn; Professor Dr. Manfred Pinkal; Professor Dr. Bernt Schiele; Professor Dr. Raimund Seidel; Professor Dr.-Ing. Philipp Slusallek; Professorin Dr. Elke Teich; Professor Dr. Hans Uszkoreit; Professor Dr. Wolfgang Wahlster; Professor Dr. Joachim Weickert; Professor Dr. Gerhard Weikum
