TRR 169:  Crossmodales Lernen: Adaptivität, Prädiktion und Interaktion

• Fachliche Zuordnung: Sozial- und Verhaltenswissenschaften ; Geisteswissenschaften ; Informatik, System- und Elektrotechnik ; Medizin
• Förderung: Förderung von 2016 bis 2024
• Webseite: Zur Homepage
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 261402652

Der Begriff „crossmodales Lernen“ beschreibt die adaptive, synergistische Integration komplexer Wahrnehmung durch mehrere sensorische Modalitäten, die das Lernen innerhalb einer einzelnen Modalität durch Informationen anderer Modalitäten ergänzt und erweitert. Crossmodales Lernen ist unverzichtbar, damit Menschen ihre Umwelt verstehen. Dies zeigen viele Beispiele, etwa, lernen zu greifen und Objekte zu manipulieren, lernen zu lesen und zu schreiben, lernen Sprache zu verstehen, etc. Bei all diesen Beispielen müssen visuelle, auditorische, somatosensorische und andere Modalitäten integriert werden. Das langfristige Ziel unserer Forschung ist es, die neuronalen, kognitiven und informatischen Grundlagen crossmodalen Lernens zu verstehen und zur Verbesserung künstlicher, intelligenter Systeme zu nutzen. Dies wird es uns ermöglichen, die folgenden primären Teilziele unseres SFBs zu erreichen: (1) Unser Verständnis multimodaler Verarbeitung im menschlichen Gehirn zu vertiefen, (2) detaillierte formale Modelle zu schaffen, die crossmodales Lernen in Mensch und Maschine beschreiben, und (3) künstliche Systeme für Aufgaben zu entwickeln, die ein crossmodales Verständnis der Welt erfordern. Dieses Projekt hat das Ziel, den interdisziplinären, internationalen Sonderforschungsbereich (SFB / TRR169) zwischen den Neurowissenschaften, der Psychologie und der Informatik fortzusetzen. Unser langfristiges Ziel ist es, diesen SFB als primäre Forschungseinrichtung für das neue, interdisziplinäre Forschungsfeld des crossmodalen Lernens zu etablieren. Ausgehend von einer erfolgreichen ersten Phase des SFB und umfangreichen Forschungskollaborationen zwischen Deutschland und China, wird dieser SFB gemeinsam von der DFG und der NSFC (Natural Science Foundation of China) unterstützt. An diesem SFB-Forschungsverbund werden folgende Einrichtungen beteiligt sein: Die Universität Hamburg, das Universitätsklinikum Hamburg-Eppendorf, die drei chinesischen Spitzenuniversitäten Tsinghua, Beijing Normal und Peking Universität, sowie das Psychologie-Institut der Chinesischen Akademie der Wissenschaften.

• DFG-Verfahren: Transregios
• Internationaler Bezug: China

Laufende Projekte

• A01 - Adaptierung multisensorischer Verarbeitung auf veränderliche A-priori-Wahrscheinlichkeiten und sensorische Evidenz (Teilprojektleiterinnen / Teilprojektleiter Bruns, Patrick ;  Fu, Xiaolan ;  Hong, Bo ;  Röder, Brigitte )
• A02 - Neuronale Schaltkreise für crossmodales Gedächtnis (Teilprojektleiter Guan, Ji-Song ;  Hilgetag, Claus Christian )
• A03 - Crossmodales Lernen in Gesundheit und neurologischer Erkrankung: Neuroinformatorische Repräsentation und therapeutische Anwendung (Teilprojektleiter Gerloff, Christian ;  Hummel, Friedhelm Christoph ;  Xue, Gui )
• A04 - Crossmodale Repräsentation für robustes Roboterverhalten (Teilprojektleiter Wang, Yizhou ;  Zhang, Jianwei ;  Zhang, Changshui )
• A05 - Neuro-robotische Modelle für crossmodale geteilte Aufmerksamkeit und soziale Interaktion (Teilprojektleiter Liu, Xun ;  Wermter, Stefan )
• A06 - Deep Learning für robuste audiovisuelle Signalverarbeitung (Teilprojektleiterinnen / Teilprojektleiter Frintrop, Simone ;  Gerkmann, Timo ;  Hu, Xiaolin ;  Weber, Cornelius )
• B01 - Modulation der neuronalen Mechanismen crossmodaler Prädiktion (Teilprojektleiter Engel, Andreas K. ;  Hu, Xiaolin ;  Zhang, Dan )
• B03 - Neurokognitive Mechanismen für Transfer und Generalisierung im impliziten crossmodalen Lernen (Teilprojektleiterinnen / Teilprojektleiter Fu, Qiufang ;  Gao, Xiaorong ;  Rose, Michael )
• B04 - Hirndynamik von Top-Down Kontrolle bei crossmodaler Kongruenz (Teilprojektleiter Engel, Andreas K. ;  Liu, Xun ;  Nolte, Guido )
• B05 - Crossmodaler Transfer von Feinmanipulationsfertigkeiten (Teilprojektleiter Sun, Fuchun ;  Zhang, Jianwei )
• C04 - Neuro-kognitive Modelle für crossmodalen Spracherwerb (Teilprojektleiter Liu, Zhiyuan ;  Weber, Cornelius ;  Wermter, Stefan )
• C07 - Crossmodales Lernen für Verbesserung des Lesen Lernens (Teilprojektleiterinnen / Teilprojektleiter Biemann, Christian ;  Li, Xingshan ;  Qu, Qingqing )
• C08 - Crossmodale Bindungen und Plastizität während visuell-haptischer Interaktion für neuartige Therapieformen (Teilprojektleiterinnen / Teilprojektleiter Chen, Lihan ;  Kühn, Simone ;  Steinicke, Frank ;  Wei, Kunlin )
• C09 - Die Rolle mentaler Modelle und des “Sense of Agency” für das Lernen crossmodaler Kommunikationsformen (Teilprojektleiterinnen / Teilprojektleiter Fu, Xiaolan ;  Gläscher, Jan )
• MGKZ02 - Integriertes Graduiertenkolleg (Teilprojektleiterinnen / Teilprojektleiter Engel, Andreas K. ;  Fu, Xiaolan ;  Zhang, Jianwei )
• Z01 - Verwaltungsprojekt - Management und Koordination (Teilprojektleiter Sun, Fuchun ;  Zhang, Jianwei )
• Z03 - Integrations-Initiativen für Software-Modelle und robotische Demonstratoren (Teilprojektleiter Sun, Fuchun ;  Wermter, Stefan ;  Zhang, Jianwei )

Abgeschlossene Projekte

• B02 - Bayessche Analyse der Interaktion von Lernen, semantischer Information und sozialem Einfluss auf multisensorische Integration (Teilprojektleiter Gläscher, Jan ;  Zhu, Jun )
• C05 - Kopplung von aktivem Sehen und multimodalem Sprachverstehen (Teilprojektleiterinnen / Teilprojektleiter Li, Xingshan ;  Menzel, Wolfgang ;  Qu, Qingqing )
• C06 - Multisensorisches Wahrnehmen, Lernen und Agieren während crossmodaler Teleoperation (Teilprojektleiter Chen, Lihan ;  Fang, Fang ;  Steinicke, Frank )

• Antragstellende Institution: Universität Hamburg
• Mitantragstellende Institution: Tsinghua University
• Sprecher: Professor Dr. Jianwei Zhang