Berliner Initiative für Forschung im Bereich Foundation Models

• Subject Area: Informatik
• Term: since 2024
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 528483508

Der demografische Wandel stellt unsere Gesellschaft vor große Herausforderungen, von denen drei im Mittelpunkt unseres Antrages stehen. (1) Durch die sinkende Beschäftigungszahl können Roboter in Zukunft die menschliche Arbeitskraft ergänzen. (2) Eine zunehmend ältere Bevölkerung wird eine größere medizinische Versorgung benötigen. Idealerweise liefern Systeme des Maschinellen Lernens den Ärzten eine zusätzliche Einschätzung bei der Erstellung von Diagnosen. (3) Darüber hinaus kann die Grundlagenforschung in der computergestützten Zellbiologie dazu beitragen, die Diagnosen von Krankheiten langfristig zu unterstützen. Um diesen Herausforderungen zu begegnen, untersuchen wir drei Forschungsszenarien: Robotik, Quantitative Biologie und Prädiktive Medizin. Systeme des Maschinellen Lernens, die in diesen Szenarien eingesetzt werden, müssen wenige, hochdimensionale Daten effizient aus verschiedenen Modalitäten lernen. Foundation Models (FMs) können diese Anforderungen erfüllen. Einige dieser leistungsstarken Modelle erzeugen bereits fotorealistische Bilder aus Texteingaben oder führen Echtzeitkommunikation in großem Maßstab durch. In vielen Bereichen, z. B. in unseren Forschungsszenarien, gestaltet sich ihre Anpassung aber oft als nicht trivial und erschwert ihre Verwendung in Industrie, Medizin und Wissenschaft. Aus diesem Grund wollen wir uns im Antrag mit der zentralen Fragestellung befassen, wie diese Modelle für unterschiedliche Anwendungsbereiche angepasst werden können. Unsere wissenschaftlichen Ziele konzentrieren sich darauf zu verstehen, (1) wie Foundation Models mit wenigen Trainingsdaten angepasst werden können und (2), wie wir Erkenntnisse der Neurowissenschaften in neue Modelle einfließen lassen können. Wir möchten verstehen, (3) wie diese Modelle kontinuierlich lernen und diese (4) auf robotische Systeme übertragen können. Schließlich wollen wir erforschen wie wir (5) ihre Robustheit, Fairness und Erklärbarkeit auf automatisierte Weise ganzheitlich bewerten. Unser interdisziplinäres Team ist sehr gut vorbereitet, um die im Antrag beschriebenen Forschungsfragen zu bearbeiten. In den letzten Jahren haben wir eine Infrastruktur für Deep Learning, Robotik und quantitative Biologie aufgebaut, die eine sehr gute Basis für die Durchführung von Grundlagenforschung bildet. Um diesen bereits forschungsstarken Kern noch weiter auszubauen, ist es unser strategisches Ziel, das „Institute for Interdisciplinary Research on Foundation Models“ zu gründen und zu etablieren. Mit dieser Struktur werden wir die Grundlagenforschung zu Foundation Models in die Anwendung übertragen und die innovativen Modelle öffentlich zugänglich machen. Durch die Förderung der DFG wird dabei ein entscheidender Impuls gesetzt, um im Rahmen des Instituts ein optimales Arbeitsumfeld sowohl für die Forschenden als auch für den wissenschaftlichen Nachwuchs an der BHT zu schaffen.

• DFG Programme: Forschungsimpulse
• Antragstellende Institution: Berliner Hochschule für Technik (BHT)
• Beteiligte Institution: Hochschule für Technik und Wirtschaft Berlin
• Sprecher: Professor Dr. Felix Gers
• beteiligte Wissenschaftlerinnen / beteiligte Wissenschaftler: Professor Dr. Felix Biessmann; Professor Dr.-Ing. Ivo Boblan; Professorin Dr. Elisabeth Grohmann; Professor Dr.-Ing. Kristian Hildebrand; Professor Dr.-Ing. Hannes Höppner; Professor Dr.-Ing. Alexander Löser; Professorin Dr. Simone Reber; Professor Dr. Erik Rodner; Professorin Dr.-Ing. Amy Siu