Semantische Abstraktionen im menschlichen Gehirn und in KI-Modellen der natürlichen Sprachverarbeitung

• Antragstellerin: Professorin Dr. Mariya Toneva, Ph.D.
• Fachliche Zuordnung: Kognitive und systemische Humanneurowissenschaften ; Allgemeine, Kognitive und Mathematische Psychologie ; Biologische Psychologie und Kognitive Neurowissenschaften
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459426179

Die künstliche Intelligenz (KI) hat in den letzten Jahren eine Vielzahl neuer Methoden zur Verarbeitung natürlicher Sprache (natural language processing, NLP) auf Basis tiefer neuronaler Netze (deep neural networks / DNNs) hervorgebracht, die bisherige Modelle bei linguistischen Aufgaben deutlich übertreffen. Diese Algorithmen lernen, einzelne Wörter zu repräsentieren und diese Repräsentationen flexibel zu kombinieren, um den direkten Kontext und die gestellte Aufgabe zu berücksichtigen. Aktuelle Studien zeigen, dass DNN-Modelle menschliche Hirnaktivität während der Sprachverarbeitung mit beeindruckender Güte vorhersagen - was auf eine substantielle Ähnlichkeit der Sprachrepräsentationen zwischen Gehirn und NLP-Modellen hinweist. Trotz ihrer hohen Performanz und der nachgewiesenen Ähnlichkeit ihrer linguistischen Repräsentationen mit Hirnaktivierungsmustern weisen diese Modelle jedoch mehrere Einschränkungen auf - etwa die riesige Datenmengen, die zum Trainieren tiefer NLP-Modelle erforderlich sind oder ihre Probleme, erworbenes Wissen beim Erlernen neuer Aufgaben aufrechtzuerhalten.Wir postulieren, dass diese Limitierungen moderner NLP-Modelle zumindest teilweise auf die Ausbildung suboptimaler Repräsentationen auf Ebene abstrahierter (kontext-unabhängiger) semantischer Konzepte zurückzuführen sind, die für schnelleres Lernen und verbesserte Generalisierungen jedoch sehr wichtig sind. Es wird dementsprechend angenommen, dass eine stärkere Ausrichtung der Modelle an neuronalen Aktivierungsmustern auf unterschiedlichen semantischen Abstraktionsebenen zu Verbesserungen in mehreren NLP-relevanten Metriken führen kann. Um dies zu untersuchen, werden funktionelle Hirnaktivierungsmessungen während der Sprachverarbeitung, tiefe NLP-Modelle und vor allem hochaufgelöste menschliche Urteile über semantische Worteigenschaften kombiniert, um eine Reihe grundlegender Fragen zu beleuchten: Was macht die Ähnlichkeit zwischen Repräsentationen in NLP-Modellen und Repräsentationen menschlicher Sprache im Gehirn aus? Unterscheiden sich diese Ähnlichkeitsmuster zwischen semantischen Abstraktionsebenen und zwischen KI-Systemen, die unterschiedlich trainiert wurden (z.B. unimodal vs. multimodal)? Was ändert sich in einem NLP-Modell, wenn es neben Sprachdaten auch mit Hirnaktivierungsdaten trainiert wird - hinsichtlich unterschiedlich abstrakter semantischer Repräsentation und hinsichtlich der Modellperformanz in linguistischen Aufgaben? Und wo liegen die Vorteile und Grenzen der Integration von Gehirndaten in NLP-Modelle? Die Integration grundlagenwissenschaftlicher Erkenntnisse in die Modellentwicklung hat großes Potential für die Etablierung robusterer und dateneffizienterer KI-Systeme. Das hier beantragte Projekts kann hierzu fundamentale Erkenntnisse aus der neurokognitiven Sprachforschung beitragen. Gleichzeitig werden aus dieser Arbeit grundlegende Einsichten über die Möglichkeiten und Grenzen datengetriebener Weiterentwicklungen von KI-Modellen gewonnen.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5368: KI-FOR Abstrakte Repräsentationen in neuronalen Architekturen (ARENA)