Amortisierte Bayesianische Inferenz für Multilevel-Modelle

• Antragsteller: Professor Dr. Andreas Bulling; Dr. Paul-Christian Bürkner
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 508399956

Probabilistische Multilevel-Modelle (MLMs) sind ein zentraler Bestandteil des Bayesianischen Methodenarsenals und finden breite Anwendung in nahezu allen quantitativen Wissenschaften. Diese Modelle ermöglichen nicht nur die gemeinsame, interpretierbare Modellierung von hierarchischen Daten, sondern erlauben auch eine vollständig probabilistische Unsicherheitsquantifizierung. Obwohl die Vorteile von MLMs weitreichend anerkannt werden, bleibt ihre Schätzung außerordentlich kompliziert, insbesondere dann, wenn die Modell-Likelihood nicht analytisch ist. Neue Entwicklungen im Bereich von Deep-Learning und simulationsbasierter Inferenz haben in den letzten Jahren bereits vielversprechende Erfolge in dieser Richtung erzielt. Insbesondere erlauben tiefe neuronale Dichteschätzer Verteilungen über hochdimensionale Parameterräume zu lernen. Allerdings wurden die Möglichkeiten von Deep-Learning-Verfahren zur Schätzung komplexer Bayesianischer MLMs bisher kaum erforscht.In diesem Projekt schlagen wir die Entwicklung neuronaler Inferenz-Architekturen zur Schätzung komplexer Bayesianischer MLMs vor. Diese Architekturen bauen auf simulationsbasierten Methoden für Ein-Level-Modelle auf und erweitern diese substantiell. Für MLMs von arbiträrer Komplexität entwickeln wir spezialisierte Netze, welche an die probabilistische Struktur des zu schätzenden Modells angepasst sind. Während des Trainings fungiert das Modell als Lehrer, welcher mittels Simulationen die neuronalen Netze darauf trainiert, später die interessierenden Modellparameter für beliebige echte Daten zu schätzen. Nach dem Training kann das Netz gespeichert und beliebig oft ohne nennenswerten Aufwand auf neue Daten angewendet werden. Dies betrifft auch die effiziente Validierung der Inferenz, zum Bespiel mittels A-Posteriori-Prädiktionen oder Kreuzvalidierung. Die Art des Trainings sorgt dafür, dass sich die spätere Inferenz über mehrfache Anwendung des Netzes amortisiert, was einen enormen Fortschritt gegenüber Standardmethoden darstellt. Aus diesem Grund, hat das vorgeschlagene Projekt großes Potential, das Feld der simulationsbasierten Inferenz deutlich weiterzuentwickeln und das Verständnis von komplexen Prozessen über die quantitativen Wissenschaften hinweg nachhaltig zu verbessern.Das vorgeschlagene Projekt unterteilt sich in vier Arbeitspakete. Erstens leiten wir die theoretische Basis unserer Architekturen her und führen umfangreiche Validierungen und Vergleiche mit Alternativmethoden für weitreichend genutzte Zwei-Level Modelle durch. Zweitens erweitern wir die entwickelten Architekturen auf MLMs von arbiträrer Komplexität, wobei wir weitere Validierungs- und Vergleichsstudien durchführen. Drittens wenden wir unsere Architekturen auf besonderes herausfordernde, auf der Architektur ACT-R basierende kognitive Modelle an. Schlussendlich entwickeln wir ein nutzerfreundlichen Open-Source Softwarepaket, um die breite Anwendung der entwickelten Methoden in Forschung und Praxis zu gewährleisten.

• DFG-Verfahren: Sachbeihilfen