Ein Bayesianischer Modellrahmen für die Auswertung von Daten aus längsschnittlichen Large-scale Assessments

• Antragstellerinnen / Antragsteller: Professor Dr. Christian Aßmann; Professor Dr. Claus Carstensen; Professorin Dr. Steffi Pohl
• Fachliche Zuordnung: Empirische Sozialforschung ; Statistik und Ökonometrie
• Förderung: Förderung von 2014 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 263946158

Valide Schlussfolgerungen aus Bildungsstudien zu ziehen ist mit einer Reihe von Herausforderungen verbunden. Das Ziel des Projektes war daher zunächst die Entwicklung eines Modellrahmens der diese Herausforderungen bei Analyse von längsschnittlichen Kompetenzdaten, wie sie zum Beispiel im Nationalen Bildungspanel (NEPS) erhoben werden, adressiert. Im Projekt wurde unter anderem ein Bayesianischer Schätzansatz für Item Response und Konfirmatorische Faktorenmodelle entwickelt, der für binäre und ordinale Items eine Modellierung von Kompetenzen als latente Variablen und gleichzeitig die Handhabung fehlender Werte in Hintergrundvariablen erlaubt. Um den längsschnittlichen Charakter der Daten abzubilden, wurden Strategien zur Bestimmung von Ankeritems zum Linking verschiedener Messzeitpunkte entwickelt und evaluiert. Auch wurden verschiedene Kalibrierungsansätze von Raschskalierten Kompetenzdaten überprüft und längsschnittliche Modellierungen zum Linking in den übergeordneten Modellrahmen integriert. Dieser Modellrahmen umfasst ebenfalls Ansätze zur Berücksichtigung von hierarchischen Strukturen in Form von zufälligen Effekten, sowie manifester oder latenter Mehrgruppenmodellierungen. Diese hierarchischen Modellierungen wurden in Verbindung mit dem entwickelten Bayesianischen Schätzverfahren zur Analyse von NEPS Daten verwendet, unter anderem für die Analyse der Effekte des deutschen Schulsystem oder des Testleiters auf die Kompetenzmaße. In dieser Projektskizze werden weitergehende Erweiterungen des Modellrahmens für die anstehende dritte Förderphase dargestellt. Zunächst sollen die im Bayesianischen Kontext gegebenen Möglichkeiten der Modellmittelung und des Modellvergleichs implementiert und genutzt werden. Daher wird entsprechend die Berechnung der marginalen Likelihood als normalisierende Konstante der a posteriori Verteilung implementiert und darauf aufbauende Verfahren der Modellmittelung. Die Möglichkeit der Bayesianischen Modellmittelung soll dann für die Weiterentwicklung von Ankeritems für ein längsschnittliches Linking genutzt werden. Zweitens werden die Modellierungen erweitert, um Prozessdaten zu integrieren. Insbesondere werden Erweiterungen für die Berücksichtigung von Antwortzeiten mit dem Ziel einer effizienteren Kompetenzschätzung sowie der Analyse der Testbearbeitung betrachtet. Als drittes Projektziel sollen Möglichkeiten entwickelt und bewertet werden, Hintergrundvariablen im Rahmen der Bereitstellung von Plausible Values in einem längsschnittlichen Design mittels modellbasierter Kriterien automatisiert zu selektieren, da sich klassische Ansätze zur Integration von Hintergrundvariablen im Umgang mit fehlenden Werten und der schieren Menge an über die Zeit kumulierten Variablen als ineffizient erweisen. Die entwickelten Erweiterungen eröffnen ein größeres Anwendungsspektrum und werden unmittelbar auf NEPS-Daten angewendet und NEPS-Datennutzern zur Verfügung gestellt.

• DFG-Verfahren: Infrastruktur-Schwerpunktprogramme
• Teilprojekt zu: SPP 1646: Bildung als lebenslanger Prozess