Formative Kompetenzmessung mit kognitiven Diagnosemodellen
Final Report Abstract
Die Anwendung kognitiver Diagnosemodelle auf Leistungsdaten von Schülern ermöglichen im Gegensatz zum häufig eingesetzten eindimensionalen Raschmodell Schätzung mehrdimensionaler Kompetenzprofile, die im Sinne der formativen Diagnostik dazu verwendet werden können, individuelle Rückmeldungen mit einem diagnostischen Mehrwert für Schüler, Lehrer und Eltern zu entwickeln. In diesem Forschungsprojekt wurde untersucht, inwieweit sich die theoretischen Möglichkeiten von kognitiven Diagnosemodellen zur Modellierung von Daten aus kompetenzdiagnostischen Tests praktisch realisieren lassen. Dazu wurde ein neuer Mathematiktest für den Teilbereich „Zahlen und Operationen" für einfache arithmetische Aufgaben sowie Sachaufgaben für dritte und vierte Klassen der Gmndschule entwickelt, pilotiert und validiert. Die Schätzung verschiedener CDMs gelingt für die empirisch erhobenen Daten prinzipiell. Aus statistischer Perspektive liegen bei der Schätzung der CDMs dennoch viele ungeklärte Fragen vor. Ein wesentliches Problem betrifft die Tatsache, dass die Komplexität der Modelle und damit die Anzahl der zu schätzenden Parameter mit der Anzahl der angenommenen latenten Faktoren deutlich ansteigen. Ferner ist bisher nur wenig über die Beurteilung der Güte der Modellpassung bei den CDMs bekannt. Im Vergleich eines ausgewählten Vertreters der CDMs mit korrespondierenden mehrdimensionalen CFA-Modellen zeigte sich, dass das CDM per se keine zusätzliche Information über die mehrdimensionalen CFA-Modelle hinaus bereitstellt. Das CDM erlaubt jedoch eine andere Aufbereitung der Information und erlaubt die direkte Schätzung der Kompetenzprofile der Schüler, die eine Auskunft darüber ermöglichen, welche Teilfertigkeiten vom Schüler bereits beherrscht werden und welche noch nicht. Die Reliabilität der Schülerklassifikation ist jedoch abhängig von der Korrektheit der Q-Matrix und von der Auswahl der Items im jeweiligen Messinstrument. Hinsichtlich der Validiemng der aus den CDMs resultierenden Kompetenzprofile deuten erste Ergebnisse auf mittel hohe Zusammenhänge zwischen den Kompetenzprofilen für den neu entwickelten Mathematiktest und dem DEMAT 3+, den Bildungsstandardsaufgaben und der Mathematiknote hin. In einer zusätzlichen Simulationsstudie wurde der Frage nach geeigneten globalen und itemspezifischen Modell-Fit-Maßen nachgegangen, die sensitiv auf die Missspezifikation des Modells bzw. der Q-Matrix reagieren und damit eine zuverlässige Beurteilung der Modellpassung erlauben. Die Frage nach den geeigneten Modell-Fit-Maßen konnte noch nicht abschließend geklärt werden, da die Simulationsstudie erst vor Kurzem abgeschlossen wurde.
Publications
- (2008). Unique characteristics of cognitive diagnosis models: A comprehensive review of the current state-of-the-art. Measurement: Interdisciplinary Research & Perspectives, 6, 219-262
Rupp, A. A., & Templin, J.
- (2008, August). Modelling Multidimensional Structure with Diagnostic Classification Models and Confirmatory Factor Analysis Models. Paper presented at the Fourth Biennial Joint EARLI / Northumbria Assessment Conference, Potsdam, Germany, August, 27th-29th
Kunina, O., Wilhelm, O., & Rupp, A.A.
- (2008, June). Convergence of Skill Profiles for Cognitive Diagnosis Models and other Multidimensional Scaling Approaches: An Empirical Illustration with a Diagnostic Mathematics Assessment. Paper presented at the annual meeting of the Psychometric Society (IMPS) in Durham, New Hampshire, USA, June 29th-July 2nd
Kunina, O., Rupp, A.A., & Wilhelm, O.
- (2009). Have cognitive diagnostic models delivered their goods? Some substantial and methodological concerns. Measurement: Interdisciplinary Research & Perspectives, 7,53-57
Wilhelm, O., & Robitzsch, A.
- (2009). The (un)ususal suspects? A measurement community in search of its identity. Measurement: Interdisciplinary Research & Perspectives, 7, 115-121
Rupp, A. A., & Templin, J.
- (2009, April). Validity of Proficiency Profiles in Arithmetic Ability based on Cognitive Diagnosis Models. Paper presented at the annual meeting of American Educational Research Association (AERA) in San Diego, USA, April
Kunina, O., Wilhelm, O., & Rupp, A.A.
- (2009, August). Determinants of item difficulty do not contribute to distinguishable latent dimensions: Illustration from arithmetic performance in primary school. Paper presented at the biennial EARLI Conference in Amsterdam, August, 25th- 29th
Kunina, O., Wilhelm, O., & Rupp, A.A.
- (2009, September). Kognitive Diagnosemodelle: Theoretisches Potential & methodische Herausforderungen. Vortrag aufder 9. Tagung der Fachgruppe Methoden und Evaluation in Bielefeld, 10.09. - 12.09.
Kunina, O. & Wilhelm, O.
- (2008, October). Kognitive Diagnosemodelle för formative Kompetenzmessung im Sinne der länderübergreifenden Bildungs Standards. Vortrag auf der Herbsttagung des Arbeitskreises Vergleichsuntersuchungen im Mathematikunterricht, Freiburg, 24.-25.10
Kunina, O., Rupp, A.A., & Wilhelm, O.
