Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik

• Antragsteller: Professor Dr. Johannes Hartig
• Fachliche Zuordnung: Allgemeines und fachbezogenes Lehren und Lernen
• Förderung: Förderung von 2015 bis 2019
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 262600535

Ergebnisse aus standardisierten Schulleistungstests werden häufig dahingehend interpretiert, dass sie auf mehr oder weniger guten Unterricht zurückgeführt werden können. Dies beinhaltet die Annahme, dass die Testinstrumente instruktionssensitiv sind, d. h. dazu in der Lage sind, Effekte des Unterrichts abzubilden. Das hier beantragte Projekt baut auf einem von Naumann, Hochweber und Hartig (2013) vorgestellten längsschnittlichen Mehrebenen-DIF-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Klassen einbezieht, und erlaubt die Unterscheidung globaler und differenzieller Sensitivität. Das beantragte Projekt verfolgt vier Ziele, von denen die ersten beiden primär methodologischer Natur sind: (1) die Weiterentwicklung des LML-DIF-Modells und (2) die Untersuchung der Qualität und Bedingungen der Parameterschätzung. Zwei weitere Ziele beziehen sich auf inhaltlichen Fragen der Unterrichtsforschung und Testentwicklung: (3) die Validierung von statistischen Indikatoren für Instruktionssensitivität und (4) die Entwicklung von Kriterien zur Klassifikation der Instruktions¬sensitivität auf Test- und Itemebene. Die Arbeitspakete zur Erreichung dieser Ziele lassen sich einteilen in die Bereiche Modellentwicklung, Simulationsstudien, Sekundäranalysen und eine Datenerhebung an Schweizer Schulen. Eine Weiterentwicklung des Modells soll hinsichtlich des Einbezugs der Instruktionssensitivität auf Testebene, des Einbezugs von Prädiktorvariablen, der Modellierung variierender Itemdiskriminationen, der Verallgemeinerung auf mehrstufige Antworten und der Anwendung auf Trenddaten erfolgen. Simulationsstudien unterstützen die Modellentwicklung und dienen der Erforschung der Qualität und Bedingungen der Parameterschätzung (z. B. Stichprobenanforderungen). Sekundäranalysen dienen der Entwicklung von Kriterien für "hohe" oder "geringe" Instruktionssensitivität, hierzu sollen so viele geeignete Datensätze wie möglich reanalysiert werden. Darüber hinaus sollen statistische Indikatoren für Instruktionssensitivität validiert werden, indem deren Zusammenhänge mit Prädiktoren auf Klassen- und Itemebene gezeigt werden. Einige weitere Sekundäranalysen dienen darüber hinaus der Ersterprobung von neu entwickelten Modellvarianten. Da in den Daten aus bereits vorliegenden Studien einige für unsere Fragestellungen interessante Variablen fehlen, ist schließlich die Erhebung eigener Testdaten an Schweizer Schulen geplant. Hierbei liegt der Fokus auf detaillierten Untersuchungen des Unterrichtsinhalts und umfassenden Einschätzungen der Testaufgaben bezüglich ihrer Nähe zum Unterricht.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Partnerorganisation: Schweizerischer Nationalfonds (SNF)
• Beteiligte Person: Professor Dr. Jan Hochweber