Optimierung der Auswahl und des Trainings von Beurteilenden: Wie beeinflussen Merkmale der Beurteilenden und des Trainings die Qualität von Beurteilungen der Unterrichtsqualität?

• Antragstellerinnen / Antragsteller: Professor Dr. Aiso Heinze; Professor Dr. Thilo Kleickmann; Professorin Dr. Mirjam Steffensky
• Fachliche Zuordnung: Allgemeines und fachbezogenes Lehren und Lernen
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 490658944

Unterrichtsbeurteilungen werden zur Beurteilung von Lehrkräften, als Grundlage für Unterrichtsentwicklung und in der Unterrichtsforschung verwendet. Dabei sind die Reliabilität und Validität der Beurteilungen von großer Bedeutung. Forschung zur Qualität von Unterrichtsbeurteilungen hat jedoch gezeigt, dass die Reliabilität und Validität der Beurteilungen von Unterrichtsqualität oft nicht zufriedenstellend ist. Systematische und kausale Evidenz zur Frage, wie Unterrichtsbeurteilungen verbessert werden können, liegt bislang kaum vor.Ziel des beantragten Projekts ist die systematische Untersuchung der Effekte zentraler Merkmale der Beurteilenden und des Trainings der Beurteilenden auf die Qualität (Reliabilität und Validität) der Beurteilung von Unterrichtsqualität. Wir beabsichtigen auf diese Weise Erkenntnisse zu generieren, wie die Auswahl und das Training von Beurteilenden verbessert werden kann, wobei auch Fragen der praktischen Machbarkeit berücksichtigt werden. Das Projekt fokussiert bei der Beurteilung von Unterrichtsqualität die drei Basisdimensionen Klassenführung, konstruktive Unterstützung und kognitive Aktivierung. Untersucht wird die Bedeutung der folgenden Aspekte für die Qualität der Beurteilung von Unterrichtsqualität: (Fragestellung 1) inhaltsbezogene und generische Merkmale der Beurteilenden, (Fragestellung 2) spezifische Konstellationen von Beurteilenden bei typischen Anzahlen von Beurteilenden (n = 2-4), (Fragestellung 3) experimentelle Manipulationen des Fachwissens und fachdidaktischen Wissens der Beurteilenden in Bezug auf den Inhalt der zu beurteilenden Unterrichtsstunden, (Fragestellung 4) experimentelle Manipulationen der Übungsphase im Training sowie (Fragestellung 5) experimentelle Manipulationen der Trainingsdauer (12 h vs. 6 h).Die Varianz der Merkmale der Beurteilenden wird durch eine gezielte Auswahl von Teilnehmenden (verschiedene Unterrichtsfächer, verschiedene Schulstufen, (Lehramts-)Studierende und berufstätige Lehrkräfte) maximiert. Dabei werden spezifische Aus- und Fortbildungssettings in Deutschland und in der Schweiz genutzt. Beurteilt werden Unterrichtsstunden in zwei zentralen Unterrichtsfächern: Naturwissenschaften (Fokus auf das Thema Schwimmen und Sinken; Klassenstufen 3-4) und Mathematik (Fokus auf das Thema Satz des Pythagoras; Klassenstufen 8-9). Zur Untersuchung der Fragestellungen 1 und 2 werden die Daten der Kontrollgruppen in vier Experimenten genutzt. Zur Untersuchung der Fragestellungen 3-5 werden die o.g. Aspekte experimentell variiert. Zentrale abhängige Variablen sind Interrater Reliabilität, Übereinstimmung mit Referenzurteilen und prädiktive Validität im Hinblick auf das fachliche Verständnis und Interesse von Schüler*innen. Mit Teilstichproben der Experimente werden qualitative Studien (lautes Denken, kognitive Interviews) durchgeführt, um vertiefte Einsichten in Bezug auf Fragestellung 3 und 4 zu gewinnen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Kooperationspartnerin: Professorin Dr. Anna-Katharina Praetorius