Teacher judgment accuracy: How do task- und student variables interact?
Final Report Abstract
Ein zentrales Element guten Unterrichts ist in der Passung zwischen dem Anforderungsniveau des Unterrichts bzw. der eingesetzten Aufgaben und dem Fähigkeitsniveau der Lernenden zu sehen. Um dies zu gewährleisten, müssen Lehrkräfte die Leistungen der Schülerinnen und Schüler und die Aufgabenschwierigkeit relativ zu den jeweiligen Fähigkeitsniveaus der Schülerinnen und Schüler bewerten. Die bislang in der Forschungsliteratur zur diagnostischen Urteilsbildung weitgehend getrennt betrachteten Komponenten der Schüler- und Aufgabenmerkmale wurden im Projekt in einem integrierten Forschungsansatz in einer um leistungsrelevante Aufgabenmerkmale erweiterten Version des Simulierten Klassenraums analysiert. Der simulierte Klassenraum ist ein computerbasiertes Instrumentarium, in dem die Teilnehmenden virtuellen Schülerinnen und Schülern gegenüber stehen. Die Aufgabe besteht darin, das Fähigkeitsniveau der Schülerinnen und Schüler so genau wie möglich einzuschätzen. Hierzu können Aufgaben (im Projekt implementiert: Mathematikaufgaben mit variierender Schwierigkeit) ausgewählt werden, die von den Schülerinnen und Schülern entsprechend ihres voreingestellten Fähigkeitsniveaus beantwortet werden. Die für die Simulation verwendeten Daten stammen aus dem Bamberger BiKS-Projekt. Um die Interaktion zwischen Schülermerkmalen (SES, Fähigkeitsniveau) und Aufgabenschwierigkeit in Bezug auf die Akkuratheit diagnostischer Urteile zu analysieren und zu überprüfen, inwieweit die Befunde der Forschung zur diagnostischen Kompetenz unter Berücksichtigung des professionellen Wissens über Aufgabenschwierigkeit Bestand haben, sollten vier Experimente durchgeführt werden. Bis zum vorzeitigen Ende des Projektes nahmen 56 praktizierende Lehrkräfte, 40 Lehramtsstudierende und 76 weitere Studierende an zwei der vier Experimente teil. Die Ergebnisse verdeutlichen, dass die Aufgabenschwierigkeit relativ verlässlich und ähnlich korrekt wie Fähigkeitseinschätzungen aus bisheriger Forschung eingeschätzt werden konnte. Erfahrene Lehrkräfte schnitten dabei erwartungsgemäß besser ab. Weiterhin zeichnete sich ab, dass eine Aufgabenzuweisung, die sich an bzgl. Schwierigkeit extremen Aufgaben (sehr leicht oder sehr schwer) orientiert, mit inakkurateren Fähigkeitseinschätzungen einhergeht und 1/3 der Aufgabenzuweisungen nicht einer Zuweisungsstrategie i.S. eines optimierten adaptiven Testens entspricht.
Publications
- (2016). Teacher Judgments and Their Role in the Educational Process. Emerging Trends in the Social and Behavioral Sciences: An Interdisciplinary, Searchable, and Linkable Resource, 1-16. Wiley
Artelt, C.
(See online at https://doi.org/10.1002/9781118900772.etrds0402) - (2016). Wie kommen Lehramtsstudierende zu Urteilen über Schülerleistungen? Urteilsprozesse im Simulierten Klassenraum. Vortrag auf dem 50. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Leipzig, 21.9.2016
Rausch, T. & Artelt., C.
- (2017). Assessing adaptive task assignments in a simulated classroom design. EARLI Advanced Science Colloquium, 2-6 Oktober, Utrecht, Niederlande
Hörstermann, T.
- (2017). Muster der Aufgabenwahl bei der Einschätzung von Schülerleistungen. Vortrag bei der 82. Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF), Tübingen, 25.-27. September 2017
Rausch, T., Mückshoff, M. & Artelt, C.
- (2019). Kompetenzen und berufliche Entwicklung von Lehrkräften. In D. Urhahne, M. Dresel & F. Fischer (Hrsg.), Psychologie für den Lehrberuf. (S. 395- 418). Heidelberg: Springer
Artelt, C. & Kunter, M.
(See online at https://doi.org/10.1007/978-3-662-55754-9_20)
