Differential Item Functioning in item response models:new estimators and diagnostic instruments
Statistics and Econometrics
Final Report Abstract
Das Projekt behandelte das Problem des Differential Item Functioning (DIF), ein Phänomen, das in der Entwicklung von fairen Tests eine tragende Rolle spielt. Differential Item Functioning tritt dann auf, wenn einzelne Items eines Tests in unterschiedlichen Gruppen bzw. Populationen unterschiedliche Eigenschaften besitzen. So können Items beispielsweise gender- oder altersspezifisch sein. Um Verzerrungen zu vermeiden, ist es wichtig DIF-Items zu erkennen. Die entwickelten Verfahren haben den großen Vorteil, dass sie nicht nur eine einzelne Eigenschaft von Personen wie männlich/weiblich berücksichtigen können, sie sind vielmehr in der Lage eine Vielzahl von Personencharakteristika simultan zu berücksichtigen und zu bestimmen, welche Items von diesen Personeneigenschaften modifiziert werden. Insbesondere sind sie auch in der Lage die Personeneigenschaften zu identifizieren, die in einzelnen Items wirksam werden. Die vorgeschlagenen Verfahren nutzen das Instrumentarium moderner Machine Learning Tools, insbesondere das der regularisierten Schätzer. Es wurden unterschiedliche Verfahren entwickelt, die dem hochdimensionalen Schätzproblem gerecht werden. Neben Boosting Verfahren und penalisierten Schätzern wurde ein baumbasiertes Verfahren entwickelt, mit dem sich die DIF-Struktur von Items einfach und übersichtlich als Baumstruktur darstellen lässt. Die entwickelten Verfahren beziehen sich nicht nur auf einfache Tests mit binären Kategorien wie richtig/falsch sondern auch auf Tests, in denen die Antworten auf Ratingskalen erfolgen, die ein Antwortspektrum von voller Zustimmung bis zu völliger Ablehnung zulassen. In derartigen Ratingskalen spielen personenspezifische Antwortstile, wie die Tendenz zu extremen oder moderaten Urteilen eine itemmodifizierende Rolle, die zu Verzerrungen führen kann.
Publications
- (2020) A regularization approach for the detection of differential item functioning in generalized partial credit models. Behavior research methods 52 (1) 279–294
Schauberger, Gunther; Mair, Patrick
(See online at https://doi.org/10.3758/s13428-019-01224-2) - (2016): Detection of Differential Item Functioning in Rasch Models by Boosting Techniques. British Journal of Mathematical and Statistical Psychology, 69, 80-103
Schauberger G. and Tutz, G.
(See online at https://doi.org/10.1111/bmsp.12060) - (2016): Item focussed Trees for the Identification of Items in Differential Item Functioning. Psychometrika, 81, 727-750
Tutz, G. and Berger, M.
(See online at https://doi.org/10.1007/s11336-015-9488-3) - (2018): Response Styles in the Partial Credit Model. Applied Psychological Measurement, 42, 407–-427
Tutz, G., Schauberger, G. and Berger, M.
(See online at https://doi.org/10.1177/0146621617748322)
