Das Paradoxon der Testtheorie-Ergründung seiner mathematischen Fundierung, praktischen Relevanzen und potenziellen Auflösbarkeit
Final Report Abstract
Im Rahmen des DFG-Projekts wurde der paradoxe Effekt innerhalb einer großen Klasse von mehrdimensionalen IRT-Modellen etabliert. Die fundamentale Ursache dieses Effekts konnte herausgearbeitet und sachlogisch interpretiert werden. Es zeigte sich somit, dass der paradoxe Effekt keine Anomalie sondern eine Implikation einer sachlogisch plausiblen Modellannahme darstellt. Neben dieser allgemeingültigen Ebene wurde der paradoxe Effekt ebenfalls in spezielleren Untermodellklassen betrachtet. Die Betrachtung des Effekts in der Klasse der linear-kompensatorischen Modelle konnte hierbei fundamentale Fehler, die hinter gängigen Heuristiken bei der Interpretation von Ladungsmatrizen liegen, aufzeigen und zugleich auf einen kontraintuitiven Unterschied zwischen zwei- und höherdimensionalen Tests aufmerksam machen. Die Betrachtung des Effekts im Kontext von Item-Response-Modellen mit Antwortzeitmessungen mündete - über die Beobachtung, dass zügiges Antworten, ungeachtet dessen, ob korrekt oder falsch geantwortet wurde, mitunter ausreicht, um eine positive Klassifikation zu erhalten - in einer Kritik einer gängigen Klasse von Antwortzeitmodellen. Die abschließende Untersuchung des Effekts im Rahmen von longitudinalen Modellen arbeitete ferner Bedingungen heraus, unter denen die Veränderung eines Itemscores zu einem späteren Messzeitpunkt einen negativen/positiven Effekt auf die Schätzung der Fähigkeitsdifferenz zweier früherer Zeitpunkte besitzt. Spezifische Umgangsmöglichkeiten mit dem paradoxen Effekt wurden diskutiert. Hierbei konnte insbesondere das (im Rahmen von faktorenanalytischen Modellen gültige) Prinzip der Formung von gewichteten Linearkombinationen der Ausgangsgrößen verwendet werden, um eine Beziehung des paradoxen Effekts zum allgemeinen Rotationsproblem herzuleiten. Die Relevanz dieser Relation im Hinblick auf eine adäquate Definition des Fairnessbegriffs wurde erwiesen.
Publications
- (2013). Paradoxien in quantitativen Modellen der Individualdiagnostik. Dissertation, Universität Hamburg
Jordan, P. (2013). Paradoxien in quantitativen Modellen der Individualdiagnostik.
