Detailseite
Projekt
Welche Rolle spielt Messung bei der Replizierbarkeit von empirischen Befunden?
Antragstellerinnen
Dr. Susanne Frick; Professorin Dr. Eunike Wetzel
Fachliche Zuordnung
Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464394046
Im ersten Projektteil wurde gefunden, dass Berichte über itembasierte Skalen nicht nur in Originalforschung, sondern auch in Replikationsstudien intransparent und unvollständig sind. Zudem wird im ersten Teil untersucht, wie sich verschiedene Skalenmodifikationen wie das Entfernen von Items auf Replizierbarkeit und Effektheterogenität auswirken. Basierend darauf verfolgt der zweite Projektteil zwei Ziele: 1) Erhöhung der Transparenz und Verbesserung der Berichte über Messung in Forschungsveröffentlichungen und 2) Bereitstellung praktischer Ratschläge für Replizierende und Metawissenschaftler zum Umgang mit der Heterogenität von Messung über Studien hinweg. Um das erste Ziel zu erreichen, werden wir die Measures Checkliste entwickeln und evaluieren, die von Autoren verlangt, anzugeben, welche Skala sie verwendet, und ob und in welcher Form sie diese modifiziert haben. Wir werden die Measures Shiny App entwickeln, um das Ausfüllen durch automatisches Auslesen aus dem Manuskripttext zu erleichtern. Die Autoren können dann die Antworten überprüfen, überarbeiten und mit ihrem Manuskript einreichen. Die Measures Checkliste wird in sieben Schritten entwickelt und evaluiert werden, von der ersten Version über das Trainieren eines maschinellen Lernmodells, auf dem die Shiny-App basiert, die empirischen Überprüfung der Genauigkeit und der Durchführbarkeit bis zum Einsatz bei einer Fachzeitschrift mit anschließender Evaluierung. Das zweite Ziel wird a) durch die Entwicklung einer Taxonomie, bestehend aus Modifikationen und ihrer Auswirkungen auf Replikationserfolg und Effektheterogenität, und der Modifications Shiny App erreicht, durch die die Auswirkungen einer bestimmten Modifikation genauer abgeschätzt werden können. Dieses Tool kann sowohl a priori von Replizierenden verwendet werden, die erwägen, eine Skala zu modifizieren, als auch post hoc von Metawissenschaftlern. B) werden wir untersuchen, inwieweit die Messinvarianz (MI) bei gleicher Skala zwischen Original- und Replikationsstudie oder verschiedenen Replikationsstudien verletzt sein kann, ohne die Replizierbarkeit zu beeinträchtigen. Dafür verwenden wir drei komplementäre Ansätze: eine analytische Untersuchung, die Biases von Effekten bei Verletzungen von MI quantifiziert, eine Simulationsstudie, die dies auf die Schätzung von Faktorwerten ausweitet, und eine empirische Analyse existierender Datensätze. Basierend auf diesen Ergebnissen werden wir ein Tool zur Schätzung der Auswirkungen von MI-Verletzungen auf Replikationserfolg entwickeln. Dieses Projekt trägt zur Beantwortung der "WARUM"-Frage von META-REP bei, indem es MI-Verletzungen als Erklärungsfaktor für Replizierbarkeit untersucht. Der Fokus liegt auf der Beantwortung der "WIE"-Frage durch die Entwicklung und Evaluierung von Tools, die die Transparenz von Berichten verbessern und dadurch Maßstäbe verändern, sowie von solchen, die ermöglichen, die Auswirkungen von Skalenheterogenität zwischen Studien auf Replizierbarkeit zu beurteilen.
DFG-Verfahren
Schwerpunktprogramme
