Reproduzierbarkeit und Robustheit von Instrumentvariablen und Randomized Controlled Trials in den Wirtschaftswissenschaften

• Antragsteller: Professor Dr. Jörg Ankel-Peters
• Fachliche Zuordnung: Wirtschaftspolitik, Angewandte Volkswirtschaftslehre
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464446725

Dieses Projekt untersucht Reproduzierbarkeitsraten in verschiedenen wirtschaftswissenschaftlichen Literatursträngen. Dabei werden wir einen "Replikationsmarkt" sowie Reproduktionen und zusätzliche Robustheitstests unter Verwendung der Originaldaten verwenden (im Folgenden R&R-Replikationen). Forschungsziele sind erstens, eine Definition von "Reproduzierbarkeit" für R&R-Replikationen zu erarbeiten (das "What") und, zweitens, Gründe für unterschiedliche Reproduzierbarkeitsraten und Marktprognosen zu ermitteln (das "Warum").Für die "Was"-Frage, ist die Definition der "Reproduzierbarkeit" für R&R-Replikationen ein wichtiger und innovativer erster Schritt. In den Wirtschaftswissenschaften spielen R&R-Replikationen von Originaldatensätzen eine wichtige Rolle für das Verständnis der Reproduzierbarkeit, da nur ein kleiner Teil der empirischen Literatur aus standardisierten Laborsettings stammt. Direkte Replikationen sind selten und teuer. Daher ist die Erfolgsdefinition von R&R-Replikationen von zentraler Bedeutung, um die Reproduzierbarkeit zu verbessern. Hier werden wir eigene Erfahrungen mit ähnlichen R&R-Replikationsstudien nutzen, aber auch frühere R&R-Replikationen hinzuziehen und eine Befragung unter Replikations-Forscherinnen durchführen.Für die Frage nach dem "Warum" (dem “Why”), werden wir 30 Papiere zu ähnlichen Themen in führenden Zeitschriften replizieren, 15 mit Instrumentvariablen (IV) und 15 mit Randomized Controlled Trials (RCTs). Dies sind die beiden wichtigsten Methoden für kausale Inferenz in der angewandten Wirtschaftswissenschaft. Wir vermuten, dass beide mit unterschiedlichen Wahrscheinlichkeiten in R&R Replikationen reproduzierbar sind, da IVs anfälliger für p-Hacking und Publication Bias sind. Diese werden wir auch im Replikationsmarkt testen. Das Hauptproblem von IVs, ist die faktisch fehlende Vorspezifizierung der Analyse. Wir erwarten bei einer R&R-Replikation, dass IV-basierte Papiere niedrigere Replikationsraten aufweisen als RCTs, da p-Hacking aufgedeckt werden kann. RCTs hingegen werden oft in spezifischen Stichproben durchgeführt, was in R&R-Replikationen nicht aufgedeckt werden kann. Um die Verallgemeinerbarkeit über Kontexte hinweg zu beurteilen, werden wir daher in einer ExpertInnenbefragung einen Crowdsourcing-Ansatz wie das Bayesian Truth Serum verwenden. Die 30 R&R-Replikationen werden wir als Anreiz für den Replikationsmarkt verwenden, den wir für 60 Studien aus der gleichen Literatur unter ExpertInnen durchführen, um informierte Vorhersagen zur Reproduzierbarkeit zu erhalten. Wir nutzen diesen Markt und dadurch das Fachwissen von ForscherInnen, um unser Verständnis der "Warum"-Frage in Bezug auf p-Hacking, Publication Bias, Spezifikationsrobustheit und zu geringe Stichprobengrößen zu vertiefen.Ein Merkmal der Verbreitungsphase des Projekts wird die Interaktion mit PraktikerInnen und der breiteren Öffentlichkeit über die Glaubwürdigkeit der Forschung an der Schnittstelle zwischen Wissenschaft und Politik sein.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: Schweden, USA
• Kooperationspartnerinnen / Kooperationspartner: Professorin Anna Dreber Almenberg, Ph.D.; Professor Dr. Nathan Fiala; Professor Dr. Magnus Johannesson