Detailseite
Projekt
Variabilität in der Analyse von ereigniskorrelierten Potentialen durch verschiedene Teams: Ansätze zur Begrenzung der Vielfalt alternativer Analysepfade in der EEG-Forschung
Antragstellerinnen / Antragsteller
Dr. Katharina Paul; Professor Dr. Jan Wacker
Fachliche Zuordnung
Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
Biologische Psychologie und Kognitive Neurowissenschaften
Biologische Psychologie und Kognitive Neurowissenschaften
Förderung
Förderung seit 2019
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 409321828
Wir sehen drei Hauptursachen für die unbefriedigend niedrigen Replizierbarkeitsraten in der Neurowissenschaft der Persönlichkeit: geringe statistische Power, schwache theoretische Basis und zu viel Flexibilität bei der Datenanalyse. In unserem laufenden Projekt adressieren wir diese Probleme im Rahmen eines kollaborativen Forschungsansatzes, der u.a. die gemeinsame kritische Reflektion von Hypothesen und die Erhebung eines außergewöhnlich großen EEG Datensatzes vorsieht. Während alle Mitglieder kontinuierlich zu den Projektzielen beigetragen haben, verhinderte die anhaltende Pandemie die Datenerhebung für mehr als 12 Monate und verzögerte damit den Projektabschluss deutlich. Neben dem erfolgreichen Abschluss des laufenden Projekts planen wir, im Rahmen einer Projektfortsetzung, unsere Untersuchung des Problems der analytischen Flexibilität entscheidend zu erweitern. Um zu verhindern, dass ein Analysepfad ausgewählt wird, der zu einem gewünschten Ergebnis führt (d. h. P-HACKING), wird die Präregistrierung von Hypothesen und Analysen empfohlen. Die Existenz alternativer Analysepfade wirft jedoch Fragen bezüglich des Erfolgs (oder Misserfolgs) eines Replikationsversuchs auf, da objektive Kriterien für die Auswahl oft nicht verfügbar sind und das Festlegen auf einen Pfad somit schwierig und willkürlich wird. Kürzlich wurde die blindeDatenanalyse als alternativer Ansatz vorgeschlagen (d. h. Entwicklung des Analysepfades basierend auf den vollständigen Daten, von denen der wesentliche Effekt entfernt wurde). Es bleibt jedoch zu prüfen, ob die Möglichkeit, eine komplexe Analysestrategie an den verblindeten Datensatz anzupassen, zu messbar besseren Analyseentscheidungen führt. Wenn dies der Fall wäre, hätte dies direkte Auswirkungen auf aktuelle Open-Science-Empfehlungen, Analysepfade vor der Datenerhebung zu präregistrieren. Bisherige Studien lassen offen, ob die festgestellte Variabilität von Analyseentscheidungen durch die Variabilität in Expertise/Erfahrung oder Erwartungen der Forschenden beeinflusst wurde. In diesem Projekt werden wir daher die Forschung zu Assoziationen zwischen ereigniskorrelierten Potenzialen (EKPs) und Persönlichkeitsmerkmalen als Beispiel verwenden, (1) um die Auswirkungen von Analyseentscheidungen eines komplexen EEG-Datensatzes zu identifizieren und zu bewerten, (2) um zu testen, ob blinde Datenanalyse die Analyseentscheidungen verbessert, und (3) um den Einfluss von Erfahrung und Erwartungen der Forschenden zu überprüfen. Hierfür werden wir eine große Anzahl von Forschenden einladen, Analysepfade zum Testen bestimmter EKP-Persönlichkeitsbeziehungen in einem großen Datensatz einzureichen. Durch den Vergleich mit literaturbasierten Analysepfaden und unserem aktuellen CoScience-Projekt erwarten wir uns praktische Empfehlungen für Analyseentscheidungen, die eine Blaupause für die EEG-Forschung sowie angrenzende Felder liefern könnten.
DFG-Verfahren
Sachbeihilfen
