Detailseite
Projekt
Förderung der proaktiven Replizierbarkeit in der Computational Communication Science durch Vorverlagerung des Aufwands und Automatisierung von Protokollen
Antragsteller
Dr. Johannes Breuer; Professor Dr. Mario Haim
Fachliche Zuordnung
Publizistik und Kommunikationswissenschaft
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464291459
Dieses Projekt entwickelt Lösungen zur Verbesserung der Replizierbarkeit (und Reproduzierbarkeit) im Feld der Computational Communication Science (CCS), setzt diese um und evaluiert sie. Solche Lösungen werden dringend benötigt, da meta-wissenschaftliche Forschung, einschließlich die aus der ersten META-REP-Förderphase, zeigt, dass Kommunikationswissenschaft allgemein und CCS speziell mit einer Reihe von Problemen konfrontiert sind, die sich negativ auf Replizierbarkeit auswirken. Unser aktuelles Projekt zeigt, dass (a) die Unterscheidung zwischen Reproduktion und Replikation in CCS nicht so klar ist wie in anderen Feldern und (b) es eine erhebliche Diskrepanz zwischen den von Forschenden bereitgestellten Materialien und den für Replikationen benötigten Informationen gibt. Beide Probleme sind größtenteils auf die untersuchten Themen, die Methoden und die Daten zurückzuführen, die in CCS üblicherweise verwendet werden. So können Medieninhalte und digitale Spurendaten aus rechtlichen und/oder ethischen Gründen oft nicht weitergegeben werden und gängige Erhebungsmethoden, z.B. für Social Media-Daten, beschränken die Weitergabe von Daten aufgrund der Nutzungsbedingungen der beteiligten Anbieter. Darüber hinaus zeichnet sich CCS durch eine schnelle Entwicklung der untersuchten Themen aus (z.B. öffentlicher Diskurs, Nachrichten oder Plattformnutzung). Frühere Forschungsarbeiten, einschließlich unserer eigenen, verdeutlichen die Bedeutung des Publikations- und Reviewprozesses für Replizierbarkeit/Reproduzierbarkeit. So macht es etwa einen erheblichen Unterschied, ob Fachzeitschriften oder Konferenzen Anforderungen an das Teilen von Daten und anderen Materialien (z.B. Code) an Einreichende stellen. Entsprechend ist das Ziel des für die zweite META-REP-Förderphase vorgeschlagenen Projekts die Entwicklung und Erprobung von Lösungen zur Verbesserung der Replizierbarkeit/Reproduzierbarkeit. Dazu wird das Projekt Replikations-/Reproduktionsprotokolle zur Förderung einer “proaktiven Replizierbarkeit” entwickeln, die Einreichende auffordern sollen, bereits bei der Einreichung Änderungen einzubauen, die nachweislich die Replizierbarkeit/Reproduzierbarkeit einer Arbeit verbessern. Dafür entwickeln wir zunächst Protokolle für die CCS und erarbeiten dann Online-Tools, mit denen die Protokolle halbautomatisch ausgefüllt werden können. Dabei verwenden wir Data Mining und moderne Sprachmodelle (LLM), um die notwendigen Informationen aus den Manuskripten zu extrahieren und Vorschläge zur Verbesserung der Reproduzierbarkeit/Replizierbarkeit einer Studie zusammenzustellen. Die Protokolle und die erstellten Tools werden mit einer Fachzeitschrift und der Fachgruppe unserer wichtigsten internationalen Fachgesellschaft systematisch in zwei experimentellen Studien evaluiert, um Effekte auf die Replizierbarkeit/Reproduzierbarkeit zu bewerten. Schließlich werden die Ergebnisse in Richtlinien und Schulungsmaterialien für die CCS und darüber hinaus zusammengefasst.
DFG-Verfahren
Schwerpunktprogramme
