Quality management for telephone surveys in the context of mixed-mode studies
Final Report Abstract
Im Rahmen des Projektes wurden die aktuellen Forschungsdiskurse zum Total-Survey-Error, prozessproduzierten Daten (Para- und Metadaten) und die sich (weiterhin) wandelnde Umfrageindustrie miteinander verbunden, um in Kooperation mit Praxispartnern transparente und akzeptierbare Handlungsempfehlungen zur Planung, Durchführung und Kontrolle von telefonischen Studien abzuleiten. Hierzu erfolgten zunächst Literatur Reviews, die sich sowohl mit den methodisch-inhaltlichen Fragestellungen als auch den empirisch vorliegenden Präsentations- und Kommunikationsstandards von Befragungen beschäftigten. Anhand von Erhebungsdaten aus dem eigenen Bestand (CELLA 1 & 2) und denen der Projektpartner wurden exemplarisch mögliche Fehler und Verzerrungen identifiziert und entsprechende Guidelines abgeleitet. Diese wurden in Form themenbezogener Beiträge in einer gemeinsamen Monographie zusammengefasst, die insbesondere methodische Novizen in die Lage versetzen soll, eigene Erhebungen zu planen sowie Qualität von Daten zu beurteilen. Eine der zentralen Erkenntnisse - die wiederum die Relevanz des Projektzieles unterstreicht - liegt in der Bedeutung, die einheitliche und rekonstruierbare Standards für die Transparenz von Forschungsprozessen und -ergebnissen haben. So werden bislang prozessproduzierte Daten weder von Auftraggebern regelmäßig nachgefragt noch von Erhebungsinstituten umfassend aufbereitet, geschweige denn verwendet. Dies legt nahe, dass Debatten zur Qualität und Transparenz der Umfrageforschung, wie sie seit längerem in der einschlägigen Forschungsliteratur geführt werden, lediglich akademischer Natur sind und einen wenn überhaupt nur geringen Einfluss auf die Praxis besitzen. Ein mittelbares Ziel liegt daher in der Proliferation von gemeinsamen Aufbereitungsstandards von Paradaten und der Aufklärung von Nutzern über deren Verwendungsmöglichkeiten. Nur eine umfassende und flächendeckende Veränderung der Erwartungshaltungen von Auftraggeber an Erhebungsinstitute kann mittelbar dazu führen, dass die Aufbereitung und Aushändigung von Para- und Metadaten einer Erhebung zum Standard (und nicht wie bislang der Ausnahme) werden. Davon abgesehen lassen sich zahlreiche Teilkomplexe identifizieren, die als hinreichend gut erforscht betrachtet werden können. Dazu zählen unter anderem Verfahren und Designs zur Stichprobenziehung, Gewichtung, Erhebungspraxis und Datenaufbereitung. Hier liegt der Schwerpunkt weniger auf der Entwicklung neuer Verfahren, sondern auf der Dissemination etablierter Konventionen, die einen leichteren Austausch zwischen unterschiedlichen Akteuren ermöglichen.
Publications
- (2019) ‘Refugees welcome?’ The interplay between perceived threats and general concerns on the acceptance of refugees – a factorial survey approach in Germany. Journal of Ethnic and Migration Studies 45 (3) 349–374
Hermanni, Hagen von; Neumann, Robert
(See online at https://doi.org/10.1080/1369183X.2018.1459183) - 2016. "Evaluierung von HLR-Lookup-Verfahren: Erste Ergebnisse aus dem Projekt Vermin." In Methodische Probleme von Mixed-Mode-Ansätzen in der Umfrageforschung, Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute, 203 - 229. Wiesbaden: VS Verlag für Sozialwissenschaften
Sand, M.
(See online at https://doi.org/10.1007/978-3-658-15834-7_9) - 2016: A Review of Reporting Standards in Academic Journals - Research Note. In: Survey Methods: Insights from the Field
von Hermanni, H. & J. Lemcke
(See online at https://dx.doi.org/10.13094/SMIF-2017-00006) - 2016: Is the Short Version of the Big Five Inventory (BFI-S) Applicable for Use in Telephone Surveys? Journal of Official Statistics 32 (3); 601-618
Brust, O., S. Hader & M. Häder
(See online at https://dx.doi.org/10.1515/JOS-2016-0031) - 2018: Telefonische Befragungen in Deutschland. Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e.V., Wiesbaden: Springer (i.Dr.)
Hader, M., S. Häder & P. Schmich
(See online at https://doi.org/10.1007/978-3-658-23950-3)
