The factorial survey as a method for measuring attitudes in population surveys
Final Report Abstract
Der Faktorielle Survey ist eine in Umfragen einsetzbare experimentelle Methode, bei der den Befragten hypothetische Objekt- oder Situationsbeschreibungen (Vignetten) vorgelegt werden. In diesen Vignetten werden Merkmale (Dimensionen) experimentell in ihren Ausprägungen (Levels) variiert. Dies ermöglicht es, ihren Einfluss auf die abgefragten Urteile festzustellen. Während diese Vorzüge des Verfahrens bekannt sind, gibt es wenig Wissen über methodische Probleme. Das Forschungsprojekt zielt genau in diese Forschungslücke. Es behandelt zwei miteinander verzahnte Forschungsziele: Erstens werden methodisch-technische Aspekte des Designs und der konkreten Durchführung von Faktoriellen Surveys analysiert. Dabei geht es um den Einfluss der unterschiedlichen Anzahl von Dimensionen oder Vignetten, die Effekte unterschiedlicher Antwortskalen oder den Einfluss verschiedener Befragungsmodi auf das Urteilsverhalten. Zweitens fokussiert das Projekt wichtige modelltheoretische Fragen, wie die Effekte unterschiedlicher Stichprobenverfahren - z.B. die Verwendung von Zufallsstichproben im Unterschied zu fraktionalisierten Auswahlen - oder die Anforderungen an Auswertungsverfahren, die sich aus der (Mehrebenen-)Datenstruktur von Faktoriellen Surveys ergeben. Expliziter Anspruch des Projektes ist es dabei auch, konkrete praktische Empfehlungen für die Durchführung von Faktoriellen Surveys zu entwickeln. Das Projekt hat durch seine Arbeiten die Datengrundlage für weitere Forschungen geschaffen und selbst zentrale Ergebnisse erbracht. Die Analysen sprechen allesamt dafür, dass Faktorielle Surveys selbst in sehr heterogenen Bevölkerungsstichproben ohne allzu große methodische Probleme eingesetzt werden können, sofern gewisse Standards eingehalten werden. Für diese konnten wichtige Empfehlungen (etwa Einhaltung eines maximalen Umfangs an Komplexität, Verwendung fraktionalisierter Stichproben unter Ausschluss unplausibler Fälle, Beachtung möglicher Effekte der Dimensionsreihenfolge) im Projekt erarbeitet werden. Mindestens ebenso wichtig ist, dass ein einmaliges Datenmaterial geschaffen wurde, das über die Planungen hinausreicht und eine solide Grundlage darstellt, um neben den bereits analysierten viele weitere methodische Fragen im Hinblick auf die Einsatzmöglichkeiten Faktorieller Surveys zu beantworten. Die vorgenommene Variation von umfangreichen Designelementen innerhalb ein- und desselben grundständigen Fragenformats verspricht überdies ein besonderes Potenzial, um die Grundlagenforschung in der Survey-Methodology voranzubringen. Nach Abschluss einiger weiterer Analysen und Aufbereitungen wird dieses Datenmaterial über das GESIS Datenarchiv der wissenschaftlichen Community für Analysen zur Verfügung stehen.
Publications
- (2009): A Factorial Survey on the Justice of Earnings within the GSOEP-Pretest 2008. IZA Discussion Paper 4663. Bonn: Institute for the Study of Labor (IZA)
Sauer, Carsten/Liebig, Stefan/ Auspurg, Katrin/Hinz, Thomas/ Donaubauer, Andy
- (2009): Auf das Design kommt es an. Experimentelle Befunde zu komplexen Settings in Faktoriellen Surveys. SoFid Methoden und Instrumente der Sozialwissenschaften 2009/2, 23-39
Auspurg, Katrin/Hinz, Thomas/ Liebig, Stefan/Sauer, Carsten
- (2009): Faktorieller Survey und klassische Bevölkerungsumfrage im Vergleich - Validität, Grenzen und Möglichkeiten beider Ansätze. In: Kriwy, Peter/Gross, Christiane (Hrsg.): Klein aber fein! Quantitative empirische Sozialforschung mit kleinen Fallzahlen. Wiesbaden: VS Verlag für Sozialwissenschaften, 211-246
Nisic, Natascha/Auspurg, Katrin
(See online at https://doi.org/10.1007/978-3-531-91380-3_9) - (2009): Komplexität von Vignetten, Lerneffekte und Plausibilität im Faktoriellen Survey. Methoden, Daten, Analysen 3, 59-96
Auspurg, Katrin/Hinz,Thomas/ Liebig, Stefan
- (2009): Wenig Fälle, viele Informationen: Die Methodik des Faktoriellen Surveys als Paarbefragung. In: Kriwy, Peter/Gross, Christiane (Hrsg.): Klein aber fein! Quantitative empirische Sozialforschung mit kleinen Fallzahlen. Wiesbaden: VS Verlag für Sozialwissenschaften, 179-210
Auspurg, Katrin/Abraham, Martin/ Hinz, Thomas Hinz
- (2010): Wie unplausibel darf es sein? Der Einfluss von Designmerkmalen auf das Antwortverhalten in Faktoriellen Surveys. Deutsche Gesellschaft für Soziologie (Hrsg.): 34. Kongress derDGS. Wiesbaden: VS Verlag für Sozialwissenschaften, 14 Seiten
Auspurg, Katrin/Hinz, Thomas/ Liebig, Stefan/Sauer, Carsten
- (2011): The Application of Factorial Surveys in General Population Samples: The Effects of Respondent Age and Education on Response Times and Response Consistency. Survey Research Methods 5, 89-102
Sauer, Carsten/Auspurg, Katrin/ Hinz, Thomas/Liebig, Stefan
(See online at https://doi.org/10.18148/srm/2011.v5i3.4625)
