Asking sensitive questions: possibilities and limits of randomized response and other techniques in different survey modes
Final Report Abstract
Sensitive Fragen zu deviantem Verhalten oder zu stigmatisierenden Merkmalen wie z.B. einer HlV-lnfektion werden von Survey-Respondenten oft nicht wahrheitsgetreu beantwortet. Soziale Erwünschtheit und die Angst vor Konsequenzen können einen beträchtlichen Anteil der Befragten dazu verleiten, nicht normgetreues Verhalten zu leugnen. Als Konsequenz werden Prävalenzen von Normbrüchen systematisch unterschätzt, Zusammenhänge zwischen Normbrüchen und anderen Merkmalen können irreführend, und die auf den Daten basierenden Resultate ungültig sein. Mit dem Einsatz spezieller Fragetechniken wie der Randomized Response-Technik (RRT) soll dieses Problem entschärft werden. Die RRT garantiert den Survey-Respondenten vollständigen Schutz der Antworten auf sensitive Fragen. Individuelle Angaben im Survey sind durch niemanden, auch nicht durch die erhebenden Forscher, nachvollziehbar. Dadurch können die Respondenten ohne Angst vor Konsequenzen wahrheitsgetreu antworten. Allerdings funktioniert die RRT in der Surveypraxis nicht immer reibungslos und die Validität der mit RRT erhobenen Daten ist damit nicht über alle Zweifel erhaben. Zusammen mit den anderen Teilprojekten konnte durch unser Projekt im deutschsprachigen Raum eine starke Sensibilisierung für die oft problematische Validität von sensitiven Survey- Fragen erreicht werden. Die Randomized Response Technik wurde in den verschiedenen Survey-Modi und in zahlreichen Implementierungen ausführlich evaluiert. Im Rahmen unseres Teilprojekts wurden ausführliche systematische Methodenstudien zur Validität der RRT bei Online-Surveys durchgeführt. Da Online-Surveys mittlerweile eine grosse Bedeutung bei empirischen Datenerhebungen erlangt haben, ist es wichtig, gerade für diesen Modus die Möglichkeiten und Grenzen des Einsatzes der RRT zu kennen. Der generelle Befund, dass bezüglich des Nutzens eines Einsatzes der RRT in grossangelegten Bevölkerungsumfragen die Hoffnungen gedämpft werden müssen, zeigte sich auch für den Online-Modus. Die grosse Mehrzahl der von uns evaluierten RRT-Implementierungen in Online-Surveys haben eindeutig Messergebnisse mit tieferer Validität als die konventionelle direkte Befragung produziert. Entsprechend scheint es fraglich, ob sich die RRT für Online-Surveys tatsächlich eignet - zumindest in den bis anhin evaluierten klassischen Varianten und Implementierungen. Die Validität von mittels RRT erhobenen Daten scheint stark von der genauen Implementierung, insbesondere auch des verwendeten Zufallsmechanismus, abhängig zu sein und es scheint schwierig zu sein, eine hohe Compliance der RRT-Prozedur bei den Respondenten zu erreichen. Erfreulicher ist der Befund, dass neue, noch wenig eingesetzte Techniken zur Erhebung sensitiver Fragen durchaus erfolgsversprechender sein könnten: dies gilt für das sog. Crosswise-Modell, eine neue RRT-Variante, welche gegenüber den konventionellen RRT-Varianten einige Vorteile aufweist. In unserer Studie hat diese Technik klar höhere Prävalenzen als die direkte Befragung generiert. Weitere Methodenstudien müssen zeigen, ob diese Technik auch unter anderen als den in dem Projekt geprüften Bedingungen deutlich validere Messergebnisse für sensitive Survey-Fragen produziert und für die breite Nutzung in der empirischen Sozialforschung empfohlen werden kann. Ähnliches gilt auch für die Item-Count-Technik, welche allerdings grosse Befragungssample benötigt und deshalb nur für Befragungen mit sehr grosser Fallzahl in Frage kommt.
Publications
- (2011): "Asking Sensitive Questions Using the Crosswise Model: Some Experimental Results." Public Opinion Quarteriy, Volume 76, Issue 1, Spring 2012, Pages 32–49
Jann, Ben, Julia Jerke und Ivar Krumpal
(See online at https://doi.org/10.1093/poq/nfr036) - (2011): "Plagiarism in Student Papers: Prevalence Estimates Using Special Techniques for Sensitive Questions." Journal of Economics and Statistics 231:749-760
Coutts, Elisabeth, Ben Jann, Ivar Krumpal und Anatol-Fiete Näher
(See online at https://doi.org/10.1515/jbnst-2011-5-612) - (2011): "Sensitive Questions in Online Surveys: Experimental Results for the Randomized Response Technique (RRT) and the Unmatched Count Technique (UCT)." Sociological Methods & Research 40:169-193
Coutts, Elisabeth und Ben Jann
(See online at https://doi.org/10.1177/0049124110390768) - (2012): "Making Use of "Benford's Law" for the Randomized Response Technique." Sociological Methods & Research 41:325-334
Diekmann, Andreas
(See online at https://doi.org/10.1177/0049124112452525)
