Philosophische Fakultt Institut fr Kommunikationswissenschaft Ringvorlesung Einfhrung in

Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft PD Dr. Wolfgang Schweiger

Von der Kunstlehre zur Wissenschaft The Art of Asking Questions Scientific Paradigm for Surveys Payne, S. L. (1951). The art of asking questions. Princeton: University Press. Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15, 3 -7. Tourangeau, R. ; Rips, L. J. ; Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press. 2

Heutiger Ablauf Effekte der Frageformulierung & Skalengestaltung Kontexteffekte Evaluation von Fragen & Fragebogen Regelwerke & Kuchbücher Die schlimmste Frage der Welt? 3

Messen = Stimulus Jedes Messinstrument ist reaktiv Der Fragebogen ist ein sensibler Stimulus Tatsächliche Meinungen usw. der Befragten Störeinflüsse Ergebnisse einer Befragung 4

Effekte der Frageformulierung & Skalengestaltung 5

Frageformulierungen - Split-Ballot-Experimente (1) Glauben Sie an die große Liebe? Glauben Sie eigentlich an die große Liebe? Ja 52% Ja 57% Nein 29% Nein 26% Ungewiss 19% Ungewiss 17% Noelle-Neumann, E. , Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195. 6

Frageformulierungen - Split-Ballot-Experimente (2) Frage an Hausfrauen: Würden Sie eigentlich gerne berufstätig sein, wenn es möglich wäre? möchte berufstätig sein 52% nein, mache lieber HH 32% unentschieden 16% Frage an Hausfrauen: Würden Sie eigentlich gerne berufstätig sein, oder machen Sie am liebsten nur Ihren Haushalt? möchte berufstätig sein 38% nein, mache lieber HH 46% unentschieden 16% Noelle-Neumann, E. , Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195; Erhebungszeitpunkt: 1973. 7

Frageformulierungen - Split-Ballot-Experimente (3) Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie verbieten? Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie nicht erlauben? ja, verbieten 21% nicht erlauben 48% nein 79% erlauben 52% Noelle-Neumann, E. , Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 197. 8

Frageformulierungen – ‚Mitliefern‘ von Argumenten Do you favor or oppose the proposal for a constitutional amendment to require a balanced Federal Budget by the year 2003 and every year after that? Do you favor or oppose the proposal for a constitutional amendment to require a balanced budget that cuts Government spending on Medicare by 20% over the next 7 years? favor 70% favor 31% oppose 18% oppose 58% undecided 12% don‘t know 11% 9

Skalengestaltung – Zahlen (1) Schwarz, N, Grayson, C. E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 17710 183, S. 179; n=70 Undergraduates.

Skalengestaltung – Zahlen (2) Schwarz, N. , Knäuper, B. , Hippler, H. -J. , Noelle-Neumann, E. , Clark, L (1991). Rating Scales. Numeric Values may Change the Meaning of Scale Labels. Public Opinion Quarterly, 55, 57011 582, S. 573

Skalengestaltung – Design (1) Schwarz, N. , Grayson, C. E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 17712 183, S. 179; n=97 Undergraduates.

Skalengestaltung – Design (2) Schwarz, N. , Grayson, C. E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 17713 183; n=97 Undergraduates.

Kontexteffekte 14

Das Interview als soziale Situation Befragte/r Interview Befunde Stimulus Stabile Persönlichkeit & kognitive Struktur Aktuelle Kognitionen & Affekte Fragebogen Interviewer Rekonstruktion von Verhalten, Wissen, Emotionen & Einstellungen Hintergründe 15

Beantwortung von Testfragen als Informationsverarbeitung Verstehen der Frage Abruf relevanter Informationen Urteilsbildung Antwortformulierung 16

Kontexteffekte im Überblick Befragter Interviewer • Stimmungen • Interviewer-Effekte • Themeninteresse & -kompetenz • Anwesenheit anderer Personen • Soziale Erwünschtheit & Tabus Hintergründe Fragebogen • Sponsorship-Effekt • Thematische Kontexteffekte • Incentives • Reihenfolge-Effekte • Konsistenz- & Kontrast-Effekte 17

Stimmungen als Kontexte Experiment: Auswirkung von Stimmungen • Stimmungsinduktion durch vorangegangene Fragen nach positiven oder negativen Ereignissen in letzter Zeit (‘feel good’ / ‘feel bad’) • Signifikante Unterschiede bei Fragen zu … o Glücklichsein (‚happiness‘) o Lebenszufriedenheit Erklärung • Verfügbarkeitsheuristik (Tversky & Kahneman): Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung Schwarz, N. ; Gerald, L. C. (1983). Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. Journal of Personality and Social Psychology, 45, 513 -523. 18

Thematische Kontexteffekte Tourangeau, R. et al. (1989). Carry-over effects in attitude surveys. Public Opinion Quaterly, 53, 495 -524. 19

Reihenfolge-Effekte bei generellen vs. spezifischen Bewertungen • Frage: Generelle Bewertung – Zufriedenheit mit Leben • Frage: Spezifische Bewertung – Zufriedenheit mit Ehe Frage-Reihenfolge & Korrelationen • Lebenszufriedenheit Ehezufriedenheit: r= 0, 32 • Ehezufriedenheit Lebenszufriedenheit: r= 0, 67 Erklärung • Verfügbarkeitsheuristik: Frage nach Ehe aktiviert Gefühle/Erlebnisse, die Frage nach allgemeinem Lebensglück beeinflusst Schwarz, N. , Strack, F. & Mai, H. -P. (1991). Assimilation and Contrast Effects in Part-Whole Question Sequences: A Conversational Logic Analysis. Public Opinion Quarterly, 55 (1): 3 -23. 20

Interviewer-Effekte im Überblick Faktoren • Demografische Merkmale (Alter, Geschlecht, Hautfarbe) • Auftreten, Sympathie, usw. • Erfahrung & Schulung Interviewer-Schulung • Interviewer müssen keine … o thematischen Experten und o Befragungs-Experten sein • Ziel: Minimale Beeinflussung des Befragten o Einhalten der Frageformulierung & Antwortvorgaben o Minimale Erläuterungen bei Unverständnis • Umgang mit ‚schwierigen‘ Interviewpartnern 21

Interviewer-Effekte (1) Interviewer-Effekte bei Wahlstudien • Studie zum Interviewer-Einfluss bei Wahlprognose zur Gouverneurs. Wahl in Virginia • Vorhersage in Befragung: haushoher Sieg für schwarzen Kandidaten (Wilder) gegenüber weißem Kandidaten (Coleman) • Wahlausgang: nur knapper Vorsprung für Schwarzen Ursache? Finkel, S. E. , Guterbock, T. M & Borg, M. J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313 -330. 22

Interviewer-Effekte (2) Finkel, S. E. , Guterbock, T. M & Borg, M. J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313 -330. 23

Sponsorship-Effekt – Beispiel Website-Besucherbefragung Website-Bewertung im selben Fragebogen nach fünf Fragen zu unterschiedlichen Bewertungsdimensionen Mangel. Aushaft reichend Website. Mangelhaft Bewertung Ausreichend am Frage. Befriedigend bogenanfang Gut Befriedigend Gut Sehr gut Gesamt 11 4 3 0 0 18 1 17 10 3 1 32 0 6 37 22 3 68 0 3 9 70 9 91 Sehr gut 0 0 3 4 14 21 Gesamt 12 30 62 99 27 230 Eigene Erhebung; n=230; MW 1: 3, 08; MW 2: 3, 24; t=2, 81; p<0, 01 24

Sensible Themen (1) Experiment zur Telefonabfrage sexuellen Verhaltens – Faktoren • Auswahlmöglichkeit des Interviewers nach Geschlecht • Geschlechtskonstellation Interviewer – Befragter • Standardfragen vs. unterstützende Fragen; z. B. Catania, J. A. , Binson, D. , Canchola, J. , Pollack, L. M. , Hauck, W. & Coates, T. J. (1996). Effects of interviewer gender, interviewer choice, and item wording on responses to questions 25 concerning sexual behavior. Public Opinion Quarterly, 60 (3): 345 -375.

Sensible Themen (2) Catania et al. , 1996 26

Sensible Themen (3) Catania et al. , 1996 27

Evaluation von Fragen & Fragebogen 28

Evaluationsverfahren im Überblick Prüfer, P. , Rexroth, M. (1996). Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, 39, 95 -115, S. 96 f. 29

Behavior Coding 30

Behavior Coding Vorgehen • (Video-/Audio-Aufzeichnung von Interviews) • Beobachtung des (aufgezeichneten) verbalen oder nonverbalen Verhaltens von Interviewer und Befragten • Grobe Codierung • Fragen, bei denen bestimmte Verhaltensweisen häufig vorkommen, sind veränderungsbedürftig Beispiele • Interviewer liest entgegen Anweisung Frage nicht wörtlich vor • Befragter bittet um Wiederholung der Frage • Befragter bittet um Erläuterung 31

Behavior Coding: mögliches Codesystem Prüfer & Rexroth 1996, S. 100 32

Think-Aloud 33

Think-Aloud / Methode des lauten Denkens Varianten • Concurrent-Think-Aloud-Methode: Die Befragten werden aufgefordert, laut zu denken, während sie ihre Antwort formulieren. • Retrospektive-Think-Aloud-Methode: Die Befragten werden aufgefordert, nach der Beantwortung der Frage zu beschreiben, wie die Antwort zustande kam. • Verbale Protokolle Codierung Ziel • Hinweise darauf, wie Fragen oder einzelne Begriffe verstanden werden 34

Response Latency 35

Response Latency • Response Latency / Reaktionszeit als Indikator für Aufwand der Informationsverarbeitung zu einem Thema / einer Frage • Lange Reaktionszeiten als Indikator für Frageprobleme • Einfache & kostenlose Messung bei computerunterstützten Befragungen 36

Response Latency Bassili, J. & Scott, B. S. (1996). Response Latency as a Signal to Question Problems in Survey Research. Public Opinion Quarterly, 60, 390 -399, S. 393. 37

Regelwerke & Kuchbücher 38

Wie befragt man richtig? Grundsätze • Ein Interview soll wie ein normales Gespräch verlaufen! • Antwortvorgaben müssen zu Fragen passen! • Dramaturgie und Umfeld des Interviews beachten! • Befragte ernst nehmen! 39

Porst (2000): 10 Gebote 1. Einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden! 2. Lange und komplexe Fragen vermeiden! 3. Hypothetische Fragen vermeiden! 4. Doppelte Stimuli und Verneinungen vermeiden! 5. Unterstellungen und suggestive Fragen vermeiden! 6. Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen! 7. Fragen mit eindeutigem zeitlichen Bezug verwenden! 8. Antwortkategorien verwenden, die erschöpfend und disjunkt (überschneidungsfrei) sind! 9. Sicherstellen, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt! 10. Unklare Begriffe definieren! Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to. Reihe, Nr. 2. 40

1. Verwende einfache & unzweideutige Begriffe Grundvoraussetzung für standardisierte Befragungen: Frage muss von allen Befragten in gleicher Weise verstanden werden einfache, unzweideutige Fragen entwickeln! Ideal: gemäßigte, formal korrekte Umgangssprache • Achtung: Einfachheit richtet sich nach dem befragten Personenkreis o Expertenbefragung vs. repräsentative Befragung • Konflikt zwischen einfacher und unzweideutiger Formulierung im Zweifelsfall für eindeutige Fragen entscheiden Beispiel • „Wie hoch ist Ihr eigenes monatliches Nettoeinkommen? Ich meine dabei die Summe, die nach Abzug der Steuern und Sozialversicherungsbeiträge übrigbleibt. “ • „Wie viel verdienen Sie im Monat? “ 41

2. Vermeide lange & komplexe Fragen … • werden schnell unverständlich • können Zielperson verwirren • enthalten häufig Redundanzen oder überflüssige Informationen Beispiel • „Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedesmal, wie oft Sie persönlich so etwas tun bzw. wie häufig das bei Ihnen vorkommt. (Liste mit den Antwortkategorien oft - manchmal - selten - niemals). Zuerst: wie oft führen Sie eine politische Diskussion? “ • „Wie häufig nehmen Sie an öffentlichen Diskussionen zu politischen Themen teil, oft, manchmal, selten oder nie? “ 42

3. Vermeide hypothetische Fragen • Bei hypothetischen Fragen muss sich Befragter eventuell in unrealistische bzw. unbekannte Situationen versetzen • Problem: Hat sich der Befragte mit der hypothetischen Situation schon einmal auseinandergesetzt? • Wie nahe oder entfernt ist diese Situation für sie/ihn? Aussagekraft der Befunde? Beispiele • „Einmal angenommen, Sie würden im Lotto eine Million Mark gewinnen - würden Sie dann aufhören zu arbeiten oder würden Sie weiterarbeiten? “ • Stellen Sie sich einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten, zuerst seine Ausbildung zu Ende zu bringen? 43

4. Vermeide doppelte Stimuli & Verneinung Doppelte Stimuli • Bei doppelten Stimuli sind zwei unterschiedliche Antworten möglich • Beispiel: „Hören Sie gerne Musik von Chopin und Wagner? “ Verwirrend und frustrierend für Befragte Ergebnisse unbrauchbar Doppelte Verneinung • Verwirrend für Befragte • Beispiel: „Es ist nicht gut, wenn die Wähler nicht zur Wahl gehen. “ mit der Antwortskala 1 „trifft überhaupt nicht zu“ bis 7 „trifft voll und ganz zu“ 44

5. Vermeide Unterstellungen & suggestive Fragen (1) Unterstellungen • Unterstellungen führen dazu, dass derjenige, der die Unterstellung nicht teilt, die Frage nicht beantworten kann • Beispiel: „Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen? “ Suggestive Fragen • Suggestive Fragen legen Befragtem eine Antwort nahe Befunde wertlos (Ausnahme: Legitimationsforschung) • Beispiele o „Finden Sie nicht auch, dass…? “ o „Führende Wissenschaftler sind der Ansicht, …. Halten Sie diese Ansicht für richtig, oder halten Sie diese Ansicht für falsch? “ 45

5. Vermeide Unterstellungen & suggestive Fragen (2) Es wird ja in Dresden darüber diskutiert, am Waldschlösschen eine Elb-Brücke für den Straßenverkehr zu bauen. Sind Sie für oder gegen den Bau der Waldschlösschenbrücke? dafür 58% dagegen 22% weiß nicht 14% DNN-Barometer Sind Sie dafür, statt der landschaftszerstörenden, langen Waldschlösschenbrücke mindestens zwei Dresdentypische, kürzere und kostengünstigere Brücken mit insgesamt höherer Entlastungswirkung zu bauen? dafür 59% dagegen 18% weiß nicht 21% 46

6. Vermeide zu schwierige Fragen Vermeiden von Fragen, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen • Verfügt die anzusprechende Zielgruppe über Informationen, die zur Beantwortung der Frage ausreichend sein könnten? • Frustrationseffekt, evtl. Fragebogenabbruch Beispiel • „Sind in Ihrer Gemeinde bereits Maßnahmen zur Umsetzung der lokalen Agenda 21 getroffen worden? “ 47

7. Verwende eindeutige Zeitbezüge Fragen mit eindeutigen zeitlichen Bezug verwenden • Bei Sachverhalten oder Meinungen, die sich auf bestimmte Zeiträume beziehen, müssen diese Zeiträume definiert werden Schlecht • „In der letzten Zeit. . . “ • „Früher“ • „In naher Zukunft. . . “ Gut • „Seit dem. . . “ • „In den letzten 12 Monaten. . . “ 48

8. Verwende erschöpfende & überschneidungsfreie Antwortkategorien Überschneidungsfreie Antwortkategorien • Antwortkategorien müssen vom Befragten zweifelsfrei zugeordnet werden können, daher dürfen Überschneidungen nicht möglich sein • Beispiel: Einkommen 0 -500 €, 500 -1000 €; 1000 -2000 € usw. Erschöpfende Antwortkategorien • Abdeckung alle möglichen Antworten durch Antwortvorgaben • Beispiel: „Was ist Ihr Lieblingssender? “ Antwortvorgaben ARD, ZDF, Arte, 3 Sat • Besser: „Nun folgt eine Liste ausgewählter Fernsehsender. Welchen davon mögen Sie am liebsten? “ 49

9. Achte auf den Kontext der Frage darf sich nicht auf andere Fragen auswirken • schwer zu kontrollieren • Erfahrungen durch Pretest oder im ungünstigsten Falle bei der Datenauswertung Beispiel • Frage: „Alles in allem: Was halten Sie ganz allgemein von der CDU? “ Antwortskala von 1 = „überhaupt nichts“ bis 11 = „sehr viel“ • Vorfrage 1: „Wissen Sie zufällig, welches Amt Richard von Weizsäcker ausübt, das ihn außerhalb des Parteiengeschehens stellt? “ – Mittelwert 3, 4 • Vorfrage 2: kein politischer Inhalt – Mittelwert 5, 2 • Vorfrage 3: „Wissen Sie zufällig, welcher Partei Richard von Weizsäcker seit mehr als 20 Jahren angehört? “ – Mittelwert 6, 5 50

10. Definiere unklare Begriffe • Unklare & ungebräuchliche Begriffe vermeiden • Bei Bedarf definieren • Problem: Forscher verfügt meist über ausgeprägten Wissenshintergrund Betriebsblindheit Unnötige Überforderung der Befragten Beispiele • „Mediennutzung“ • „Was glauben Sie: In welchem Alter beginnt bei Männern normalerweise die Andropause? “ • „Mit dem Begriff Andropause umschreibt man das Eintreten hormoneller Veränderungen beim Mann, die sich auf das Gefühls- und Sexualleben auswirken können. Vergleichbar ist dieser Prozeß der Menopause bei Frauen, also den sogenannten Wechseljahren. Was glauben Sie. . “. 51

Die schlimmste Frage der Welt? 52

Die schlimmste Frage der Welt? Gallup Umfrage (1937): „Are you in favor of direct retaliatory measures against Franco‘s piracy? “ („Sind Sie für direkte Vergeltungsmaßnahmen gegen Francos Untaten? “) • Antwort-Alternative nicht ausformuliert • setzt Wissen voraus (Wer ist Franco? ) • keine Alltagssprache („retaliatory“) • wertende Begriffe – Suggestivfrage („piracy“) • vage (Welche Gegenmaßnahmen? ) 53

54

55

Literaturtipps • Atteslander, P. (2000). Methoden der empirischen Sozialforschung. Berlin, New York: de Gruyter. • Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer. • Brosius, H. B. , Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag. • Dillman, D. A. (2006). Mail and Internet Surveys: The Tailored Design Method — 2007 Update with New Internet, Visual, and Mixed-Mode Guide. New York u. a. : Wiley. • Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen -Fragen. ZUMA-How-to-Reihe, Nr. 2. Online unter: http: //www. gesis. org/Publikationen/Berichte/ZUMA_How_to/. • Schnell, R. , Hill, P. & Esser, E. (1992). Methoden der empirischen Sozialforschung. München: Oldenbourg. • ZUMA – Zentrum für Umfragen, Methoden und Analysen: http: //www. gesis. org/ZUMA/index. htm. 56