Philosophische Fakultt Institut fr Kommunikationswissenschaft Ringvorlesung Einfhrung in

Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung Einführung in die Methoden der empirischen Sozialforschung I Soziale Experimente und Evaluationsstudien Prof. Dr. Lutz M. Hagen Di 3. 2. 2009 13. 00 – 14. 30 Uhr

Literatur G G F Brosius, H. B. / Koschel, F. (2003): Methoden der empirischen Kommunikationsforschung. Eine Einführung. Opladen: Westdeutscher Verlag, 204 -246. Diekmann, A. (2003): Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. 9. Aufl. , Reinbek bei Hamburg: Rowohlt, 30 -39, 289 -324. Bortz, J. / Döring, N. (2002): Forschungsmethoden und Evaluation für Human - und Sozialwissenschaftler. 3. , überarb. Aufl. , Berlin; Heidelberg: Spinger, 101 -136. G Lesen ! FDurchsicht empfohlen Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Problem der Interpretation von Kovariation 0, 8 X Y Z Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Definition des Experiments o Kurz: Beobachtung (Messung) unter kontrollierten Bedingungen o Ausführlich: Wiederholbare Beobachtung (Messung) unter kontrollierten Bedingungen, wobei mindestens eine unabhängige Variable derart manipuliert wird, dass eine zugrunde liegende Hypothese, d. h. die Behauptung eines Kausalzusammenhangs, ermöglicht wird. o Hauptunterschied zu allen anderen Designs: der Forscher initiiert und inszeniert die Wirklichkeit, die er erforschen will. Vorgehen ist streng deduktiv. Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Zielsetzung o o o Die Wirkung (AV) eines bestimmten, interessierenden Merkmals (UV) soll möglichst genau bemessen werden. o Untersucht wird also der Kausaleinfluss einer oder mehrerer UV auf eine oder mehrere AV. Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Faktoren und Stufen o o o Die UV heißen FAKTOREN Die Ausprägungen der UV heißen STUFEN. Man spricht dann z. B. von einem 2 x 3 -faktoriellen Design, wobei der erste Faktor zwei- und der zweite Faktor dreistufig ist. o Beispiel: § § Fördert oder hemmt Emotionalisierung im Fernsehen den Wissenserwerb? Drei Fernsehfilme mit unterschiedlich starker Emotionalisierung im Nachrichten- und im Magazingenre. Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Experimentalmethode o o o Ein Stimulus, der das interessierende Merkmal enthält, wird systematisch variiert (bzw. gegen einen Kontrollstimulus gesetzt). Vorgehen und Resultat der Manipulation werden exakt dokumentiert. Alle anderen Merkmale des Stimulus bleiben unverändert bzw. werden vom Forscher ausgeschaltet bzw. anderweitig kontrolliert. VPn werden zufällig den Experimental- bzw. Kontrollgruppen zugeteilt. (Randomisierung) VPn sollen das Untersuchungsziel nicht kennen. Die Experimentalsituation ist für alle VPn identisch. Wirkungen können eindeutig und ausschließlich auf unterschiedliche Stimuli zurückgeführt werden. Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Einfache Experimentalanordnung Experimentalgruppe Kontrollgruppe Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 t 1 t 2 X O O

Experimentalanordnung mit Vormessung t 1 t 2 t 3 Experimentalgruppe O X O Kontrollgruppe O Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 O

Solomon Experimentalanordnung t 1 t 2 t 3 Experimentalgruppe 1 O X O Kontrollgruppe 1 O Experimentalgruppe 2 Kontrollgruppe 2 Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 O X O O

Vorexperimentelle Designs t 1 Experimentalgruppe t 2 t 3 X O Experimentalgruppe O 1 X O 2 Experimentalgruppe O X O Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Priming-Experiment Ergebnisse von Experimenten in deren Verlauf die Probanden in drei Experimentalgruppen innerhalb einer Woche drei Nachrichtenbeiträge jeweils über ein bestimmtes Thema sahen. Tabelle enthält Korrelationskoeffizienten zwischen Bewertungen des Präsidenten im Hinblick auf jedes der drei Themen mit der Gesamtbewertung des Präsidenten nach Ablauf der Woche. Problem No TV Coverage (Baseline) TV Coverage (Primed) Difference: Primed Minus Baseline Arms control . 03 . 49 . 46* Civil rights . 24 . 68 . 44* Unemployment . 37 . 83 . 46* *p<. 01 Quelle: Iyengar, Shanto/ Kinder, Donald R. : News That Matters. Chicago/London: 1987, S. 68 Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Beispielstudie: Habitualisierung durch Porno EG 1 EG 2 EG 3 KG Treatment pro Session 6 Filme pro 3 Filme pro Unerot. Filme Keine Filme Stimulus. Intensität 4 h 48 2 h 24 0 h 0 h Abhängige Variablen o o o (gemessen nach 3 Wochen) Strafzumessung für einen Vergewaltiger Einschätzung der Normalität sexueller Praktiken Beeindruckung durch weitere pornogr. Darstellungen affektive Reaktionen sexistische Ansichten Zillmann, D. & Bryant, J. (1982): Pornography, sexual callousness*, and the trivialization of rape. Journal of Communication 32 (4), 10 -21 * Gefühllosigkeit Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Strafzumessung bei Vergewaltigung in Monaten Keine Filme Mittlere Dosis Hohe Dosis Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 Kein treatment Zillmann/ Bryant 1982

Unterstützung für die Frauenbewegung Keine Filme Mittlere Dosis Hohe Dosis Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 Kein treatment Zillmann/ Bryant 1982

Kontrolle von Störvariablen (Auswahl) o Situation: § § § o Stimulus § § o Randomisierung Konstanthalten VPn § § § o Elimination (Lärm, Wartezeiten) Konstanthaltung (Zimmertemperatur) Messung als Kontrollvariable (Feuchtigkeit) Randomisierung (Matched Pairs) (Matched Groups) Versuchsleiter § Konstanthalten Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Interne und externe Validität o Externe Validität betrifft die Generalisierbarkeit der Ergebnisse Beeinträchtigungen durch - untypische Stichprobe - untypische oder künstliche Erhebungssituationen - untypische Medienstimuli bei Experimenten - reaktive Instrumente o Interne Validität betrifft die Eindeutigkeit der Mess- und Operationalisierungsbedingungen sowie der Ergebnisse. Beeinträchtigungen durch - externe zeitliche Einflüsse - Reifungsprozesse der VPN (z. B. Ermüdung) - Testing (Testübung) - Mortalität (systematischer Ausfall von VPN) Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Fehlerquellen o o o Konfundierung Reaktivität (Placebo-Effekt, Hawthorne-Effekt) Laborsituation (Captive Audience) Reifeprozesse (Lernen) Versuchsleitereffekte (Rosenthal-Effekt) Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Vorteile und Nachteile o Vorteile § § § o Stimulus wird im Feld produziert und geht der vermuteten Wirkung definitiv voraus Durch Randomisierung werden Drittvariableneffekte neutralisiert Daher sind Experimente ideal um Kausalhypothesen zu testen Nachteile § § Externe Validitiät Reaktivität Hohe Aufwand Oft kein Möglichkeit zur Randomisierung Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Experimente i. e. S. und i. w. S. o Labor- vs. Feldexperiment beim Feldexperiment ist die Situation nicht unter Kontrolle des Forschers o Experiment vs. Quasiexperiment beim Quasiexperiment sind die Einflussgrößen (z. B. Merkmale von Personen) nicht völlig unter Kontrolle des Forschers. Beispielsweise wird nicht randomisiert oder aus der Einflussgröße Vorwissen ein Post-Hoc-Faktor kreiert und als UV in die Analysen einbezogen o Experiment vs. Ex-Post-Facto-Anordnung. Oft können keine Kontrollen eingesetzt werden (z. B. keine Kontrollgruppe oder keine Vorhermessung). Solche Anordnungen sind keine Experimente. Sie heissen Ex-Post-Facto-Anordnungen. -> hohe Artefaktgefahr! Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Evaluationsstudien o o o Anwendungsbezogen Prüfung praktischer Maßnahmen Auf (Un)Wirksamkeit im Hinblick auf Bestimmte Erfolgskriterien (Ziele) oder unerwartete Effekte o o o Oft retrospektiv typischwerweise quasiexperimentell Ohne Randomisierung. Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Probleme und Lösungsmöglichkeiten o Probleme § § o Konfundierung Reifeprozesse Probandenausfall Experimentaldesign nicht ex post möglich Lösungen § § Nachträgliches Matching Rechnerische Drittvariablenkontrolle. Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Interpretationsprobleme Experimentalgruppe t 1 t 2 t 3 O X O ? Kontrollgruppe Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 O ? O

Kultivationseffekt des Fernsehens Question: What is the proportion of people that are employed in law enforcement? TV answer: „About five per cent. “ (reality: about one) Percent giving the „television answer“ All Adult Respondents Education News Reading Light viewers: Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09 Heavy viewers: Age 2 hours/day or less 4 hours/day or more Gender

Evaluation zur Kampagne „Prävention“ Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Design Juli Bevölkerung August September 1. Welle Panel (n= 782) Oktober 2. Welle Panel (n= 504) Kontrollgruppe (n= 764) BMGS Pressearbeit, Infokubus, Infokampagne zum Thema Prävention Medien Berichterstattung über Prävention Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Keine Veränderung bei Assoziationen mit dem Begriff „Prävention“ Paneleffekt!! Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09

Woran denkt man bei „gesundheitlicher Prävention“ (ungestützt) Realer Anstieg ohne Panel-Effekt! Prof. Dr. Lutz M. Hagen „Experimente und Evaluationsstudien“ WS 08/09