Auswahl von Probanden Biases in der Auswahl von

Auswahl von Probanden Biases in der Auswahl von Untersuchungseinheiten Building Competence. Crossing Borders. Prof. Dr. Jürg Hari juerg. hari@zhaw. ch

Empirische Erhebung: Untersuchungseinheiten rekrutieren In der BWL relevante Biases: - Reminder: Untersuchungseinheiten können sein: Personen, Häuser, Aktien, Blogbeiträge, Tripadvisor-Urteile und sogar Abfallsäcke (und vieles mehr!) - Biases in der Probandenauswahl: ü ü Auswahl im Nachhinein Auswahl auf die abhängige Variable Nur Überlebende betrachten: Survivorship Bias Selection Bias

Weshalb wir von Roger Federer nichts lernen können: Das Induktionsproblem Siehe auch Text «lilafarbige Kuh» : Aus Beobachtungen kann man keine Gesetzmässigkeiten ableiten. 3

David Hume: See! I told you so. Shermer (2002)

Zuerst die Faktenlage (1): Michael Dell Charles Darwin Bill Gates

Zuerst die Faktenlage (2): Mick Jagger Richard Gere Joop (Designer von Mode)

Zuerst die Faktenlage (3): Erfolgreich? Heike Makatsch Reinhold Messner Steven Spielberg Brad Pitt Erfolgreich? Klar Begründung: § Variante A: Gemeinsamer Erfolgsfaktor: Studium abgebrochen § Variante B: Gemeinsamer Erfolgsfaktor: Charisma & Talent Was ist typisch «Hindsight Bias» in diesem Beispiel? Die Probanden wurden erst nach dem Geschehen (nach dem Erfolg) selektiert und der Forscher versucht, gemeinsame Attribute zu finden. Diese Attribute werden als Faktoren des Erfolges angesehen.

Kornmeier-Einschub: „Best practice“ S. 78 - Man pickt sich die „Besten“ <= Selektion auf im Nachhinein Isoliert die Erfolgsfaktoren Fertig das Rezept („Mach X, dann passiert Y“) Induktion aus Fallstudien ist eben unmöglich Kann eingesetzt werden (EU Beispiel), aber in anderem Zusammenhang Zusatzverschiebung: Selektion im Nachhinein - Anmerkung: Meist hat ‘Best Practice’ zu Beginn eben gerade nicht Best Practice angewendet

Auszug aus dem Buch «Harte Fakten» - Zweifelhaft: Auswahl von Gewinnern und Verlierern zum Vergleich - Noch zweifelhafter: Nur Gewinner - Beide Verfahren sind (obschon gängig) mit drei Grundsatzfehlern behaftet: - Selektionseffekt - Survivorship bias - Selektion im Nachhinein Pfeffer and Sutton (2007) Ein Buch der Mc. Kinsey Consulting

Fürchte Dich vor der Hydra* (Beispiel hat einen hohen Praxisbezug) Pfeffer and Sutton (2007) Ein Buch der Mc. Kinsey Consulting * Hydra: Weil die Attribute sich fast beliebig vermehren (lassen) 10

Das Buch ‘Creative Destruction’ - Die Illusion von dauerhaften Erfolg: Erfolg (gemessen am Aktienkurs) ist vorübergehend Investitionen in „Forbes 100 Listen“ führt zu einer Performance, die unter dem Markt liegt Die Lebensdauer von amerikanischen Firmen nimmt deutlich ab (10 -15 Jahre? ) Rezepte für Erfolg sind verführerisch, aber halten in der Realität nicht das Versprochene - Anmerkung: Wurde für den Schweizer Markt bestätigt (Handelszeitung 20. August 2008, S. 17) Siehe dazu Foster&Kaplan 2001 Sprichwort: «Sieger glauben nicht an Zufälle»

Abschluss «Würdigung von Best Practice» - Best practice vereinigt gleich drei wissenschaftliche Biases (Fehler): - Hindsight Bias (auch genannt: Post-hoc Fallacy, ex-post, im Nachhinein) - Selektion auf die abhängige Variable - Induktionsproblematik - Best practice ist vor allem ein Konzept der Kunst (Arts)

Abschluss «Würdigung von Best Practice» : Korrekte Beispiele 13

Empirische Erhebung: Untersuchungseinheiten rekrutieren In der BWL relevante Biases: - Reminder: Untersuchungseinheiten können Personen, Häuser, Aktien, Blogbeiträge, Tripadvisor-Urteile und sogar Abfallsäcke sein (und vieles mehr!) - Biases in der Probandenauswahl: ü ü Auswahl im Nachhinein Auswahl auf die abhängige Variable Nur Überlebende betrachten: Survivorship Bias Selection Bias

Erkenntnistheoretisch macht man «Zirkelschlüsse» : Zirkelschlüsse in der Praxis - Die berühmte Analyse: - Die Markenpersönlichkeit: Frage in der Originalstudie: «Think of brand X as a person. How would you describe it? » Ø Ergibt also einen Zirkelschluss (Rossiter, 2012) 15

Der Zirkelschluss: Beispiel Markenpersönlichkeit Avis, Forbes, and Ferguson (2013) weist auf folgende Stelle im Original-Paper hin: … und weisst darauf hin, dass dies ein Zirkelschluss ist: Brand Personality 16

Der Zirkelschluss: Selektion auf die abhängige Variable - Formel: Y = a + b*X - Zirkelschluss: wenn man Y aufteilt in top-Y und flop-Y dann selektiert man gleich auf top-X und flop-X => Man kann dann keine Regression mehr rechnen! 17

Empirische Erhebung: Untersuchungseinheiten rekrutieren In der BWL relevante Biases: - Reminder: Untersuchungseinheiten können Personen, Häuser, Aktien, Blogbeiträge, Tripadvisor-Urteile und sogar Abfallsäcke sein (und vieles mehr!) - Biases in der Probandenauswahl: ü ü Auswahl im Nachhinein Auswahl auf die abhängige Variable Nur Überlebende betrachten: Survivorship Bias Selection Bias

Survivorship Bias in der Praxis: ‘Friedhöfe werden ausgeblendet’ 19

Beispiel «Effekt von Verkaufstrainings» on iti et ep R s au Forschungsfrage: Bringt ein Verkaufstraining etwas? SW 1 - Methode: - Zufällige Auswahl von KMU in Spanien - Fragebogen: 246 retourniert, 202 ausgewertet - Regressionsanalysen für die Auswertung - „Übliche Resultate“ erhalten (Korrelationen!) - Korrelation zwischen «Training» , «Performance» , «Customer orientation» , «Customer Knowledge» etc. - Beispiel eines Ergebnisses: Fast sicher ein „Survivorhip bias“ drin. Je länger man im Beruf ist, desto erfolgreicher, die nicht erfolgreichen fallen weg und aus diesem Grund kommt es zu Scheinkorelationen

Empirische Erhebung: Untersuchungseinheiten rekrutieren In der BWL relevante Biases: - Reminder: Untersuchungseinheiten können Personen, Häuser, Aktien, Blogbeiträge, Tripadvisor-Urteile und sogar Abfallsäcke sein (und vieles mehr!) - Biases in der Probandenauswahl: ü ü Auswahl im Nachhinein Auswahl auf die abhängige Variable Nur Überlebende betrachten: Survivorship Bias Selection Bias

Der Selektionseffekt - Systematische Fehler können zu Verzerrungen der Stichprobe führen. Diese Fehler finden auf dem Weg zur Nettostichprobe statt und rufen innerhalb dieser Selektionseffekte hervor. 22

Der Selektionseffekt in der Praxis - Personen in der Grundgesamtheit sind nicht erreichbar (z. B. fehlende e. Mail; Telefonnummer, etc) - Kundenumfragen: es werden Kunden befragt und alle Nicht-Kunden folglich ausselektiert. - Probanden können sich auf eine Studie «freiwillig» melden. Oder schlimmer: können sich die experimentelle Intervention selber aussuchen (z. B. aus Datenschutzgründen) - Selektionseffekt bei Umfragen (z. B. fehlende Motivation) sind sehr komplex und für unsere Bedürfnisse eher zu ignorieren. Die Suche nach «non-response bias» ergibt sehr viele Treffer. 23

Typische Biases am Beispiel des Masterstudiums - Selektionseffekt: Wer hat sich überhaupt angemeldet zum Studium? Intelligente, arbeitslose, intrinsisch motivierte, unter Familiendruck stehend, etc. => Passive Selektion auf Variablen, die wir gar nicht kennen (Störvariablen!) - Selektionseffekt: Wer wurde zugelassen zum Studium? Intelligente, arbeitslose, intrinsisch motivierte, unter Familiendruck stehend, nach Noten, nach Aussehen, etc. => Aktive Selektion auf Variablen, die wir gar nicht kennen (Störvariablen!) - Survivorship Effekt: Wer ist rausgefallen während des Studiums? Dumme, arbeitsame, extrinsisch motivierte, unter Familiendruck stehend, nach Hässlichkeit, etc. => «Sterberate» aufgrund von Variablen, die wir gar nicht kennen (Störvariablen!) - Selektion der Fälle im Nachhinein: Die besten 10% werden mit den schlechtesten 10% verglichen und zum Beispiel gefolgert, dass die Herkunftsnationalität einen Einfluss hat. 24