Kolloquium zur Psychologischen Forschungsmethodik KQz PF Lukas Rseler

Kolloquium zur Psychologischen Forschungsmethodik (KQz. PF) Lukas Röseler Lehrstuhl für Persönlichkeitspsychologie und Psychologische Diagnostik Wintersemester 2018/2019 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 1

Achtung Baustelle Diese Folien werden ständig aktualisiert. Baustelle 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 2

Symbole auf Folien diskutieren Website oder Erklärung vorstellen Folie noch in Bearbeitung 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 3

Organisatorisches • ACHTUNG: 1 Termin findet Montags im Rahmen des Fo. Kos statt • Folien und Termin-/Themenliste im OSF: osf. io/je 9 h 5/ • Wunschthemen? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 4

Was soll ich untersuchen? #1: Woher kommen Hypothesen? Was macht Forschung wissenschaftlich wertvoll? Was ist die Wissenschaftliche Methode (Spoiler-Alarm: Ein Mythos)? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 5

Woher kommen Forschungsideen? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 6

Irgendwoher BBB (Jaynes, 2000) • Bett • Bus • Badezimmer 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 7

Von bisherigen Beobachtungen 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 8

Sie werden logisch abgeleitet Beispiel von Kempgen (1990) • Mit mehr Buchstaben kann man mehr Wörter bilden. • Leute versuchen, möglichst kurze Wörter zu bilden. • Sprachen mit mehr Buchstaben haben kürzere Wörter. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 9

Der Hermeneutische Zirkel - In diesem Raum sind Männer größer als Frauen. _________ In allen Räumen sind Männer größer als Frauen. Theorie (allgemein) Induktion Ich bin sterblich. Deduktion Empirie (speziell) 25. 02. 2021 - Alle Menschen sind sterblich. - Ich bin ein Mensch. _________ Forschungsmethodik (Lukas Röseler) Abduktion 10

Was macht Forschung wissenschaftlich wertvoll? ? es muss revolutionierend und innovativ sein! hoher Impact Factor! hoher h-index! Replizierbarkeit Transparenz Anwendbarkeit man muss viel daraus lernen (strong theorizing) 25. 02. 2021 p <. 05 die wissenschaftliche Methode hübsche Ergebnisse! Forschungsmethodik (Lukas Röseler) 11

die Wissenschaftliche Methode Feyerabend 1975/2002, p. 14 We find, then, that there is not a single rule, however plausible, and however firmly grounded in epistemology, that is not violated at some time or other. It becomes evident that such violations are not accidental events, they are not results of insufficient knowledge or of inattention which might have been avoided. On the contrary, we see that they are necessary for progress. Indeed, one of the most striking features of recent discussions in the history and philosophy of science is the realization that events and developments, such as the invention of atomism in antiquity, the Copernican Revolution, the rise of modem atomism (kinetic theory; dispersion theory; stereochemistry; quantum theory), the gradual emergence of the wave theory of light, occurred only because some thinkers either decided not to be bound by certain 'obvious' methodological rules, or because they unwittingly broke them. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 12

Problemlösen innerhalb des amtierenden Forschungsprogramms Paradigma Forschungsprogramm Denkkollektiv Wir sind Sozialpsychologen. Wir benutzen Experimente, die wir mit ANOVAs auswerten um Priming -Effekte zu untersuchen. Wir sind Open-Science-Verfechter. Wir simulieren mit R Szenarien, um den Ausmaß der Replikationskrise zu bestimmen. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 13

Kumulative Forschung Ein Experiment erschafft noch keine Tatsache. Netzwerk-Vorstellung: harter Kern 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 14

Systematizität (Hoyningen-Huene, 2015) 1. Beschreibungen 2. Erklärungen 3. Vorhersagen 4. Verteidigung von Wissensansprüchen 5. Kritischer Diskurs 6. Epistemische Vernetztheit 7. Ideal der Vollständigkeit 8. Generierung von Wissen 9. Darstellung von Wissen 25. 02. 2021 Forschungsmethodik (Lukas Röseler) Wissenschaftliches Wissen unterscheidet sich von anderen Wissensarten, besonders dem Alltagswissen, primär durch seinen höheren Grad an Systematizität. 15

Literaturrecherche #2: Umgang mit Google Scholar, Ebscohost, Citavi, Researchgate, Preprints, Blogs 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 16

Wie komme ich auf den neuesten Stand der Forschung? Name Websites Google scholar. google. de, Tipps Ebscohost Tutorial Citavi citavi. com Researchgate researchgate. net Soziale Netzwerke Twitter, Facebook: psychological methods discussion group Preprints osf. io/preprints/ Blogs siehe nützliche_links. docx im osf Raven 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 17

#canihazpaper 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 18

Wie bleibe ich auf dem neuesten Stand? • • Ebscohost Mail Alert Journal Websites spezielle Tagungen Austausch mit Gleichgesinnten 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 19

Finden von Forschungslücken #3: Theory Mapping (theorymaps. org), Was sind Meta-Analysen, Systematic Reviews, RRRs und was ist dabei zu beachten? Welches Argument will ich mit meiner Forschung führen? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 20

Create a research gap • Was hat die Welt von deiner Forschung? • Maccheroni, F. , & Marinacci, M. (2003). How to cut a pizza fairly: Fair division with decreasing marginal evaluations. Social Choice and Welfare, 20(3), 457 -465. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 21

Überblicksarbeiten • • Systematic Reviews / Literature Reviews Meta Analysen Buchkapitel Introduction einschlägiger Paper 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 22

Theory Mapping • theorymaps. org 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 23

Meta Analysen • vor allem bei induktiven Ideen geeignet • z. B. bei Moderatorensuche • garbage in – garbage out; achten auf… – Replikationen – Quantifizierung von Publikationsbias (z. B. Funnelplots) • dynamic meta analysis, z. B. http: //metalab. stanford. edu 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 24

25. 02. 2021 Forschungsmethodik (Lukas Röseler) 25

RRRs • Kann man noch auf irgendwelcher Forschung aufbauen? • Open Science Collaboration. (2015). Psychology: Estimating the reproducibility of psychological science. Science (New York, N. Y. ), 349, aac 4716. https: //doi. org/10. 1126/science. aac 4716 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 26

Welche Story möchte ich erzählen? Story Beispiel Prüfen von Alltagstheorie Baumeister, R. F. , Bratslavsky, E. , Finkenauer, C. , & Vohs, K. D. (2001). Bad is stronger than good. Review of General Psychology, 5, 323– 370. https: //doi. org/10. 1037//1089 -2680. 5. 4. 323 Prüfen von Widersprüchen Gilbert, D. T. , Krull, D. S. , & Malone, P. S. (1990). Unbelieving the unbelievable: Some problems in the rejection of false information. Journal of Personality and Social Psychology, 59, 601– 613. https: //doi. org/10. 1037/0022 -3514. 59. 4. 601 Falsifikation Kahneman, D. , & Tversky, A. (1979). Prospect Theory: An Analysis of Decision under Risk. Econometrica, 47, 263. https: //doi. org/10. 2307/1914185 Integration Pohl, R. F. , Eisenhauer, M. , & Hardt, O. (2003). SARA: a cognitive process model to simulate the anchoring effect and hindsight bias. Memory (Hove, England), 11, 337– 356. https: //doi. org/10. 1080/09658210244000487 Klassifikation Calder, B. J. , Phillips, L. W. , & Tybout, A. M. (1981). Designing Research for Application. Journal of Consumer Research, 8, 197. https: //doi. org/10. 1086/208856 Reduktion Alves, H. , Koch, A. , & Unkelbach, C. (2017). Why Good Is More Alike Than Bad: Processing Implications. Trends in Cognitive Sciences, 21, 69– 79. https: //doi. org/10. 1016/j. tics. 2016. 12. 006 Induktion Friese, M. , Loschelder, D. D. , Gieseler, K. , Frankenbach, J. , & Inzlicht, M. (2018). Is Ego Depletion Real? An Analysis of Arguments. Personality and Social Psychology Review : an Official Journal of the Society for Personality and Social Psychology, Inc, 1088868318762183. https: //doi. org/10. 1177/1088868318762183 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 27

Welche Story möchte ich erzählen? Story Beispiel Replikation Open Science Collaboration. (2015). Psychology: Estimating the reproducibility of psychological science. Science (New York, N. Y. ), 349, aac 4716. https: //doi. org/10. 1126/science. aac 4716 Moderation Furnham, A. , Boo, H. C. , & Mc. Clelland, A. (2012). Individual Differences and the Susceptibility to the Influence of Anchoring Cues. Journal of Individual Differences, 33, 89– 93. https: //doi. org/10. 1027/1614 -0001/a 000076 Ausgrabung Epley, N. , & Gilovich, T. (2001). Putting adjustment back in the anchoring and adjustment heuristic: Differential processing of self-generated and experimenter-provided anchors. Psychological Science, 12, 391– 396. https: //doi. org/10. 1111/14679280. 00372 Ergänzung Chaxel, A. -S. (2014). The impact of procedural priming of selective accessibility on self-generated and experimenterprovided anchors. Journal of Experimental Social Psychology, 50, 45– 51. https: //doi. org/10. 1016/j. jesp. 2013. 09. 005 Innovation Tversky, A. , & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science (New York, N. Y. ), 185, 1124 – 1131. https: //doi. org/10. 1126/science. 185. 4157. 1124 Head-slapping Bargh, J. A. , Chen, M. , & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of personality and social psychology, 71(2), 230. Konfundierungen Rothermund, K. , & Wentura, D. (2001). Figure-ground asymmetries in the Implicit Association Test (IAT). Zeitschrift für lösen experimentelle Psychologie, 48(2), 94 -106. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 28

Untersuche ich ein Phänomen oder eine Theorie? Was zu beachten ist Phänomen Theorie Beispiel Priming-Effekte Construal Level Theorie Mögliche Ziele Belegen, Bekräftigen, Widerlegen, Verallgemeinerbarkeit/Rob plausibel machen ustheit prüfen Versuchsdesign an bisherigem orientieren unabhängig von „kleineren Entscheidungen“ (z. B. Operationalisierungen) Stichprobenziehung so repräsentativ wie möglich egal (außer anders von Theorie vorgeschrieben) 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 29

Hypothesenvisualisierung #4: Sicherung des empirischen Gehalts von Hypothesen: Wie müssen die Daten aussehen, damit meine Hypothesen gelten und nicht gelten? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 30

Was kann ich wissen und was soll ich tun? Zusammenhang zwischen Dingen Nachweis in Psychologie ist… kein Zusammenhang großes Problem linearer Zusammenhang kein Problem nicht-linearer Zusammenhang nur mit viel Glück oder Power machbar Interaktion: Effekt kehrt sich um kein Problem Interaktion: Effekt verschwindet nur mit viel Power Interaktion: Effekt wird kleiner großes Problem Mediation wirklich nötig? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 31

Empirischer Gehalt A theory is to be called ‚empirical‘ or ‚falsifiable‘ if it divides the class of all possible basic statements unambiguously into the following two non-empty sub-classes. First, the class of all those basic statements with which it is inconsistent (or which it rules out, or prohibits) … and secondly, the class of those basic statements which it does not contradict (or which it ‚permits‘). (Popper, 1959/2008, S. 66) • • Allgemeinheit: Anzahl der von der Theorie betroffenen Aussagen Bestimmtheit: Anteil der von der Theorie ausgeschlossenen Aussagen 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 32

Visualisierung „Je nach Haarfarbe wirkt Extraversion unterschiedlich auf die Attraktivität. “ ? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 33

Visualisierung „Je nach Haarfarbe wirkt Extraversion unterschiedlich auf die Attraktivität. “ Attraktivität dunkel; hell Extraversion 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 34

Visualisierung einer Theorie Sprungweite • „More plausible, we believe, is that they “jump” some amount from the anchor—analogous to a saccade in reading—to a more reasonable value and assess its plausibility. “ (Epley & Gilovich, 2001, p. 392) 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 0 1 25. 02. 2021 2 3 4 5 6 7 8 Zeit 9 10 11 12 13 14 Forschungsmethodik (Lukas Röseler) wahrer Wert Anker viel, langsam, stark viel, langsam, schwach viel, schnell, stark viel, schnell, schwach wenig, langsam, stark wenig, langsam, schwach wenig, schnell, stark wenig, schnell, schwach 35

Visualisierung einer Hypothese Theorie: Ego Depletion ist eine Ressource, die erschöpft werden kann. Hypothese: Ego Depletion wird bei hoch selbst-kontrollierten (trait) anders erschöpft. Ressource HSK; NSK t 25. 02. 2021 t Forschungsmethodik (Lukas Röseler) t 36

Visualisierung hypotheseninkonformer Ausgänge Was, wenn nicht das rauskommt, was ich dachte (oder schlimmer: wollte)? Hypothese Ergebnis Erklärung positive Korrelation r =. 2, p =. 148 Nicht genug Power? Effekt kleiner als gedacht? Effekt nicht existent? Falsche Operationalisierung? Wirkungslose Manipulation? Theorie Ergebnis Entscheidung (Hintergrundvariable) Entscheidung (Methodik) A A Theorie wahr Theorie falsch, aber wegen Hintergrundvariable bestätigt Theorie falsch, aber wegen schlechtem Experiment bestätigt A ¬A Theorie falsch Theorie wahr, aber wegen Hintergrundvariable nicht bestätigt Theorie wahr, aber wegen schlechtem Experiment nicht bestätigt 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 37

Visualisierung hypotheseninkonformer Ausgänge Extraversion 25. 02. 2021 Extraversion Gehalt • Tipp: Alle möglichen Ausgänge aufmalen und schauen, was man jeweils daraus lernen kann, oder ob man die Studie lieber anders designen soll. Extraversion Forschungsmethodik (Lukas Röseler) Extraversion 38

Wissensmanagement #5: Powerpoint, Xmind, Citavi, wie man sich nie wieder um Zitationsstile kümmern muss, und wie man nach 2 Jahren innerhalb von 5 Sekunden die Seite in dem Buch wiederfindet, auf der das witzige Schopenhauer-Zitat war 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 39

Hilfreiche Programm Hilft bei… Powerpoint Hypothesenvisualisierung, Auflistungen, Tabellen, Diagrammen, … Xmind Mindmapping Citavi Literaturrecherche, Wissensverwaltung, Strukturierung der Arbeit, Zitationsstil Markdown Anfertigen von Präsentationen, Dokumenten (v. a. Ergebnisteil) La. Tex Strukturierung der Arbeit, Übersicht behalten, Formatierung der Arbeit Publish or Perish 6 Zitationsmetriken berechnen R allem ; -) 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 40

Planung einer Studie: Erste Überlegungen #6: Welche Methode soll ich warum nehmen? Warum muss ich jetzt schon wissen, wie ich die Daten auswerten möchte? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 41

Entscheidungen vor der Studie • • • Welche Stichprobe? Wie viele Leute? Online oder Offline? Vergütung? Feedback? Entscheidung vom Ethikrat nötig? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 42

Datenauswertung antizipieren Wie messe ich die von der Hypothese angesprochenen Konstrukte? UV AV Test Typische Darstellung binär Phi-Koeffizient 2 x 2 -Tabelle binär nominal / ordinal Wilcoxon-Rangsummentest — binär metrisch t-Test — nominal Chi² Tabelle nominal ordinal Kruskal-Wallis ANOVA Balkendiagramm nominal metrisch ANOVA Balkendiagramm ordinal Kendalls Tau — metrisch Bravais-Pearson Korrelation Streudiagramm 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 43

Datenauswertung antizipieren Wie messe ich die Konstrukte? • Fragebogenkreuze, Entscheidungen oder Verhaltensbeobachtung? • Wie wurden sie von anderen gemessen? • Ergibt eine feinere Messung Sinn? • Wie lassen sich die Ergebnisse am ehesten kommunizieren? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 44

Datenanalyse: Welcher statistische Test? #8: Erklärung von Auswahlkriterien zwischen einfachen inferenzstatistischen Tests (darunter t-Test, Chi², Korrelationskoeffizienten, nicht-parametrische Tests, . . . ) 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 45

Testauswahl 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 46

Modellkomplexität Einfach (z. B. t-Test) Komplex (z. B. Multilevel Modell) • Transparent • „präregistrierbar“ (Analyseskript lässt sich ohne Kenntnis der genauen Daten anfertigen) • Geringe Anzahl an Voraussetzungen • Verständlich • Poweranalyse anwendbar • Bei fortgeschrittenen Modellen anwendbar • Ggf. höhere Power 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 47

Poweranalysen und Sensitivitätsanalysen #7: Aufspüren, Berechnen, Simulieren, und Erraten von Effektstärken; Einführung in G*Power; In welche Schwierigkeiten man mit Interaktionshypothesen kommt und warum man für Replikationen (fast) immer mehr Probanden braucht 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 48

Poweranalyse Power: Wahrscheinlichkeit den Effekt zu finden, wenn es ihn wirklich gibt. man nehme… • Effektstärke • Alpha-Fehler Wkt. • Beta-Fehler Wkt. • einen statistischen Test Stichprobenumfang 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 49

Woher kriege ich Effektstärken? • • • ablesen umrechnen ausrechnen Corresponding Author anschreiben sich an Konventionen halten Erraten („educated guess“) 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 50

Sensitivitätsanalyse – ein Ausweg? 1. 2. 3. 4. keine Effektstärke gefunden jede VPn nehmen, die man kriegt Sensitivitätsanalyse rechnen hoffentlich einen kleinen Effekt kriegen Sensitivität: minimale Effektgröße, um bei gegebener Stichprobengröße und Alpha- und Beta-Niveaus einen Effekt signifikant zu kriegen. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 51

Poweranalyse danach • Post hoc power analyse tautologisch • A posteriori power analyse Effektstärken benötigt 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 52

Alternative Effektstärkemaße • BESD: Um wie viel nimmt die Erfolgswkt. zu? • Number needed to treat: Wie viele Personen benötigt man in der Treatment-Gruppe um im Vergleich zur KG mindestens einen zusätzlichen Fall mit anderem Ausgang zu beobachten? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 53

BESD 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 54

CLES pre 3 8 7 10 4 5 5 3 7 9 7 1 post 6 1 10 9 8 6 0 1 2 0 8 1 value 2 7 4 8 2 0 4 7 7 8 9 9 dz =. 5 In wie viel % der Fälle gilt Post > Pre? 25. 02. 2021 group 0 1 0 1 0 1 d =. 5 In wie viel % zweier zufällig gezogener Paare gilt Post > Pre Forschungsmethodik (Lukas Röseler) 55

Power berechnen • • • G*Power Websites R Excel per Hand ausrechnen in Cohens Tabellen nachschlagen 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 56

G*POWER 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 57

Powersimulation in R 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 58

Präregistrierung #9: Welche Studien man warum präregistrieren sollte (Replikationskrise und HARKing); OSF, Aspredicted 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 59

Exploratorisch vs. konfirmatorisch Exploratorisch Konfirmatorisch Hypothesen generieren Hypothesen testen Viele Zusammenhänge prüfend Wenige zentrale Zusammenhänge prüfend Vorgehen relativ offen Vorgehen streng geplant Hohe Rate an Typ-1 -Fehlern Geringe Rate an Typ-1 -Fehlern 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 60

Anomalien Bem, 2011, p. 421 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 61

Replikationskrise Open Science Collaboration (2015): Psychology. Estimating the reproducibility of psychological science. In: Science (New York, N. Y. ) 349 (6251), aac 4716. DOI: 10. 1126/science. aac 4716. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 62

QRP Nelson, Leif D. ; Simmons, Joseph; Simonsohn, Uri (2018): Psychology's Renaissance. In: Annual review of psychology 69, S. 511– 534. DOI: 10. 1146/annurev-psych-122216 -011836. 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 63

Researchers‘ degrees of freedom Wicherts, J. M. , Veldkamp, C. L. , Augusteijn, H. E. , Bakker, M. , van Aert, R. C. , & van Assen, M. A. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p. Hacking. Frontiers in psychology, 7, 1832. doi: 10. 3389/fpsyg. 2016. 01832 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 64

Die Lösung vieler Probleme • Osf. io • Aspredicted. org https: //docs. google. com/spreadsheets/d/1 D 4_k 8 C_UENTRtb. Pz. Xfhj. Eyu 3 Bf. Lxd. Osn 9 j-otr. O 870/edit#gid=0 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 65

Programmierung einer Studie #10: Hinweise für das Vorgehen am Beispiel von Soscisurvey 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 66

Sosci. Survey • Tipp: Studie vor Programmierung „fertig“ haben – Als Powerpoint, Method-Section, auf Papier, … 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 67

Siehe R-Skript im OSF: „aufbereitung_basics. R“ Datenaufbereitung #12: Wichtige Schritte und Tipps beim Weg von den Rohdaten zum Hypothesentest (z. B. Umgang mit fehlenden Werten, Umstrukturierung der Daten, Berechnung von Skalenwerten), statcheck. io 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 68

Teststatistiken, Tabellen, und Diagramme #13: Warum SPSS-Outputs irreführend sind und wie man schnell schöne Diagramme macht (mit SPSS, Excel, oder R); Statcheck und Grammarly 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 69

Gefahren bei Diagrammen 3. 06 3. 05 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 70

Diagramme erstellen • SPSS: bei wenigen, einfachen Diagrammen • Excel: bei Angst vor Code • R – Base plots: bei Diagrammen mit wenig Infos – Ggplot 2: bei komplexen Diagrammen – Plotly: bei interaktiven Diagrammen; https: //plot. ly/ggplot 2/geom_rug/ – Shiny Apps 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 71

Tabellen erstellen Spalte 1 A B C Abc 1 1 2 3 6 2 1 2 3 6 Spalte 1 A B C Abc 1 1 2 3 6 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 72

Teststatistiken • • • Freiheitsgrade oder Stichprobenumfang Teststatistik P-Wert Effektstärke Konfidenzintervall für Effektstärke Im Anhang oder Online: Analyseskript 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 73

t(98) = -. 46, p =. 643, d =. 08, einseitiger Test Two Sample t-test data: rnorm(50) and rnorm(50) t = -0. 46455, df = 98, p-value = 0. 6433 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0. 4399524 0. 2730436 sample estimates: mean of x mean of y -0. 11010517 -0. 02665078 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 74

Zusatz: Analyseskript und Version lock 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 75

Statcheck • Statcheck. io 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 76

Grammarly • Grammarly. com 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 77

Links: Teststatistiken und Abkürzungen • https: //blog. apastyle. org/apastyle/2010/05/it s-all-latin-to-me. html • http: //evccit. info/psych 018/Reporting_Statistics. pdf 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 78

Wie man den Überblick verliert #14: Benennung von Dateien, Arbeiten mit mehreren Versionen, Arbeiten mit verschiedenen Programmen, Savegames 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 79

Ordnerstruktur Projekt A Grundlegende Theorie Literatur Ähnliche Anwendungen Fragebogen Konzeption Programmierung Daten Rohdaten Aufbereitete Daten Aufbereitungsskript Auswertungsskript Akquise Bericht Poweranalyse Verlosung Fo. Ko_präsi Manuskript Grafiken 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 80

Dateienbenennung Reihenfolge-Index Name Versionsnummer Letzter Bearbeiter 1 Bachelorarbeit 271118 LUK Letztes Änderungsdatum Projektname Dokumentname 181127 Masterarbeit Theorieteil 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 81

Arbeiten im OSF 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 82

Schreibstil 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 83

Hinweise • • Englisch: Watsons Sprachkurse (siehe univis) http: //journal. sjdm. org/style. htm APA Manual (aktuell 6. Ed) https: //blog. apastyle. org 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 84

Roter Faden Gedankengang in Stichpunktform Gedankengang in Textform Titel • Thema • Problem • Darum muss das Problem gelöst werden • So lösen wir das Problem • … Texte zu strukturieren ist eine grundlegende Anforderung an Autoren. Dennoch … 25. 02. 2021 Forschungsmethodik (Lukas Röseler) Lösche Text, wenn die Antworten nicht „ja“ lauten. • Ist dieser Schritt nötig, um die Kernaussage nachvollziehen zu können? • Wird diese Information nicht vorausgesetzt? • … 85

Anleitungen zur Formulierung guter Theorien #XX 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 86

Welche Theorie ist weshalb am besten? 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 87

Hintergrund • • Replikationskrise Phänomen-Orientiertheit / Mikro-Theorien Multiparadigmatismus Pseudo-Wissenschaftlichkeit 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 88

Was ist eine gute Theorie? Popper Fiedler Hoyningen-Huene Rothermund Unkelbach Feyerabend Empirischer Gehalt / Falsifizierbarkeit großer Abstand zwischen Explanans und Explanandum Systematizität Plausibilität (intuitiv) anything goes Allgemeinheit starke A-priori Theorien sehr gut passende Ergebnisse Bestimmtheit herleitbar aus nichtpsychologischen Gesetzen Fromalisiertheit use-novel predictions riskant, neuartig, innnovativ allgegenwärtige Effekte an bisheriges anknüpfend Makro-Theorie 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 89

Falsifizierbarkeit • Popper, 1959: „Probabilities … turn out to be in principle impervious to strict falsification“ (S. 133) … „Probability estimates are not falsifiable. “ (S. 183) 25. 02. 2021 Forschungsmethodik (Lukas Röseler) 90