Multivariate Statistische Verfahren Universitt Mainz Institut fr Psychologie

Multivariate Statistische Verfahren Universität Mainz Institut für Psychologie WS 2011/2012 Uwe Mortensen Multivariate Verfahren

Wozu multivariate Statistik, und was ist das überhaupt? Multivariate Verfahren 2

Georg Wilhelm Friedrich Hegel 27. August 1770 – 14. November 1831 Das Wahre ist das Ganze. Das Ganze aber ist nur das durch seine Entwicklung sich vollendende Wesen. Es ist von dem Absoluten zu sagen, dass es wesentlich Resultat, dass es erst am Ende das ist, was es in Wahrheit ist; und hierin eben besteht seine Natur, Wirkliches, Subjekt oder Sichselbstwerden zu sein. (Aus der Vorrede zur Phänomenologie des Geistes) Multivariate Verfahren 3

„Variablen“ „objektive“ „subjektive“ „physikalische“ Umgebung Psychischer Zustand Sozio-ökonomische Bedingung Fähigkeit Physiologische Größen Ansichten, Meinungen etc Multivariate Verfahren 4

Verfahren explorieren „schließen“ Klassifizieren/diskriminieren „Strukturen“ Multivariate Verfahren 5

Multiple Regression Faktorenanalyse/ Hauptachsentransformation Kanonische Korrelation Diskrimination-Klassifikation Korrespondenzanalyse (Kontingenztabellen) Multivariate Verfahren 6

Überblick 1. Multiple Regression: Gegeben ist eine Menge von etwa p Prädiktorvariablen, anhand derer eine abhängige Variable y „vorhergesagt“ werden soll 2. Faktorenanalyse Ziel: Die Beziehungen (Kovarianzen zwischen einer größeren Anzahl gemessener Variablen durch die Wirkung einer kleineren Anzahl „latenter“, voneinander unabhängiger Variablen zu erklären. 3. Diskriminanzanalyse Ziel: Suche nach einer Gewichtung beobachtbarer Merkmale („Symptome“) zum Zweck optimaler Kategorisierung. 4. Kanonische Korrelation Ziel: Die Kanonische Korrelation ist eine Verallgemeinerung der multiplen Regression; es sollen die latenten Strukturen zweier verschiedener Variablensätze (oder des gleichen Variablensatzes in einer Vorher-Nachher-Messung) miteinander verglichen werden. 5. Korrespondenzanalyse Ziel: Die Identifikation latenter Strukturen, die Zusammenhänge in einer Kontingenztabelle erklären („Faktorenanalyse von Häufigkeiten“) Multivariate Verfahren 7

Multiple Regression Multivariate Verfahren 8

Multiple Regression Multivariate Verfahren 9

Multiple Regression Multivariate Verfahren 10

Multiple Regression Multivariate Verfahren 11

Vorbereitende Betrachtungen zur Motivation Ein simples Beispiel: Körpergewicht als Funktion der Körperlänge: Das übliche Regressionsmodell: K-Gewicht = a K-Länge + b + e e = „Fehler“ (unabhängig von der K-Länge) Aber das Gewicht hängt sicher noch von weiteren Faktoren ab: - Stoffwechsel (genetisch, epigenetisch. etc) - Bewegung - Essgewohnheiten (kulturelle, psychische Einflüsse Alle diese Effekte (plus reine Messfehler, etwa beim Ablesen der Waage) definieren den „Fehler“. Gibt es eine Möglichkeit, die physische Erscheinung eines Menschen durch eine minimale Menge voneinander unabhängiger Eigenschaften auszudrücken? Multivariate Verfahren 12

Vorbereitende Betrachtungen zur Motivation Übergang von korrelierenden Koordinaten (Körperlänge, Körpergewicht) zu nicht korrelierenden Koordinaten (Körpergrösse, Stoffwechsel) Formal: Koordinatentransformation bzw. Rotation des ursprünglichen Koordinatensystems! Multivariate Verfahren 13

Vektoren und Matrizen I Vektoren: Multivariate Verfahren 14

Vektoren und Matrizen I Multivariate Verfahren 15

Vektoren und Matrizen I Matrix Multivariate Verfahren Vektor 16

Vektoren und Matrizen I Vektoren: Multivariate Verfahren 17

Vektoren und Matrizen I Vektoren: Multivariate Verfahren 18

Vektoren und Matrizen I Standardisierung: Multivariate Verfahren 19

Vektoren und Matrizen I Skalarprodukt und der Winkel zwischen den Vektoren Multivariate Verfahren 20

Bestimmung der Parameter IIIa Wechseln zu Vektoren und Matrizen ! Multivariate Verfahren 21

Faktorenanalyse – Hauptachsentransformation (PCA) als Approximation (multiple Regression) (Faktorenmodell) Multivariate Verfahren 22

Multivariate Verfahren 23

Beispiel: Evaluation einer Vorlesung Multivariate Verfahren 24

Zusammenfassung der Daten in einer Matrix Fragen: Spalten Zeilen: Personen Korrelationen: Multivariate Verfahren 25

Faktorenanalyse: Hauptkomponenten Multivariate Verfahren 26

Faktorenanalyse: Hauptkomponenten Start- bzw. Standardlösung Rotation (Interpretation) (WS 2003/2004) Multivariate Verfahren 27

WS 2004/2005 Multivariate Verfahren 28

Weiteres zum Faktorenmodell: die PCA-Approximation Das Faktorenmodell: i – Person j – Test, gemessene Variable Multivariate Verfahren 29

Approximation: die Hauptachsentransformation (Principal Component Analysis – PCA) Plausibilitätsbetrachtungen I: zwei Variable – Körperlänge (X 1) und Körpergewicht (X 2) Multivariate Verfahren 30

Multivariate Verfahren 31

Plausibilitätsbetrachtungen II: 1. Abweichungen des Gewichts von der Vorhersage ist „zufällig“: • Menge der Nahrungsaufnahme am Vortag • Zeitpunkt der Messung (vor oder nach dem Frühstück) • Sport am Vortag oder kein Sport • etc etc 2. Aber es gibt auch systematische Aspekte: unabhängig von der Körperlänge variieren • Stoffwechselintensität • Sozioökonomischer Status, formale Bildung: Fritten versus haute cuisine • etc Multivariate Verfahren 32

Plausibilitätsbetrachtungen III: Es war: Der „Fehler“ wird durch die zufällige Variation der latenten Variablen L 2 erklärt. (Hinweis: mehr als zwei latente Variable können hier nicht betrachtet werden, obwohl mehr als zwei solche Variable wirksam sein können. ) Multivariate Verfahren 33

Bestimmung der Parameter I Vorhersage der gemessenen Variablen anhand der (hypothetischen) latenten Variablen. Aber die latenten Variablen müssen ja anhand der gemessenen Variablen berechnet werden! Daher: Die Antwort findet man leicht, wenn man den Marizenkalkül heranzieht! Multivariate Verfahren 34

Bestimmung der Parameter II Multivariate Verfahren 35

Bestimmung der Parameter III Multivariate Verfahren 36

Bestimmung der Parameter IV Damit ist das Problem, die latenten Variablen zu bestimmen, im Prinzip gelöst. Multivariate Verfahren 37

Zusammenfassung der Überlegungen: unbekannt Multivariate Verfahren 38

Multivariate Verfahren 39

Interpretation der SVD Ausprägung der i-ten Person auf den latenten Dimensionen. Ausprägung des j-ten Tests auf den latenten Dimensionen. Merke: es gibt keinen Fehlerterm!!! Multivariate Verfahren 40

Bestimmung der Parameter IV Man berechnet also die Eigenvektoren und Eigenwerte von X‘X und bestimmt damit die latenten Vektoren L. Die Transformationen von X nach L und umgekehrt von L nach X werden durch zueinander inverse Matrizen bewirkt. Fragen: (1) Welche Eigenschaften hat die Lösung (Eindeutigkeit etc), und (2) Wie ist diese Lösung zu interpretieren? Multivariate Verfahren 41

Diskussion der Lösung: Rotation und Reduktion Das Modell: Daten in X werden durch latente Variablen L erklärt. Berechnung der latenten Variablen aus den Daten. Multivariate Verfahren 42

Diskussion der Lösung: Rotation und Reduktion I - Rotation Konfiguration der Personen im (Zahlen) Raum der korrelierten gemessenen Variablen. Konfiguration der Personen im Raum der unkorrelierten latenten Variablen. Rotation Man beachte: maximale Ausdehnung der Konfiguration längs der ersten Achse L 1, zweitgrößte Ausdehnung bezüglich L 2! Multivariate Verfahren 43

Diskussion der Lösung: Rotation und Reduktion II - Reduktion Ist die Variation der Punkte bezüglich der L 2 -Achse klein, kann man annehmen, dass diese Variation nur „Fehler“ repräsentiert. Dann muß nur eine latente Variable, L 1, angenommen werden. Dies ist die „Reduktion“. Anmerkung: L 1 ist nicht notwendig identisch mit der Regressionsgraden! Multivariate Verfahren 44

Diskussion der Lösung: formale Bedeutung der Eigenvektoren I Ellipsen. Multivariate Verfahren 45

Diskussion der Lösung: formale Bedeutung der Eigenvektoren II Rotation von Ellipsen Nicht achsenparallel: Gesucht: Transformationsmatrix T derart, dass x = Ty Aber die Vektoren y definieren eine achsenparallele Ellipse, also muß T‘MT = N eine Diagonalmatrix sein! Dann folgt aber, dass T die Matrix der Eigenvektoren von M ist, und N enthält die zugehörigen Eigenwerte! Welche Orientierung haben die Eigenvektoren? Multivariate Verfahren 46

Diskussion der Lösung: formale Bedeutung der Eigenvektoren III Orientierung der Eigenvektoren von M: T Die Eigenvektoren der symmetrischen Matrix M haben die gleiche Orientierung wie die Hauptachsen der durch M definierten Ellipse! Daher die Rede von der ‚Hauptachsentransformation‘. Multivariate Verfahren 47

Transformationsmatrix im Fall einer Ellipse (2 -dimensionaler Fall) Kennt man den Winkel, kann man T explizit angeben. Andererseits ist der Winkel im Allgemeinen nicht bekannt. Multivariate Verfahren 48

Diskussion der Lösung: formale Bedeutung der Eigenvektoren VI C = X‘X bzw. R = Z‘Z sind symmetrische Matrizen und definieren deshalb stets ein Ellipsoid! Die Orientierung der Eigenvektoren von C bzw. R entsprechen den Orientierungen der durch C bzw. R definierten Ellipsoide. Die Matrix der Eigenvektoren von C bzw. R definiert die Transformation (Rotation) des achsenparallelen in ein nicht achsenparalleles Ellipsoid. Multivariate Verfahren 49

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen I Vorbetrachtung: Die Singularwertzerlegung (SVD) von X. Multivariate Verfahren 50

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen II Die SVD: Die SVD ist ein Satz der linearen Algebra mit zentraler Bedeutung für die multivariate Statistik. Jede Matrix X kann in dieser Weise zerlegt werden. Implikationen für die Analyse psychologischer Daten? Die Spaltenvektoren von Q sind die Eigenvektoren von XX‘, d. h. sie sind orthogonal und auf die Länge 1 normiert. Die Spaltenvektoren von Q charakterisieren die Personen, die von P charakterisieren die gemessenen Variablen (wie gleich gezeigt wird). Multivariate Verfahren 51

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IIa Die Datenmatrix: Rohwerte, Abweichungen vom Mittelwert (Kovarianzen), oder z-Werte (Korrelationen) Multivariate Verfahren 52

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IIb Multivariate Verfahren 53

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IIc Multivariate Verfahren 54

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IId Multivariate Verfahren 55

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen III Multivariate Verfahren 56

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IV Die Ladungen dienen als Koordinaten der Variablen im Raum der latenten Variablen, - die latenten Variablen werden über Cluster von Variablen interpretiert. Beispiel: Evaluation Multivariate Verfahren 57

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen VI Ladungen, Korrelationen, und die Schätzung der Anzahl latenter Variablen Gibt es n Variablen, werden immer n Eigenvektoren und damit n latente Variablen berechnet. Die „wahre“ Anzahl latenter Variablen wird im Allgemeinen Aber kleiner sein: s < n, und die n – s mit den kleineren Eigenwerten repräsentieren nur Fehler oder „Rauschen“. Man hat dann die folgende Abschätzung Für die Korrelationen: Multivariate Verfahren 58

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen VII Zur Bedeutung der Eigenwerte: Multivariate Verfahren 59

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen VIII Zur Bedeutung der Eigenwerte: Ein Eigenwert repräsentiert die Varianz der Projektionen der Personen bzw der Variablen auf die entsprechende Dimension. Multivariate Verfahren 60

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IX Eigenwerte und Anzahl der latenten Dimensionen: Multivariate Verfahren 61

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen IX Personen im Raum der lat. Variablen Scree-Test: Multivariate Verfahren 62

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X Latente Variablen – eindeutig bis auf Rotation Multivariate Verfahren 63

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X Kriteriumsrotationen „Anschaulichkeit“ als Anker für die Interpretation. „Kompetenz“ und „Stoffmenge“ als Anker für die Interpretation. Multivariate Verfahren 64

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X(a) Kreisförmige Punktekonfiguration und Anzahl der Dimensionen Multivariate Verfahren 65

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X(aa) Wahre Beziehung zwischen den Punkten (Skalen) und dem Kreis, auf dem die Punkte liegen müssten, wäre die Lösung tatsächlich nur 2 -dimensional. Die Punkte liegen alle innerhalb des Kreises, -Ausdruck der Tatsache, dass die Skalen durch weitere latente Dimensionen definiert werden. Multivariate Verfahren 66

Diskussion der Lösung: inhaltliche Bedeutung der latenten Variablen X Kriterium Varimax WS 2001/2002 Multivariate Verfahren 67

Zusammenfassung (1): Es werden n (= viele) Variablen an den gleichen Personen bzw. Objekten gemessen; die Variablen korrelieren paarweise. Es wird angenommen, dass sie Korrelationen auf der Wirkung von r <= n „latenten Variablen‘‘ beruhen; das Ziel der Analyse ist, Art und Anzahl dieser Variablen zu bestimmen. Es wird angenommen, dass die latenten Variablen voneinander unabhängig sind, - andernfalls müsste man latente Variablen für die latenten Variablen fordern. Es wird angenommen, dass beobachtete und latente Variablen durch lineare Gleichungen aufeinander bezogen sind. Multivariate Verfahren 68

Zusammenfassung (2): Vorhersage der gemessenen Variablen anhand der (hypothetischen) latenten Variablen. Die latenten Variablen sind unbekannt, also müssen sie aus den beobachteten Daten geschätzt (= ausgerechnet) werden. Multivariate Verfahren 69

Zusammenfassung (3): Übergang zur Matrixnotation: Implikation der Annahme, dass die latenten Variablen unkorreliert sein sollen. Multivariate Verfahren 70

Zusammenfassung (4): Die Lösung ergibt sich aus allgemeinen Resultaten der Vektor- und Matrixrechnung! (Singularwertzerlegung!) Multivariate Verfahren 71

Zusammenfassung (5): Cattell: R-Analyse – Analyse der Variablen, Q-Analyse (Analyse der Personen, d. h. Typen) Korrelationen zwischen Tests/Variablen Keine Korrelationen zwischen Personen! Test/Variablen-Dimensionen sind die gleichen wir die „Personenfaktoren“ Multivariate Verfahren 72

Zusammenfassung (6): Bestimmung der Anzahl der zu berücksichtigenden latenten Dimensionen: Nach Maßgabe der Eigenwerte. Multivariate Verfahren 73

Beispiele: Erinnerung an Albert Wellek [1904 (Wien) – 1972 (Mainz)] Studium der Musik, Literaturwissenschaft, Philologie, 1938 Habilitation in Psychologie („Typologie der Musikbegabung im Deutschen Volk“, ab 1946 Ordinarius für Psychologie in Mainz (bis 1969). Das Polaritätsprinzip meint ''die Entfaltung einer Wesenheit nach zwei entgegengesetzten, doch aber sich gegenseitig bedingenden und ergänzenden Richtungen hin'‚ (nach Schischkoff, 1957). Dieses Prinzip soll insbesondere für Goethe und die Denker der Romantik (z. B. Schelling) eine Art fundamentales Axiom für Erklärung des Weltgeschehens gewesen sein. Multivariate Verfahren 74

A. Wellek (Fortsetz. ) Hauptwerk: „Die Polarität im Aufbau des Charakters. “ Der Begriff der Polarität sei „… in der positivistischen Ära der empirischen Naturforschung als unwissenschaftlich verpönt…“, aber „das Prinzip der Polarität auch das tragende Prinzip der typologischen, und damit zunächst auch der charakterologischen, Methode'‚… Zur Polarität der Geschlechter: das weibliche Prinzip steht auf der Seite der Natur und der Vitalität, aber nicht auf der des Geistes, womit es ''Affinität zur Intensität, zur Extraversion, zur Eshaftigkeit … '' habe. Das ''Bewahrende“‚ ergibt ''sich ja schon aus der empfangenen Rolle des Weibes bei der Zeugung, dann in der Bergung oder Beherbergung und Nährung der Frucht …''. Multivariate Verfahren 75

A. Wellek (Fortsetz. ) Zur Stützung der polaren Schichtentheorie zitiert Wellek Cervantes: ''Die Verwandte der weiblichen Rede ist Konfusion'', und dann Nietzsche: ''Bei vielen Frauen ist der Intellekt nur plötzlich und stoßweise da'', was Wellek zu der Deutung veranlaßt, dass das weibliche Denken demnach ein ''Einfalldenken'' sei (Wellek, 1966, p. 288). Multivariate Verfahren 76

Stereotype und ihre Erforschung: Das Polaritätsprofil Begriffe wie ‚Mann‘, ‚Intelligenz‘, ‚Vater‘, ‘Mutter‘ etc werden vorgegeben und auf einer Liste von Eigenschaften beurteilt („gerated“). Anschließend wird eine QAnalyse gerechnet: es ergeben sich zwei latente Dimensionen: D 1: ‚Frau‘, D 2: ‚Mann‘ Demnach sind die Geschlechter nicht durch Polarität, sondern als unabhängige Dimensionen charakterisiert. Multivariate Verfahren 77

Stereotype und ihre Erforschung: Das Polaritätsprofil Dimensionen versus Polarität Multivariate Verfahren 78