Cursus Regressieanalyse Rijkswaterstaat 13 februari Meervoudige regressieanalyse Transparanten

Cursus Regressie-analyse Rijkswaterstaat, 13 februari Meervoudige regressie-analyse Transparanten beschikbaar gesteld door Dr. B. Pelzer 1

Meervoudige Regressie Analyse • multipele regressie: twee of meer predictoren van interval meetniveau • gezamenlijke invloed van subset van predictoren • welke predictor is 't belangrijkste, welke daarna, etc. • selectie van relevante predictoren: als er (weinig of) geen theorie is 2

Interpretatie van simpele versus multipele regressie effecten econkrant = 5. 6 + 0. 5 * salaris econkrant= 5 + 0. 2*salaris + 2*opleiding • simpele effect • multipele effect • ongecontroleerde effect van salaris • effect van salaris gecontroleerd voor opleiding • effect van salaris onder controle van opleiding • effect van salaris onder constanthouding van opleiding 3

Voorstelling van een regressievlak bij 2 predictoren = effect X 2 op Y onder constanthouding van X 1 = effect X 1 op Y onder constanthouding van X 2 0 Algemene vorm van multipele regressie model 4

Schatten van b 0, b 1 … bp via "kleinste kwadraten" of OLS geschatte voorspelde Y waarde van persoon i • maat voor spreiding van punten rond regressievlak • “gemiddelde fout” van model (spss: std. error of the estimate) • “gemiddelde afstand” van punten tot regressievlak "hoe kleiner hoe fijner" 5

Past het lineaire model goed bij de data? 0 SSY = SSRegression + Residual SS Proportie verklaarde variantie van Y 0 R = correlatie ( = R 2 = SSR / (SSR + RSS) 1 ) = multipele correlatie coëfficiënt 6

De optimistische R 2 versus de realistische Adjusted R 2 Populatie 120. 000 Nijmegenaren van 18+ jaar 10 predictoren Stel ware R 2 = 0. 30 Steekproef 100 Nijmegenaren van 18+ jaar 10 predictoren over heel veel steekproeven • de gemiddelde R 2 = 0. 38 • de gemiddelde adj. R 2 = 0. 298 Adjusted R 2 rapporteer je bij kleine N en relatief veel predictoren 7

Gezamenlijke invloed van een subset van predictoren X 1 = leeftijd X 2 = opleiding Y = onveilig (A) X 3 = urentv X 4 = urenkrant (B) Gezamenlijke invloed van urentv + urenkrant kun je toetsen: • H 0 : b 3 = b 4=0 • Als H 0 waar is volgt ofwel H 0 : R 2 model (A) = R 2 model(B) een F verdeling, df 1 = aantal 0 gestelde b’s df 2 = n – aantal X in model (A) - 1 • Als Significantie van F < 0. 05 dan H 0 verwerpen! 8

Gezamenlijk invloed X 3 en X 4 toetsen via F en R Square Change regression /dependent y /enter x 1 x 2 /test (x 3 x 4). F en Significantie van F ! 9

Welke predictor is het sterkst c. q. heeft de grootste invloed op Y? Leeftijd: 20 -70 jaar st. afw = 10 Opleiding: 1 – 7 LO t/m Uni st. afw = 1. 5 Urentv: st. afw = 5 0 – 30 uur p/w Urenkrant: 0 – 3 uur p/w Onveilig: 0 -100 st. afw = 15 st. afw = 0. 6 Onveilig = 2 + 0. 6*Leeftijd – 2*Opleiding + 1*Urentv + 1*Urenkrant “ 0. 6*Leeftijd” betekent: als Leeftijd 1 jaar stijgt dan verandert Onveilig met +0. 6” Een idee om de sterkte van de predictoren te bepalen is misschien: “Hoe veel verandert Onveilig als Leeftijd stijgt van “Hoe veel verandert Onveilig als Opleiding stijgt van “Hoe veel verandert Onveilig als Urentv stijgt van “Hoe veel verandert Onveilig als Urenkrant stijgt van 20 naar 70 jaar? ” 1 naar 7? ” 0 naar 30 uur p/w? ” 0 naar 3 uur p/w? ” Dit idee werkt niet zo goed als er “uitschieters” zijn bij Urentv of Urenkrant! 10

Beter idee: “Gestandaardiseerde b coëfficiënt” voor sterkte van predictor Leeftijd: 21 -70 jaar st. afw = 10 Opleiding: 1 – 7 LO t/m Uni st. afw = 1. 5 Urentv: st. afw = 5 0 – 30 uur p/w Urenkrant: 0 – 3 uur p/w Onveilig: 0 -100 st. afw = 15 st. afw = 0. 6 Onveilig = 2 + 0. 6*Leeftijd – 2*Opleiding + 1*Urentv + 1*Urenkrant Als Leeftijd met 10 jaar stijgt, verandert Onveilig met 6 (= 10 * +0. 6) Als Leeftijd met 1 st. afw stijgt, verandert Onveilig met Als Opleid met 1. 5 0. 4 st. afw (= 6 : 15) stijgt, verandert Onveilig met -3 (= 1. 5 * -2) Als Opleid met 1 st. afw stijgt, verandert Onveilig met -0. 2 st. afw (= -3 : 15) 11

Gestandaardiseerde b coëfficiënt in spss: Beta Predictoren in volgorde van sterkte: 1) leeftijd 2) urentv 3) opleid 4) urenkrant 12

Modelbouw: welke predictoren kies je om een “goed” model te krijgen? Wat verstaat men onder een “goed” model? • interpreteerbaar theorie en eerder onderzoek, gezond verstand • zuinig zo min mogelijk predictoren want - eenvoudiger interpreteerbaar - b ’s nauwkeuriger te schatten - ietsje andere steekproef, “zelfde” schattingen • goed passen zo hoog mogelijke R 2 Zuinig Goedpassend "het goede model" geen predictor Y i = b 0 + ei n=100 Yi = b 0 + b 1 X 1 i+. . . +b 99 X 99 i 13

Empirische selectie procedures: voor exploratieve modelbouw opleiding inkomen gf start: y=b 0+e R 2 stijging door opname van: opleiding c + d + e + f / SSY inkomen b + d + f + g / SSY leeftijd a + b + c + d / SSY e d c b h a leeftijd Y=onveiligheidsgevoel SSY = a+b+c+d+e+f+g+h nieuw: y=b 0+b 1 leeftijd+e R 2 stijging door opname van: door opleiding e + f / SSY door inkomen f + g / SSY nieuw: y=b 0+b 1 leeftijd+b 2 opleiding+e R 2 stijging door opname van: door inkomen g / SSY Forward, Backward of Stepwise 14

Werking van selectieprocedure “Stepwise” • grootste stijging R 2 • significant α=0. 05 (spss: pin) • kleinste daling R 2 • niet significant α=0. 10 (spss: pout) X 1 X 2 X 3 X 4 X 5 X 6 startmodel: Y = b 0 mogelijke X X 2 X 3 X 6 eindmodel: Y = b 0 + b 2 X 2 + b 3 X 3 + b 6 X 6 15

Hoe verder na ‘t gebruik van Stepwise? • • Is de b coëfficiënt (+/-) van elke geselecteerde predictor interpreteerbaar? Zijn er predictoren, tegen je verwachting, niet geselecteerd? Kan komen doordat “aanverwante” predictoren wel zijn geselecteerd inkomen en soc. econ. status wel, opleiding niet kerkbezoek wel, mate van religiositeit niet Kan komen doordat er een “causale keten” bestaat X 1=opleiding X 2=localisme Y=interesse regionaal nieuws opleiding niet, localisme wel opleiding heeft geen directe invloed op Y en daarom niet geselecteerd Kan komen doordat je verwachting fout was! 16

kan komen doordat je ‘n andere belangrijke predictor vergat onveilig stad platteland urentv kan komen doordat die predictor ‘n tegenstelde invloed heeft op Y voor verschillende groepen mensen onveilig vrouwen mannen urentv 17