Ekonometri 3 sv Regressionsanalysens grunder 2 Enkel regressionsanalys

Ekonometri, 3 sv Regressionsanalysens grunder 2. Enkel regressionsanalys 2005 © Rune Höglund Enkel regression K 2: 1

Ekonometri, 3 sv Vad är regressionsanalys? • Regressionsanalys behandlar studiet av en variabels beroende, den beroende variabeln, av en eller flera andra variabler, de förklarande variablerna, i syfte att skatta och/eller förutsäga populationsmedelvärdet eller medelvärdet för den beroende variabeln givet vissa värden på de förklarande variablerna (eller att mäta den marginella effekten på den beroende variabeln av förändringar i de förklarande variablerna). 2005 © Rune Höglund Enkel regression K 2: 2

Vad är regressionsanalys? Ekonometri, 3 sv • Exempel: • Skatta privata konsumtionens beroende av reell disponibel inkomst. • Skatta hur efterfrågan påverkas av prisförändringar (elasticitet). • Skatta sambandet mellan reklam och försäljning. 2005 © Rune Höglund Enkel regression K 2: 3

Ekonometri, 3 sv Begrepp, termer och datatyper • Deterministiska – statistiska samband • Statistiska – kausala samband • Terminologi: • Beroende variabel, Yi (eller Yt) • Förklarande variabel, Xi (eller Xt) • Datatyper: • Tidsseriedata • Tvärsnittsdata • Poolat data 2005 © Rune Höglund Enkel regression K 2: 4

Ekonometri, 3 sv Populationens regressionskurva och funktion • Populationens regressionskurva beskriver sambandet mellan de förklarande variablerna och det förväntade värdet för den beroende variabeln, E(Y | X = Xi) • Om sambandet är linjärt kan vi skriva populationens regressionsfunktion, E(Y | X = Xi) = b 0 + b 1 Xi • Detta är ekvationen för en rät linje 2005 © Rune Höglund Enkel regression K 2: 5

Ekonometri, 3 sv Populationens regressionskurva och funktion 2005 © Rune Höglund Enkel regression K 2: 6

Linjär i variablerna/parametrarna • Linjär i variablerna: Ekonometri, 3 sv • X men ej: X 2, X½, X·Z • Linjär i parametrarna: • b 1 men ej: • Med linjär regression avses en modell som är linjär i parametrarna. 2005 © Rune Höglund Enkel regression K 2: 7

Den linjära regressionsmodellen Ekonometri, 3 sv • Stokastisk specifikation av populationens regressionsfunktion • Det faktiska värdet på Y avviker i regel från det förväntade. Detta kan uttryckas med hjälp av en stokastisk felterm: ei = Yi – E(Y | Xi) eller Yi = E(Y | Xi) + ei • Den linjära regressionsmodellen kan då skrivas som: Yi = b 0 + b 1 X i + e i där E(ei | Xi) = 0 2005 © Rune Höglund Enkel regression K 2: 8

Stokastisk felterm Ekonometri, 3 sv • Varför behövs den stokastiska feltermen, ei? • • Vag teori Otillgängliga data Centrala kontra perifera variabler Inre slumpmässighet i det mänskliga beteendet Dåliga proxyvariabler Sparsamhetsprincipen Fel funktionell form 2005 © Rune Höglund Enkel regression K 2: 9

Stickprovets regressionsfunktion Ekonometri, 3 sv • Stickprovets regressionsfunktion: • Den skattade modellen (utifrån ett stickprov) kan skrivas som, eller där är en residualterm (residual), dvs en skattning av ei. 2005 © Rune Höglund Enkel regression K 2: 10

Ekonometri, 3 sv Skattningsproblemet • Vi önskar skatta en regressionslinje som på ”bästa” sätt beskriver vårt datamaterial. Tänkbara kriterier för ”bästa” sätt: • Minsta kvadratmetoden innebär att vi minimerar som är en funktion av estimatorerna och. 2005 © Rune Höglund Enkel regression K 2: 11

Regressionslinjens egenskaper Ekonometri, 3 sv • Regressionslinjens egenskaper: • Linjen går genom punkten. • Medelvärdet av alla skattade Y-värden = medelvärdet för alla observerade Y. • Medelvärdet för (och summan av) alla residualer är noll. • Residualerna är okorrelerade med de skattade Yvärdena. • Residualerna är okorrelerade med Xi. 2005 © Rune Höglund Enkel regression K 2: 12

Antaganden bakom minsta-kvadratmetoden • ia) Linjär regressionsmodell • ib) Regressionsmodellen är korrekt specificerad, dvs ingen specifikationsbias eller fel i modellen Y i = b 1 + b 2 (1/ X i ) Förändring i lönenivå, % Ekonometri, 3 sv • Antaganden bakom minsta-kvadratmetoden: 2005 © Rune Höglund Y i = a 1 + a 2 X i Arbetslöshet, % Enkel regression K 2: 13

Antaganden bakom minsta-kvadratmetoden • iia) X-värdena är fixa vid upprepade stickprov Ekonometri, 3 sv • iib) variation i X-värdena • iiia) Medelvärdet är noll för ei, E(ei) = 0, 2005 © Rune Höglund Enkel regression K 2: 14

Ekonometri, 3 sv • iiib) Homoskedasticitet, lika varians för alla ei V(ei) = s 2, 2005 © Rune Höglund Enkel regression K 2: 15

Antaganden bakom minsta-kvadratmetoden Ekonometri, 3 sv • iiic) Ingen (auto)korrelation mellan ei: na 2005 © Rune Höglund Enkel regression K 2: 16

Ekonometri, 3 sv Antaganden bakom minsta-kvadratmetoden • iiid) Ofta antar vi att feltermen är normalfördelad, ei ~ N(0, s 2) • Anm. ii) & iiia) | E(Xiei) = Xi E(ei) = 0, dvs ingen kovarians mellan ei och Xi Den konstanta variansen s 2 i iiib) är en okänd parameter | tre okända parametrar i modellen Antagandena i iii) kan uttryckas i Y i stället för e Ant. ia)-iiic) definerar den klassiska regressionsmodellen. iiid) viktig för inferensen 2005 © Rune Höglund Enkel regression K 2: 17

Standardfel och BLUE Ekonometri, 3 sv • Gauss-Markovs sats: Då ia) – iiic) gäller är minsta kvadrat (OLS) skattningarna de bästa (effektivaste) linjära väntervärdesriktiga skattningarna (BLUE) för b 0 resp. b 1 • OLS-skattningarna är linjära eftersom de är linjära funktioner av en stokastisk variabel (Y) 2005 © Rune Höglund Enkel regression K 2: 18

Medelfel och BLUE Ekonometri, 3 sv • Standardavvikelse och kovarians för minstakvadratskattningarna 2005 © Rune Höglund Enkel regression K 2: 19

Ekonometri, 3 sv Standardfel och BLUE • enligt iiid) har vi Yi ~ N(b 0 + b 1 Xi , s 2) och enligt iiic) är Yi och Yj oberoende • | och OBS! Detta gäller asymptotiskt även om Yi inte normalfördelad Standardavvikelsen s skattas med 2005 © Rune Höglund Enkel regression K 2: 20

Standardfel och BLUE Ekonometri, 3 sv • s brukar även kallas regressionens medelfel • Substituerar vi s för s i uttrycken ovan för vi skattade standardavvikelser för skattningarna vilka kallas medelfelen för skattningarna. På samma sätt får en skattning för kovariansen mellan Korrelationskoefficienten skattas med 2005 © Rune Höglund Enkel regression K 2: 21

Konfidensintervall Ekonometri, 3 sv • Konfidensintervall för regressionskoefficienterna och feltermens varians • då skattningarna är normalfördelade standardiserar vi och får • standardavvikelsen (sd) för skattningen innehåller s, vilken är okänd och ersätts med skattningen s så att vi får medelfelet för parameterskattningen (s. e) 2005 © Rune Höglund Enkel regression K 2: 22

Konfidensintervall Ekonometri, 3 sv • då gäller att • Ett 100 · (1–a) procents konfidensintervall för bi ges av, • För variansen gäller 2005 © Rune Höglund Enkel regression K 2: 23

Ekonometri, 3 sv Konfidensintervall • vilket alltså ger konfidensintervallet för s 2 med konfidensgraden 1 - a 2005 © Rune Höglund Enkel regression K 2: 24

Ekonometri, 3 sv Test testvariabeln är • Då vi testar på signifikansnivån a har vi att H 0 förkastas om för ett tvåsidigt test och för ett ensidigt om 2005 © Rune Höglund Enkel regression K 2: 25

Ekonometri, 3 sv • OBS! Ofta testas H 0: bi = 0, H 1: bi 0 • t-kvoten i datorutskrifter 2005 © Rune Höglund Enkel regression K 2: 26

R 2, variansanalys och korrelation Ekonometri, 3 sv • Anpassningsgraden • residualerna anger hur bra regressionslinjen anpassas till observationerna| • liten spridning |’små’ residualer | ’bra’ anpassning, eller en stor del av variationen i Y förklaras med regressions-linjen • stor spridning |’stora’ residualer | ’dålig’ anpassning, eller endast en liten del av variationen i Y förklaras med regressionslinjen och en stor del blir oförklarad • residualernas värde (storlek) beror på mätenhet • residualvariansen är 2005 © Rune Höglund Enkel regression K 2: 27

R 2, variansanalys och korrelation Ekonometri, 3 sv • residualkvadratsumman 3(Yi – Yi)2 utnyttjas för att mäta variationen i residualerna • variationen i Y mäts med kvadratsumman 3(Yi – Y )2 • korsproduktsumman är 0, så vi får eller 2005 © Rune Höglund Enkel regression K 2: 28

Ekonometri, 3 sv R 2, variansanalys och korrelation • totala = residual (fel) + förklarade (regr. ) kvadratsumman TSS = ESS + RSS • Vi dividerar med TSS | • 1 = ESS/TSS + RSS/TSS • Determinationskoefficienten, R 2, definieras som R 2 = den del av variationen i Y som förklaras av Y: s regression på X. 2005 © Rune Höglund Enkel regression K 2: 29

Ekonometri, 3 sv R 2, variansanalys och korrelation 0 £ R 2 £ 1. R 2 = 0 då Yi = Y, dvs b 1 = 0 R 2 = 1 då Yi = Yi, dvs observetionerna ligger på den räta linjen Då vi, som här, har endast en oberoende variabel X har vi då att 2005 © Rune Höglund Enkel regression K 2: 30

2 R , variansanalys och korrelation Ekonometri, 3 sv • Uppdelningen av kvadratsumman (och variansen) ovan kan sammanfattas i en variansanalystabell 2005 © Rune Höglund Enkel regression K 2: 31

R 2, variansanalys och korrelation Ekonometri, 3 sv • Testar H 0: b 1 = 0; H 1: b 1 0 H 0 förkastas om F > F 1 -a(1, n-2) F- och t-testen för b 1 är ekvivalenta 2005 © Rune Höglund Enkel regression K 2: 32

Konfidensintervall E(Y|Xi), Yi Ekonometri, 3 sv • Yi ~ N(b 0 + b 1 Xi, s 2). • Prediktion av medelvärdet E(Y | X = Xi) • E(Y | X = Xi) skattas med • Prediktion av ett individuellt Y-värde • Y för ett givet X predikteras på samma sätt som ovan • Konfidensintervallen beräknas därefter på vanligt sätt. 2005 © Rune Höglund Enkel regression K 2: 33

Ekonometri, 3 sv Konfidensintervall 2005 © Rune Höglund Enkel regression K 2: 34

Ekonometri, 3 sv Rapportering av resultat • Utvärdering av regressionsanalysens resultat • • Är tecken på de skattade koefficienterna rimliga? Är koefficienterna statistiskt signifikant ¹ 0? Är andelen förklarad variation tillfredsställande? Är feltermen normalfördelad? 2005 © Rune Höglund Enkel regression K 2: 35

Normalfördelningstest • Jarque-Beras (JB) normalfördelningstest Ekonometri, 3 sv • Teststatistika: där S är snedheten och K är toppigheten för residualerna (toppigheten är 3 för en normalfördelad variabel) • JB är asymptotiskt c 2 -fördelad med 2 frihetsgr. • Förkasta nollhypotesen om JB > kritiskt värde. 2005 © Rune Höglund Enkel regression K 2: 36

Funktionell form Modell Linjär Log-linjär Ekonometri, 3 sv Ekvation Lutning Elasticitet • Log-lin, Lin-log, Reciprok 2005 © Rune Höglund Enkel regression K 2: 37

Ekonometri, 3 sv Tolkning av SPSS-utskrift 2005 © Rune Höglund Enkel regression K 2: 38

Ekonometri, 3 sv Tolkning av SPSS-utskrift 2005 © Rune Höglund Enkel regression K 2: 39

Ekonometri, 3 sv Tolkning av SPSS-utskrift 2005 © Rune Höglund Enkel regression K 2: 40

Ekonometri, 3 sv Maximum-likelihoodskattningar • Maximum likelihoodskattningen för en parameter q definieras som det värde q, vilket med största sannolikhet skulle generera de observerade stickprovsobservationerna Y 1, Y 2, . . . , Yn. • Är stickprovet slumpmässigt kan observationerna betraktas som observationer på oberoende och identiskt fördelade s. v. Yi , med snlsfördelningen p(Yi). Maximum-likelihoodskattningen maximerar 2005 © Rune Höglund Enkel regression K 2: 41

Maximum-likelihoodskattningar Ekonometri, 3 sv • För vår regr. modell har vi Yi ~N(b 0 + b 1 Xi, s 2 ) Täthetsfunktionen för Yi är Likelihoodfunktionen 2005 © Rune Höglund Enkel regression K 2: 42

Maximum-likelihoodskattningar Ekonometri, 3 sv Vi maximerar L( ), m. a. p. b 0, b 1, s 2. Blir enklare om vi logaritmerar L( ) 2005 © Rune Höglund Enkel regression K 2: 43

Maximum-likelihoodskattningar Ekonometri, 3 sv Vi deriverar log-likelihoodfunktionen partiellt m. a. p. parametrarna och sätter derivatorna = 0 | 2005 © Rune Höglund Enkel regression K 2: 44