Regresijos lygties parametr vertinimas 2014 02 19 D

Regresijos lygties parametrų vertinimas 2014 -02 -19 D. Gujarati Part 1 “ Single-Eguation regression Models” 3 skyrelis “Two –variable Regression model: The Problem of Estimation” ir 4 skyrelis The Normality Assumption: CNLRM) VU EF V. Karpuškienė 1

Porinė tiesinė regresija: parametrų vertinimas Grafinė ir statistinė duomenų analizė ¡ Parametrų vertinimas mažiausių kvadratų metodu ¡ l l l ¡ Porinė tiesinė regresija Dauginė tiesinė regresija Klasikinio regresinio modelio prielaidos Gauso-Markovo teorema Įverčių savybės Regresijos paklaida ir jos įvertis Maksimalaus tikėtinumo metodas VU EF V. Karpuškienė 2

Pvz. VU EF V. Karpuškienė 3

Grafinė studento-motinos ūgio priklausomybės analizė VU EF V. Karpuškienė 4

Regresijos parametrų vertinimo metodai Regresinis modelis – bendras atvejis Porinė tiesinė regresija Yi = β 0 + β 2 Xi + εi Yi = β 0 + β 1 Xi Sisteminė/dėsningoji dalis VU EF V. Karpuškienė + εi Atsitiktinė dalis 5

Regresijos parametrų vertinimo metodai ¡ ¡ MKM – rasti tokius parametrų β 1, β 2 įverčius, kurie minimizuoja modelio paklaidas, t. y atsitiktinę modelio dalį. MTM – rasti tokius parametrų įverčius β 1, β 2, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę VU EF V. Karpuškienė 6

Parametrų įverčių nustatymas mažiausių kvadratų metodu Yi= 0+ 1 Xi+ i Yi = b 0+ b 1 Xi +ei MKM Įrodymas auditorijoje VU EF V. Karpuškienė 7

Y Y 4 . e 4 { Y 3 Y 2 Y 1 e 2 {. . } e 3 e 1 }. x 1 x 2 x 3 x 4 x Y, e ir tiesinė regresijos lygtis VU EF V. Karpuškienė 8

Parametrų įverčių nustatymas mažiausių kvadratų metodu ¡ Formulių išvedimas paskaitos metu VU EF V. Karpuškienė 9

Parametrų įverčių nustatymas mažiausių kvadratų metodu Galimos b 1 matematinės išraiškos Įrodymas auditorijoje VU EF V. Karpuškienė 10

Pvz. Matavimo vienetų įtaka koeficientams YSŪ ir XMŪ - cm YSŪ ir XMŪ - metrais YSŪ- cm , XMŪ - m YSŪ- m , XMŪ - cm VU EF V. Karpuškienė 11

Dauginės regresijos įverčių nustatymas mažiausių kvadratų metodu Yi= 0 + 1 X 1 i + 2 X 2 i + i Yi = b 0+ b 1 Xi + b 2 X 2 i+ ei VU EF V. Karpuškienė MKM 12

MKM dviems kintamiesiems Yi = 0 + 1 X 1 + 2 X 2 + ei Pasižymime : VU EF V. Karpuškienė 13

MKM dviems kintamiesiems 2 yi xi 1 xi 2 yi xi 2 xi 1 xi 2 b 1 = 2 2 2 xi 1 xi 2 xi 1 xi 2 2 yi xi 2 xi 1 yi xi 1 xi 2 xi 1 b 2 = 2 2 2 xi 1 xi 2 xi 1 xi 2 VU EF V. Karpuškienė 14

1 -4 grupių studentų ūgiai 2014 Regression Statistics Multiple R 0, 37 R Square 0, 14 Adjusted R Square 0, 11 Standard Error 7, 73 Observations 76, 00 ANOVA Regression Residual Total Intercept MŪ TŪ VU EF V. Karpuškienė df 2, 00 73, 00 75, 00 SS 699, 04 4357, 95 5056, 99 Coefficient Standard s Error 57, 60 35, 26 0, 60 0, 19 0, 08 0, 13 MS 349, 52 59, 70 F Significanc e F 5, 85 0, 00 t Stat P-value Lower 95% Upper 95% 1, 63 0, 11 -12, 67 127, 87 3, 19 0, 00 0, 22 0, 98 0, 62 0, 54 -0, 17 0, 33 Lower 95, 0% -12, 67 0, 22 -0, 17 Upper 95, 0% 127, 87 0, 98 0, 33 15

MKM įverčių savybės Įverčiai yra atsitiktiniai dydžiai ¡ Įverčiai yra tiesiniai, nepaslinkti, efektyvūs ir suderinti ¡ VU EF V. Karpuškienė 16

Įverčiai atsitiktiniai dydžiai Įverčiai, kaip ir visi atsitiktiniai dydžiai, charakterizuojami vidurkiu ir dispersija VU EF V. Karpuškienė 17

Gauso-Markovo teorema ¡ Teorema Jeigu yra tenkinamos klasikinio regresinio modelio prielaidos, tai mažiausių kvadratų metodu apskaičiuoti regresijos įverčiai yra tiesiniai, nepaslinkti ir turi mažiausią dispersiją nepaslinktų tiesinių įverčių klasėje. VU EF V. Karpuškienė 18

Klasikinio regresinio modelio prielaidos Prielaidos matematinė išraiška Prielaida 1. Regresijos funkcija koeficientų ir paklaidų atžvilgiu yra tiesinė (tiesiškumas) yi = 1 + 2 Xi 2+. . . + n. Xim+ i 2. Paklaidų vidurkis lygus nuliui (nulinis vidurkis) E( i) = 0 3. Paklaidos neautokoreliuoja autokoreliuotumas) Cov( i j) = 0, i, j / i j 4. Paklaidų dispersija (Homoskedastiškumas) (likučių yra ne pastovi 2( i) = const. 5. Nepriklausomi veiksniai nėra tiesinės kitų nepriklausomų veiksnių kombinacijos (ne multikolinearumas) Xi θ 0+θj. Xj, i, j / i j 6. Paklaidos pasiskirsčiusios pagal normalųjį pasiskirstymo dėsnį (normalumas). i ~ N (0, 2) VU EF V. Karpuškienė 19

Klasikinės regresijos prielaidos Prielaidos matematinė išraiška Prielaida 7. Regresijos nepriklausomi atsitiktiniai dydžiai kintamieji nėra Cov(Xj. I i) = 0, j 8. Stebėjimų skaičius turi būti didesnis negu vertinamų parametrų skaičius N>M 9. Nepriklausomų kintamųjų reikšmės turi būti įvairios, negali įgyti tik vieną reikšmę Xj≠const 10. Regresijos modelis yra teisingai sudarytas kintamųjų parinkimo ir parametrų vertinimo požiūriu VU EF V. Karpuškienė 20

Sąvokos ¡ ¡ Tiesiniai įverčiai l Gauti įverčiai yra apskaičiuoti pagal tiesinę Y atžvilgiu lygtį Nepaslinkti įverčiai l Įverčių bj, apskaičiuotų skirtingų duomenų imčių pagrindu, vidurkis yra lygus tikrajai parametro reikšmei E(bj)= j Efektyvūs l Efektyvus įvertis –tai įvertis turintis mažiausią dispersiją nepaslinktų įverčių klasėje, t. y. , įvertis, esantis arčiausiai tikrosios parametro reikšmės Suderinti l Suderintas - tai toks įvertis, kurio reikšmės artėja prie tikrosios parametro reikšmės, didėjant stebėjimų skaičiui VU EF V. Karpuškienė 21

Svarbios skaitinės savybės ¡ VU EF V. Karpuškienė

MKM įverčių savybių įrodymas ¡ Tiesiškumas Suma lygi 0 Konstanta VU EF V. Karpuškienė 23

MKM įverčių savybių įrodymas ¡ Nepaslinktumas =0 =0 =1 VU EF V. Karpuškienė 24

Mažos imties įverčių pageidaujamos savybės ¡ Nepaslinktumas Tikimybių tankis 1 b j βj 2 b j VU EF Vita Karpuškienė Tikroji parametro reikšmė

3. 15 Efektyvūs įverčiai Įverčių efektyvumas Efektyvus Tikimybių tankis Neefektyvūs βj

3. 15 Suderinti įverčiai Suderinamumas N=10 Tikimybių tankis N=1000 N=5000

Įverčiai tiesiniai nepaslinkti ir efektyvūs yi . . xi VU EF V. Karpuškienė 28

Įverčiai tiesiniai paslinkti yi . . xi VU EF V. Karpuškienė 29

Gauss –Markov teoremos įrodymas Efektyvumas Tarkim turime tiesinį nepaslinktą įvertį, kurio dispersija yra mažiausia Tiesinis Efektyvumas Min pasiekiamas tuo atveju, kai VU EF V. Karpuškienė 30

Porinės regresijos paklaida ir jos įvertis Porinės regresijos paklaida Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija; • Vidurkis E(e)=0 • Dispersijos įvertis • Standartinė modelio paklaida VU EF V. Karpuškienė 31

Dauginės regresijos paklaida ir jos įvertis Dauginės regresijos paklaida Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija; • Vidurkis E(e)=0 • Dispersijos įvertis • Standartinė modelio paklaida VU EF V. Karpuškienė 32

Modelio paklaidos ei VU EF V. Karpuškienė 33

Modelio paklaidos ei VU EF V. Karpuškienė 34

Maksimalaus tikėtinumo metodas Idėja: Rasti tokius parametrų β 0, β 1 įverčius, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę ¡ Neatsitiktiniai dydžiai Yi = β 0 + β 1 Xi+ εi Atsitiktiniai dydžiai VU EF V. Karpuškienė 35

2. 48 Normalusis skirstinys 2 Y ~ N( , s ) f(y) = f(y) VU EF V. Karpuškienė 2 (y - ) exp 2 1 2 s 2 p s 2 y 36

Maksimalaus tikėtinumo metodas Tarkim nagrinėjame porinę priklausomybę, kurios Yi – 2) atsitiktinis dydis pasiskirstęs N ( , σ Yi = β 0 + β 1 Xi +εi i = E(Yi) = β 0 + β 1 Xi MTM – esmė VU EF V. Karpuškienė 37

Maksimalaus tikėtinumo metodas Iš tikimybių teorijos žinom, jeigu Y – nepriklausomas atsitiktinis dydis, tai . . . VU EF V. Karpuškienė 38

Maksimalaus tikėtinumo metodas = Įsistatom į tankio f-jos lygtį VU EF V. Karpuškienė 39

Maksimalaus tikėtinumo funkcija LF – maksimalaus tikėtinumo funkcija LF= VU EF V. Karpuškienė max 40

Maksimalaus tikėtinumo funkcija (Imties koeficientai) Ieškome LF maksimalios reikšmės duomenų imties koeficientams, skaičiuodami dalines išvestines, prilygintas 0 VU EF V. Karpuškienė 41

Maksimalaus tikėtinumo funkcija Dalinių išvestinių skaičiavimo rezultatai VU EF V. Karpuškienė 42

Maksimalaus tikėtinumo funkcija VU EF V. Karpuškienė 43

Maksimalaus tikėtinumo metodo įverčiai VU EF V. Karpuškienė 44

MKM ir MTM palyginimas ¡ MKM privalumai: l l ¡ Idėjos akivaizdumas Skaičiavimų paprastumas MKM trūkumai l VU EF V. Karpuškienė Kad įverčiai turėtų pageidaujamas savybes: tiesiškumą, nepaslinktumą, suderinamumą, turi būti tenkinamos klasikinio regresinio modelio prielaidos, kurias reikia tikrinti kiekviename modelyje) 45

MKM ir MTM palyginimas ¡ MTM privalumai: l l ¡ MTM trūkumai l l ¡ Apskaičiuoja tiesinių ir netiesinių regresinių modelių parametrų įvarčius Esant didelėms stebėjimų imtims, apskaičiuoti įverčiai turi pageidaujamas savybes Būtina žinoti priklausomojo kintamojo tikimybių pasiskirstymą. Sudėtingi skaičiavimai MKM ir MTM tiesinės regresinės lygties parametrų įverčiai sutampa, kai Y turi normalųjį tikimybių skirstinį VU EF V. Karpuškienė 46