REGRESN A KORELAN ANALZA 1 p analza zvislost

REGRESNÁ A KORELAČNÁ ANALÝZA 1

p analýza závislostí medzi kvantitatívnymi znakmi o regresná analýza ojednoduchá lineárna závislosť oregresný model o. MNŠ ojednoduchá nelineárna závislosť oviacnásobná lineárna závislosť o korelačná analýza omiery tesnosti závislosti 2

n Skúmanie vzťahov medzi kvalitatívnymi znakmi, napr. A B , nazýme meranie asociácie n skúmanie vzťahov medzi kvantitatívnymi štatistickými znakmi - regresná a korelačná analýza n Skumanie vzťahov medzi výsledným kvalitatívnym znakom a kvantitatívnymi znakmi logistická regresia n Skúmanie vzťahov medzi výsledným kvantitatívnym znakom a kvalitatívnymi znakmi AR-analýza rozptylu n Skúmanie závislosti medzi vysledným kvantitatívnym znakom a znakmi kvantitatívnymi a kvalitatívnymi analýza kovariancie 3

Skúmanie vzťahov medzi štatistickými znakmi: 4

Úvod n Štatistická analýza závislostí ¨ skúmanie vzájomných vzťahov a závislostí medzi jednotlivými hromadnými javmi ¨ hromadné javy neexistujú oddelene n n každý jav je výsledkom spolupôsobenia iných javov charakter a významnosť pôsobenia môžu byť rôzne ¨ predmetom skúmania sú príčinné (kauzálne) závislosti n jeden jav alebo skupina javov (príčina) vyvoláva iný jav alebo skupinu javov (účinok) cm kg 5

n Typy závislostí ¨ príčinné n ak jeden jav alebo skupina javov (príčina) vyvoláva iný jav alebo skupinu javov (účinok) ¨ jednostranné - účinok nepôsobí spätne na príčinu ¨ obojstranné- účinok a príčina na seba trvale vzájomne pôsobia ¨ združené n nie sú to príčinné závislosti ¨ určitej hodnote, obmene jedného javu spravidla zodpovedá určitá hodnota, obmena iného javu ¨ dĺžka ramien – výška jednotlivca ¨ zdanlivé n vzťah medzi určitými javmi nie je dôsledkom ich vzájomnej príčinnej súvislosti ¨ je výsledkom pôsobenia ďalšieho javu alebo javov ¨ napr. výdavky na ovocie a výdavky na obuv 6

Opakom štatistickej závislosti je funkčná závislosť kedy je závisle premenná veličina jednoznačne určená funkčným vzťahom, príklady z fyziky, chémie - takýto druh vzťahov nie je predmetom štatistického skúmania 7

Pri regresenej a korelečnej analýze skúmanie príčinnej - kauzálnej závislosti, skúmanie vzťahov medzi príčinou a účinkom n kedy jeden resp. viac javov (znakov, nezávisle prememnných veličín ) vyvoláva účinok - výsledný jav - závisle prememnnú veličinu n Y = f (X 1 X 2…. . . Xk , Bo , B 1 , …. Bp ) +e Závislé premenná - účinok Nezávislé premenné veličiny - príčiny Neznáme parametre funkčného vzťahu Hovoríme tiež o štatistickej alebo voľnej závislosti 8 Náhodné, nešpecifikované vplyvy

Príklady štatistickej - voľnej -závislosti n Skúmanie závislosti spotreby bravčového mäsa od príjmu, ceny mäsa bravčového, ceny mäsa hovädzieho a hydiny a od tradície, resp. ďalších nešpecifikovaných, či náhodných vplyvov. n Skúmanie pridanej hodnoty, resp. HDP od vstupov: práce a kapitálu…. n Skúmanie závislosti výživy obyvateľstva od stupňa ekonomického rozvoja krajiny…. 9

Nástroje analýzy závislostí n Grafické - Bodový graf (XY graf) ¨ Úvodné preskúmanie vzťahov medzi premennými pomocou bodového grafu 1 vzťah možno popísať priamkou 2 vzťah možno popísať krivkou 3 vzťah možno popísať polynómom Presnú odpoveď poskytne výpočet štatistík Ra. KA 4 medzi premennými neexistuje jasný vzťah 10

Po úvodnom grafickom preskúmaní nastupuje fáza hľadania presných štatistík, ktoré potvrdia odhady z grafov. Pre tieto účely používame štatistické nástroje korelačnej analýzy. Korelačné štatistiky zisťujú, či medzi premennými existuje korelácia, aká je sila korelácie. Koreláciou nazývame vzájomný vzťah – závislosť dvoch premenných. Tento vzťah môže byť: priamy – s rastúcimi hodnotami jednej premennej rastú aj hodnoty druhej premennej nepriamy – s rastúcimi hodnotami jednej premennej klesajú hodnoty druhej premennej Ak medzi hodnotami dvoch premenných neexistuje ani priama ani nepriama lineárna závislosť, hovoríme, že sú nekorelované. 11

Bodový graf slúži na: v úvodné preskúmanie vzťahov medzi dvomi premennými v určenie extrémnych alebo typických hodnôt v určenie možného tvaru závislosti v porovnanie a prezentáciu výsledkov analýzy Bodové grafy nám vždy slúžia na získanie základnej predstavy Každý analytik však v grafe môže vidieť niečo iné. Presné potvrdenie našich domnienok poskytnú až exaktné štatistické nástroje. 12

Nástroje analýzy závislostí n Štatistické – regresná a korelačná analýza sa zaoberá kvantifikáciou závislostí medzi kvantitatívnymi znakmi ¨ rieši dve úlohy ¨ n regresnú úlohu ¨ ¨ n popísanie priebehu tejto závislosti odhad funkčného vzťahu - matematickej funkcie, podľa ktorej sa mení závisle premenná pri zmenách nezávisle premennej/premenných, t. j. výber funkcie a odhad jej parametrov korelačnú úlohu ¨ ¨ popísanie tesnosti závislosti výpočet charakteristík určujúcich, do akej miery uvažované nezávislé premenné vysvetľujú variabilitu závisle premennej A B 13

Regresná analýza n umožňuje popísať vzťah medzi dvoma alebo viacerými premennými n cieľ regresnej analýzy n n n odhadnúť funkčný vzťah medzi premennými odhadnúť parametre regresnej funkcie typy premenných v regresnej analýze n závislé premenné ¨ ¨ ¨ n označenie: Y sú v centre pozornosti, pretože ich variabilitu sa snažíme vysvetliť tzv. vysvetľované premenné nezávislé premenné ¨ ¨ označenie: X sú premenné, ktoré používame na vysvetlenie zmien v hodnotách závislej premennej predpokladáme, že ich hodnoty sa nemenia tzv. vysvetľujúce premenné 14

Regresná analýza n typy regresnej analýzy podľa počtu premenných n n jednoduchá regresia ¨ ak popisujeme závislosť jednej kvantitatívnej závislej premennej od jednej kvantitatívnej nezávisle premennej viacnásobná regresia ¨ n ak popisujeme závislosť jednej kvantitatívnej závislej premennej od viacerých kvantitatívnych nezávislých premenných typy regresnej analýzy podľa typu závislosti n lineárna regresia ¨ n ak popisujeme závislosť premenných pomocou priamky nelineárna regresia ¨ ak popisujeme závislosť premenných pomocou inej krivky ako priamka 15

Aké štatistiky merajú lineárnu závislosť? Prvou mierou, ktorú používame, aby sme potvrdili alebo vyvrátili existenciu lineárnej závislosti (korelácie) je kovariancia. Kovariania sa vypočíta ako: cov xy = 0, medzi premennými nie je lineárny vzťah cov xy > 0, medzi premennými je priamy lineárny vzťah cov xy < 0, medzi premennými je nepriamy lineárny vzťah 16

Model jednoduchej lineárnej regresie Popis závislosti v ZS ¨ rovnica modelu Y = 0 + 1 X + e ¨ kde Závisle premenná n 0 X 1 + Y je závisle premenná X je nezávisle premenná 0 je parameter modelu 1 jednotiek tzv. lokujúca konštanta, lokujúca konštanta ktorá vyjadruje, akú hodnotu 1 jednotka nadobudne premenná Y, 0 ak premenná X bude Nezávisle premenná mať hodnotu 0 1 je parameter modelu tzv. regresný koeficient, ktorý vyjadruje sklon regresnej priamky. regresný koeficient, Udáva, o koľko jednotiek sa v priemere zmení Y, ak sa X zmení o 1 mernú jednotku, ak 1 > 0, potom pozitívna závislosť, ak 1 < 0, potom negatívna závislosť. 17

Odhad modelu závislá premenná n Základný súbor závisle premenná Model jednoduchej lineárnej regresie Výberový súbor nezávisle premenná nezávislá premenná Y = 0 + 1 X + Y = 0 + 1 X Y´ = b 0 + b 1 X Y´ = est ( Y) b 0 = est ( 0) b 1 = est ( 1) 18

Model jednoduchej lineárnej regresie Metóda najmenších štvorcov (MNŠ) metóda odhadu parametrov regresného modelu ¨ odhad MNŠ minimalizuje sumu štvorcov reziduálnych odchýlok = rozdielov medzi skutočnou hodnotou a odhadnutou priamkou ¨ priamka odhadnutá MNŠ je ku všetkým skutočným hodnotám tak blízko ako sa len dá Závisle premenná ¨ ( Y – Y´ ) Y – Y´ 2 = min Y´ = b 0 + b 1 X Nezávisle premenná 19

Metóda najmenších štvorcov Predpoklady MNŠ ¨ priemery Y pre jednotlivé hodnoty X možno spojiť priamkou ¨ rozptyl premennej Y je konštantný - s 2 pre všetky hodnoty X (homoskedasticita) ¨ premenná Y má normálne rozdelenie pre všetky hodnoty X ¨ pozorovania Y sú navzájom nezávislé ¨ pozorovania X sú navzájom nezávislé a bez chýb v meraní Ak je vzájomná závislosť medzi vysvetľujúcimi premennými, ide o multikolinearitu. Na testovanie sa používa metóda Farrara a Glaubera. 20

Metóda najmenších štvorcov n koeficienty bo , b 1 , …, bp určené MNŠ sú “najlepšie odhady” parametrov 0 , 1 , …, p ak súčasne o náhodných chybách platí: E (ej ) = 0, D (ej ) = E (ej 2 ) = 2 , E(ej 1 , ej 2 ) = 0 , pre každé j 1 j 2 n slovne: Ø od náhodných chýb požadujeme nulovú strednú hodnotu, konštantný rozptyl a vzájomnú nezávislosť náhodných chýb 21

Vlastnosti MNŠ n súčet štvorcov reziduálnych odchýlok je minimálny n súčet reziduálnych odchýlok je nulový n regresná funkcia prechádza bodom o súradniciach x a y 22

Použitie MNŠ n MNŠ je možné použiť k odhadu parametrov regresnej funkcie, ak: je regresná funkcia lineárna n resp. lineárna v parametroch n je možné regresnú funkciu pretransformovať na lineárnu v parametroch n 23

Náklady na Predajňa Tržby reklamu 1 47 3 2 123 5 3 134 7 4 133 6 5 130 6, 5 6 153 9 7 77 3, 5 8 98 4 9 95 4, 5 10 135 6, 5 11 147 7 12 145 7, 5 13 155 9, 5 14 148 8, 5 15 147 7 SUMMARY OUTPUT Regression Statistics Multiple R 0, 9146 R Square 0, 8365 Adjusted R Square 0, 8239 Standard Error 13, 2059 Observations 15 ANOVA P value df SS Regression MS F 1 11600, 576 Residual 13 2267, 157 174, 397 Total 14 13867, 733 Coefficients Standard Error t Stat 66, 5183 Significance F F krit. 1, 809 E-06? ? ? 0, 05 P-value Lower 95% Upper 95% Intercept - b 0 32, 468 11, 784 2, 755 0, 0164 7, 0101 57, 9262 Náklady na reklamu - b 1 -2, 100 1, 790 8, 156 0, 0000 10, 7348 18, 4710 24

Výstup zo SAS 25

Výstup zo Statgraphics 26

Nelineárna regresná a korelačná analýza n n v praxi nielen lineárne funkcie, ale veľmi často má závislosť nelineárny priebeh nelineárne funkcie je možné použiť s dvoma alebo viacerými parametrami niektoré nelineárne regresné funkcie je možné vhodnou transformáciou upraviť na lineárne v parametroch k odhadu ich parametrov je potom možné použiť metódou najmenších štvorcov. 27

Nelineárna regresná a korelačná analýza n niektoré typy nelineárnych funkcií hyperbola logaritmická funkcia parabola exponenciálna funkcia mocninová funkcia 28

Funkcia HYPERBOLY substitúcia 29

LOGARITMICKÁ funkcia substitúcia 30

EXPONENCIÁLNA funkcia logaritmická transformácia VSTUP: VSTUP VÝSTUP: VÝSTUP ln y ln b 0=EXP(lnb 0) x ln b 1 b 0=EXP(lnb 0) 31

MOCNINOVÁ funkcia logaritmická transformácia VSTUP: VSTUP VÝSTUP: VÝSTUP ln y ln b 0=EXP(lnb 0) ln x b 1 32

Korelačná analýza overenie vypovedacej schopnosti kvantifikovaných regresných modelov ako celku, aj jeho častí. n výpočet číselných charakteristík, ktoré číselných charakteristík v koncentrovanej forme popisujú kvalitu vypočítaných modelov. n požadujeme od nich, aby sa pohybovali v pevne ohraničenom intervale, n v rámci intervalu rástli s vyššou silou závislosti n 33

Korelačná analýza porovnanie dvoch prípadov závislosti n Ktorá závislosť bude tesnejšia? n y y x x 34

Korelačná analýza n miery tesnosti štatistickej závislosti: n koeficient korelácie ryx ¨ n len pre lineárnu závislosť koeficient determinácie ryx 2 ¨ len pre lineárnu závislosť index korelácie iyx n index determinácie iyx 2 n 35

Korelačná analýza Index korelácie a index determinácie n princíp spočíva v rozklade variability závisle premennej Y n Celková variabilita závisle premennej Variabilita závisle premennej vysvetlená regresnou funkciou Variabilita nevysvetlená regresnou funkciou – reziduálna variabilita 36

Korelačná analýza n index korelácie iyx n index determinácia iyx 2 37

Korelačná analýza n index korelácie hodnoty sa pohybujú v intervale od (0, 1) ¨ čím sa hodnota indexu blíži k 1, tým je tesnosť závislosti vyššia a opačne ¨ n index determinácie nadobúda hodnoty z intervalu 0 až 1 ¨ čím viac sa hodnota indexu blíži k 1, tým väčšia časť celkovej variability je modelom vysvetlená a naopak ¨ ak sa index determinácie blíži k 0, tým menšia časť celkovej variability je vysvetlená modelom ¨ 38

Korelačná analýza n index determinácie kritérium pri rozhodovaní o voľbe konkrétneho tvaru regresnej funkcie ¨ volíme ten model, ktorý má vyšší index determinácie (vyššie % vysvetlenej variability) ¨ ak však majú regresné funkcie rôzny počet parametrov, je potrebné upraviť index determinácie do korigovanej podoby v tvare: ¨ výrazný rozdiel medzi i 2 a i 2 adj. indikuje, že do modelu bolo zahrnutých príliš veľa premenných ¨ 39

Korelačná analýza n koeficient korelácie - r koeficient korelácie yx n hodnoty sa pohybujú v intervale: – 1, 1 v ryx=-1 – silná negatívna závislosť v ryx=0 – bez závislosti v ryx=1 – silná pozitívna závislosť n koeficient determinácie r koeficient determinácie yx 2 n hodnoty sa pohybujú v intervale: 0, 1 n udáva % vysvetlenej variability závisle premennej 40

Overenie kvality modelu n Testovanie významnosti modelu ako celku ¨ na základe rozkladu variability n n n ¨ celková variabilita ¨ na koľko sa odchyľujú konkrétne hodnoty premennej Y od celkového priemeru vysvetlená variabilita ¨ na koľko sa odchyľujú hodnoty na regresnej priamke od celkového priemeru nevysvetlená variabilita ¨ na koľko sa odchyľujú skutočné hodnoty premennej Y od hodnôt odhadnutých regresnou priamkou čím väčšia je vysvetlená variabilita v porovnaní s nevysvetlenou variabilitou, tým lepšie odhadnutá priamka modeluje závislosť premenných 41

Overenie kvality modelu n Testovanie významnosti modelu ako celku ¨ Hypotézy: ¨ Testovacia charakteristika n H 0: model ako celok nie je významný H 1: model ako celok je významný porovnáva variabilitu vysvetlenú modelom a variabilitu nevysvetlenú modelom ¨ čím väčšia je variabilita vysvetlená modelom, tým lepšie model vystihuje závislosť medzi závislou a nezávislou premennou vysvetlená variabilita suma štvorcov modelu priemerná suma štvorcov modelu nevysvetlená variabilita reziduálna suma štvorcov priemerná reziduálna suma štvorcov celková variabilita celková suma štvorcov =F 42

Overenie kvality modelu n Testovanie významnosti modelu ako celku ¨ pomocou rozkladu variability modelu Závisle premenná _ Celková variabilita Y Nevysvetlená variabilita Vysvetlená variabilita Y´ = b 0 + b 1 X Nezávisle premenná 43

Overenie kvality modelu n ANOVA – analýza rozptylu, ktorá sa využíva na verifikáciu vypovedacej schopnosti modelu Variabilita SŠO stupne voľnosti vysvetlená p-1 nevysvetlená n-p celková n-1 rozptyl F 44

Overenie kvality modelu § testovacie kritérium v tabuľke je možné využiť k súčasnému testovaniu významnosti celého regresného modelu, indexu determinácie aj indexu korelácie § vypočítanú hodnotu F testu porovnávame s tabuľkovou F hodnotou (Fischerovo rozdelenie) pri (p-1) a (n – p) stupňov voľnosti § ak F < Ftab, považujeme regresný model za nevýznamný, podobne aj index determinácie a index korelácie § ak F > Ftab, považujeme regresný model za štatisticky významný, podobne aj index determinácie a index korelácie 45

Nedostatky mier kvality odhadu Predstavme si, že pre dáta v grafe sme odhadli regresnú priamku, ako je uvedená vedľa grafu. Koeficient determinácie bude 67%. Ak zobrazíme dáta, zistíme, že môžeme byť spokojní, pretože závislosť je skutočne lineárna.

Rovnaký model a koeficient determinácie môžeme dostať aj pre dáta zobrazené v grafe. V takomto prípade ale s modelom nemôžeme byť spokojní, pretože závislosť nie je lineárna. 47

V hore uvedenom grafe máme ďalší prípad, keď vypočítame rovnakú priamku aj rovnaký koeficient determinácie. Problém je však v tom, že ich odhad je ovplyvnený jednou extrémnou hodnotou, ktorá mení sklon priamky aj hodnotu koeficienta determinácie. 48

V poslednom grafe má jedno pozorovanie rozhodujúci vplyv na zistenie významnej lineárnej závislosti. Vedie k dramatickým zmenám v odhade lineárnej regresie, ktorá by bez neho bola nevýznamná. 49

Nedostatky mier kvality odhadu Posudzovať kvalitu modelu v oblasti splnenia predpokladov len na základe mier ako je koeficient determinácie a jemu podobným, môže byť zavádzajúce. Pre posúdenie splnenia predpokladov je potrebné použiť špeciálne nástroje. 50

Test významnosti parametrov RF n Testovanie významnosti parametrov modelu H 0: parametre regresnej funkcie sú štatisticky nevýznamné 0 = 0 1 = 0 H 1: parametre regresnej funkcie sú štatisticky významné 0 0 1 0 Testovacia charakteristika: t = b 0/s(b 0) t = b 1/s(b 1) Záver: p hodnota > platí H 0 p hodnota < platí H! parametre sú štatisticky nevýznamné parametre sú štatisticky významné 51

Intervaly spoľahlivosti pre parametre RF Intervalový odhad ľubovoľného parametra pre regresnú priamku vychádza z toho, že za predpokladov formulovaných klasickým lineárnym modelom má veličina t rozdelenie s n – p stupňami voľnosti. Pri zvolenej spoľahlivosti 1 – a je obojstranný interval spoľahlivosti pre parameter 0 daný vzťahom 52

Intervaly spoľahlivosti pre parametre RF a pre parameter 1 53

Viacnásobná lineárna regresia n Model s dvoma nezávislými premennými rozšírime najskôr model jednoduchej regresie o ďalšiu vysvetľujúcu premennú ¨ model lineárnej regresie s dvoma vysvetľujúcimi premennými ¨ Y = 0 + 1 X 1 + 2 X 2 + e kde Y je závislá premenná X 1 a X 2 sú nezávislé, vysvetľujúce premenné e je náhodná zložka 0 , 1 , a 2 sú neznáme parametre modelu 54

Viacnásobná lineárna regresia n Všeobecný model viacnásobnej regresie ¨ modeluje závislosť vysvetľovanej premennej ako výsledok jej lineárnej závislosti od k nezávislých premenných ¨ Y = 0 + 1 X 1 + … + k. Xk + e n n n model vyjadruje vzťah medzi k premennými na jeho grafickú prezentáciu by sme potrebovali k-rozmerný priestor model má p=k+1 parametrov ¨ ¨ k - regresných koeficientov lokujúcu konštantu 0 * Multikolinearita 55

Viacnásobná lineárna regresia Multikolinearita ¨ jav, keď medzi vysvetľujúcimi premennými existuje významná silná korelácia - závislosť, čo predstavuje prebytočnú informáciu v modeloch ¨ príklad n v grafe X 1 a X 2 vždy sledujú takmer priamku n X 1 = X 2, čiže jedna premenná poskytuje toľko informácií ako druhá n jedna premenná je zbytočná ¨ prejav multikolinearity n ani jedna premenná nebude významná, ak budú do modelu zaradené obidve, ale obidve budú významné, ak budú do modelu zaradené separátne n ak X 1 = X 2, potom Y = X 1 + X 2 ale platí aj Y = 2 X 1 alebo Y = -X 1 + 3 X 2 n aký je skutočný vzťah medzi premennými? 56

Viacnásobná lineárna regresia Dôsledky multikolinearity n strata - prekrývanie významných vysvetľujúcich premenných n nestabilita modelu ¨ nestabilné odhady parametrov ¨ vysoká variabilita odhadu hodnôt premennej Y ¨ nízka presnosť modelu Nástroje diagnostiky n korelačná matica nezávislých premenných ¨ obsahuje koeficienty korelácie všetkých dvojíc premenných n špeciálne miery kolinearity 57

Viacnásobná lineárna regresia Korelačná matica ¨ je matica koeficientov korelácie pre všetky dvojice nezávislých premenných ¨ je symetrická, pretože koeficient korelácie je symetrický ¨ na diagonále má jednotky ¨ indikuje významnú multikolinearitu, ak pre niektorý koeficient platí: n |R| > 0, 8 n p - hodnota < 58

Regresný výstup v EXCELI 59

Regresný výstup v EXCELI 60

ĎAKUJEM ZA POZORNOSŤ 61