Nemparamteres prbk Gazdasginformatikus MSc Dr Ketskemty Lszl N

Nemparaméteres próbák Gazdaságinformatikus MSc Dr Ketskeméty László

N E M P A R A M É T E R E S P R Ó B Á K • ILLESZKEDÉSVIZSGÁLAT H 0 : Az elemzett változó eloszlása megegyezik a hipotetikussal 2 -próba, egymintás Kolmogorov-Szmirnov, P-P grafikon • FÜGGETLENSÉVIZSGÁLAT H 0 : Az elemzett változók függetlenek 2 -próba, nominális változókra, ordinális változókra • HOMOGENITÁSVIZSGÁLAT H 0 : Az elemzett változók eloszlása azonos 2 -próba, kétmintás Kolmogorov-Szmirnov, Wilcoxon, Mc. Nemar, Kruskal-Wallis, Friedmann 10/19/2021 Dr Ketskeméty László 2

2 -próbák Ezen a tulajdonságon alapulnak a 2 -négyzet próbák! 10/19/2021 Dr Ketskeméty László 3

2 -próbák tiszta illeszkedés vizsgálat statisztikai minta a minta hipotetikus eloszlásfüggvénye Ellenőrizni akarjuk azt a feltevést, hogy a minta elméleti eloszlásfüggvénye éppen ez a függvény: 10/19/2021 Dr Ketskeméty László 4

2 -próbák tiszta illeszkedés vizsgálat Adjuk meg a minta értékkészletének egy tetszőleges r diszjunkt intervallumból álló felosztását: Ha a nullhipotézis igaz, akkor 10/19/2021 Dr Ketskeméty László 5

2 -próbák tiszta illeszkedés vizsgálat teljes eseményrendszer az esemény bekövetkezéseinek a gyakorisága Tehát, ha a nullhipotézis igaz: 10/19/2021 Dr Ketskeméty László 6

2 -próbák tiszta illeszkedés vizsgálat a kritikus érték: Döntés: a nullhipotézist akkor fogadjuk el az szignifikancia-szineten, ha Az elsőfajú hibavalószínűség most csak aszimptotikusan lesz . 10/19/2021 Dr Ketskeméty László 7

2 -próbák becsléses illeszkedés vizsgálat statisztikai minta a minta hipotetikus eloszlásfüggvénye Az eloszlásfüggvény most k db paramétertől függ, aminek értékét nem ismerjük! Ellenőrizni akarjuk azt a feltevést, hogy a minta elméleti eloszlásfüggvénye éppen ez a függvény: 10/19/2021 Dr Ketskeméty László 8

2 -próbák becsléses illeszkedés vizsgálat Első lépésben tekintjük a k db paraméter konzisztens becsléseit a mintából: Második lépésben az eloszlásfüggvény képletébe behelyettesítjük a becsléseket: Harmadik lépésben végrehajtunk egy tiszta illeszkedésvizsgálati tesztet a mintán, azzal a különbséggel, hogy a szabadági fokot csökkentjük a paraméterek számával: r -1 -k 10/19/2021 Dr Ketskeméty László 9

Példa 2 -próbával illeszkedésvizsgálatra A World 95 állományban ellenőrizzük, hogy az országok egyenletesen vannak-e szétosztva az egyes gazdasági régiókban! 10/19/2021 Dr Ketskeméty László 10

Példa 2 -próbával illeszkedésvizsgálatra 10/19/2021 Dr Ketskeméty László 11

Példa 2 -próbával illeszkedésvizsgálatra Az országok eloszlása a régiókban egyenletesnek tekinthető! 10/19/2021 Dr Ketskeméty László 12

2 -próbák függetlenségvizsgálat 10/19/2021 Dr Ketskeméty László 13

2 -próbák függetlenségvizsgálat 10/19/2021 Dr Ketskeméty László 14

2 -próbák függetlenségvizsgálat Ha a nullhipotézis igaz, a próbastatisztika eloszlása 10/19/2021 Dr Ketskeméty László 15

Példa 2 -próbával függetlenségvizsgálatra Független-e a kor a fogyasztás mennyiségétől? 10/19/2021 Dr Ketskeméty László 16

Példa 2 -próbával függetlenségvizsgálatra 10/19/2021 Dr Ketskeméty László 17

Példa 2 -próbával függetlenségvizsgálatra 10/19/2021 Dr Ketskeméty László 18

Példa 2 -próbával függetlenségvizsgálatra 10/19/2021 Dr Ketskeméty László 19

Példa 2 -próbával függetlenségvizsgálatra A jelentős szignifikancia-szint arra utal, hogy a függetlenséget feltételező nullhipotézis igaz! A páciens korától nem függ a fogyás mennyisége! 10/19/2021 Dr Ketskeméty László 20

Példa 2 -próbával függetlenségvizsgálatra Független-e a vérzsírcsökkenés (triglicerid) a fogyasztás mennyiségétől? 10/19/2021 Dr Ketskeméty László 21

Példa 2 -próbával függetlenségvizsgálatra A jelentős szignifikancia-szint arra utal, hogy a függetlenséget feltételező nullhipotézis igaz! A vérzsírtartalom nem függ a fogyás mennyiségétől! 10/19/2021 Dr Ketskeméty László 22

2 -próbák homogenitásvizsgálat Ha a nullhipotézis igaz, azaz a két mintának ugyanaz az eloszlásfüggvénye: 10/19/2021 Dr Ketskeméty László 23

Egymintás Kolmogorov-Szmirnov próba Most is illeszkedésvizsgálatról van szó! ahol Ha a nullhipotézis igaz, a próbastatisztika aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján DÖNTÉS az eloszlás alapján határozzuk meg a szignifikancia szinthez. 10/19/2021 Dr Ketskeméty László 24

Az empirikus eloszlásfüggvény és az elméleti eloszlásfüggvény átfedése 100 elemű minta esetén: 10/19/2021 Dr Ketskeméty László 25

A Kolmogorov eloszlás 10/19/2021 Dr Ketskeméty László 26

Példa egymintás Kolmogorov-Szmirnov próbára Normális eloszlást követ-e a fogyás? 10/19/2021 Dr Ketskeméty László 27

Példa egymintás Kolmogorov-Szmirnov próbára 10/19/2021 Dr Ketskeméty László 28

Példa egymintás Kolmogorov-Szmirnov próbára Jelentős nagyságú a szignifikancia szint, el kell hogy fogadjuk a nullhipotézist! A fogyás jól illeszkedik a normális eloszláshoz! 10/19/2021 Dr Ketskeméty László 29

Kétmintás Kolmogorov-Szmirnov próba Most homogenitásvizsgálatról van szó! Ha a nullhipotézis igaz, a próbastatisztika most is aszimptotikusan Kolmogorov-eloszlást követ. A kritikus értéket ez alapján az eloszlás alapján határozzuk meg a szignifikancia szinthez. DÖNTÉS 10/19/2021 Dr Ketskeméty László 30

Példa kétmintás Kolmogorov-Szmirnov próbára Ellenőrizzük, hogy a kezdeti súly azonos eloszlású-e a végsúllyal! 10/19/2021 Dr Ketskeméty László 31

Példa kétmintás Kolmogorov-Szmirnov próbára 10/19/2021 Dr Ketskeméty László 32

Példa kétmintás Kolmogorov-Szmirnov próbára A súlyeloszlások homogenitása fennáll! 10/19/2021 Dr Ketskeméty László 33

Két független minta homogenitásának vizsgálata Mann-Whitney próbával Egy X minta adatait két részre osztjuk egy Y csoportképző változó segítségével. Megvizsgáljuk, hogy a két minta azonos eloszlásfüggvényhez tartozik-e. Pl. azonos eloszlást követ-e a GDP eloszlása a latin-amerikai és a kelet-európai országok esetében? 10/19/2021 Dr Ketskeméty László 34

Két független minta homogenitásának vizsgálata Mann-Whitney próbával Tekintsük az és mintákat! Legyen N=n+m. A két minta "összefésüléséből" képezzük a rendezett mintát! a két mintához tartozó rangszámösszegek 10/19/2021 Dr Ketskeméty László 35

Két független minta homogenitásának vizsgálata Mann-Whitney próbával Abban az esetben, ha n, m elég nagy, az RX eloszlása aszimptotikusan normális lesz és paraméterekkel, így standard normális eloszlású! Kis minták esetén a Mann-Whitney táblázatot használjuk. 10/19/2021 Dr Ketskeméty László 36

Példa Mann-Whitney próbára Azonos eloszlást követ-e a GDP eloszlása a latinamerikai és a kelet-európai országok esetében? A world 95 adatmátrixban most X a gdp_cap, az Y csoportképző változó pedig a region. 10/19/2021 Dr Ketskeméty László 37

Példa Mann-Whitney próbára 10/19/2021 Dr Ketskeméty László 38

Példa Mann-Whitney próbára Kelet-Európában magasabbak a GDP értékek! 10/19/2021 A próba nem fogadható el! Dr Ketskeméty László 39

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával Ellenőrizni szeretnénk azt a nullhipotézist, hogy p független minta ugyanabból az eloszlásból származik-e, vagyis a mintáknak közös-e az eloszlásfüggvényük. Pl. • A gépkocsik fogyasztása azonos eloszlást követ-e a gyártási hely szerint? • A dolgozói fizetések azonosak-e a munkabeosztásokban? • a gdp eloszlása azonos-e az egyes földrészeken? 10/19/2021 Dr Ketskeméty László 40

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával A p független mintát egy Y tördelő változó segítségével fogjuk előállítani. Az egyes mintákhoz az X változó azon esetei tartoznak majd, amelyiknél az Y azonos értéket vesz fel. 10/19/2021 Dr Ketskeméty László 41

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával Egy X változó eseteit egy Y tördelő változó segítségével p részre csoportosítunk. X folytonos változó Y diszkrét (kategória) változó, csoportképző változó , , …, a p rész-minta N az adatmátrix összes esetszáma 10/19/2021 Dr Ketskeméty László 42

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával jelöli az X minta rendezett realizáltját r 1 például azt adja meg, hogy az az első minta rangszámai első minta első eleme a teljes rendezett mintában a hányadik helyen áll! a második minta rangszámai a p-edik minta rangszámai a megfelelő rangszámösszegek 10/19/2021 Dr Ketskeméty László 43

Több független minta együttes homogenitás-vizsgálata Kruskal-Wallis próbával Megmutatható, hogy a minták homogenitásának feltételezése mellett a rendstatisztika aszimptotikusan p -1 szabadságfokú 2 -eloszlást követ. 10/19/2021 Dr Ketskeméty László 44

Példa Kruskal-Wallis próba alkalmazására Ellenőrizzük, hogy a world 95 állományban a férfiak és a nők várható élettartamai azonos eloszlást követnek-e a különböző éghajlati viszonyok között! A lifeexpm, lifeexpf változók vannak az X szerepében, A climate változó lesz az Y tördelő változó. Az uralkodó klima szerint fogjuk csoportosítani a lifeexpm és lifeexpf értékeit! 10/19/2021 Dr Ketskeméty László 45

Példa Kruskal-Wallis próba alkalmazására X Y 10/19/2021 Dr Ketskeméty László 46

10/19/2021 Dr Ketskeméty László 47

Példa Kruskal-Wallis próba alkalmazására Alacsonyak a szignifikancia szintek, azaz az életkorok másként alakulnak más klimatikus régiókban! 10/19/2021 Dr Ketskeméty László 48

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával Nullhipotézis: az adatmátrix X és Y változója azonos eloszlásfüggvényhez tartozik-e? az X, Y változópár adatsora a differenciák sora az előjelek sora az abszolút eltérések sora 10/19/2021 Dr Ketskeméty László 49

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával az abszolút eltérések rendezett mintája az abszolút eltérések rangszámai a pozitív differenciák rangszám-összege a negatív differenciák rangszám-összege 10/19/2021 Dr Ketskeméty László 50

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával Ezután a Wilcoxon-táblázatból adott >0 elsőfajú hiba megválasztás után kiolvassuk a megfelelő kritikus értékeket, és a nullhipotézist akkor fogadjuk el, ha R+ a két kritikus érték közé esik. Pl. =0, 01 esetén n=6 -hoz a 1<R+ <20 relációnak kell fennállnia. 10/19/2021 Dr Ketskeméty László 51

Két összetartozó minta homogenitásának ellenőrzése Wilcoxon próbával Ha az n minta elemszám nagy (több mint 25), akkor megmutatható, hogy R+ közel normális eloszlású lesz paraméterekkel. Ilyenkor a nullhipotézis eldöntéséhez az reláció teljesülését kell ellenőrizni, ahol 10/19/2021 Dr Ketskeméty László 52

Példa a Wilcoxon próba alkalmazására Ellenőrizzük, hogy a dietstudy állományban a kezdetisúly és végsúly azonos eloszlást követnek-e! A vizsgált összetartozó változók 10/19/2021 Dr Ketskeméty László 53

Példa a Wilcoxon próba alkalmazására 10/19/2021 Dr Ketskeméty László 54

Példa a Wilcoxon próba alkalmazására Természetesen a szignifikancia szint ennek megfelelően 0! Mindegyik differencia negatív volt, vagyis mind a 16 páciens fogyott! 10/19/2021 Dr Ketskeméty László 55

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával Összesen p változó azonos eloszláshoz tartozását ellenőrizzük. az adatmátrix Pl. a különböző időpontokban vett súlyok azonos eloszlásúak-e. 10/19/2021 Dr Ketskeméty László 56

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával Készítsük el az adatmátrix minden sorának rangszámait: azt a rangszámot jelenti, hogy hányadik legkisebb elem az adatmátrix első sorában. 10/19/2021 Dr Ketskeméty László 57

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával az egyes oszlopokhoz tartozó rangszám-összegek. Ha a homogenitás feltétele (a nullhipotézis) igaz, rangstatisztika aszimptotikusan p-1 szabadságfokú 2 -eloszlást követ. 10/19/2021 Dr Ketskeméty László 58

Több összetartozó minta homogenitásának ellenőrzése Friedman próbával Ha az n minta elemszám kicsi, akkor a Friedmantáblázatot használjuk. Abban az esetben, ha a homogenitást el kellett vetni, akkor az összes (i, j) párokra vonatkozó kétdimenziós mintákon egyenként ellenőrizzük a homogenitás fennállását, pl. Wilcoxon próbával. 10/19/2021 Dr Ketskeméty László 59

Példa a Friedman próba alkalmazására Ellenőrizzük, hogy a dietstudy állományban a különböző időpontokban mért testsúlyok azonos eloszlást követnek-e! 10/19/2021 Dr Ketskeméty László 60