Kvantitatv mdszerek Ksztette Prof Dr habil Kosztyn Zsolt

Kvantitatív módszerek Készítette: Prof. Dr. habil. Kosztyán Zsolt Tibor kzst@gtk. uni-pannon. hu http: //kmt. gtk. uni-pannon. hu/kzst/oktatas/km/index. htm

A Kvantitatív módszerek c. tárgy célja Oktatási cél: A hallgatók megismerjék a legfontosabb mennyiségi módszereket, melyeket mind a termelésirányításban, mind a projektek, mind pedig a logisztika területén hatékonyan tudnak alkalmazni. Ezenkívül a hallgatók ismerkedjenek meg a legfontosabb statisztikai módszerekkel.

Magas mérési szint Alacsony mérési szint Mérési skálák Nominális (pl. kiválasztás: Ön szerint melyik tényező jellemző az Ön cégére leginkább? ) Sorrendi (pl. rangsorolás: Rangsorolja az alábbi tényezőket fontosságuk szerint!) Intervallum (pl. intelligenciahányados) Arány (pl. pénzügyi eredmény, BSC-mutatók) Sorba rendezhető? Van értelme a különbségnek? Van értelme az aránynak? NEM NEM IGEN NEM IGEN

Matematikai statisztika A statisztikai megfigyelés véletlen tömegjelenségekre irányul. A statisztikai minta véletlen jelenségre vonatkozó véges számú megfigyelés eredménye. Események bekövetkezésének, illetve be nem következésének hosszú megfigyelés során valószínűsége van.

Hipotézisvizsgálat A statisztika egyik fő alkalmazási területe a döntések alátámasztása statisztikai hipotézisek vizsgálatával. 1. Null-hipotézis (H 0): különbség hiányát állítja 2. Alternatív hipotézis (Hl): különbség meglétét állítja

Hipotézisvizsgálat A nullhipotézis ismeretében egy próbastatisztikát számítunk, amelynek ismerjük az eloszlását. Az eloszlást ismerve megmondhatjuk, milyen valószínűséggel kaphatunk egy próbastatisztika értéket, ha a hipotézis igaz. Ha a valószínűség kicsi, a hipotézist elvetjük, azaz valószínűtlen, hogy H 0 igaz lenne.

Hipotézisvizsgálat Elsőfajú hiba: H 0 igaz, de elvetjük A hiba elkövetési valószínűségét szignifikancia-szintnek nevezzük (p=0, 05) 95%, hogy H 0 igaz Másodfajú hiba: H 0 nem igaz, de elfogadjuk. Baloldali tesztek H 0 = H 1 < Kétoldali tesztek H 0 = H 1 ≠ Jobboldali tesztek H 0 = H 1 >

Statisztikai próbák 1. Parametrikus próbák: normál eloszlású minták két mintát kell összevetnünk Átlagok azonosak-e: kétmintás t-próba Szórások azonosak-e: F-próba 2. Nem parametrikus próbák: teszt alkalmazása nem függ a változók eloszlásától; függetlenség- és homogenitás vizsgálat – c 2 próba, KSpróba

Összefüggés-vizsgálat Több megfigyelt tényező hogyan függ egymástól Ellenőrzött, laboratóriumi körülmények között az összefüggés függvénykapcsolatként írható le. A társadalomtudomány területén előforduló jelenségek annyira bonyolultak, hogy az események bekövetkezése sokszor a véletlentől is függ.

Összefüggés-vizsgálat Sztochasztikus kapcsolat: a független változó értéke nem határozza meg egyértelműen a függő változó értékét, (pl. véletlenszerűen ingadozik egy legvalószínűbb érték körül. )

Összefüggés-vizsgálat 1. 2. Egyik változó változásával a másik milyen irányba és mennyit változik? REGRESSZIÓ-ANALÍZIS Két változó között milyen irányú és mennyire szoros kapcsolat van? KORRELÁCIÓ-ANALÍZIS

Regresszió-analízis Két változó kapcsolatát leíró függvényt kapjuk eredményül. Sokszor feltételezünk ok-okozati kapcsolatot, de a vizsgálat nem bizonyítja azt! Grafikusan pontdiagramra fektetett egyenes, ha lineáris összefüggést feltételezünk.

Regresszió-analízis

1. példa

Regresszió-analízis - SPSS

Regresszió-analízis - SPSS H 1 SSR SSE SST H 0 H 1

Determinációs együttható négyzete: “Regression” “Total” “Residual”

R 2 = SSR/SST

Regresszió-analízis A regressziós egyenes a vizsgálati tartományon belül érvényes, azon túl, hosszabb távon nem alkalmas predikciós célokra A regressziós egyenes egyenlete: Y=függő/magyarázott változó X=független/magyarázó változó Kapcsolat lehet pozitív ↗↗ , vagy negatív↗↘ Egyenes illesztése legkisebb négyzetek módszerével történik.

Regresszió-analízis alkalmazhatóságának feltételei 1. 2. 3. 4. 5. E(u)=0 VAR(u)=s 2 A hibatagok függetlenek egymástól. x és u függetlenek. u ~ N(0, s)

Normalitás feltétel

Homoszkedaszticitás

A standard lineáris modell

Többváltozós regresszió-analízis x 1 x 2 x 3 xk Lineáris-e a regresszió? Nem feltétlen, de legtöbb esetben jó közelítésként Mit jelent a korrelációs használható. Ha a linearitás nem teljesül, akkor át kell konvertálni olyan modellé, amely kölcsönösen együttható értéke? egyértelmű az eredeti modellünkre. Milyen feltételek mellett R =1 alkalmazhatóság esetén: LINEÁRIS függvénykapcsolat a a lineáris Az feltételei megegyeznek magyarázó a magyarázott változók között! regressziósés modell alkalmazásának feltételeivel. használható a lineáris regressziós R=0 esetén: nincs LINEÁRIS függvénykapcsolat a magyarázó és a magyarázott változók között! modell? y 1 y 2 yn 1. 2. 3. 4. 5. 6. R=-1 esetén: (negatív) LINEÁRIS függvénykapcsolat van x és y között! E(ui)=0, i : =1, 2, …, n (szisztematikus hibát nem vétettünk) var(ui)=s 2, i : =1, 2, …, n (nincs heteroszkedaszticitás) ui és uj függetlenek minden i-re és j-re (nincs autokorreláció) xi determinisztikus nem valószínűségi változó ui ~N(0, s 2), i : =1, 2, …, n az xj-k között nincs lineáris összefüggés (nincs multikollinearitás)

Többváltozós regresszióanalízis Magyarázó változók redukálása: Miért? Kevesebb magyarázó változó → Kisebb a hiba varianciája. DE! torzított lesz a becslés! Hogyan? Összes lehetséges megoldás FORWARD eljárás Fokozatos „beléptetés”. Mindig a legnagyobb parciális korrelációval rendelkező változót veszi be. BACKWARD eljárás STEPWISE eljárás Fokozatos „kiléptetés”. Mindig a legkisebb parciális korrelációval rendelkező változót veszi ki. Minden iterációban léphetnek be és léphetnek ki is elemek. Viszont a probléma nem lineáris. Nem biztos, hogy optimális lesz a megoldás.

2. példa Mi hat a jövedelemre? Feltételezhetjük pl. , hogy Az iskolai végzettség/elvégzett iskolai osztályok A munkavállaló neme A munkavállaló kora ? Modell egyenlet: FOJOV=b 0+b 1 ISKOSZT+b 2 NEME+b 3 KOR+u Dummy-változó

Beállítás – SPSS-ben

Eredmények (1) Valamennyi magyarázó változó szükséges! Kicsi a magyarázó képesség! A modellünk és a magyarázó változóink is szignifikánsak!

Eredmények (2) Nem normális eloszlást követ Nem homoszkedasztikus

Javítási lehetőségek A magyarázóképesség javítására: Új változók keresése (pl. a település típusa, foglalkoztatás

Eredmények

Korreláció-elemzés Függ-e egymástól két változó? A változók normál eloszlásúak Korrelációs együttható, vagy determinációs tényező (r): Két adatsor (minta) közötti lineáris összefüggés erősségét mérő szám.

Korreláció-elemzés Pearson féle korrelációs együttható: r -1<=r<=1 Nincs kapcsolat, ha értéke nulla, vagy ahhoz közeli. r=± 1 1>|r|≥ 0, 75 Az összefüggés 0, 75>|r|≥ 0, 5 jellemzésére az r számértéke alapján 0, 5>|r|≥ 0, 25>|r|≥ 0 különböző fokozatokat r=0 állítottak fel. Függvénykapcsolat Nagyon szoros kapcs. Szoros kapcsolat Laza kapcsolat Nagyon laza kapcs. Nincs kapcsolat

Modellek x 11 x 2 x 3 xn y 1 y 2 ym y 11 X 1 x 12 Y 1 x 1 n y 1 t xm 1 yp 1 xm 2 Xm Yp xmk 1. 1. (lineáris) regressziós modell 2. kovarianciaanalízis y 12 2. X és Y sokszor nem mérhető közvetlenül. => Főkomponens analízis, faktor analízis. Nem csupán a modellredukció a fontos, hanem a modell helyességének vizsgálata is! a b yp 2 ypq c d Az ok-okozati kapcsolatok felderítése a fontos => Útelemzés

Ok-okozati vizsgálatok Keresztmetszeti vizsgálatoknál nem lehet megnyugtatóan meghatározni az okot és okozatot! Módszer: Útelemzés Ahhoz, hogy a minden kétséget kizáróan el tudjam dönteni, hogy mi az ok és mi az okozat, longitudinális vizsgálatra van szükség.

Útelemzés a b Közvetlen Közvetett c d ! Többszörös lineáris regresszió alkalmazása. Az utak erősségét is ki lehet számítani. Logikailag nehezen vitatható ok-okozati összefüggés kell. Csak nagyszámú mintaadatbázison alkalmazható. (min 200 elem)

További lehetőségek Érzékenység-vizsgálat Szimuláció Ezek azonban nem igazán használható módszerek, ugyanis a szimuláció nem biztos, hogy visszaadja a tényleges okokozati kapcsolatot. § Megoldás: longitudinális vizsgálatok. § Legalább két ((időben is) független) mérés összehasonlítása.

Modellredukció Főkomponens analízis a főkomponens-analízis fő célja a változók számának a „csökkentése”, így a legnagyobb súlyú komponenseket választjuk ki és használjuk fel az adataink becslésére. Az egyes komponensek egymástól függetlenek lesznek, DE Általában nem a modellegyenletünk redukcióját, hanem egy másik (kevesebb) modellegyenletet (tartalmazó) redukált modellt kapunk. Az új magyarázó változók a főkomponensek lesznek. p 1, p 2, . . , pk, ahol k<=n (n az eredeti modellünkben a magyarázó változók száma) $ Kérdés: A kapott főkomponensek mennyire korrelálnak az eredeti változókkal? Ha a korreláció értéke közel nulla, akkor az adott változó nem releváns, tehát elhagyható.

A főkomponens analízis értékelése A főkomponens analízis előnyei. Bizonyítható, hogy a főkomponensanalízissel érhető el a legkisebb információveszteség. A főkomponensek és a modellváltozók korrelációs vizsgálatával meghatározhatók, hogy mik a releváns és mik a nem releváns változók. A főkomponens analízis hátrányai: A főkomponensek értelmezése gyakran nehézkes. Nem nézi a kimenetet!

A faktoranalízis x 11 x 12 X 1 x 1 n xm 1 xm 2 xmk Xm y 11 A faktoranalízis a megfigyelt változók számának Y 1 y 12„csökkentésére” használatos. E fogalom alatt a változók y 1 t dimenziószámának csökkentését értjük, holott a „változók yp 1 összevonása” kifejezés lenne a yp 2 Yp helyesebb. A változók számát csökkenteni úgy y kívánjuk, pqhogy a műveletvégzés a lehető legkevesebb információveszteséggel járjon, vagyis a transzformált sokaságról az eredeti sokaságéval azonos következtetéseket lehessen levonni. Az eljárás arra is felvilágosítást ad, hogy mely változók a fontos, illetve kevésbé fontos (elhagyható) változók a vizsgált jelenségre vonatkozóan.

A faktoranalízis alkalmazása feltáró jellegű kutatások során 1. 2. Már van egy modellünk. A nem mérhető (látens) változókat szeretnénk vizsgálni. Nem tudjuk még, hogy milyen látens faktorok húzódnak meg a modellünk mögött. Rá kell jönnünk, hogy hány faktorral írható le az egyenlet. Ráadásul ezeknek a „látens” változóknak még értelmet is kell adnunk! Meg kell találnunk, hogy mely faktorokba vonhatók össze a magyarázó változók. Nagyon hosszadalmas!

Klaszterezés Egy adathalmaz pontjainak az adatrekordok hasonlósága alapján történő diszjunkt csoportokba sorolását klaszterezésnek nevezzük. A csoportosítás jósága alapvetően két dolgon múlik: a jó hasonlóság definíción és egy jó algoritmuson, amely a hasonlóságon alapulva valamilyen kritériumok alapján megállapítja a klasztereket. Sokszor használjuk az osztályozás kifejezést is, ami majdnem ugyanazt jelenti, mint a klaszterezés. Míg a klaszterezés nem felügyelt csoportosítás, addig az osztályozás felügyelt. Ebben az összefüggésben a felügyelt jelző azt jelenti, hogy a csoportok minőségi paraméterei előre definiáltak, míg a nem felügyelt esetben nem tudjuk, hogy milyen minőségi osztályba fognak tartozni az előálló csoportok, sőt ezek határai sem tudhatók előre.

Klaszterezés A hasonlóság definiálásának egy kézenfekvő módja az euklideszi távolság fogalom. Jelölje xr, xs az adatpontokat, és dr, s az adatpontok közötti távolságot.

Klaszterezés Írjuk fel az összes lehetséges távolságot egy mátrixban:

Klaszterezés Particionáló klaszterezés Feltesszük, hogy a klaszterek egy vektortérben helyezkednek el. A klasztereket súlypontjukkal reprezentáljuk, vagyis a klaszterekhez tartozó adatpont-vektorok átlagával jellemezzük. Az algoritmus olyan C klaszter beosztást keres, ahol az adatpontok saját klaszterük r(Ci ) súlypontjától mért távolságának négyzetösszege minimális.

Klaszteranalízis Az eljárás feladata egyedek, termékek vagy azok jellemzőinek stb. olyan csoportosítása, hogy az egyes csoportok között lehetőleg ne legyen átfedés. Meg kell azonban jegyezni, hogy vannak eljárások, amelyek lehetővé teszik az ún. átfedő klaszterek (fuzzy cluster) létrehozását is, de nem az ilyen klaszterek keresése az általános gyakorlat. Természetesen az osztályzás után a csoportok halmazának ki kell adnia a teljes halmazt. Az egy csoportba tartozás nem jelent feltétlenül minden szempontból azonosságot a halmaz elemei között, egy vagy több paraméterben a hasonlóság is megengedett.

Klaszterezés Általában előre meg kell adnunk egy klaszterszámot (vagyis, hogy hány csoportra szeretnénk bontani az adathalmazt). Legyen ez a szám k. Válasszunk ezután k darab adatpontot. Ezután minden adatpontot a hozzá legközelebb eső klaszter-súlyponthoz tartozó klaszterbe sorolunk. A besorolás eredményeként kialakult új klaszterek súlypontjai lesznek az új klaszterek reprezentáns pontjai. A besorolás, súlypontszámítás lépéseit addig végezzük, amíg a súlypontok rendszere változik. Akkor állunk meg, amikor a klaszterek elemei és a klaszterek középpontjai már nem változnak az iteráció hatására.

Klaszterezés Hierarchikus eljárások A hierartchikus klaszterező eljárásokban a adatokat hierarchikus adatszerkezetbe (fába, dendogram) rendezzük. Az adatpontok a fa leveleiben helyezkednek el. A fa minden belső pontja egy klaszternek felel meg, és azokat a pontokat tartalmazza, amelyek a fában alatta találhatók. Két alapvető hierarchikus eljárás létezik: az egyik a felhalmozó, a másik a lebontó. A felhalmozó eljárásban kezdetben minden adatelem egy klaszter, majd a legközelebbi klasztereket egyesíti az algoritmus, és a hierarchiában egy szinttel feljebb új klasztert alakít ki. A lebontó eljárásban kezdetben egyetlen klaszter létezik, amelybe minden adatpont beletartozik, majd ezt tovább osztjuk. Az újabb klaszterek az előző finomításai lesznek. Az eljárások akkor állnak meg, amikor vagy elérnek egy előre megállapított klaszterszámot, vagy a klaszterek közötti távolság egy előre megállapított mértéknél kisebbé válik.

Adatredukció Diszkriminancia analízis A diszkriminanciaanalízis megfigyelési csoportok szétválasztására alkalmas módszer, több kvantitatív változó egyidejű figyelembevételével. Ezt az eljárást alkalmazzuk, ha: vizsgáljuk csoportok különbözőségét a megfigyelt változók többdimenziós terében, Ennek alapján az országok 5 csoportba sorolhatók, de vizsgáljuk a megfigyelt változók szerepét a valóban ezek az országok csoportok különbözőségében, alkotják az egyes csoportokat? keressük azt az osztályozófüggvényt, amellyel eldönthető, hogy egy új megfigyelési egység melyik csoportba sorolható.

Mérési skálák Nominális (pl. kiválasztás: Ön szerint melyik tényező jellemző az Ön cégére leginkább? ) Sorrendi (pl. rangsorolás: Rangsorolja az alábbi tényezőket fontosságuk szerint!) Asszociációs vizsgálatok: c 2 -mutatók, Varianciaanalízis (egy szempontú, több. PRE-mutatók szempontú) (l. X|Y, 2 Asszociációs vizsgálatok: c -mutatók, PRE-mutatók l. Y|X) 1. Az adatokat adott ismérvek szerint csoportokba rendezzük. 1. Független eset meghatározása 2. A független esettől való eltérés szignifikanciája (egy szempontú, többazonosak. szempontú) 2. Varianciaanalízis Feltesszük, hogy a csoportátlagok (és szórások) (H 0) Rangkorrelációs vizsgálatok 1. Spearmen-féle rangorreláció 2. Kendall-féle rangkorreláció (Spearman) Adatredukció Intervallum Modellredukció 1. Klaszteranalízis (pl. intelligenciahányados) 1. Főkomponens analízis Arány 2. Faktoranalízis 2. Diszkriminancia analízis (pl. pénzügyi eredmény, BSC-mutatók) Kapcsolatvizsgálat 1. Regresszióanalizis 2. Ok-okozati vizsgálatok

Magyarázott változó mérési szintje magas alacsony Magyarázó és magyarázott változók „mérési szintjei” Regresszió-analízis Variancia-analízis Útelemzés Korrespondenciaanalízis Diszkriminanciaanalízis Logisztikus regresszió Magyarázó változó mérési szintje alacsony magas

Sztochasztikus folyamatok A sztochasztikus folyamatoknál beszélhetünk folytonos és diszkrét idejű esetről. Egy sztochasztikus folyamat A T halmazt időnek nevezik. A sztochasztikus folyamatot folytonos idejű folyamatnak nevezzük, ha , és diszkrét idejű folyamatnak, ha

Az idősorelemzés modelljei Determinisztikus modell (előre meghatározott pályát követnek az idősorok) Leíró Hosszú távú hatások Véletlennel keveset foglalkozik Sztochasztikus idősorelemzés Rövid távú hatásokkal foglalkozik Véletlennek fontos szerepe van

Idősor komponensei Trend vagy alapirányzat: az idősor alakulásának fő irányát mutatja meg. Szezonális vagy idényszerű ingadozás: szabályos időszakonként visszatérő, állandó periódushosszúságú hullámzás, amely mindig azonos irányban téríti el az idősor értékét az alapirányzattól. (pl. fagyifogyasztás) Ciklus: trend alatti vagy feletti tartósabb mozgás. Szabálytalan periodikus ingadozás, általában hosszabb idősoroknál figyelhető meg. (pl. gazdasági ciklusok) Véletlen ingadozás

Az egyes komponensek közötti kapcsolat Additív kapcsolat periódusok (pl. évek) Multiplikatív kapcsolat: perióduson belüli rövidebb időszakok(pl. negyedévek)

Stacionaritás Az y jelenség időbeni lefutása: stabil, előre jelezhető, nincs trendhatás Időfüggetlen: várható érték, variancia, autokovariancia

Idősor analízis – ARIMAmodellek ARIMA(p, 0, 0)=AR(p) p-ed rendű autoregresszív folyamatok ARIMA(0, 0, q)=MA(q) q-ad rendű mozgóátlag folyamatok

Idősor analízis – ARIMAmodellek ARIMA(p, 0, q)=ARMA(p, q)=AR(p)+ MA(q) p-ed rendű autoregresszív folyamatok + q-ad rendű mozgóátlag folyamatok Integrált autoregresszív és mozgóátlag folyamatok, ARIMA(p, d, q) modellek: Derivált idősor: Második derivált sor: j-edik derivált sor:

A modellkészítés menete (1) Az ARIMA modellezés kiindulópontja annak megállapítása, hogy a vizsgálni kívánt idősorunk stacionárius-e, illetve, ha nem, akkor az, hogy alkalmas transzformációval stacionáriussá tehető-e. Ezzel eldöntöttük azt, hogy az adott idősorhoz illeszthető-e ARIMA modell; ha igen, milyen (d) dimenzióval rendelkezik. Az ARIMA(p, d, q) d-edik derivált sora ARMA(p, q) rendű folyamat!

A modellkészítés menete (2) A következő kérdés annak megválaszolása, hogy milyen típusú ARMA modell illesztésével próbálkozzunk, illetve milyen legyen az autoregresszivitás (p) és/vagy a mozgóátlagolás (q) rendje. Erre a kérdésre a választ a tapasztalati, vagy a transzformált idősor ACF és PACF értékei alapján adjuk meg. A modellezés ezen fázisát modellazonosításnak (identifikációnak) nevezi a szakirodalom.

ACF, PACF Autokovariancia függvény (AVF): Autokorrelációs függvény (ACF): Parciális autokorrelációs függvény (PACF):

Modellbecslés ACF és PACF segítségével Modell ACF PACF MA(q) q-ad rendű MA folyamat Eltűnik a q. tag után Lecseng AR(p): p-ed rendű AR folyamat Lecseng Eltűnik a p. tag után ARMA(p, q)=AR(p)+MA(q) Lecseng ARMA(p, q)= AR(p)+MA(q) Eltűnik a q. tag után Sem AR, sem MA (fehér zaj vagy véletlen folyamat) Nincs szig. érték Eltűnik a p. tag után Nincs szig. érték

MA(1) 0<c 1 ACF 0>c 1 ACF 0<c 1 PACF 0>c 1 PACF

MA(2) 0<c 1, 0<c 2 ACF 0<c 1, 0>c 2 ACF 0<c 1, 0<c 2 PACF 0<c 1, 0>c 2 PACF

MA(2) 0>c 1, 0<c 2 ACF PACF 0>c 1, 0>c 2 ACF PACF

AR(1) 0<a 1<1 ACF -1<a 1<0 ACF 0<a 1<1 PACF -1<a 1<0 PACF

AR(2) 0<a 1, 0<a 2 ACF 0>a 1, 0<a 2 ACF 0<a 1, 0<a 2 PACF 0>a 1, 0<a 2 PACF

AR(2) 0<a 1, 0>a 2 ACF 0>a 1, 0>a 2 ACF 0<a 1, 0>a 2 PACF 0>a 1, 0>a 2 PAC F

ARMA(1, 1) 0<c 1, 0>a 1 ACF 0<c 1, 0<a 1 ACF 0<c 1, 0>a 1 PAC F 0<c 1, 0<a 1 PAC F

ARMA(1, 1) 0<c 1, 0<a 1 ACF 0>c 1, 0<a 1 ACF 0<c 1, 0<a 1 PACF 0>c 1, 0<a 1 PACF

A modellkészítés menete (3) Ezután a modellezés lépései alapvetően megfelelnek a már ismert lineáris regressziós modellezésnek. A választott modell paraméterbecslése után a modell ellenőrzése következik. A modell ellenőrzése során vizsgáljuk azt, hogy paraméterei szignifikánsake, illetve véletlen változóik fehér zaj folyamatot követnek-e.

A modellkészítés menete (4) Speciálisan az ARMA modelleknek van stacionaritási és invertibilitási feltétele is, melyek a modell paramétereinek értékére vonatkozó megszorításokként jelennek meg. Ezután döntünk arról, hogy felhasználható-e az illesztett modell elemzésre, előrejelzésre, vagy más modell választásával kell próbálkoznunk.

Előrejelzés sztochasztikus modellekkel – példa

Köszönöm a megtisztelő figyelmet! Elérhetőség: kzst@gtk. uni-pannon. hu