Zhlukov analza Cluster AnalysisCA Mria Vojtkov Katedra tatistiky

Zhluková analýza Cluster. Analysis(CA) Mária Vojtková Katedra štatistiky FHI EU v Bratislave február 2008

Zhluková analýza n Charakteristika CA n rozklad súboru na niekoľko homogénnych podsúborov štatistické jednotky v jednom zhluku sú čo najpodobnejšie, najbližšie n štatistické jednotky rôznych zhlukov sú navzájom čo najodlišnejšie, najvzdialenejšie n n zoskupiť Xi i=(1, . . n) do zhlukov c 1, . . cq (2 < q < n)

Zhluková analýza n Postup CA výber miery podobnosti (resp. nepodobnosti) n výber druhu zhlukovacieho postupu n výber zhlukovacej metódy n určenie počtu významných zhlukov n interpretácia zhlukov n

Zhluková analýza - výber miery podobnosti n n n n koeficienty asociácie koeficienty korelácie pravdepodobnostné miery nepodobnosti n vzdialenosti – nezáporné reálne funkcie d(XY)

Zhluková analýza - vlastnosti miery vzdialenosti

Euklidovská vzdialenosť Obrázok 1: Grafické znázornenie výpočtu Euklidovskej vzdialenosti

Hammingova vzdialenosť (cityblock distance) Obrázok 2: Grafické znázornenie výpočtu Hammingovej vzdialenosti

Prehľad mier vzdialenosti n n Euklidovská vzdialenosť Dij= (xik- xjk)2 Hammingova vzdialenosť Dij= |xik- xjk| Minkovskeho vzdialenosť Dij= ( |xik- xjk|r ) 1/r Mahalanobisova vzdialenosť Dij= (Xi – Xj)'. S-1. (Xi – Xj)

Zhluková analýza n výber druhu zhlukovacieho postupu Ø hierarchický postup n n n aglomeratívny n n n úplná analýza štatistického súboru výsledok možno zobraziť pomocou hierarchického grafu - dendrogramu v prvom kroku je každá jednotka samostatným zhlukom v poslednom kroku sú všetky jednotky v jednom zhluku divízny n n v prvom kroku sú všetky jednotky v jednom zhluku v poslednom kroku každá jednotka predstavuje zhluk

Zhluková analýza n výber druhu zhlukovacieho postupu Ø nehierarchický postup n n n vopred určený počet zhlukov iteratívny postup určenia ich stredov postupné zaraďovanie jednotiek k vybraným stredom

Všeobecný hierarchický zhlukovací postup

Zhluková analýza n výber zhlukovacej metódy n hierarchické – aglomeratívne n n metóda najbližšieho suseda (nearest-neighbor) n poznáme maticu euklidovských vzdialeností n vyberieme spojenie na základe min vzdialenosti n nové spojenie = min dij tzv. reťaziaci efekt Grafické znázornenie vzdialenosti medzi novými zhlukmi pri metóde najbližšieho suseda

Zhluková analýza n výber zhlukovacej metódy n hierarchické – aglomeratívne n metóda najvzdialenejšieho suseda (furthest-neighbor) n n poznáme maticu euklidovských vzdialeností nové spojenie = max dij vyberieme spojenie, prepočítame, atď. konzistentné, izolované zhluky Grafické znázornenie vzdialenosti medzi novými zhlukmi pri metóde najvzdialenejšieho suseda

Zhluková analýza n výber zhlukovacej metódy n hierarchické – aglomeratívne n metóda priemernej väzby (group average) n n poznáme maticu euklidovských vzdialeností vzdialenosť medzi dvomi zhlukmi je vypočítaná ako priemerná min vzdialenosť prvkov

Zhluková analýza n výber zhlukovacej metódy n hierarchické – aglomeratívne n centroidná metóda (centroid method) n n n poznáme maticu euklidovských vzdialeností každý novovytvorený zhluk je nahradený priemerným prvkom = centroidom nové spojenie = štvorec euklidovskej vzdialenosti nevýhodou sú inverzie mediánová metóda (median method) n n reprezentantom zhluku je jeho medián vylepšenie centroidnej metódy

Zhluková analýza n výber zhlukovacej metódy n hierarchické – aglomeratívne n Wardova metóda (Ward method) n n nepočítame maticu vzdialeností kritérium spojenia = max vnútrozhlukovej homogenity mierou homogenity ESS inicializačné spojenie znamená minimálny prírastok ESS = ΣΣ(Xij – priem. Xtj) 2 zhluky rovnakej veľkosti a tvaru

Zhluková analýza n výber zhlukovacej metódy n nehierarchické n Metóda typických bodov (seeded) n n n Metóda k-priemerov n n celý rad modifikácii Metóda optimálnych stredov alebo medoidov n n n seed = typický predstaviteľ zhluku ostatné objekty rozdelené podľa euklidovskej vzdialenosti od seed medoid – optimálny stred zhluku jeho priemerná vzdialenosť k ostatným objektom v zhluku je minimálna Fuzzy zhlukovanie n n n umožňuje zaradenie jedného objektu do viacerých zhlukov prítomnosť objektu v zhluku je daná pravdepodobnosťou, ktorá je medzi 0 a 1 – tzv. fuzifikácia zhlukovej konfigurácie väčší počet prijateľných riešení

Zhluková analýza n Nehierarchické zhlukovanie využíva tri postupy: n n n sekvenčný: najprv sa určí prvý predstaviteľ zhluku, ku ktorému sa na základe špecifikovanej vzdialenosti priradia objekty, potom sa určí druhý predstaviteľ a proces sa opakuje, paralelný: na začiatku sa určí niekoľko predstaviteľov, ku ktorým sú jednotlivé objekty priraďované paralelne, optimalizačný: podobný predchádzajúcemu postupu avšak umožňuje znovuzaradenie objektu.

Porovnanie zhlukovacích metód n Hierarchické metódy: n n n v minulosti populárnejšie (za najlepšie metódy považované Wardová, metóda priemernej väzby a centroidná metóda) rýchle, menšia spotreba stojového času a jednoduché poskytujú podrobnú štruktúru dát, nie je potrebné poznať počet zhlukov na začiatku analýzy na ich výsledky majú vplyv odľahlé pozorovania nevhodné na analýzu veľmi veľkých súborov

Porovnanie zhlukovacích metód n Nehierarchické metódy: n n n v poslednom čase sa využívajú viac vyžadujú zadanie počtu zhlukov na začiatku analýzy výsledky sú ovplyvnené praktickými znalosťami užívateľa a objektívnou teóriou, ako stanoviť predstaviteľov zhlukov nie sú natoľko ovplyvnené odľahlými pozorovaniami poskytujú viacero prijateľných alternatív štruktúry dát

Zhluková analýza n určenie počtu významných zhlukov n heuristický prístup n ukazovatele kvality zhlukovania 1. 2. 3. 4. Štandardná odchýlka premenných tvoriacich zhluk (RMSSTD), Koeficient determinácie (RSQ), Semiparciálny koeficient determinácie (SPRSQ), Vzdialenosť zhlukov (CD).

Zhluková analýza n určenie počtu významných zhlukov n RMSSTD - homogenita nového zhluku n n SPRSQ – homogenita spojených zhlukov n n malé RSQ – heterogenita zhlukov n n malé vysoké CD – homogenita spojených zhlukov n malé

Zhluková analýza n n určenie počtu významných zhlukov v SASe cubic clustering criterion (CCC) 1. 2. 3. 4. 5. Vhodný počet zhlukov indikuje CCC>3, vo všeobecnosti, čím vyššie je CCC, tým lepší počet zhlukov získame. Pri hierarchickom postupe zhlukovania možno pozorovať niekoľko lokálnych, vysokých hodnôt CCC. Pri nehierarchickom zhlukovaní je pozorované veľmi odlišné globálne maximum CCC v závislosti od počiatočného určenia počtu zhlukov. Pri zošikmených rozdeleniach môže hodnota CCC nadobúdať zápornú hodnotu, pričom s počtom zhlukov jej hodnota ešte klesá. Ak CCC neustále rastie, s počtom zhlukov je možná prítomnosť reťazenia, t. j. objekty vo vnútri zhluku sú pospájané z niekoľkých zhlukov, pričom jednotlivé objekty vytvárajú medzi nimi reťaz. Pre dáta s nepravidelným tvarom alebo predĺžené skupiny objektov, CCC nie je vhodným kritériom na stanovenie počtu zhlukov.

Zhluková analýza n interpretácia zhlukov n n n dendrogram grafická analýza popisná štatistika n n hodnotiaca miera je zhlukový centroid (ťažisko zhluku) podľa jednotlivých premenných popis každého zhluku na základe sledovaných vlastností napr. podľa metód viackriteriálneho hodnotenia

Bližšie pozri: Stankovičová, Vojtková: Viacrozmerné štatistické metódy s aplikáciami, Bratislava: Iura edition, 2007, ISBN 97880 -8078 -152 -1