Metda podpornch vektorov SWM Kristna Machov OSNOVA 1

Metóda podporných vektorov (SWM) Kristína Machová

OSNOVA: 1. Úvod 2. Klasifikátor maximálneho rozpätia 3. Klasifikátor podporných vektorov 4. Stroje podporných vektorov 5. Stroj podporných vektorov James, G. , Witten, D. , Hastie, T. , Tibshirani, R. : An Introduction to Statistical Learning – with Applications in R. Springer Texts in Statistics.

ÚVOD q Metóda podporných vektorov alebo SVM (Support Vector Machines) sa objavila v roku 1990 q Populárna - pri riešení mnohých problémov dáva najlepšie výsledky. q Vznikla zovšeobecnením Klasifikátora maximálneho rozpätia, ktorý je možné aplikovať iba na lineárne separabilné dáta. q Jeho ďalšie rozšírenie Klasfikátor podporných vektorov je možné aplikovať na väčšinu dát. q Ďalšie rozšírenie Stroj podporných vektorov je schopné pracovať aj s nelineárnymi hranicami tried.

ÚVOD q Hyperrovina v p dimenzionálnom priestore je útvar v p-1 dimenzionálnom priestore (hyperrovina v 2_d priestore musí byť 1_d útvar teda priamka, hyperrovina 3_d priestoru musí byť 2_d útvar teda rovina). q Hyperrovina sa môže použiť na separovanie príkladov dvoch tried od seba - na klasifikáciu – ako Lineárna prahová jednotka (Linear Threshold Unit), IWP alg. q Problémom Lineárnej prahovej jednotky je, že lineárne separovateľné dáta je možné väčšinou separovať viacerými hyperrovinami, ako to ilustruje nasledovný obrázok.

ÚVOD q Vo všeobecnosti existuje nekonečné množstvo takýchto hyperrovín (perfektne separovateľné dáta). q Musíme definovať hodnotiacu funkciu na výber jedného riešenia. q Tento problém rieši Klasifikátor maximálneho rozpätia.

KLASIFIKÁTOR MAXIMÁLNEHO ROZPATIA q Ang. Maximal Margin Classifier [James, Witten, Hastie, Tibshirani].

KLASIFIKÁTOR MAXIMÁLNEHO ROZPATIA q Hľadá takú separujúcu hyperplochu, ktorá je najďalej od trénovacích príkladov. q Musíme vypočítať všetky vzdialenosti trénovacích príkladov od separujúcej hyperplochy. q Najmenšia z týchto vzdialeností sa nazýva okraj (na obr. dva okraje). q Vzdialenosti od plnej ku čiarkovaným čiaram – okrajom, predstavujú rozpätie. q Klasifikátor, ktorý má veľké rozpätie bude presnejší.

KLASIFIKÁTOR MAXIMÁLNEHO ROZPATIA q Dôležité sú príklady najbližšie od separujúcej hyperplochy na prerušovaných čiarach (indikujú rozpätie, alebo šírku okrajov. q Tieto trénovacie príklady sú reprezentované vektormi, ktoré vychádzajú zo separujúcej hyperplochy a smerujú k okrajom a nazývame ich podporné vektory. q Ak sa tieto trénovacie príklady posunú hoci máličko, posunie sa aj poloha hyperplochy maximálneho rozpätia (pri iných TP to neplatí). q Teda poloha hyperplochy maximálneho rozpätia závisí na malom počte dôležitých pozorovaní – podporných vektorov.

KLASIFIKÁTOR MAXIMÁLNEHO ROZPATIA q Ilustrácia citlivosti klasifikátora maximálneho rozpätia na zmenu polohy individuálnych pozorovaní Stačí pridať jeden nový TP a poloha hyperplochy sa pootočí o takmer 40 stupňov (nová hyperplocha je menej uspokojujúca, lebo má tenšie rozpätie).

KLASIFIKÁTOR PODPORNÝCH VEKTOROV q Príliš tenké rozpätie je problém! q Dostatočná vzdialenosť klasifikovaného príkladu od deliacej hyperplochy je zárukou toho, že príklad bol správne klasifikovaný. q Riešenie: Obetujeme chybnú klasifikáciu zopár trénovacích príkladov za lepšiu klasifikáciu zvyšnej väčšiny, teda použijeme mäkké okraje (soft margins). q Vznikne Klasifikátor mäkkého okraja (Soft Margin Classifier), ale oveľa známejší názov je Klasifikátor podporných vektorov.

KLASIFIKÁTOR PODPORNÝCH VEKTOROV q Dovolí, aby niektoré trénovacie príklady boli vo vnútri rozpätia. q Môžu byť buď na správnej strane deliacej hyperplochy, alebo môžu padnúť aj na opačnú stranu hyperplochy (viď slide 15). q Pripúšťa sa to – no je to veľmi nevítaný úkaz odpovedajúci chybnej klasifikácii. q Riešením tohto problému je ďalšia optimalizácia.

STROJE PODPORNÝCH VEKTOROV (SVMs) q SVMs - Support Vector Machines predstavujú skupinu dvoch klasifikátorov: q Klasifikátor s nelineárnou rozhodovacou hranicou (Classification with Non-linear Decision Boundaries) - používa nelineárne funkcie na simuláciu deliacej hyperroviny. q Stroj (jeden) podporných vektorov - SVM (Support Vector Machine) – pracuje s kernelovými funkciami.

STROJE PODPORNÝCH VEKTOROV (SVMs) q V praxi máme často k dispozícii dáta, ktoré vyžadujú skôr hranicu simulovanú nelineárnou funkciou (kvadratickou, kubickou alebo polynomiálnou funkciou vyššieho rádu). q Najjednoduchšie je siahnuť po Klasifikátore s nelineárnou rozhodovacou hranicou. q To môže viesť k obrovskému množstvu atribútov a nezvládnuteľnej výpočtovej zložitosti. q V takom prípade lepšie použiť Stroj podporných vektorov (jeden) SVM.

STROJ PODPORNÝCH VEKTOROV (SVM) q Stroj podporných vektorov je rozšírenie Klasifikátora podporných vektorov. q SVM je možné použiť aj na priestore príkladov s vysokou dimenzionalitou vďaka transformácii pomocou kernelovej metódy. q Pracuje s lineárnym, polynomiálnym aj nelineárnym kernelom (viď nasledujúci obrázok). q Populárna alternatíva nelineárneho kernela je radiálny kernel.

STROJ PODPORNÝCH VEKTOROV (SVM) q SVM na nelineárnych dátach q s polynomiálnym kernelom stupňa 3 v ľavej časti obrázku q s radiálnym kernelom v pravej časti obrázku Stroj

Ďakujem za pozornosť