Rozpoznvanie obrazcov k r 2019 20 Linerny klasifiktor

Rozpoznávanie obrazcov šk. r. 2019 -20 Lineárny klasifikátor a SVM Doc. RNDr. Milan Ftáčnik, CSc.

Rozpoznávanie obrazcov 2019 -20 2

Klasifikácia �Rozpoznávanie obrazcov skúma metódy, ako rozhodnúť o priradení neznámeho objektu do triedy objektov – ten proces sa volá klasifikácia a zariadenie, ktoré ho robí sa volá klasifikátor �Príznakové metódy – rozhodnutie sa robí na základe obrazca (príznakového vektora) popisujúceho objekt (najčastejšie v obraze) �Iné metódy – priamo z obrazu objektu Rozpoznávanie obrazcov 2019 -20 3

Klasifikácia II �Príznakové metódy �Diskriminačná analýza �Štatistické metódy �Vzdialenosti medzi príznakmi �Pravidlá (aj nemetrické príznaky) �Biologicky inšpirované metódy �Iné metódy – konvolučné neurónové siete Rozpoznávanie obrazcov 2019 -20 4

Klasifikácia III �Klasifikátor nastavujeme (trénujeme) pomocou trénovacej množiny – nastavujú sa vnútorné parametre klasifikátora �Tento proces sa nazýva učenie a jeho cieľom je čo najmenšia chyba na trénovacej množine �Klasifikátor môže mať aj hyperparametre, ktoré nastavuje pred učením používateľ a tie sa testujú na validačnej množine Rozpoznávanie obrazcov 2019 -20 5

Klasifikácia IV �Validačná množina je časť trénovacej množiny, obyčajne v pomere trénovacia: validačná 80: 20 �Kvalita klasifikátora sa testuje na testovacej množine, v ktorej sú obrazce, ktoré klasifikátor nemal k dispozícii �Chyba dosiahnutá na testovacej množine, sa nazýva generalizačná chyba a cieľom je, aby bola čo najmenšia Rozpoznávanie obrazcov 2019 -20 6

Riadené a neriadené metódy �Riadené metódy (učenie s učiteľom) – majú informáciu o tom, do ktorej triedy patrí každý príznakový vektor z trénovacej množiny �Jedna premenná, ktorá sa nazýva cieľová (klasifikačná trieda), riadi proces učenia tak, aby ostatné premenné (prediktory) čo najlepšie predpovedali (na trénovacej množine známu) hodnotu cieľovej premennej Rozpoznávanie obrazcov 2019 -20 7

Riadené a neriadené metódy II �Neriadené metódy (učenie bez učiteľa) – informáciu o zaradení do tried nemajú �Snažia sa: �zhlukovať dáta do skupín podobných vzoriek �určiť odhad hustoty pravdepodobnosti dát �naučiť sa vytvárať vzorky z rozdelenia �nájsť krivku, ku ktorej sú dáta blízko Rozpoznávanie obrazcov 2019 -20 8

Riadené metódy klasifikácie � Rozpoznávanie obrazcov 2019 -20 9

Diskriminačná analýza � Rozpoznávanie obrazcov 2019 -20 10

Diskriminačná analýza II � Rozpoznávanie obrazcov 2019 -20 11

Diskriminačná analýza III � Rozpoznávanie obrazcov 2019 -20 12

Klasifikácia do dvoch tried � Rozpoznávanie obrazcov 2019 -20 13

Klasifikácia do dvoch tried II � Rozpoznávanie obrazcov 2019 -20 14

Klasifikácia do dvoch tried III Rozpoznávanie obrazcov 2019 -20 15

Klasifikácia do dvoch tried IV � Rozpoznávanie obrazcov 2019 -20 16

Klasifikácia do dvoch tried V � Rozpoznávanie obrazcov 2019 -20 17

Zovšeobecnený lineárny klasifikátor � Rozpoznávanie obrazcov 2019 -20 18

Zovšeobecnený lineárny klasifikátor II � Rozpoznávanie obrazcov 2019 -20 19

Zovšeobecnený lineárny klasifikátor III � Rozpoznávanie obrazcov 2019 -20 20

Zovšeobecnený lineárny klasifikátor IV � Rozpoznávanie obrazcov 2019 -20 21

Gradientná metóda � Rozpoznávanie obrazcov 2019 -20 22

Gradientná metóda II � Rozpoznávanie obrazcov 2019 -20 23

Gradientná metóda III � Rozpoznávanie obrazcov 2019 -20 24

Newtonova metóda � Rozpoznávanie obrazcov 2019 -20 25

Perceptrónová kriteriálna funkcia �Využíva iba nesprávne klasifikované vzorky �Účelová funkcia je po častiach lineárna perceptrónová funkcia kde Z je množina nesprávne klasifikovaných vzoriek. Potom a Rozpoznávanie obrazcov 2019 -20 26

Perceptrónová funkcia II � Rozpoznávanie obrazcov 2019 -20 27

Perceptrónová funkcia III �Tento prístup sa volá dávkový, pretože vyhodnocuje všetky zle klasifikované vzorky naraz �Postup pri vyhodnocovaní vzoriek po jednej Rozpoznávanie obrazcov 2019 -20 28

Ukážka postupu algoritmu Rozpoznávanie obrazcov 2019 -20 29

Ukážka postupu algoritmu II Rozpoznávanie obrazcov 2019 -20 30

Ukážka postupu algoritmu III Rozpoznávanie obrazcov 2019 -20 31

Kvadratická účelová funkcia � Rozpoznávanie obrazcov 2019 -20 32

Normalizačný člen �Pridáme člen určujúci okraj v oblasti riešení Rozpoznávanie obrazcov 2019 -20 33

Úprava algoritmu �Po doplnení normalizačného člena Rozpoznávanie obrazcov 2019 -20 34

Klasifikácia do R-tried � 1. Pre každú klasifikačnú triedu môžeme vytvoriť rozhodovaciu funkciu, ktorá oddelí vzorky tejto triedy od vzoriek ostatných tried. �Takto budeme mať R rozhodovacích funkcií �Niektoré oblasti môžu byť neurčené Rozpoznávanie obrazcov 2019 -20 35

Klasifikácia do R-tried II � 2. Pre každú dvojicu rôznych klasifikačných tried vytvoríme rozhodovaciu funkciu oddeľujúcu vzorky týchto dvoch tried bez ohľadu na vzorky ostatných tried. �Dostaneme R(R − 1)/2 rozhodovacích funkcií �Aj tu môžu byť neurčené oblasti Rozpoznávanie obrazcov 2019 -20 36

Lineárny stroj � Rozpoznávanie obrazcov 2019 -20 37

Lineárny stroj II Rozpoznávanie obrazcov 2019 -20 38

Lineárny stroj III � Rozpoznávanie obrazcov 2019 -20 39

Lineárny stroj IV �Takže pre lineárny stroj to nie sú váhové vektory, ktoré sú dôležité, ale ich rozdiely �Celkove je R(R − 1)/2 dvojíc oblastí, ktoré zodpovedajú triedam, ale nie všetky musia byť susedné �Potom celkový počet segmentov nadrovín, ktoré vystupujú v rozhodovacích plochách, môže byť nižší Rozpoznávanie obrazcov 2019 -20 40

Support vector machines (SVM) � Rozpoznávanie obrazcov 2019 -20 41

SVM II �Mechanizmus podporných vektorov (SVM) sa snaží nájsť nadrovinu, čo najviac vzdialenú od trénovacích vzoriek dvoch tried �Podpornými vektormi sú potom tie vzorky každej triedy, ktoré sú najbližšie k oddeľujúcej nadrovine. �Vzdialenosť medzi podpornými vektormi rôznych tried sa nazýva rozpätie (margin) Rozpoznávanie obrazcov 2019 -20 42

SVM III � Rozpoznávanie obrazcov 2019 -20 43

SVM IV �Hľadáme maximum �A súčasne minimum �Ako na to použiť Lagrangeovu funkciu? Rozpoznávanie obrazcov 2019 -20 44

SVM V �Pomôže trik, aby podmienka bola iba jedna �Spojíme podmienky kde �Lagrangián: Rozpoznávanie obrazcov 2019 -20 45

Kuhn-Tuckerove podmienky Rozpoznávanie obrazcov 2019 -20 46

Kuhn-Tuckerove podmienky II � Rozpoznávanie obrazcov 2019 -20 47

Duálny problém � Rozpoznávanie obrazcov 2019 -20 48

Toto je výsledok Rozpoznávanie obrazcov 2019 -20 49

Neseparovateľné dáta �Dáta separovateľné, ale s malou nenulovou chybou �Dáta neseparovateľné ani pri nenulovej tolerancii Rozpoznávanie obrazcov 2019 -20 50

SVM s voľným rozpätím � Rozpoznávanie obrazcov 2019 -20 51

SVM s voľným rozpätím II �Duálna úloha sa nemení, mení sa podmienka �Lagrange: �Duál: Rozpoznávanie obrazcov 2019 -20 52

SVM s voľným rozpätím III �Vhodnú hodnotu C nájdeme vzájomnou validáciou Rozpoznávanie obrazcov 2019 -20 53

Nelineárny SVM �Pre lineárne neseparovateľné nájdeme zobrazenie do iného priestoru, kde to ide lineárne Rozpoznávanie obrazcov 2019 -20 54

Nelineárny SVM II Rozpoznávanie obrazcov 2019 -20 55

Nelineárny SVM III � Rozpoznávanie obrazcov 2019 -20 56

Kernelový trik � Rozpoznávanie obrazcov 2019 -20 57

Kernelový trik II Rozpoznávanie obrazcov 2019 -20 58

Kernelový trik III �Pre prípad a zobrazenie je kernelová funkcia Rozpoznávanie obrazcov 2019 -20 59

Kernelový trik - príklad Rozpoznávanie obrazcov 2019 -20 60

Ako nájdeme jadro � Rozpoznávanie obrazcov 2019 -20 61

Príklady jadier �Polynomiálne jadrá �Gaussovské jadrá Rozpoznávanie obrazcov 2019 -20 62

Príklad �Majme triedy Rozpoznávanie obrazcov 2019 -20 63

Príklad - pokračovanie Rozpoznávanie obrazcov 2019 -20 64

SVM aplikácie �Kategorizácia textu a hypertextu �Klasifikácia obrazov �Bioinformatika (klasifikácia proteínov, detekcia nádorov) �Rozpoznávanie písaného textu �. . . Rozpoznávanie obrazcov 2019 -20 65

Motivačné dáta pre kernel SVM Rozpoznávanie obrazcov 2019 -20 66