Tytu PIOTR PORWIK Uniwersytet lski Instytut INFORMATYKI Wydzia

Tytuł…. PIOTR PORWIK Uniwersytet Śląski Instytut INFORMATYKI Wydział Informatyki i Nauki o Materiałach Klasyfikatory zespołowe z wyborem kompetencji w rozpoznawaniu obiektów Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 1

AGENDA Tytuł…. • Problemy klasyfikacji danych. • Uczenie klasyfikatora. • Klasyfikacja (jedno i wieloklasowa). • Typy klasyfikatorów (pojedyncze i zespołowe). • Kompetencje klasyfikatorów. • Przykład porównawczy. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 2

Instytut Informatyki http: //ii. us. edu. pl Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 3

Jak wybrać klasyfikator w uczeniu Tytuł…. maszyn? • Jak duży jest zbiór danych treningowych? • Jak trenować wybrany klasyfikator? • Zalety algorytmów dedykowanych. • Jaki algorytm uczenia maszynowego powinien zostać wybrany dla określonego problemu klasyfikacji? • NIE MA UNIWERSALNYCH KLASYFIKATORÓW! Model klasyfikatora musi by indywidualnie dobrany w zależności od problemu klasyfikacji. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 4

Najprostsze zadanie klasyfikacji Tytuł…. CEL: Znaleźć regułę klasyfikacji przez określenie do jakiej klasy przypisać obiekt o zarejestrowanej cesze Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 5

Przykład bardziej skomplikowany Tytuł…. Separacja liniowa obiektów nie jest możliwa Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 6

Problem danych wejściowych Tytuł…. • Dane są przeważnie niekompletne (np. zbiory danych medycznych). • Dane mogą być niezrównoważone (więcej pacjentów z lżejszym przebiegiem choroby niż przypadków terminalnych). • Dane mogą się nakładać (overlap data) • Pułapki statystyczne. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 7

Brakujące dane Tytuł…. • Brakujące dane zmniejszają jakość klasyfikacji. • Komplikacje w analizie danych. • Różnice klasyfikacji dla zbiorów kompletnych i zdegradowanych. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 8

Dane niezrównoważone Tytuł…. Dla takich danych (rysunek) klasyfikator będzie zawsze promował klasę większościową Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 9

Tytuł…. Nakładające się dane (Overlapping data) Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 10

Płapki statystyczne (Francis Anscomb’s*) quartet) Różne prezentacje graficzne Tytuł…. ale te same parametry statystyczne zmiennej x • Średnia =9 • Wariancja=11 zmiennej y • Średna=7. 50 • Wariancja=4, 125 • Równanie regresji linowej y=3+0. 5 x *) Anscombe, F. J. (1973). "Graphs in Statistical Analysis". American Statistician. 27 (1): 17– 21. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 11

Klasyfikacja jednoklasowa (1) Tytuł…. • Znamy tylko obiekty jednej klasy. • Nie znamy kontrprzykładów • Wszystkie obiekty z poza klasy są odrzucane. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 12

Jednoklasowa klasyfikacja (2) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 13

Klasyfikacja dwuklasowa (binarna) Tytuł…. • Znamy kontrprzykłady One-vs-rest: {a} vs {not a} {b} vs {not b} Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 14

Klasyfikacja wieloklasowa Tytuł…. • Ta technika może być zredukowana do klasyfikacji binarnej: The one-vs. -rest (Ov. R) different names of the same technique The one-vs-all ( Ov. A) The one-against-all (OAA) • Wiele algorytmów tego typu było rozwijanych na bazie sieci neuronowych, drzew decyzyjnych, klasyfikatorów k. NN, naiwnego klasyfikatora Bayesa, maszyn wektorów nośnych. Te techniki należą do algorytmów adaptacyjnych. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 15

Zespoły klasyfikatorów Tytuł…. • • Zespół składa się z pojedynczych heterogenicznych lub homogenicznych klasyfikatorów. Zalety: – Można użyć różnych podzbiorów treningowych dla różnych klasyfikatorów pojedynczych. – Można użyć różnych metod uczenia klasyfikatora Głosowanie na podstawie funkcji wsparcia pojedynczych klasyfikatorów Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 16

Zespół klasyfikatorów (2) Tytuł…. Reguła decyzyjna: M klasyfikatorów i ich funkcji wsparcia Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 17

Zespół klasyfikatorów (3) Tytuł…. Zalety: • Każdy indywidualny klasyfikator w zespole jest uczony indywidualne na podstawie różnych przykładów. • Każdy klasyfikator w zespole może być uczony na podstawie różnych podzbiorów cech rozpoznawanego obiektu. • W zespole klasyfikatorów mogą kooperować takie same lub róże klasyfikatory bazowe. • Nie ma ograniczeń co do liczby klasyfikatorów w zespole, chociaż za duża ich liczba może zmniejszyć kompetencję klasyfikatorów składowych. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 18

Jakość klasyfikacji Określenie Tytuł…. jakości klasyfikatora ze zbiorem treningowym jest możliwa do określenia wyłącznie na podstawie eksperymentów. gdzie: - Zbiór treningowy - Zbiór testowy, oraz Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 19

Testowanie jakości klasyfikatora Tytuł…. • re-substitution method, The two sets: • holdout method, • Training dataset • leave-one-out-method, • cross-validation method, • rotation method, • bootstrap method, • smoothing method, • Validation dataset Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 20

Jak dobierać klasyfikatory w zespole (komitecie)? (1) Tytuł…. Komitet klasyfikatorów osiąga wysoki współczynnik rozpoznawania obiektów, kiedy każdy z klasyfikatorów składowych popełnia mało błędów , a każdy z niech ma róże zakresy kompetencji Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 21

Jak dobierać klasyfikatory w zespole (komitecie)? (2) Tytuł…. Jeśli klasyfikatory składowe popełniają mało błędów, ale nie są zróżnicowane – nic nie wnoszą do komitetu. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 22

Jak dobierać klasyfikatory w zespole (komitecie)? (3) Tytuł…. Jeśli klasyfikatory składowe są różne ale mają słabe kompetencje obniżają jakośś klasyfikacji zespołu Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 23

Przykłady z biometrii i medycyny Tytuł…. • • • Dynamiczna weryfikacja podpisów 1, 2) Rozpoznawanie osób na podstawie analizy tywarzy 3) System medyczny – stopnie włóknienia wątroby 4) 1) Porwik P. , Doroz R. , Orczyk T. The k-NN classifier and self-adaptive Hotelling data reduction technique in handwritten signatures recognition. Pattern Analysis and Applications. Volume 18(4), 2015, pp. 983 -1001. 2) Doroz R. , Porwik P. , Orczyk T. Dynamic signature verification method based on association of features with similarity measures. Neurocomputing. Vol. 171, pp. 921 -931, 2016 3) Wrobel K. , Doroz R. , Porwik P. , Naruniec J. , Kowalski M. , Using a Probabilistic Neural Network for lipbased biometric verification. Engineering Applications of Artificial Intelligence. Vol. 64, pp. 112 -127, 2017. 4) Porwik P. , Orczyk T. , Lewandowski M. , Cholewa M. , Feature projection k-NN classifier model for imbalanced and incomplete medical data. Biocybernetics and Biomedical Engineering. Vol. 36(4), pp. 644656, 2016 Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 24

Wykorzystanie kompetencji klasyfikatorów Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 25

Wykorzystanie kompetencji klasyfikatorów Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 26

Wykorzystanie kompetencji klasyfikatorów. Przykład Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 27

Tytuł…. Dziękuję ! Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 28

Signature recognition Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 29

Signature recognition Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 30

Signature recognition Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 31

Hotelling’s data reduction Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 32

Results (1) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 33

Results (2) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 34

Lip-based recognition (1) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 35

Lip-based recognition (2) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 36

Lip-based recognition (3) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 37

Lip-based recognition (4) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 38

Results Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 39

Recognition of liver disease stages (1) Tytuł…. Medical data are mostly complicated and noised: • are incomplete, • are imbalanced, • measurements are often not normalized/ in different scales because of different techniques and standards of data analysis in medical laboratories. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 40

Measured medical patient’s parameters Recognition of liver disease stages (2) Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 41

Liver data classification Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 42

Data visualization Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 43

Liver fibrosis recognition. Results Tytuł…. Letnia Szkoła IM. Brenna 26 -28 wrzesień 2018 44