Konstrukcja klasyfikatorw minimalnoodlegociowych o strukturze sieciowej Szymon Grabowski

Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ promotor: prof. dr hab. inż. Dominik Sankowski Kraków, październik 2003

Klasyfikacja – ustalanie etykiet klas rozpoznawanych obiektów. Cele pracy: • szybkie klasyfikatory (redukcja informacji wejściowej, efektywne struktury danych); • klasyfikatory dokładne; • może pewien korzystny kompromis między szybkością a jakością? Zakres pracy Klasyfikacja nadzorowana – jeśli dany jest zbiór uczący (baza wiedzy). Klasyfikacja nieparametryczna – brak apriorycznego modelu probabilistycznego. Symetryczna funkcja strat – każda pomyłka jednakowo kosztowna. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Klasyfikatory minimalnoodległościowe: reguła k-NN, jej warianty i klasyfikatory pokrewne. Zalety k-NN: • asymptotyczna optymalność; • zazwyczaj dobra jakość w praktyce; Inne typy klasyfikatorów: • sieci neuronowe; • drzewa decyzyjne. • prostota, podatność na modyfikacje. Wady k-NN: • wolna klasyfikacja; • wrażliwość na zbędne cechy; • mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki q regułą 3 -NN Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Główne kierunki modyfikacji reguły k-NN: • modyfikacja metody głosowania, np. ważona k-NN (Dudani, 1976); • modyfikacja etykiet zbioru uczącego, np. rozmyta k-NN z uczeniem (Jóźwik, 1983); • odrzucanie niepewnych predykcji (Tomek, 1976; Jóźwik i in. , 1996); • szybkie szukanie najbliższych sąsiadów (problem postawiony w: Minsky i Papert, 1969); • redukcja zbioru uczącego (Hart, 1968, i ok. 30 dalszych prac); • schematy równoległe (Skalak, 1997; Alpaydin, 1997); • koncepcja symetrycznego sąsiedztwa (Chaudhuri, 1996; Sánchez i in. , 1997). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Tezy rozprawy doktorskiej 1. W niskich wymiarach (d 5) możliwe jest znajdowanie najbliższego sąsiada w deterministycznym subliniowym czasie w metryce miejskiej. 2. Lokalny wybór zredukowanego zbioru odniesienia prowadzi do osiągnięcia wyższej jakości klasyfikacji niż oferowana przez pojedynczy zbiór zredukowany, zwłaszcza przy bardzo wysokich wymaganiach szybkościowych nałożonych na klasyfikację. 3. Możliwe jest stworzenie równoległej sieci klasyfikatorów typu „k sąsiadów”, osiągającej wyższą jakość predykcji niż klasyfikator bazowy przy umiarkowanym spowolnieniu klasyfikacji, umożliwiającej ponadto, w połączeniu z koncepcją tzw. symetrycznego sąsiedztwa, projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Szukanie najbliższego sąsiada (NNS – Nearest Neighbor Search) (Minsky i Papert, 1969) Wejście: zbiór P = {p 1, . . . , pn} (dany „off-line”) w przestrzeni X z funkcją odległości df; próbka testowa q X (prezentowana „on-line”). Zadanie: dokonać takiej wstępnej obróbki zbioru P, aby możliwe było szybkie znajdowanie najbliższego sąsiada q w P. Przegląd zupełny (brute force) wymaga czasu O(nd), d – wymiar przestrzeni X. Fakty: Potrzeby: – niewiele alg. z subliniowym w n czasem szukania w najgorszym przypadku; – w wysokich wymiarach nadal brak dobrych algorytmów! – ograniczenie z góry czasu szukania (możliwe w niskich wymiarach); – prostota! Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Algorytmy NNS z czasem szukania subliniowym w n Dobkin i Lipton (1976), Yao i Yao (1985); Agarwal i Matoušek (1992), Matoušek (1992) Clarkson (1988): wstępna obróbka szukanie NN Meiser (1993): wstępna obróbka szukanie NN Algorytm proponowany: wstępna obróbka szukanie NN k – współczynnik kompromisu Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I metryka miejska (Manhattan): Kluczowa własność metryki miejskiej: dla dowolnych punktów A, B i C Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Przykład dwuwymiarowy Jedna z próbek NN(v 1). . NN(v 4) jest najbliższym sasiadem q. Wierzchołek v 2 jest (przypadkowo) miejscem położenia pewnej próbki (która jest oczywiście NN tego wierzchołka). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Wersja kompromisowa algorytmu Zamiast „pełnego” rozcięcia przestrzeni, przeprowadzamy hiperpłaszczyzny tylko co k-ty punkt z P na każdej współrzędnej (wymaga to policzenia odległości do k– 1 dodatkowych punktów dla każdej współrzędnej). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Wyniki testów Implementacja: C++ (g++ 2. 95. 3) Testy: Celeron 533 MHz 384 MB Linux 2. 4 3 wymiary, 1000 próbek w zbiorze odniesienia Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Wyniki testów, c. d. 5 wymiarów, 1000 próbek w zbiorze odniesienia Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza I Własności proponowanego algorytmu (podsumowanie) Wady: • bardzo wysokie (wykładnicze w d) koszta wstępnej obróbki — praktyczne ograniczenie zastosowań do wymiarów 3– 5; • ograniczenie do szukania tylko jednego najbliższego sąsiada; • ograniczenie do metryki miejskiej. Zalety: • subliniowość w najgorszym przypadku; • elastyczność (parametr kompromisu k); • prostota. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza II 1 -NN — najprostsza i najszybsza wersja reguły k-NN Dalsze przyspieszenie klasyfikacji typu 1 -NN osiągamy przy pomocy redukcji zbioru odniesienia. • • • Najbardziej znane algorytmy redukcji zbioru odniesienia: alg. Harta (1968); alg. Gowda’y–Krishna’y (1979); alg. Gatesa (1972); alg. Changa (1974); alg. Tomeka (1977). Przykładowa redukcja Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza II Cechy algorytmu redukcji Skalaka (1994): • probabilistyczny (w klasie algorytmów typu random mutation hill climbing); • redukcja do zadanej liczby próbek; • nie gwarantuje zgodności zbioru zredukowanego. Procedura Skalak 1(h, m 1): • wylosuj h próbek ze zbioru odniesienia S do zbioru zredukowanego R i estymuj jakość otrzymanego zbioru; • wykonaj w pętli m 1 mutacji; mutacja polega na wylosowaniu jednej próbki z R i jednej z SR; jeśli zamiana tych próbek zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza II Procedura Skalak 2(h, m 1, m 2): • wykonaj Skalak 1(h, m 1); • wykonaj w pętli m 2 mutacji polegających teraz na zmianie losowej współrzędnej (tj. cechy) losowej próbki z R o 0. 5 lub – 0. 5; jeśli mutacja zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Wszystkie opisane algorytmy generują pojedynczy (globalny) zbiór zredukowany. ! Alternatywne podejście w niniejszej pracy: zbiór zredukowany wybierany kontekstowo (lokalnie) dla danej próbki. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza II Łączenie klasyfikatorów (combining classifiers) — przedmiot intensywnych badań od początku lat 90. XX w. Trzy zasadniczo odmienne podejścia: • głosowanie (np. większościowe) zespołu klasyfikatorów (Hansen i Salamon, 1990); wada: czas klasyfikacji proporcjonalny do liczby klasyfikatorów składowych; • lokalny wybór klasyfikatora (Woods i in. , 1997); wada: trudność określenia (szybkiego) kryterium wyboru klasyfikatora; • klasyfikator kaskadowy (Alpaydin i Kaynak, 1998): próbki „łatwe” oceniane są przez szybki klasyfikator, próbki „trudniejsze” przechodzą do następnych etapów (z wolniejszymi, lecz dokładniejszymi klasyfikatorami). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza II Proponujemy dwa schematy lokalnego wyboru zbioru zredukowanego dla reguły 1 -NN: a) schemat z partycjonowaniem przestrzeni płaszczyznami; b) schemat z klasteryzacją zbioru odniesienia. Podział zbioru na: (a) regiony przy pomocy płaszczyzn; (b) klastry, np. metodą k średnich Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Procedura uczenia w schemacie klasteryzacja+Skalak(L, k): Teza II • podziel zbiór odniesienia na k skupisk (klastrów) przy pomocy metody k średnich (k-means); • wygeneruj „globalnie” L zbiorów zredukowanych (procedura Skalak 1 lub Skalak 2); • dla każdego klastra estymuj jakość klasyfikacji regułą 1 -NN przy użyciu poszczególnych zb. zredukowanych. Skojarz z każdym klastrem najlepszy dla niego klasyfikator (tj. zbiór zredukowany). Procedura klasyfikacji próbki x: • policz odległości od x do środków ciężkości wszystkich klastrów i wybierz klaster najbliższy zgodnie z tym kryterium; • przypisz x do klasy zwracanej przez klasyfikator skojarzony z najbliższym klastrem. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza II Wyniki testów Zbiór danych: rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) Zbiory uczące po 1400 próbek, metryka miejska. Klasyfikator 1 -NN 1 – brak redukcji; 2 – Hart; 3 – Gowda-Krishna; 4 – Skalak 1; 5 – Skalak 2; 6 – klasteryzacja + Skalak 2. % Wielkość zbioru zredukowanego Błąd klasyfikacji Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Koncepcja symetrycznego sąsiedztwa: • bliskość sąsiadów; • układ geometryczny sąsiadów w przestrzeni („wokół” próbki testowej). Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in. , 1997. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-NCN) — Sánchez i in. , 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Proponujemy stochastyczną regułę k Near Surrounding Neighbors (k-NSN), która optymalizuje oba kryteria używane przez k-NCN. Algorytm k-NSN(q, k): • znajdź k scentrowanych sąsiadów (NCN) ni, i=1. . k, próbki q; • w pętli próbuj zastępować losowego sąsiada ni losową próbką s ze zbioru odniesienia, o ile jest ona położona bliżej próbki q niż ni i jeśli środek ciężkości nowego układu sąsiadów leży bliżej q niż przed zamianą. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Wyniki testów zbiory danych: • rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) 5903 próbki, 30 cech, 8 klas; 10 losowych partycji na zb. uczący (1400 próbek) i testowy (4503 próbki); • pięć zbiorów danych z University of California, Irvine (UCI) (Bupa, Glass, Iris, Pima, Wine); 5 -krotna walidacja skrośna Wszystkie dane postandaryzowane, metryka miejska. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Zbiór Iris w rzucie dwuwymiarowym (cechy 3 i 4) Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Wyniki testów, c. d. Błędy [%] na zbiorze Ferrites Błędy [%] na zbiorach UCI Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III To, iż słyszeliście jakąś rzecz nie powinno być jeszcze prawidłem waszego wierzenia; tak dalece, iż nie powinniście w nic uwierzyć nie wprawiwszy się wprzód w taki stan, jak gdybyście nigdy tego nie usłyszeli. / Pascal / Argumentowano w szeroko cytowanej pracy (Breiman, 1996), iż klasyfikatorów minimalnoodległościowych (NN) nie można pomyślnie wykorzystać w schematach sieciowych z uwagi na ich stabilność. Doprawdy. . ? Klasyfikator voting k-NN Oryginalna reguła k-NN korzysta z jednej wartości k wybieranej zwykle przy pomocy metody minus jednego elementu. Wady: estymowana optymalna wartość parametru k nie musi gwarantować najlepszej jakości w zadaniu; mała przestrzeń możliwych modeli. Proponowany klasyfikator zwiększa przestrzeń rozpatrywanych modeli i wygładza granice decyzyjne. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Klasyfikator voting k-NN, c. d. Głosowanie 3 klasyfikatorów typu k-NN Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-NCN i k-NSN. W przeciwieństwie do większości klasyfikatorów równoległych, strata prędkości klasyfikacji w stosunku do „pojedynczego” klasyfikatora jest umiarkowana (w przypadku voting k-NN zaniedbywalna). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Proponowana rodzina klasyfikatorów kaskadowych Cel: Dobry kompromis między jakością a czasem klasyfikacji. Idea: Dwie fazy klasyfikacji. W pierwszej fazie klasyfikator szybszy, oparty na głosowaniu (równoległy); jako kryterium wskazujące „łatwą” próbkę przyjęto jednogłośną decyzję zespołu komponentów z pierwszej fazy. W drugiej fazie wolny, lecz dokładny klasyfikator (np. k-NCN, k-NSN lub ich wersje voting). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Teza III Sumy rang klasyfikatorów na pięciu zbiorach UCI Mniejsze wartości są korzystniejsze. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Podsumowanie i wnioski 1. W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki. 2. Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne). 3. „Symetryczne sąsiedztwo” to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN. 4. Możliwa jest wersja reguły k-NN z wieloma wartościami k (wyższa jakość klasyfikacji za cenę minimalnego spowolnienia). 5. Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Plany na przyszłość (m. in. ): • eksperymenty z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego); • rozważenie zmiany strategii uczenia w algorytmie Skalaka; • pomiar jakości poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelacji między nimi; • poszerzenie zaproponowanej rodziny klasyfikatorów kaskadowych (np. wprowadzenie algorytmów trójetapowych). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Literatura Sz. Grabowski, Fast deterministic exact nearest neighbor search in the Manhattan metric, II Konferencja „Komputerowe Systemy Rozpoznawania” (KOSYR 2001), Miłków k/Karpacza, maj 2001, str. 375– 379. Sz. Grabowski, Experiments with the k-NCN decision rule, IX Konferencja „Sieci i Systemy Informatyczne”, Łódź, październik 2001, str. 307– 317. Sz. Grabowski, Voting over multiple k-NN classifiers, International IEEE Conference TCSET’ 2002, Lviv-Slavske, Ukraina, luty 2002, str. 223– 225. Sz. Grabowski, Lokalny wybór zredukowanego zbioru odniesienia, Seminarium nt. „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania”, Słok k/Bełchatowa, czerwiec 2002, mat. sem. , str. 142– 147. Sz. Grabowski, M. Baranowski, Implementacja algorytmu szybkiego deterministycznego szukania najbliższego sąsiada w metryce miejskiej, X Konferencja „Sieci i Systemy Informatyczne”, Łódź, październik 2002, str. 499– 514. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Literatura, c. d. Sz. Grabowski, A family of cascade NN-like classifiers, 7 th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 503– 506. Sz. Grabowski, A. Jóźwik, Sample set reduction for nearest neighbor classifiers under different speed requirements, 7 th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 465– 468. Sz. Grabowski, B. Sokołowska, Voting over multiple k-NN and k-NCN classifiers for detection of respiration pathology, III Konferencja „Komputerowe Systemy Rozpoznawania” (KOSYR 2003), Miłków k/Karpacza, maj 2003, str. 363– 368. Sz. Grabowski, Towards decision rule based on closer symmetric neighborhood, Biocybernetics and Biomedical Engineering, Vol. 23, No. 3, lipiec 2003, str. 39– 46. Sz. Grabowski, A. Jóźwik, C. -H. Chen, Nearest neighbor decision rule for pixel classification in remote sensing, rozdział monografii „Frontiers of Remote Sensing Info Processing”, ed. S. Patt, World Scientific Publishing Co. Pte. Ltd. , Singapur, lipiec 2003. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Część prac wykonywanych było w ramach grantu NATO dotyczącego analizy zdjęć lotniczych (remote sensing). Kierownik: prof. C. -H. Chen z N. Dartmouth Coll. , MA, USA, współwykonawcy: dr A. Jóźwik, Sz. Grabowski. Fairhaven, czerwiec 2001 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej