SVM cz 2 Rozpoznawanie Twarzy i Systemy Biometryczne
SVM cz. 2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu Przypomnienie i demonstracja Klasyfikacja wieloklasowa Zastosowania w rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM jako klasyfikator Cel: możliwość przyporządkowania elementu do jednej z klas Dwa etapy: n n nauka klasyfikacja próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM – charakterystyka Rozwiązywanie problemów separowalnych liniowo Zwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny n maksymalizacja marginesu rozdzielającego próbki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dodanie wymiarów Funkcja: Konieczna zamiana x (x) Wykorzystywany iloczyn skalarny Iloczyn skalarny = jądro przekształcenia Zbędna znajomość funkcji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jądra przekształceń Liniowe Wielomianowe RBF (radial basis functions) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Hiperpłaszczyzna Optymalna hiperpłaszczyzna: n w 0 • x + b 0 = 0 dla przykładu 2 D jest to prosta Optymalna szerokość marginesu: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wektory wspierające Margines: Optymalna hiperpłaszczyzna: n n yi – identyfikator klasy i – mnożniki Lagrange’a Problem: znaleźć i Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Rezultat optymalizacji Współczynniki : n n niezerowe dla wektorów wspierających równe zeru dla reszty wektorów Próbka treningowa po nauce: n n n wektory wspierające współczynniki dla każdego wektora liczba wektorów zdecydowanie mniejsza Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Nauka 1. . . n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Klasyfikacja SVM Obliczenie y dla dowolnego wektora: xr, xs – wektory wspierające z obydwu klas Wybór klasy i moc przynależności Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Miękki margines Nauka z błędem: Minimalizacja liczby błędów Modyfikacja optymalizowanej funkcji Parametr C: 1/C – tolerancja błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Bez miękkiego marginesu Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Z miękkim marginesem Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Prezentacja. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Klasyfikacja wieloklasowa Przedstawienie problemu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Klasyfikacja wieloklasowa Punkt wyjścia – klasyfikacja dwuklasowa Próbka treningowa – N klas Możliwe podejścia: n n n wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Metoda klasy bazowej Jedna z klas traktowana jako klasa bazowa Klasyfikacja każdej z klas z wybraną klasą bazową Wygrywa najmocniejsza odpowiedź Klasyfikacja wieloklasowa: n N – 1 klasyfikacji dwuklasowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Cechy metody Zalety: n n duża szybkość skuteczna dla łatwo separowalnych klas niebazowych Wady: n słabe możliwości separowania klas niebazowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie 1 – N Każda klasa porównywana z resztą Decyduje najsilniejsza odpowiedź Porównanie z metodą klasy bazowej: n n Bardziej uniwersalne podejście Porównywalna szybkość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie 1 – 1 Każda klasa porównywana z każdą Największa dokładność N(N – 1)/2 klasyfikacji dwuklasowych Niektóre porównania są nadmiarowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Zastosowania SVM Detekcja i weryfikacja Porównywanie wektorów cech Łączenie wyników Inne zastosowania związane z klasyfikacją wektorów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Detekcja twarzy Wykrywanie elips n n uogólniona Transformata Hougha zbiór kandydatów na twarze Wstępna normalizacja kandydatów Weryfikacja n n porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie wektorów Cel: określenie podobieństwa wektorów cech Odległość dwóch wektorów: Euklidesowa Mahalanobisa K 11 K 21 SVM określa podobieństwo: K 12 K 22 dwóch wektorów wektora będącego różnicą porównywanych wektorów . . . K 1 n K 2 n n n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
K 11 K 12. . . K 1 n K 21 K 22 SVM Ta sama klasa Różne klasy . . . K 2 n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
K 11 - K 21 K 12 - K 22. . . K 1 n - K 2 n SVM Ta sama klasa Różne klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Łączenie metod Wiele metod ekstrakcji cech K 1 K 2. . . Kn Dwa obrazy K 1 K 2. . . Kn Wektory cech S 1 S 2. . . Sn S Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM i łączenie metod Klasyfikacja wektora podobieństw n n n jądro liniowe jądro wielomianowe długi czas wykonania Wykorzystanie treningu z jądrem liniowym n n wagi dla poszczególnych elementów obliczanie średniej ważonej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inne zastosowania SVM Detekcja kąta obrotu głowy Wyznaczanie kierunku padania światła Określanie pewności rozpoznania n klasyfikacja wektora posortowanych podobieństw do elementów bazy Ocena jakości obrazu twarzy n zastosowanie przy sekwencjach video Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wyniki Znaczna poprawa dla metody opartej o Gabor Wavelets Brak zadowalających rezultatów dla Eigenfaces n prawdopodobna przyczyna: niereprezentatywna próbka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ograniczenia SVM Stała, stosunkowo mała liczba klas Zbiór treningowy: n n potrzebna duża ilość danych próbki muszą być reprezentatywne! Ciężko dobrać optymalne parametry Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM i sieci neuronowe SVM: n n bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje ANN przydatny do przetwarzania obrazów ANN: n n więcej zastosowań możliwa realizacja sprzętowa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie Klasyfikacja wieloklasowa: n n kilka możliwości różna złożoność czasowa SVM – bardzo uniwersalny mechanizm Szerokie zastosowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
- Slides: 40