Ulepszenia metody Eigenfaces Rozpoznawanie Twarzy i Systemy Biometryczne
Ulepszenia metody Eigenfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu Eigenfaces – główne wady Wykorzystanie topografii twarzy Linear Discriminant Analysis n Fisherfaces Bayesian Matching Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Główne wady Eigenfaces Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi n n „Większość różnic pomiędzy obrazami twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y. Moses, 1994) różnice mimiki Twarz traktowana jako wektor n utrata informacji 2 D Podejście holistyczne n twarz jako niepodzielna całość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Topografia twarzy Cechy intra- i ekstra-personalne n n oczy i nos usta i policzki Charakter cech, a ich lokalizacja Maska – modyfikacja ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska „T” Sztuczna maska na nos i oczy Wartości 0 i 1 Poprawa wyników: n n Feret. A: 813 -> 834 (3, 6%) wyniki dla „czystego” EF Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska różnicowa Zbiory par obrazów: n n intra-personalne extra-personalne Uśrednienie różnic obydwu klas par: n n średnia różnica intra-personalna średnia różnica extra-personalna Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska dynamiczna Tworzona osobno dla każdego obrazu Wykorzystanie projekcji wstecznej: n n projekcja pojedynczych pikseli wartość maski odwrotnie proporcjonalna do błędu projekcji Zmniejszenie wpływu obszarów zasłoniętych Można stosować dla grup pikseli Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykłady. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wagi wektorów własnych Nie zawsze związana z lokalizacją n np. oświetlenie „Rzut oka” na twarze własne n niosą różne rodzaje informacji (kierunki) Wektor własny, element wektora cech, funkcja porównująca Modyfikacja: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem rozpoznawania Definicja problemu rozpoznawania: n n n C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów Punkt wyjścia – porównanie dwóch wektorów cech Klasa własna i obca Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 1 Błąd pojedynczego porównania: n n uij – rozpoznawany wektor ui 1 – wektor bazowy klasy własnej uk 1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L 2) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 2 Błąd rozpoznania pojedynczego wektora: Błąd dla całej próbki: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Funkcja błędu Błąd jest funkcją maski i wag n funkcja wymierna Minimalizacja funkcji n znalezienie optymalnej maski i wag Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem dostosowania Silne dostosowanie do próbki n n znaczne polepszenie dla zbioru treningowego pogorszenie dla reszty Rozwiązanie: n optymalizacja częściowa Dostosowanie do osób, nie obrazów n możliwe usprawnienie klasyfikacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA Detekcja cech charakterystycznych n oczy, usta, nos Rozpoznawanie po cechach n n n fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes, eigennoses, itp. ) Przestrzenie posiadają mniej wymiarów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA K 1 K 2 K 3 K 4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tworzenie przestrzeni PCA wyznacza główne kierunki różnic Brak wykorzystania informacji o przynależności do klasy Rozwiązanie problemu: n n Linear Discriminant Analysis (LDA) Fisherfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
PCA – przykład działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
PCA – przykład działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład nie działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tak by było lepiej. . . Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jak działa LDA? PCA: n próbka treningowa macierz kowariancji LDA: n sklasyfikowana próbka treningowa dwie macierze kowariancji w wewnątrz-klasowa w między-klasowa Znalezienie bazy ortogonalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Macierze kowariancji Międzyklasowa n n n CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Macierze kowariancji Wewnątrzklasowa n n n CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jak to policzyć? PCA: n - macierz złożona z wektorów własnych LDA: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Fisherfaces LDA – skomplikowane obliczenia na dużych macierzach Fisherfaces: n n PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cech Fisherfaces Policzyć wektor cech za pomocą PCA n n na wejściu znormalizowany obraz redukcja liczby wymiarów Policzyć wektor cech za pomocą LDA n na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Bayesian Matching Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy n n I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Prawdopodobieństwo P( | ) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic n jest funkcją błędu projekcji PCA – ( ) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Projekcja wsteczna (przypomnienie) Wektor cech -> obraz twarzy Różnica między obrazem wejściowym a odtworzonym (błąd projekcji) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przestrzenie różnic Dwie klasy par obrazów n intra- i ekstra-personalne Obrazy będące różnicami między obrazami n dwie klasy różnic Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Kwintesencja BM Rozpoznawana różnica dwóch obrazów n Dual Eigenfaces Odległość różnicy od dwóch przestrzeni Metoda dość wolna n n różnica obrazów dla każdego porównania można zastosować inną metodę do wstępnej selekcji (wybrania n najlepszych) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inne metody Local Feature Analysis 2 D PCA, 2 D LDA Independent Component Analysis Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie Istnieje wiele metod bazujących na Eigenfaces Ulepszanie: n n n topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę! Za tydzień – metoda EBGM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
- Slides: 36