Uczenie konkurencyjne Wykad 6 Wodzisaw Duch Uniwersytet Mikoaja

Uczenie konkurencyjne. Wykład 6 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

Co było • Mapy w mózgu • Samoorganizacja • Sieci SOM Kohonena

Co będzie • • Mapy ekwiprobabilistyczne Zwycięzca bierze wszystko Gaz neuronowy Demonstracje w Javie

Mapy ekwiprobabilistyczne Dla 1 wymiaru można pokazać, że uporządkowanie jest prawidłowe, ale p(Wi) p(X)2/3 w granicy ciągłego rozkładu. Stosowanie lokalnych funkcji błędu prowadzi do p(Wi) p(X)1/3 SOM przecenia rejony mało prawdopodobnych danych i niedocenia rejony o dużym prawdopodobieństwie. Powstają neurony bezużyteczne; jak wykorzystać całą sieć? Conscience Learning (De. Sieno 1988; Hecht-Nielsen 1988). fi - częstość wygrywania neuronu i, C - stała. Zasada jednakowego zniekształcenia: każdy neuron powinien mieć podobny wkład do końcowego błędu kwantyzacji (klasyfikacji).

Maksymalizacja entropii Kwantyzator maksymalizujący entropię (MEQ): w każdym przedziale takie samo prawdopodobieństwo. Można to osiągnąć maksymalizując entropię: Jak znaleźć optymalne przedziały by osiągnąć ekwiprobabilistyczny podział?

BAR Reguła Adaptacji Granic, Boundry Adaptation Rule. Jeśli P(Hi) jest za duże (zbyt często pojawiają się wektory z tego przedziału) to wielkość przedziału należy zmniejszyć. Przedział w 1 D określony jest przez wagi. Jeśli dane są z przedziału Hi to Wi przesuwamy w lewo (zmniejszamy przedział Hi), jeśli z Hi+1 to w prawo (zmniejszamy przedział Hi+1). Zmiany ustają gdy mamy ekwiprobabilistyczny podział:

Konstruktywny SOM Growing Cell Structures (Fritzke 1993). Początkowa topologia: k-wymiarowy sympleks (k=1, 2, 3). Dodaje się nowe neurony i usuwa stare. Algorytm SOM, ale bez zmniejszania sąsiedztwa i adaptacji dokonuje się tylko dla zwycięzcy i bezpośrednich sąsiadów. 1. 2. 3. 4. 5. 6. Znajdź neuron-zwycięzcę c. Popraw jego wagi: DWc=hs(X-Ws). Popraw wagi sąsiadów DWs=hs(X-Ws). Zwiększ licznik częstości Dtc=1, zmniejsz wszystkie Dtc=-a tc. Policz zrenormalizowane częstości fi = ti/Sjtj Po ustalonej liczbie epok L znajdź neuron o największej częstości i wstaw pomiędzy ten neuron i najdalszego sąsiada nowy neuron tworząc lokalny sympleks; nowy wektor weź z interpolacji.

Rozwój GCS

GCS - 2 obszary Sytuacja w 3 -wym. przestrzeni danych - 2 oddzielone skupienia. Sieć GCS rosnąca w dwóch wymiarach - odpowiednia topologia.

Voronoi i Delaunay Punkty granice decyzji danych Voronoia Triangulacja Delaunaya Obszary Voronoia - neuron zwycięża konkurencję. Zbiór Voronoia - zbiór wektorów wewnątrz obszaru Voronoia. Łącząc neurony, których obszary Voronoia mają wspólną krawędź otrzymujemy traingulację Delaunaya.

WTA Uczenie konkurencyjne - WTA, Winner Takes All. Nazywane też Hard Competitive Learning. Jeden zwycięzca, dane pojedynczo (on-line) lub wszystkie (batch). Mogą powstawać bezużyteczne neurony - konieczna incjalizacja zgodna z rozkładem danych. Algorytm LBG typu WTA: 1. przypadkowa inicjalizacja; 2. Powtarzaj aż ustaną zmiany: 3. pokaż wszystkie dane i znajdź zbiory Voronoia; 4. przesuń wagi neuronu do centrum obszaru Wariant LBG-U: przesuń mało użyteczne (zerowy zbiór Voronoia) neurony w lokalne minima błędu.

Gas neuronowy Wariant uczenia konkurencyjnego (Schulten i Martinez 1991) Algorytm NG typu SOM: 1. przypadkowa inicjalizacja N wektorów; t=0; 2. Wybierz przypadkowy wektor V 3. Zrób ranking wag najbliższych V; k=1. . N Zastosuj regułę adaptacji: zmniejszając eksponencjalnie obszar l i stałą uczenia e(t).

Co dalej? • • Wizualizacja Systemy rozmyte i neurorozmyte. Podstawy teoretyczne CI. Inspiracje statystyczne. Drzewa decyzji. Metody oparte na podobieństwie. Uczenie maszynowe, indukcja reguł logicznych. • Zastosowania.

Koniec wykładu 6 Dobranoc !