Inteligencja Obliczeniowa Perceptrony Wykad 8 Wodzisaw Duch Katedra
Inteligencja Obliczeniowa Perceptrony Wykład 8 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch
Co było • • • Learnmatrix. Adeline. Madeline. Aproksymacja elementami liniowymi Demo w Matlabie
Co będzie • Perceptron jednowarstwowy. • Uczenie się perceptronów • Nieliniowa reguła delta • Adatron
Perceptron • Rosenblatt (Cornell Univ. ) 1960, klasyfikator neuronowy Mark I wzorowany na biologicznej percepcji. • Trzy warstwy, elementy: • wejściowe (S-units), np. fotokomórki 20 x 20 • asocjacyjne (A-units), zbierające dane z większych obszarów, 512 • wyjściowe (R-units), 8 • Identyfikacja figur, znaków, eksperymenty psychologiczne, szybkość uczenia, błędy. • Jakich klasyfikacji dokonać może perceptron? • Jak można go uczyć?
Perceptron - schemat • Perceptron jednowarstwowy.
Działanie perceptronów Sygnał błędu obliczany jest po przepuszczeniu przez element progowy. Sj= – 1, +1 sygnały docierające do elementów sensorycznych; Połączenia Cij = 0, ± 1 elementów Sj i Ai (przypadkowo rozrzucone w pewnym obszarze, nie ulegają zmianom). g( ) – funkcja bipolarna daje Ai = +1 powyżej progu, Ai = – 1 poniżej. Pary treningowe (Sm, Ym), Ym= ± 1; sygnał wyjściowy Rm = +1 dla > 0 próg wyjściowy
Czego można je nauczyć? Przy aktywacji Akm dla sygnału wejściowego Sm prawidłowa odpowiedź: Kiedy istnieje rozwiązanie? Wystarczy, by dla każdego obszaru asocjacji A(Si) istniał element Aim należący tylko do tego obszaru. Kładąc wszystkie Wk = 0 oprócz mamy rozwiązanie; ale tylko dla problemów liniowo separowalnych. Zwykle przez „perceptron” rozumie się teraz jeden neuron z wieloma wejściami (bez jednostek S, bo tu nie ma adaptacji).
Uczenie perceptronów Jeśli rozwiązanie istnieje to korekcja błędów (reguła uczenia) je znajdzie: Chcemy by: Reguła delta
Uczenie perceptronów cd Ocena trudności uczenia: zdefiniujmy Jeśli D(W) > 0 to można nauczyć bez błędu. Najlepsza separacja, perceptron optymalny, gdy bo k może być największe. Liczba kroków uczenia nie przekracza:
Perceptron dla M klas Reguła uczenia perceptronu: • skończona liczba kroków • sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas.
Elementy progowe Hiperpowierzchnia decyzyjna dla różnych neuronów: I(X), net – aktywacja; f(I) – funkcja wyjścia. Typowe nieliniowości – bipolarne i unipolarne funkcje sigmoidalne. Demonstracje Neuro. Solution
Co dalej? • Adatron i maksymalizacja margines. • Sieci Hopfielda • Sieci Hebbowskie i modele mózgu • Samoorganizacja • Perceptrony wielowarstwowe
Koniec wykładu 8 Dobranoc
- Slides: 13