Inteligencja Obliczeniowa Perceptrony Wykad 10 Wodzisaw Duch Katedra

Inteligencja Obliczeniowa Perceptrony Wykład 10 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch

Co było • • • Learnmatrix. Adeline. Madeline. Aproksymacja elementami liniowymi Demo w Matlabie

Co będzie • Perceptron jednowarstwowy. • Uczenie się perceptronów • Nieliniowa reguła delta • Adatron Nature 26. 04. 2016: AI Talent Grab

Perceptron • Rosenblatt (Cornell Univ. ) 1960, klasyfikator neuronowy Mark I wzorowany na biologicznej percepcji. • Trzy warstwy, elementy: • wejściowe (S-units), np. fotokomórki 20 x 20 • asocjacyjne (A-units), zbierające dane z większych obszarów, 512 • wyjściowe (R-units), 8 • Identyfikacja figur, znaków, eksperymenty psychologiczne, szybkość uczenia, błędy. • Jakich klasyfikacji dokonać może perceptron? • Jak można go uczyć?

Perceptron - schemat • Perceptron jednowarstwowy.

Działanie perceptronów Sygnał błędu obliczany jest po przepuszczeniu przez element progowy. Sj= – 1, +1 sygnały docierające do elementów sensorycznych; Połączenia Cij = 0, ± 1 elementów Sj i Ai (przypadkowo rozrzucone w pewnym obszarze, nie ulegają zmianom). g( ) – funkcja bipolarna daje Ai = +1 powyżej progu, Ai = – 1 poniżej. Pary treningowe (Sm, Ym), Ym= ± 1; sygnał wyjściowy Rm = +1 dla > 0 próg wyjściowy

Czego można je nauczyć? Przy aktywacji Akm dla sygnału wejściowego Sm prawidłowa odpowiedź: Kiedy istnieje rozwiązanie? Wystarczy, by dla każdego obszaru asocjacji A(Si) istniał element Aim należący tylko do tego obszaru. Kładąc wszystkie Wk = 0 oprócz mamy rozwiązanie; ale tylko dla problemów liniowo separowalnych. Zwykle przez „perceptron” rozumie się teraz jeden neuron z wieloma wejściami (bez jednostek S, bo tu nie ma adaptacji).

Uczenie perceptronów Jeśli rozwiązanie istnieje to korekcja błędów (reguła uczenia) je znajdzie: Chcemy by: Reguła delta

Uczenie perceptronów cd Ocena trudności uczenia: zdefiniujmy Jeśli D(W) > 0 to można nauczyć bez błędu. Najlepsza separacja, perceptron optymalny, gdy bo k może być największe. Liczba kroków uczenia nie przekracza:

Perceptron dla M klas Reguła uczenia perceptronu: • skończona liczba kroków • sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas.

Elementy progowe Hiperpowierzchnia decyzyjna dla różnych neuronów: net – aktywacja; f(net) – funkcja wyjścia zależna od aktywacji. Typowe nieliniowości: bipolarne [-1, +1] i unipolarne [0, 1] funkcje sigmoidalne.

Przykłady programów Demo rozpoznawania ręcznie pisanych cyfr: http: //uaasoftware. com/blog/demos-tutorials/mlp-neural-networkhandwriting-recognition/ IBM SPSS http: //www-03. ibm. com/software/products/en/spss-neural-networks Demo kilku typów sieci: http: //www. borgelt. net/demo. html

Co dalej? • Adatron i maksymalizacja margines. • Sieci Hopfielda • Sieci Hebbowskie i modele mózgu • Samoorganizacja • Perceptrony wielowarstwowe

Koniec wykładu 10