Modelowanie i podstawy identyfikacji 20152016 Modele neuronowe podstawy

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Modelowanie i podstawy identyfikacji - studia stacjonarne Kazimierz Duzinkiewicz, dr hab. Inż. Katedra Inżynierii Systemów Sterowania Wykład 13 b – 14 a 2015/2016 Modele neuronowe – podstawy, wybrane struktury, uczenie © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 1

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy - podstawy Czym jest model neuronowy? Model neuronowy jest siecią neuronową, o wybranej strukturze i ustalonych w procesie uczenia wartościach parametrów Sieć neuronowa jest siecią wielu prostych procesorów (przetworników informacji) zwanych neuronami, z których każdy dysponuje lokalną pamięcią w postaci wag jego połączeń z innymi neuronami. Przetwarzanie realizowane przez neuron ma całkowicie lokalny charakter – zależy ono tylko od wartości docierających do niego sygnałów oraz wartości przechowywanych w jego lokalnej pamięci wag : : : : Sieć jednokierunkowa wielowarstwowa © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 2

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy - podstawy Cechy charakteryzujące sieć neuronową – przez co definiujemy sieć neuronową? Sieć neuronowa jest charakteryzowana przez: 1. funkcje według których neuron przetwarza docierające do niego sygnały pobudzenia, nazywane funkcjami pobudzania (propagacji) i funkcjami aktywacji; 2. strukturę połączeń pomiędzy neuronami, nazywaną architekturą sieci; 3. metodę określania wag tych połączeń, nazywaną algorytmem uczenia. © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 3

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny Rozróżnimy dwa rodzaje neuronów: neurony statyczne, neurony dynamiczne, Model neuronu statycznego - stosowany w ciągłych i dyskretnych sieciach statycznych oraz w dyskretnych sieciach dynamicznych Model neuronu statycznego o numerze k © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 4

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny Uproszczone przedstawienie modelu neuronu statycznego o numerze k Opis matematyczny neuronu o numerze k: Pobudzenie neuronu o numerze k: Odpowiedź neuronu o numerze k: © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 5

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania Funkcja pobudzania g(. ) (k - numer neuronu, j - numer wejścia neuronu) 1. Funkcja sumy – prawie wyłącznie stosowana © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 6

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania Funkcje aktywacji f(. ) – pojedynczych neuronów - najpopularniejsze 1. Funkcja przekaźnikowa unipolarna (niesymetryczna) Przybornik Neural Network w środowisku MATLAB/Simulink © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 7

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania 2. Funkcja przekaźnikowa bipolarna (symetryczna) Przybornik Neural Network w środowisku MATLAB/Simulink © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 8

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania 3. Funkcja liniowa Przybornik Neural Network w środowisku MATLAB/Simulink © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 9

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania 4. Funkcja sigmoidalna logarytmiczna unipolarna (niesymetryczna) Przybornik Neural Network w środowisku MATLAB/Simulink © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 10

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania 5. Funkcja sigmoidalna tangensa hiperbolicznego bipolarna (symetryczna) Przybornik Neural Network w środowisku MATLAB/Simulink © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 11

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – neuron statyczny – funkcje przetwarzania 6. Funkcja Gaussa (Radial Basis) Przybornik Neural Network w środowisku MATLAB/Simulink © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 12

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury Warstwa neuronów Układ neuronów nie powiązanych ze sobą (wyjścia neuronów nie są połączone z wejściami innych neuronów warstwy) do których docierają sygnały z tych samych źródeł (neurony pracują równolegle) y(l -1)1 w(l)k 1 y(l -1)2 (l) k 2 w 1 b(l)k g j k- ty neuron sieci l-tej warstwy y(l)k w(l)kj g j y(l -1)j (l) km w y(l-1)m g j © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 13

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury (i) sieci jednokierunkowe (jedno lub wielowarstwowe) (a) jednowarstwowe L x y przepływ sygnałów od źródeł do warstwy neuronów wyjściowych (b) wielowarstwowe x L 1 L 2 L 3 y © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 14

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury (ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) x L 1 + - L 2 y L 3 w sieci występuje co najmniej jedna pętla sprzężenia zwrotnego – sygnał wyjściowy z warstwy dalszej jest kierowany do wejść tej samej lub wcześniejszych warstw © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 15

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury (iii) sieci komórkowe regularnie rozmieszczone przestrzennie neurony zwane komórkami każda komórka powiązana bezpośrednio z wszystkimi komórkami swego najbliższego sąsiedztwa (przyległymi) powiązania pomiędzy komórkami są dwukierunkowe © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 16

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury i nazwy Nazewnictwo i elementy sieci neuronowych (warstwowych) wy 1 we 1 : we 2 wy 2 : : : wy. S we. R Warstwa wejściowa Sygnały wejściowe Warstwa ukryta Połączenia neuronów z neuronów pierwsza wagami Warstwa ukryta neuronów druga Warstwa wyjściowa neuronów Sygnały wyjściowe Sieć jednokierunkowa wielowarstwowa © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 17

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury i nazwy Jednowarstwowa sieć neuronowa z R sygnałami wejściowymi i S neuronami w warstwie Wektor wejść: Wektor wyjść: © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 18

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – struktury i nazwy Jednowarstwowa sieć neuronowa z R sygnałami wejściowymi i S neuronami w warstwie Macierz wag: Wektor progów: © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 19

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – uczenie sieci Metody uczenia sieci neuronowych W korzystaniu z sieci neuronowej można wyróżnić dwa etapy: etap uczenia – w oparciu o przedstawiane sieci dane, sieć uczy się realizować zadanie dla którego została zbudowana etap uogólniania – sieć realizuje zadanie dla którego została zbudowana dla danych które są jej przedstawiane Powinniśmy mieć miary oceny jakości każdego z tych etapów © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 20

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – uczenie sieci Podstawowy podział metod uczenia to rozróżnienie pomiędzy uczeniem z nadzorem (supervised learning) i bez nadzoru (unsupervised learning) W uczeniu z nadzorem występuje “nauczyciel”, który w fazie uczenia sieci, “mówi” sieci jak dobrze ona działa (uczenie z ukierunkowywaniem - reinforcement learning) lub jakie powinno być prawidłowe zachowanie sieci (uczenie z całkowitym nadzorem - fully supervised learning) W uczeniu bez nadzoru sieć jest samodzielna (autonomiczna) © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 21

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – uczenie sieci Proces uczenia z pełnym nadzorem Dane biorące udział w procesie uczenia we 1 we 2 n 1 wy 1 n 2 wy 2 we 3 Uczące wzorce wejściowe we 4 n 3 Wzorce wyjściowe (docelowe) wy 3 n 4 wy 4 Uczące wzorce wyjściowe (docelowe) © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 22

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – uczenie sieci Wektory z wejściowego zbioru uczącego są przedstawiane sieci w pewnej kolejności Jeżeli wyjście sieci jest poprawne, to znaczy wzorzeczywisty jest równy wzorcowi docelowemu, nie dokonywane są żadne zmiany wartości wag i progów Jeżeli wyjście sieci nie jest poprawne, to znaczy wzorzeczywisty nie jest równy wzorcowi docelowemu, wagi i progi są modyfikowane przy użyciu odpowiedniej reguły uczenia w taki sposób, aby minimalizować występujące różnice © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 23

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – uczenie sieci Pełne przejście przez wszystkie wzorce uczące nazywane jest epoką uczenia Jeżeli takie pełne przejście zbioru uczącego zajdzie bez pojawienia się błędu lub pewna miara wszystkich pojawiających się błędów jest wystarczająco mała, uczenie uznaje się za zakończone - możemy wówczas powiedzieć, że zbiór uczący jest , , znany" sieci lub "znany" z zadowalającą dokładnością Jeżeli takie pełne przejście zbioru uczącego zajdzie z pojawieniem się błędu lub pewna miara wszystkich pojawiających się błędów nie jest wystarczająco mała, uczenie jest kontynuowane – rozpoczynamy kolejną epokę uczenia © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 24

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Model neuronowy – sprawdzenie zdolności uogólniania Po zakończeniu procesu uczenia możemy podawać na wejście sieci wzorce nie pochodzące z uczącego zbioru wejściowego, to znaczy nie będące uczącym wzorcem wejściowym – w ten sposób możemy badać, czy sieć efektywnie uogólnia rozwiązywanie zadania, którego się uczyła na przykładach © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 25

Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy, wybrane struktury i uczenie Dziękuję za uwagę – koniec materiału prezentowanego podczas wykładu © Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 26