Inteligentne Systemy Autonomiczne Sekwencje Jak modelowa relacje i

Inteligentne Systemy Autonomiczne Sekwencje Jak modelować relacje i sekwencje słów? W oparciu o wykład Prof. Geoffrey Hinton University of Toronto oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Jak przedstawiać wagi połączeń • Oczywisty sposób to zaznaczyć wartości numeryczne połączeń: – Spróbuj pokazać 25, 000 wag w ten sposób! ukryty 1 2 +0. 8 wejście +3. 2 -1. 5 • Lepiej pokazać wagi jako białe i czarne kwadraty na wejściach neuronów warstw ukrytych – Lepsze wykorzystanie pikseli – Łatwiej rozpoznać kształty ukryty 1 ukryty 2

Przykład relacji Christopher = Penelope Margaret = Arthur Andrew = Christine Victoria = James Colin Jennifer = Charles Charlotte Utwórz zbiór stwierdzeń używając 16 relacji: Syn, córka, siostrzeniec, siostrzenica, bratanek, bratanica Ojciec, matka, wujek, ciotka, stryjek, stryjenka Brat, siostra, maz, zona

Inny sposób przedstawienia tej informacji Christopher = Penelope Margaret = Arthur Andrew = Christine Victoria = James Colin Jennifer = Charles Charlotte Możemy te relacje przedstawić w postaci ciągów uporządkowanych czwórek • (ojcem colina jest james) • (matka colina jest victoria) • (zona jamesa jest victoria) wynika z dwóch poprzednich (bratem charlotte jest colin) • (bratem victorii jest arthur) • (wujkiem charlotte jest arthur) wynika z dwóch poprzednich

Struktura sieci neuronowej Lokalny kod osoby 2 wyjście Nauczony rozproszony kod osoby 1 Jednostki które uczą się cech wyjścia na podstawie cech wejścia Nauczony rozproszony kod osoby 1 Lokalny kod osoby 1 Nauczony rozproszony kod relacji wejścia Lokalny kod relacji

Podstawowy problem w rozpoznawaniu mowy • Nie możemy rozpoznać zgłosek w zaszumionej mowie – Wejście akustyczne jest często wieloznaczne: • kilka rożnych slow całkiem dobrze pasuje do jednego sygnału akustycznego. • Ludzie wykorzystują rozumienie znaczenia wyrażenia żeby słyszeć właściwe słowo. – Robimy to podświadomie – Robimy to dobrze • Oznacza to ze programy rozpoznawania mowy muszą wiedzieć które słowa najprawdopodobniej padną a które nie. – Czy można to robić bez pełnego zrozumienia?

Standartowa metoda “trójek” • Weź olbrzymia ilość tekstu i policz częstość wszystkich trójek słów. Potem użyj te częstości żeby przewidzieć następne słowo w ciągu a b ! • Do niedawna metoda ta była “state-of-the-art”. – Nie możemy użyć większego kontekstu ponieważ jest zbyt wiele czwórek – Musimy cofnąć się do dwójek jeśli ilość trójek jest zero.

Dlaczego model trójek jest durny? • Przypuśćmy że widzieliśmy zdanie “kot został zgnieciony w ogrodzie w piątek” • Powinno to nam pomóc przewidzieć słowa w zdaniu “pies został rozpłaszczony na podwórku w poniedziałek” • Model trójek nie rozumie podobieństwa między – Kot/pies zgnieciony/rozpłaszczony ogród/podwórko piątek/poniedziałek • Żeby przezwyciężyć to ograniczenie, potrzebujemy użyć cech poprzednich słów żeby przewidzieć cechy następnych słów. – Używając reprezentacje cech i wyuczony model jak poprzednie cechy przewidują przyszłe, możemy użyć dużo słów i zależności wyuczonych w przeszłości.

Siec neuronowa Bengio do przewidywania następnych slow jednostki Softmax (jedna na każde słowo) Opuszczone polaczenia warstw wyjście Jednostki które uczą się przewidywać słowa wyjściowe na podstawie cech słów wejściowych Wyuczony rozproszony kod słowa t-2 Wyuczony rozproszony kod słowa t-1 Look-up table Index słowa dla t-2 Look-up table wejścia Index słowa dla t-1

Uczenie sekwencji w jednostkach LTM • Podstawowa jednostka Long Term Memory (LTM)

LTM z naciskiem na pierwsza i ostatnia zgłoskę • Używa zmodyfikowanych wag połączeń sprzężenia zwrotnego • Większa tolerancja na częściowe przestawienia

LTM z naciskiem na pierwsza i ostatnia zgłoskę Typoglycemia - Wystarczy ze wyraz zawiera konieczne litery a pierwsza i ostatnia litera są na swoich miejscach, czytelnik z niewielkim wysiłkiem może przeczytać tekst. • Śrewinoideczni walynaczy csętzo buwadoli maynszy pobndoe jak "rboot Leonarda", wynokujcąe okrelośne czonnyści, tikae jak zymanakie i oratwienie dwrzi, winatie wdząchocych gśoci itp. • Udząrzenia tikae bawoduno do zawabainia wdcałów. • Piommo iż nie zanno wdety elecznoktryści, zduwabono welie medloi poszuranych ergneią wdoy, słią cężiśokci czy engerią zmazygwaanoną w spęryżnach.

Powstawanie trwałej pamięci 1. Obserwacja wejścia 3. Aktywizacja pamięci średnioterminowej 2. Aktywizacja sygnałów hipokampa 4. Powstanie pamięci trwalej

Model amnezji Aktywizacja sygnałów hipokampa Układ neuromodulacji reguluje plastyczność hipokampa i kory. Pamięć średnioterminowa zapisana jest w sieciach hipokampa. Aktywizacja sygnałów kory Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest więc w synapsach.

Amnezja wsteczna Główna przyczyna: utrata łączy do kory. Objawy: gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane.

Amnezja następcza Główna przyczyna: uszkodzenie systemu neuromodulacji. Wtórnie: utrata łączy z korą. Objawy: Brak możliwości zapamiętania nowych faktów.

Amnezja semantyczna 1. Dużo mniej połączeń asocjacyjnych w korze 3. Uczenie poważnie utrudnione 2. Aktywizacja sygnałów hipokampa 4. Nie powtarzanie powoduje utratę pamięci Główna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów, wymaga ciągłego powtarzania.