Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzenie

  • Slides: 49
Download presentation
Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu

Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych. Andrzej Bielecki AGH Wydział EAIi. IB Katedra Informatyki Stosowanej

Plan wykładu 1. Systemy sztucznej inteligencji – podstawy. 2. Zagadnienia matematyczne w warstwowych sieciach

Plan wykładu 1. Systemy sztucznej inteligencji – podstawy. 2. Zagadnienia matematyczne w warstwowych sieciach neuronowych. 3. Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych

Systemy sztucznej inteligencji – podstawy

Systemy sztucznej inteligencji – podstawy

 • Własności systemu przejawiającego inteligencję • Rodzaje zadań rozwiązywanych przez systemy inteligentne •

• Własności systemu przejawiającego inteligencję • Rodzaje zadań rozwiązywanych przez systemy inteligentne • Obszary zastosowań • Rodzaje systemów sztucznej inteligencji:

1. Sieci neuronowe • Podstawy biologiczne • Model neuronu • Taksonomia metod nauki 2.

1. Sieci neuronowe • Podstawy biologiczne • Model neuronu • Taksonomia metod nauki 2. Systemy ekspertowe • Systemy regułowe • Systemy ramowe • Sieci semantyczne • Model obliczeniowy 3. Algorytmy ewolucyjne • Podstawy biologiczne • Operatory genetyczne • Podstawowe algorytmy genetyczne 4. Liczne inne.

Monografia przeglądowa: Flasiński M. , Wstęp do sztucznej inteligencji, PWN, Warszawa, 2011

Monografia przeglądowa: Flasiński M. , Wstęp do sztucznej inteligencji, PWN, Warszawa, 2011

Własności sytemu przejawiającego inteligencję • zdolność uczenia się • zdolność generalizacji, w tym umiejętność

Własności sytemu przejawiającego inteligencję • zdolność uczenia się • zdolność generalizacji, w tym umiejętność ekstrahowania cech ważnych w analizowanym zjawisku oraz kreacja modeli • zdolność przewidywania przyszłości • zdolność rozwiązywania nowych zadań • zdolność rozwiązywania złożonych zadań

Rodzaje zadań rozwiązywanych przez systemy inteligentne • • • Diagnostyka Rozpoznawanie wzorców – klasyfikacja

Rodzaje zadań rozwiązywanych przez systemy inteligentne • • • Diagnostyka Rozpoznawanie wzorców – klasyfikacja Predykcja Sterowanie ( w czasie rzeczywistym) Optymalizacja (w tym kompresja danych)

Zastosowania • W technice: – diagnostyka układów technicznych – rozpoznawanie wzorców w systemach wizyjnych

Zastosowania • W technice: – diagnostyka układów technicznych – rozpoznawanie wzorców w systemach wizyjnych – sterowanie(np. linią produkcyjną, manipulatorami robota, ruchem samochodowym)

W medycynie: • diagnostyka i rozpoznawanie obrazów i wzorców

W medycynie: • diagnostyka i rozpoznawanie obrazów i wzorców

W ekonomii: • predykcja popytu i podaży, cen, trendów(szeregi czasowe- met. statystyczne) • ocena

W ekonomii: • predykcja popytu i podaży, cen, trendów(szeregi czasowe- met. statystyczne) • ocena np. . wycena nieruchomości – wybór strategii inwestycyjnej

Cybernetyczny model neuronu • neuron jest jednostką przetwarzającą impulsy; • posiada wiele wejść (dendryty)

Cybernetyczny model neuronu • neuron jest jednostką przetwarzającą impulsy; • posiada wiele wejść (dendryty) i jedno wyjście (akson)-chociaż akson jest rozgałęziony, to do każdej kolbki doprowadzany jest ten sam sygnał i stąd możemy przyjąć, że wyjście jest jedno;

 • wejścia neuronu są ważone – w różnych synapsach mogą się uwolnić różne

• wejścia neuronu są ważone – w różnych synapsach mogą się uwolnić różne rodzaje neurotransmiterów pod wpływem takiego samego impulsu; w różnych synapsach mogą się uwolnić różne ilości tego samego neurotransmitera pod wpływem tego samego impulsu;

 • wagi wejść zmieniają się w czasie – w tej samej synapsie w

• wagi wejść zmieniają się w czasie – w tej samej synapsie w różnych chwilach czasowych pod wpływem takiego samego impulsu mogą się wyzwolić różne ilości neurotransmitera;

Neuron biologiczny

Neuron biologiczny

Cybernetyczny model neuronu Mc. Cullocha-Pittsa

Cybernetyczny model neuronu Mc. Cullocha-Pittsa

Przykład warstwowej sztucznej sieci neuronowej (perceptronu)

Przykład warstwowej sztucznej sieci neuronowej (perceptronu)

Systemy ekspertowe Ze względu na organizację bazy wiedzy można wyróznić: 1. Systemy regułowe –

Systemy ekspertowe Ze względu na organizację bazy wiedzy można wyróznić: 1. Systemy regułowe – oparte na logice. 2. Sieci semantyczne i mapy przyczynowe – oparte na grafach. 3. Systemy ramowe. 4. Modele obliczeniowe.

Systemy regułowe są oparte na logice matematycznej, w najprostszej wersji na klasycznym rachunku zdań.

Systemy regułowe są oparte na logice matematycznej, w najprostszej wersji na klasycznym rachunku zdań. Algorytm wnioskowania wykorzystuje logiczne reguły wnioskowania. W wersji opartej na rachunku zdań jest to modus ponens i przechodniość implikacji. Wyróżniamy trzy podstawowe rodzaje algorytmów wnioskowania w systemach regułowych: • wnioskowanie wstecz • wnioskowanie w przód • drzewo wywodu

Reguły wnioskowania Niech A 1, . . . An będzie dowolnym ciągiem skończonym schematów

Reguły wnioskowania Niech A 1, . . . An będzie dowolnym ciągiem skończonym schematów logicznych (tzn. zdań prostych lub złożonych zbudowanych ze zmiennych zdaniowych, funktorów logicznych). Mówimy, że schemat B jest logiczną konsekwencją schematów A 1, . . . An i piszemy A 1, . . . An B jeśli spełniony jest warunek: Przy każdym układzie wartości logicznych takim, że prawdziwe są wszystkie zdania A 1, . . . An prawdziwe jest też zdanie B.

Reguły wnioskowania to operacje, które skończonym ciągom schematów A 1, . . . An

Reguły wnioskowania to operacje, które skończonym ciągom schematów A 1, . . . An przypisują schemat B w taki sposób, że B jest logiczną konsekwencją A 1, . . . An nazywamy przesłankami a B wnioskiem Reguła modus ponens: A, A B B czyli [A (A B)] B oraz przechodniość implikacji [(A B) (B C)] (A C)

Wnioskowanie wstecz Załóżmy, że mamy następującą regułową bazę wiedzy zawierającą 5 reguł: R 1:

Wnioskowanie wstecz Załóżmy, że mamy następującą regułową bazę wiedzy zawierającą 5 reguł: R 1: IF p AND q THEN s R 2: IF r THEN t R 3: IF s AND t THEN u R 4: IF w AND u THEN v R 5: IF q THEN w

wejście: q, r, p czy na podstawie bazy wiedzy można wywnioskować v? Wnioskowanie: BF={q,

wejście: q, r, p czy na podstawie bazy wiedzy można wywnioskować v? Wnioskowanie: BF={q, r, p} • R 4 reguła z wnioskiem v • czy u, w BF ? nie • czy da się wywnioskować u? • R 3 reguła z wnioskiem u • czy s, t BF ? nie • czy da się wywnioskować t? • R 2 reguła z wnioskiem t • czy r BF ? tak • BF=BF {r}={q, r, p, t} • czy da się wywnioskować s? • R 1 reguła z wnioskiem s

 • • czy p, q BF ? tak BF=BF {s}={q, r, p, t,

• • czy p, q BF ? tak BF=BF {s}={q, r, p, t, s} BF={q, r, p, t, s, u} czy da się wywnioskować w? R 5 reguła z wnioskiem w czy q BF ? tak BF=BF {w}={q, r, p, t, s, u, w} v=TRUE

Wnioskowanie w przód Przy tej samej bazie reguł załóżmy, że na wejście podajemy fakty

Wnioskowanie w przód Przy tej samej bazie reguł załóżmy, że na wejście podajemy fakty q, s, t. zadanie: wywnioskować wszystko co się da Wnioskowanie: BF={q, s, t} 1 iteracja ( przechodzę wszystkie reguły i sprawdzam czy na podstawie mojej bazy faktów dana reguła może zostać wykorzystana) R 1: nie R 2: nie R 3: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u} R 4: nie

R 5: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w}

R 5: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w} 2 iteracja R 1: nie R 2: nie R 4: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w, v} 3 iteracja R 1: nie R 2: nie stop ( więcej reguł nie ma)

Drzewo wywodu kwota do zainwestowania do 5000 od 5000 do 30000 dochód na osobę

Drzewo wywodu kwota do zainwestowania do 5000 od 5000 do 30000 dochód na osobę poniżej śred. lokata powyżej śr obligacje powyżej 30000 wiek <35 lat fundusz wiek >35 lat obligacje <35 lat akcje >35 lat nieruch.

Każda ścieżka w drzewie utworzy nam jedną regułę w bazie wiedzy. R 1: If

Każda ścieżka w drzewie utworzy nam jedną regułę w bazie wiedzy. R 1: If kwota do zainwestowania = do 5000 and dochód na osobę =poniżej średniej then inwestycja = lokata w banku R 2: If kwota do zainwestowania = do 5000 and dochód na osobę =powyżej średniej then inwestycja = obligacje R 3: If kwota do zainwestowania = do 5000 do 30000 and wiek =do 35 lat then inwestycja = fundusz powierniczy

R 4: If kwota do zainwestowania = od 5000 do 30000 and wiek =

R 4: If kwota do zainwestowania = od 5000 do 30000 and wiek = powyżej 35 lat then inwestycja = obligacje R 5: If kwota do zainwestowania = powyżej 30000 and wiek = do 35 lat then inwestycja = akcje R 6: If kwota do zainwestowania = powyżej 30000 and wiek = powyżej 35 lat then inwestycja = nieruchomości

Sieci semantyczne są wzorowane na modelu ludzkiej pamięci w sensie psychologicznym. Zostały wprowadzone przez

Sieci semantyczne są wzorowane na modelu ludzkiej pamięci w sensie psychologicznym. Zostały wprowadzone przez Quilliana (1968). Tworząc sieć semantyczną tworzymy pewien graf, którego węzłami są obiekty lub zbiory obiektów a gałęziami są relacje. Relacje mogą być różnego typu na przykład strukturalne, funkcjonalne lub przestrzenne. Wnioskowanie w sieci semantycznej oznacza przeszukiwanie grafu.

Przykład sieci semantycznej jest Lokomotywa Kalkulator Maszyna jest typem jest Procesor jest częścią Abakus

Przykład sieci semantycznej jest Lokomotywa Kalkulator Maszyna jest typem jest Procesor jest częścią Abakus jest Komputer jest częścią VAX

Zastosowanie sieci semantycznych Sieci semantyczne są często stosowane w systemach analizy i rozumienia języka

Zastosowanie sieci semantycznych Sieci semantyczne są często stosowane w systemach analizy i rozumienia języka naturalnego. Są również przydatne do tłumaczenia z jednego języka na inny oraz wspomagania uczenia.

Model obliczeniowy W modelu obliczeniowym baza wiedzy ma postać wzorów matematycznych natomiast algorytm wnioskowania

Model obliczeniowy W modelu obliczeniowym baza wiedzy ma postać wzorów matematycznych natomiast algorytm wnioskowania polega na odpowiednim przekształcaniu tych wzorów aby obliczyć zmienną szukaną. W związku z potrzebą przekształcania wzorów muszą one być reprezentowane przy pomocy dynamicznych struktur danych co oznacza, że na poziomie implementacyjnym reprezentowane są za pomocą list.

 Zagadnienia matematyczne w sieciach neuronowych

Zagadnienia matematyczne w sieciach neuronowych

1. Problemy optymalizacyjne a) Zadania optymalizacyjne rozwiązywane przy pomocy ANNs b) Optymalizacja ANNs, np.

1. Problemy optymalizacyjne a) Zadania optymalizacyjne rozwiązywane przy pomocy ANNs b) Optymalizacja ANNs, np. procesu nauki 2. Problemy aproksymacyjne 3. Problemy związane z dynamiką a) Badanie dynamiki nauczonej sieci rekurencyjnej b) Badanie dynamiki procesu nauki sieci neuronowej Publikacja przeglądowa: Bielecki A. , Matematyczne podstawy sztucznych sieci neuronowych, Matematyka Stosowana, vol. 4, 2003, 25 -55.

Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing

Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych

Bielecki A. , Ombach M. , Dynamical properties of a perceptron learning process –

Bielecki A. , Ombach M. , Dynamical properties of a perceptron learning process – structural stability under numerics and shadowing , Journal of Nonlinear Science, vol. 21, 2011, 579 -593. Bielecki A. , Ombach J. , Shadowing property in analysis of neural network dynamics, Journal of Computational and Applied Mathematics, vol. 164 -165, 2004, 107 -115. Bielecki A. , Jabłoński D. , Kędzierski M. , Properties and applications of weakly nonlinear neurons, Journal of Computational and Applied Mathematics, vol. 164 -165, 2004, 93 -106. Bielecki A. , Dynamical properties of learning process of weakly nonlinear and nonlinear neurons, Nonlinear Analysis: Real World Applications, vol. 2, 2001, 249 -258.

Podstawy Matematyczne

Podstawy Matematyczne

Topologiczne sprzężenie Definicja Niech M będzie rozmaitością riemanowską. Mówimy, że dyfeomorfizmy f, g: M

Topologiczne sprzężenie Definicja Niech M będzie rozmaitością riemanowską. Mówimy, że dyfeomorfizmy f, g: M M są topologicznie sprzężone jeśli istnieje homeomorfizm : M M taki, że f ° = °g. Uwaga. Kaskady generowane przez topologicznie sprzężone dyfeomorfizmy mają taką samą dynamikę.

Twierdzenie Z: M – gładka, skończenie wymiarowa rozmaitość riemanowska bez brzegów z metryką ;

Twierdzenie Z: M – gładka, skończenie wymiarowa rozmaitość riemanowska bez brzegów z metryką ; F – pole wektorowe klasy C 2 na M; : M ℝ M - potok generowany przez: dx/dt = F(x); h: M M jest dyskretyzacją czasową , tzn. h(x) = (x, h); h, p – dyfeomorfizm generowany przez metodę R-K rzędu p=1, 2, … T > 0 jest ustalone. T: Dla dostatecznie dużego m i dla każdego p istnieje homeomorfizm m: M M taki, że ( T/m, p)m ° m = m ° T Ponadto limm ∞ ( m(x), x) = 0.

Definicja Niech h: M M oznacza operator generowany przez metodę numeryczną z krokiem h

Definicja Niech h: M M oznacza operator generowany przez metodę numeryczną z krokiem h zastosowaną do równania różniczkowego generującego potok . Mówimy, że potok jest numerycznie stabilny względem h jeśli operator h oraz dyskretyzacja h potoku są topologicznie sprzężone dla dostatecznie małych h. Definicja Mówimy, że dana własność jest generyczna w przestrzeni topologicznej X jeśli posiada ją pewien zbiór otwarty i gęsty w X.

Własność shadowing Definicja Mówimy, że ciąg {yk}k∈ℤ jest -pseudoorbitą dyfeomorfizmu f: M M jeśli

Własność shadowing Definicja Mówimy, że ciąg {yk}k∈ℤ jest -pseudoorbitą dyfeomorfizmu f: M M jeśli (f(yk), yk+1) ≤ . Definicja Mówimy, ze kaskada generowana przez dyfeomorfizm f: M M ma własność shadowing jeśli dla każdego >0 istnieje >0 taka, że dla każdej -pseudoorbity {yk}k∈ℤ dyfeomorfizmu f istnieje x∈M takie, że dla każdej liczby całkowitej k zachodzi (yk, f k(x)) ≤ .

Własność inverse shadowing Niech Mℤ oznacza zbiór wszystkich ciągów punktów należących do M indeksowanych

Własność inverse shadowing Niech Mℤ oznacza zbiór wszystkich ciągów punktów należących do M indeksowanych zbiorem liczb calkowitych. Definicja Odwzorowanie f nazywamy -metodą dyfeomorfizmu f jeśli: f(y)0 = y dla każdego y∈M; f(y) jest -pseudoorbitą dyfeomorfizmu f.

Definicja Rodzinę T(f) -metod dyfeomorfizmu f”: M M taką, że dla każdego >0 istnieje

Definicja Rodzinę T(f) -metod dyfeomorfizmu f”: M M taką, że dla każdego >0 istnieje -metoda należąca do T(f) nazywamy klasą. Niech k, k∈ℤ oznacza rodzinę ciągłych odwzorowań na M taką, że 0=id. M oraz, dla każdego k∈ℤ, zachodzi D∞(f ° k, k+1) ≤ , gdzie D∞(f, g) : = supx∈M (f(x), g(x)).

Zdefiniujmy następujące klasy: c składa się z metod postaci f(y) = { k(y)}k∈ℤ, y∈M.

Zdefiniujmy następujące klasy: c składa się z metod postaci f(y) = { k(y)}k∈ℤ, y∈M. s składa się z metod postaci f(y) = {yk}k∈ℤ, y 0=y, yk+1= k(yk). : = c ∪ s.

Definicja Niech T(f) będzie klasą. Mówimy, że f ma własność T-inverse shadowing jeśli dla

Definicja Niech T(f) będzie klasą. Mówimy, że f ma własność T-inverse shadowing jeśli dla dowolnego >0 istnieje >0 taka, że dla każdej orbity {xk}k∈ℤ oraz dowolnej -metody f ∈T(f) istnieje y∈M taki, że dla wszystkich całkowitych k zachodzi (xk, f (y)k ) ≤ . Definicja Mówimy, że kaskada generowana przez dyfeomorfizm f ma własność T – bishadowing jeśli ma własnosć shadowing oraz T – inverse shadowing.

Proces nauki perceptronów

Proces nauki perceptronów

Załóżmy, że w∈ℝn jest wektorem wszystkich wag perceptronu oraz że dany jest ciąg uczący

Załóżmy, że w∈ℝn jest wektorem wszystkich wag perceptronu oraz że dany jest ciąg uczący i funkcja kryterialna E: ℝn ℝ. Niech nauka perceptronu będzie metodą h, p zastosowaną do równania dw/dt = -grad E(w). Ustalmy T>0 oraz r>0.

Twierdzenie Istnieją zwarta, gładka, n-wymiarowa rozmaitość bez brzegów M oraz funkcja V: ℝn ℝ

Twierdzenie Istnieją zwarta, gładka, n-wymiarowa rozmaitość bez brzegów M oraz funkcja V: ℝn ℝ takie, że B(0, 2 r)⊂M oraz V|B(0, r) = E takie, że potok generowany przez równanie dw/dt = -grad V(w) jest generycznie numerycznie stabilny względem operatora h, p zastosowanego do powyższego równania rózniczkowego. Ponadto, kaskada generowana przez dyskretyzację oraz kaskada generowana przez operator numeryczny mają, generycznie, własność T – bishadowing, gdzie T=.