Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzenie
- Slides: 49
Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych. Andrzej Bielecki AGH Wydział EAIi. IB Katedra Informatyki Stosowanej
Plan wykładu 1. Systemy sztucznej inteligencji – podstawy. 2. Zagadnienia matematyczne w warstwowych sieciach neuronowych. 3. Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych
Systemy sztucznej inteligencji – podstawy
• Własności systemu przejawiającego inteligencję • Rodzaje zadań rozwiązywanych przez systemy inteligentne • Obszary zastosowań • Rodzaje systemów sztucznej inteligencji:
1. Sieci neuronowe • Podstawy biologiczne • Model neuronu • Taksonomia metod nauki 2. Systemy ekspertowe • Systemy regułowe • Systemy ramowe • Sieci semantyczne • Model obliczeniowy 3. Algorytmy ewolucyjne • Podstawy biologiczne • Operatory genetyczne • Podstawowe algorytmy genetyczne 4. Liczne inne.
Monografia przeglądowa: Flasiński M. , Wstęp do sztucznej inteligencji, PWN, Warszawa, 2011
Własności sytemu przejawiającego inteligencję • zdolność uczenia się • zdolność generalizacji, w tym umiejętność ekstrahowania cech ważnych w analizowanym zjawisku oraz kreacja modeli • zdolność przewidywania przyszłości • zdolność rozwiązywania nowych zadań • zdolność rozwiązywania złożonych zadań
Rodzaje zadań rozwiązywanych przez systemy inteligentne • • • Diagnostyka Rozpoznawanie wzorców – klasyfikacja Predykcja Sterowanie ( w czasie rzeczywistym) Optymalizacja (w tym kompresja danych)
Zastosowania • W technice: – diagnostyka układów technicznych – rozpoznawanie wzorców w systemach wizyjnych – sterowanie(np. linią produkcyjną, manipulatorami robota, ruchem samochodowym)
W medycynie: • diagnostyka i rozpoznawanie obrazów i wzorców
W ekonomii: • predykcja popytu i podaży, cen, trendów(szeregi czasowe- met. statystyczne) • ocena np. . wycena nieruchomości – wybór strategii inwestycyjnej
Cybernetyczny model neuronu • neuron jest jednostką przetwarzającą impulsy; • posiada wiele wejść (dendryty) i jedno wyjście (akson)-chociaż akson jest rozgałęziony, to do każdej kolbki doprowadzany jest ten sam sygnał i stąd możemy przyjąć, że wyjście jest jedno;
• wejścia neuronu są ważone – w różnych synapsach mogą się uwolnić różne rodzaje neurotransmiterów pod wpływem takiego samego impulsu; w różnych synapsach mogą się uwolnić różne ilości tego samego neurotransmitera pod wpływem tego samego impulsu;
• wagi wejść zmieniają się w czasie – w tej samej synapsie w różnych chwilach czasowych pod wpływem takiego samego impulsu mogą się wyzwolić różne ilości neurotransmitera;
Neuron biologiczny
Cybernetyczny model neuronu Mc. Cullocha-Pittsa
Przykład warstwowej sztucznej sieci neuronowej (perceptronu)
Systemy ekspertowe Ze względu na organizację bazy wiedzy można wyróznić: 1. Systemy regułowe – oparte na logice. 2. Sieci semantyczne i mapy przyczynowe – oparte na grafach. 3. Systemy ramowe. 4. Modele obliczeniowe.
Systemy regułowe są oparte na logice matematycznej, w najprostszej wersji na klasycznym rachunku zdań. Algorytm wnioskowania wykorzystuje logiczne reguły wnioskowania. W wersji opartej na rachunku zdań jest to modus ponens i przechodniość implikacji. Wyróżniamy trzy podstawowe rodzaje algorytmów wnioskowania w systemach regułowych: • wnioskowanie wstecz • wnioskowanie w przód • drzewo wywodu
Reguły wnioskowania Niech A 1, . . . An będzie dowolnym ciągiem skończonym schematów logicznych (tzn. zdań prostych lub złożonych zbudowanych ze zmiennych zdaniowych, funktorów logicznych). Mówimy, że schemat B jest logiczną konsekwencją schematów A 1, . . . An i piszemy A 1, . . . An B jeśli spełniony jest warunek: Przy każdym układzie wartości logicznych takim, że prawdziwe są wszystkie zdania A 1, . . . An prawdziwe jest też zdanie B.
Reguły wnioskowania to operacje, które skończonym ciągom schematów A 1, . . . An przypisują schemat B w taki sposób, że B jest logiczną konsekwencją A 1, . . . An nazywamy przesłankami a B wnioskiem Reguła modus ponens: A, A B B czyli [A (A B)] B oraz przechodniość implikacji [(A B) (B C)] (A C)
Wnioskowanie wstecz Załóżmy, że mamy następującą regułową bazę wiedzy zawierającą 5 reguł: R 1: IF p AND q THEN s R 2: IF r THEN t R 3: IF s AND t THEN u R 4: IF w AND u THEN v R 5: IF q THEN w
wejście: q, r, p czy na podstawie bazy wiedzy można wywnioskować v? Wnioskowanie: BF={q, r, p} • R 4 reguła z wnioskiem v • czy u, w BF ? nie • czy da się wywnioskować u? • R 3 reguła z wnioskiem u • czy s, t BF ? nie • czy da się wywnioskować t? • R 2 reguła z wnioskiem t • czy r BF ? tak • BF=BF {r}={q, r, p, t} • czy da się wywnioskować s? • R 1 reguła z wnioskiem s
• • czy p, q BF ? tak BF=BF {s}={q, r, p, t, s} BF={q, r, p, t, s, u} czy da się wywnioskować w? R 5 reguła z wnioskiem w czy q BF ? tak BF=BF {w}={q, r, p, t, s, u, w} v=TRUE
Wnioskowanie w przód Przy tej samej bazie reguł załóżmy, że na wejście podajemy fakty q, s, t. zadanie: wywnioskować wszystko co się da Wnioskowanie: BF={q, s, t} 1 iteracja ( przechodzę wszystkie reguły i sprawdzam czy na podstawie mojej bazy faktów dana reguła może zostać wykorzystana) R 1: nie R 2: nie R 3: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u} R 4: nie
R 5: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w} 2 iteracja R 1: nie R 2: nie R 4: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w, v} 3 iteracja R 1: nie R 2: nie stop ( więcej reguł nie ma)
Drzewo wywodu kwota do zainwestowania do 5000 od 5000 do 30000 dochód na osobę poniżej śred. lokata powyżej śr obligacje powyżej 30000 wiek <35 lat fundusz wiek >35 lat obligacje <35 lat akcje >35 lat nieruch.
Każda ścieżka w drzewie utworzy nam jedną regułę w bazie wiedzy. R 1: If kwota do zainwestowania = do 5000 and dochód na osobę =poniżej średniej then inwestycja = lokata w banku R 2: If kwota do zainwestowania = do 5000 and dochód na osobę =powyżej średniej then inwestycja = obligacje R 3: If kwota do zainwestowania = do 5000 do 30000 and wiek =do 35 lat then inwestycja = fundusz powierniczy
R 4: If kwota do zainwestowania = od 5000 do 30000 and wiek = powyżej 35 lat then inwestycja = obligacje R 5: If kwota do zainwestowania = powyżej 30000 and wiek = do 35 lat then inwestycja = akcje R 6: If kwota do zainwestowania = powyżej 30000 and wiek = powyżej 35 lat then inwestycja = nieruchomości
Sieci semantyczne są wzorowane na modelu ludzkiej pamięci w sensie psychologicznym. Zostały wprowadzone przez Quilliana (1968). Tworząc sieć semantyczną tworzymy pewien graf, którego węzłami są obiekty lub zbiory obiektów a gałęziami są relacje. Relacje mogą być różnego typu na przykład strukturalne, funkcjonalne lub przestrzenne. Wnioskowanie w sieci semantycznej oznacza przeszukiwanie grafu.
Przykład sieci semantycznej jest Lokomotywa Kalkulator Maszyna jest typem jest Procesor jest częścią Abakus jest Komputer jest częścią VAX
Zastosowanie sieci semantycznych Sieci semantyczne są często stosowane w systemach analizy i rozumienia języka naturalnego. Są również przydatne do tłumaczenia z jednego języka na inny oraz wspomagania uczenia.
Model obliczeniowy W modelu obliczeniowym baza wiedzy ma postać wzorów matematycznych natomiast algorytm wnioskowania polega na odpowiednim przekształcaniu tych wzorów aby obliczyć zmienną szukaną. W związku z potrzebą przekształcania wzorów muszą one być reprezentowane przy pomocy dynamicznych struktur danych co oznacza, że na poziomie implementacyjnym reprezentowane są za pomocą list.
Zagadnienia matematyczne w sieciach neuronowych
1. Problemy optymalizacyjne a) Zadania optymalizacyjne rozwiązywane przy pomocy ANNs b) Optymalizacja ANNs, np. procesu nauki 2. Problemy aproksymacyjne 3. Problemy związane z dynamiką a) Badanie dynamiki nauczonej sieci rekurencyjnej b) Badanie dynamiki procesu nauki sieci neuronowej Publikacja przeglądowa: Bielecki A. , Matematyczne podstawy sztucznych sieci neuronowych, Matematyka Stosowana, vol. 4, 2003, 25 -55.
Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych
Bielecki A. , Ombach M. , Dynamical properties of a perceptron learning process – structural stability under numerics and shadowing , Journal of Nonlinear Science, vol. 21, 2011, 579 -593. Bielecki A. , Ombach J. , Shadowing property in analysis of neural network dynamics, Journal of Computational and Applied Mathematics, vol. 164 -165, 2004, 107 -115. Bielecki A. , Jabłoński D. , Kędzierski M. , Properties and applications of weakly nonlinear neurons, Journal of Computational and Applied Mathematics, vol. 164 -165, 2004, 93 -106. Bielecki A. , Dynamical properties of learning process of weakly nonlinear and nonlinear neurons, Nonlinear Analysis: Real World Applications, vol. 2, 2001, 249 -258.
Podstawy Matematyczne
Topologiczne sprzężenie Definicja Niech M będzie rozmaitością riemanowską. Mówimy, że dyfeomorfizmy f, g: M M są topologicznie sprzężone jeśli istnieje homeomorfizm : M M taki, że f ° = °g. Uwaga. Kaskady generowane przez topologicznie sprzężone dyfeomorfizmy mają taką samą dynamikę.
Twierdzenie Z: M – gładka, skończenie wymiarowa rozmaitość riemanowska bez brzegów z metryką ; F – pole wektorowe klasy C 2 na M; : M ℝ M - potok generowany przez: dx/dt = F(x); h: M M jest dyskretyzacją czasową , tzn. h(x) = (x, h); h, p – dyfeomorfizm generowany przez metodę R-K rzędu p=1, 2, … T > 0 jest ustalone. T: Dla dostatecznie dużego m i dla każdego p istnieje homeomorfizm m: M M taki, że ( T/m, p)m ° m = m ° T Ponadto limm ∞ ( m(x), x) = 0.
Definicja Niech h: M M oznacza operator generowany przez metodę numeryczną z krokiem h zastosowaną do równania różniczkowego generującego potok . Mówimy, że potok jest numerycznie stabilny względem h jeśli operator h oraz dyskretyzacja h potoku są topologicznie sprzężone dla dostatecznie małych h. Definicja Mówimy, że dana własność jest generyczna w przestrzeni topologicznej X jeśli posiada ją pewien zbiór otwarty i gęsty w X.
Własność shadowing Definicja Mówimy, że ciąg {yk}k∈ℤ jest -pseudoorbitą dyfeomorfizmu f: M M jeśli (f(yk), yk+1) ≤ . Definicja Mówimy, ze kaskada generowana przez dyfeomorfizm f: M M ma własność shadowing jeśli dla każdego >0 istnieje >0 taka, że dla każdej -pseudoorbity {yk}k∈ℤ dyfeomorfizmu f istnieje x∈M takie, że dla każdej liczby całkowitej k zachodzi (yk, f k(x)) ≤ .
Własność inverse shadowing Niech Mℤ oznacza zbiór wszystkich ciągów punktów należących do M indeksowanych zbiorem liczb calkowitych. Definicja Odwzorowanie f nazywamy -metodą dyfeomorfizmu f jeśli: f(y)0 = y dla każdego y∈M; f(y) jest -pseudoorbitą dyfeomorfizmu f.
Definicja Rodzinę T(f) -metod dyfeomorfizmu f”: M M taką, że dla każdego >0 istnieje -metoda należąca do T(f) nazywamy klasą. Niech k, k∈ℤ oznacza rodzinę ciągłych odwzorowań na M taką, że 0=id. M oraz, dla każdego k∈ℤ, zachodzi D∞(f ° k, k+1) ≤ , gdzie D∞(f, g) : = supx∈M (f(x), g(x)).
Zdefiniujmy następujące klasy: c składa się z metod postaci f(y) = { k(y)}k∈ℤ, y∈M. s składa się z metod postaci f(y) = {yk}k∈ℤ, y 0=y, yk+1= k(yk). : = c ∪ s.
Definicja Niech T(f) będzie klasą. Mówimy, że f ma własność T-inverse shadowing jeśli dla dowolnego >0 istnieje >0 taka, że dla każdej orbity {xk}k∈ℤ oraz dowolnej -metody f ∈T(f) istnieje y∈M taki, że dla wszystkich całkowitych k zachodzi (xk, f (y)k ) ≤ . Definicja Mówimy, że kaskada generowana przez dyfeomorfizm f ma własność T – bishadowing jeśli ma własnosć shadowing oraz T – inverse shadowing.
Proces nauki perceptronów
Załóżmy, że w∈ℝn jest wektorem wszystkich wag perceptronu oraz że dany jest ciąg uczący i funkcja kryterialna E: ℝn ℝ. Niech nauka perceptronu będzie metodą h, p zastosowaną do równania dw/dt = -grad E(w). Ustalmy T>0 oraz r>0.
Twierdzenie Istnieją zwarta, gładka, n-wymiarowa rozmaitość bez brzegów M oraz funkcja V: ℝn ℝ takie, że B(0, 2 r)⊂M oraz V|B(0, r) = E takie, że potok generowany przez równanie dw/dt = -grad V(w) jest generycznie numerycznie stabilny względem operatora h, p zastosowanego do powyższego równania rózniczkowego. Ponadto, kaskada generowana przez dyskretyzację oraz kaskada generowana przez operator numeryczny mają, generycznie, własność T – bishadowing, gdzie T=.
- Podstawy sztucznej inteligencji
- "sztucznej inteligencji"
- Działania na systemach liczbowych
- Test inteligencji wielorakiej doc
- Iloraz inteligencji
- Iloraz inteligencji
- Triarchiczna teoria inteligencji
- Test urbana jellena
- Iloraz inteligencji
- Piramida cheopsa ciekawostki matematyczne
- Ekierki matematyczne
- Modelowanie definicja
- 1 rzymskie
- Wyszywanki matematyczne szablony
- Anegdoty matematyczne
- Nekonvenční metody obrábění
- Metoda wielkości krańcowych
- Metody spektroskopowe
- Diagnostické metody v pedagogice
- Analyticko synteticka metoda
- Metody szybkiego uczenia się
- Metody pedagogické diagnostiky
- Prognozowanie analogowe
- Metody, techniki i narzędzia badawcze
- Metody i formy pracy z uczniem zdolnym
- Metody prognozowania popytu
- Kusownictwo
- Metody oceny stanu zdrowia pacjenta
- Metody otrzymywania soli ćwiczenia
- Metody dyscyplinowania uczniów
- Diagnostika dieťaťa v mš
- Metody prezentacji danych
- Weryfikacja części
- Sprinttimer
- Serologicke metody
- Fáze výuky podle mojžíška
- Metody zarządzania ryzykiem walutowym w przedsiębiorstwie
- Jaké metody používáme k odchytu vodních živočichů
- Burza mózgów gordona
- Metody klasyfikacji danych
- Semilongitudinální výzkum
- Schemat blokowy spektrofotometru uv vis
- Jak sobie radzić ze stresem
- Metody pomiaru bezrobocia
- Turbidancja
- Metody historyczne
- Metody pomiaru temperatury
- Metody aktywizujące przykłady
- Fizyczne metody konserwacji żywności
- Dyscyplina w klasie metody i techniki interwencji