Algorytmy ewolucyjne Termin EC Evolutionary Computation obliczenia ewolucyjne

Algorytmy ewolucyjne § Termin EC (Evolutionary Computation) obliczenia § § ewolucyjne obejmuje wiele technik obliczeniowych kluczowym elementem jest model procesów ewolucyjnych Algorytmy ewolucyjne operują na populacji struktur, które podlegają procesowi ewolucji w czasie, wykorzystując operatory selekcji, mutacji i rekombinacji Każdy element populacji oceniany jest za pomocą miary przystosowania do środowiska (fitness factor). Wśród algorytmów ewolucyjnych wyróżnia się § programowanie ewolucyjne (EP) § strategie ewolucyjne (ES) § algorytmy genetyczne (GA).

procedure EA; { T=0; inicjuj_populację P(t); oceń P(t); repeat { t=t+1; wybór rodziców P(t); rekombinacja P(t); mutacja P(t); oceń P(t); sukcesja P(t); } until warunek stopu; }

§ Podstawowymi elementami wszystkich algorytmów ewolucyjnych jest populacja i działające na niej operatory § Różnice pomiędzy algorytmami tkwią w wyborze: § reprezentacji indywidualnych struktur, § typu mechanizmów selekcji, § rodzaju genetycznych operatorów, § metody ich oceny.

§ W programowaniu ewolucyjnym (EP) § § nie stosuje się operacji krzyżowania Elementy - wektory liczb rzeczywistych, listy lub grafy Wybór rodziców nie zależy od funkcji przystosowania (każdy) selekcja jest dokonywana na podstawie probabilistycznej funkcji, bazującej na przystosowaniu § Ewolucyjne strategie (ES) § stosują reprezentację wektorów rzeczywistych § Rodzice wybierani są losowo, § stosuje się mutację, a następnie rekombinację, która ma drugorzędne znaczenie § Operator selekcji wybiera najlepiej przystosowane indywidualne struktury. § Algorytmy genetyczne § używają zwykle niezależnej reprezentacji w postaci ciągu bitów, (grafy, wyrażenia Lisp’u, listy, wektory) § Selekcja rodziców zależna jest od wartości funkcji przystosowania § Elementy potomne utworzone w wyniku rekombinacji rodziców poddawane są mutacji i krzyżowaniu § Relacje między tymi operatorami są przeciwne niż w ES § Mutacja ma znaczenie drugorzędne

AG John Holland 1975 § przetwarza populację osobników (rozwiązań problemu) § Działa w środowisku (zdefiniowanym na pdst. problemu; opisanym przez funkcję przystosowania - ff) § Osobnik § § § § Przystosowanie – określa jakość rozwiązania – ff Genotyp – informacja; przepis na Fenotyp – zestaw cech (podlega ocenie) Kodowanie – zamiana fenotypu na genotyp Fenotyp – punkt w przestrzeni rozwiązań problemu Genotyp – punkt w przestrzeni kodów Funkcja przystosowania – przypisuje osobnikom przystosowanie na podstawie fenotypu

GA § Funkcja przystosowania § Stacjonarna § Zmienna w czasie § Zawierająca element losowy § ff – określona dla genotypu § Genotyp – składa się z chromosomów (najczęściej jednego) § Chromosom – zawiera kod określający fenotyp; składa się z genów § Allel – wartość genu

GA Reprodukcja operatory genetyczne ocena sukcesja § Utworzenie początkowej populacji bazowej (losowo) § Pętla: - generacje, pokolenia § Reprodukcja – powielenie losowo wybranych elementów z populacji bazowej do populacji tymczasowej ; losowość do uwzględnia przystosowanie § Kopie powstałe w wyniku reprodukcji – osobniki rodzicielskie – populacja tymczasowa § Operatory genetyczne – losowa modyfikacja genów § Krzyżowanie § Mutacja § Populacja potomna § Ocena § Sukcesja – tworzenie nowej populacji bazowej (zawiera osobniki z populacji bazowej i potomnej) § Warunek stopu: odpowiednio duże przystosowanie lub stagnacja algorytmu

procedure SGA; { t=0; inicjuj_populację P(t); oceń P(t); repeat { t=t+1; T(t)=reprodukcja P(t); O(t)=rekombinacja i mutacja P(t); oceń O(t); ) P(t)=O(t); } until warunek stopu; } P(t) – populacja bazowa O(t) – populacja potomna T(t) – populacja tymczasowa

§ Zastosowanie algorytmu genetycznego do rozwiązania problemu wymaga określenia następujących elementów: § sposobu reprezentacji poszczególnych osobników populacji (tj. możliwych rozwiązań), § sposobu oceny elementów populacji, § operatorów genetycznych.

§ Łańcuchy zer i jedynek stosowane w algorytmach genetycznych są najprostszą reprezentacją, niezależną od problemu § Można przy jej pomocy budować skomplikowane struktury, co wymaga jednak stosowania często złożonych schematów kodowania § Każde rozwiązanie problemu musi posiadać swoją reprezentację w postaci łańcucha i każdy łańcuch musi reprezentować jakieś rozwiązanie § Elementy populacji oceniane są za pomocą funkcji przystosowania, reprezentującej rozwiązywany problem.

kodowanie Chromosom – n-elementowy ciąg genów (0 lub 1) 0101000111

reprodukcja § Odpowiednik zasady doboru naturalnego § Powielanie ciągów kodowych w zależności od wartości funkcji przystosowania § Proporcjonalna, ruletkowa § Każdemu ciągowi kodowemu odpowiada sektor o rozmiarze proporcjonalnym do ff § Wielokrotne zakręcenie kołem ruletki – kopiowanie do populacji

mutacja Wykonywana dla każdego genu z prawdopodobieństwem pm 0101000111 0100001111

Krzyżowanie pc Miejsce rozcięcia wybierane losowo z rozkładem równomiernym Odpowiednik przemian w DNA

chromosm ff p. reprodukcji dystrybuanta 1 1111110011 8 0, 082474227 2 0110100100 4 0, 041237113 0, 12371134 3 0000110100 3 0, 030927835 0, 154639175 4 0110100111 6 0, 06185567 0, 216494845 5 1001111001 6 0, 06185567 0, 278350515 6 10011 6 0, 06185567 0, 340206186 7 0000100101 3 0, 030927835 0, 371134021 8 1000110100 4 0, 041237113 0, 412371134 9 0001011001 4 0, 041237113 0, 453608247 10 1011110000 5 0, 051546392 0, 505154639 11 0010111101 6 0, 06185567 0, 567010309 12 1100010010 4 0, 041237113 0, 608247423 13 0111110111 8 0, 082474227 0, 690721649 14 0100101100 4 0, 041237113 0, 731958763 15 000110 4 0, 041237113 0, 773195876 16 1001001101 5 0, 051546392 0, 824742268 17 1010000110 4 0, 041237113 0, 865979381 18 0010101100 4 0, 041237113 0, 907216495 19 1101000011 5 0, 051546392 0, 958762887 20 0010010011 4 0, 041237113 1 Σ=97 wart. śr. ff = 4. 85

Koło ruletki

Dystrybuanta rozkładu reprodukcji Wylosowana liczba Wybrany – osobnik 9

rep - zmienna losowa wykorzystywana do określenia reprodukowanego osobnika i - numer reprodukowanego osobnika g -jego genotyp ff - jego funkcja przystosowania (liczba "1" w ciągu kodowym) c - wartość zmiennej losowej okreslającej decyzję o krzyżowaniu k - pozycja rozcięcia gp - genotyp potomka ffp - funkcja przystosowania potomka wm - wektor decyzji o mutacji poszczególnych genów gpm - genotyp potomka po mutacji ffpm - funkcja przystosowania potomka po mutacji

rep i g ff c k gp ffp wm gpm ff 0. 0267 1 1111110011 8 1 1 1111110011 8 0000001000 1111111011 9 0. 0428 1 1111110011 8 1 1 1111110011 8 0001000000 1110110011 7 0. 3426 7 0000100101 3 0 — 0000100101 3 0000000100 00001 2 0. 6351 13 0111110111 8 0 — 0111110111 8 0100001100 0011111011 7 0. 6975 14 0100101100 4 1 8 0100101100 4 000001 0100101101 5 0. 8737 18 0010101100 4 1 8 0010101100 4 0010000000101100 3 4 0110100111 6 1 5 0110110111 7 100000 1110110111 8 8 1 5 7 00000 0111100111 7 0. 1706 0. 6526 13 0111110111100111

§ Reprodukcja § średnia wartość ff w kolejnych pokoleniach wzrasta § Maleje różnorodność populacji § Operatory genetyczne (mutacja, krzyżowanie) § Przywracają różnorodność § Nie gwarantują poprawy średniego przystosowania

selekcja § Reprodukcja (preselakcja) § Powielanie osobników o lepszym przystosowaniu z większym prawdopodobieństwem niż osobników gorzej przystosowanych § Nacisk selektywny § Sukcesja (postselekcja) § Utworzenie nowej populacji bazowej na podstawie populacji potomnej i starej populacji bazowej

Metody reprodukcji § Reprodukcja proporcjonalna (ruletkowa) § Zmodyfikowana reprodukcja § § § proporcjonalna Reprodukcja rangowa (rankingowa) Reprodukcja turniejowa Reprodukcja progowa

Metody reprodukcji § Reprodukcja proporcjonalna (ruletkowa) pr(X)=ff(X)/ΣY є P(t)f(Y) § Jeśli ff różnią się o stałą – zmniejsza się intensywność nacisku selektywnego w kolejnych generacjach (coraz więcej osobników ma podobne wartości ff), co utrudnia zbieżność; § Na początku – duże zróżnicowanie ff tendencja do przedwczesnej zbieżności

Metody reprodukcji § Zmodyfikowana reprodukcja proporcjonalna § Odjęcie najmniejszej wartości ff § Reprodukcja rangowa (rankingowa) § Prawdopodobieństwo reprodukcji każdego osobnika podane w sposób jawny – na podstawie rangi – liczby, określającej jakość § Posortowanie osobników nierosnąco wg. wartości ff; ranga = numer osobnika w szeregu § Funkcja prawdopodobieństwa: Liniowa: pr(X) = a + k (1 – r(X)/rmax) Lub potęgowa: pr(X) = a + k (rmax – r(X))b § Niewrażliwa na zwiększenie ff o stałą

Metody reprodukcji § Reprodukcja turniejowa § Dwustopniowa selekcja 1. Wybór q osobników z P(t) – Q(t) § Losowanie ze zwracaniem i bez zwracania 2. turniej między osobnikami z Q – wygrywa najlepiej przystosowany q – rozmiar (liczność) turnieju q=2 § Reprodukcja progowa § § pr(X)=1/(μρ) dla 0 <= r(X) < μρ pr(X)=0 w przeciwnym wypadku r – ranga μ – rozmiar populacji ρ - nacisk selektywny ρ= 1 – wszystkie elementy mogą reprodukować ρ=1/μ – tylko 1 element reprodukuje (najlepszy)

Metody sukcesji 1. Z całkowitym zastępowaniem (trywialna) - nowa populacja bazowa powstaje wyłącznie z populacji potomnej § Nie zawsze najlepsze rozwiązania z populacji P(t) znajdą się w P(t+1) 2. Sukcesja z częściowym zastępowaniem § Część osobników starej populacji zamieniona przez potomstwo § Najgorzej przystosowani - sukcesja elitarna § Najbardziej podobni do potomnych – metoda ze ściskiem § Losowo wybrani Sukcesja elitarna § P(t+1) powstaje z O(t) i η najlepszych osobników z P(t) η - elita

kodowanie § Reprezentacja rzeczywistych wartości zmiennej x – chromosom – wektor binarny § Długość wektora zależy od żądanej dokładności i dziedziny zmienności x § Przykład: § x Є < -1; 1 > 2 § dokładność - 1 cyfra po przecinku § Podział przedziału na 2 * 101 części § 2 4 = 16 < 20 <25=32 § Długość chromosomu – 5 bitów § liczba= -1 + x * 2 / ( 25 – 1 ) // x – chromosom binarny zamieniony na liczbę (10) § 11111 31 * 2 / (25 – 1) = 2 ; -1 +2 = 1 § 00000 -1

PRZYKŁAD d = -1 + x(10) * 2 / 31 § d = 0. 5 ? ? ? § x(10) = (d+1) * 31 / 2 = 1. 5 *31 / 2 = 23. 25 ->23 =10111(2 § 10111 23 * 2 / 31= 46/31 -1 +1. 48=0. 48 0. 5 § d=0. 2 § 1. 2 * 31/2 = 18. 6 19 10011 § 10011 19 *2/31 38/31 =1. 22 -1 + 1. 2 = 0. 2

Kod Gray’a § Problemy reprezentacji binarnej § 100 zmiennych z zakresu <-500, 500>; dokładność – 6 cyfr po przecinku długość binarnego wektora = 3000 § 2 punkty leżące blisko siebie w przestrzeni reprezentacji leżą blisko siebie w reprezentacji zadania ? ? § Odległość między reprezentacjami = liczba pozycji o różnych bitach § kod Grey’a

binarny Grey’a 0000 0001 0010 0011 0010 0100 0110 0101 0111 0100 1000 1100 1001 1101 1010 1111 1011 1110 1100 1010 1101 1011 1110 1001 1111 1000 procedure B-G begin g[1]=b[1]; for k=2 to m do g[k]=b[k-1] xor b[k] end procedure G-B begin v=g[1]; b[1]=v; for k=2 to m do if g[k]==1 then v=not v; b[k]=v; end

Kodowanie zmiennopozycyjne § Genotyp: s=<v 1, v 2, …. . , vm> § vi – pojedyncza zmienna; m – długość wektora rozwiązania § Każdy element z zadanej dziedziny § Możliwe duże dziedziny i nieznane dziedziny § Operatory genetyczne zachowują ograniczenia związane z dziedziną § Mutacja § krzyżowanie

Kodowanie zmiennopozycyjne § Mutacja § Losowa – zmiana jednej cyfry wybranej składowej liczby § Równomierna – zastąpienie losowo wybranego vk nowym wygenerowanym z jego dziedziny s=<v 1, v 2, …. . , vm> <v 1, . . v’k, …. . , vm> § Nierównomierna - zależna od numeru pokolenia s=<v 1, v 2, …. . , vm> <v 1, . . v’k, …. . , vm> Początkowo – większe zmiany; później lokalne przeszukiwanie § § Zmiana pojedynczego vi Zmiana całego wektora

Kodowanie zmiennopozycyjne § Krzyżowanie § Proste § Punkty krzyżowania pomiędzy wartościami vi § Arytmetyczne § Liniowa kombinacja wektorów rodzicielskich (całe wektory lub wybrane elementy) sta=<v 1, v 2, …. . , vm> stb=<v 1, v 2, …. . , vm> St+1 a=c* sta + (1 -c)* stb St+1 b=c *stb + (1 -c)* sta c – stała ( jednorodne krzyżowanie) zmienna (niejednorodne krzyżowanie)

Ocena algorytmu ewolucyjnego § Metoda niedeterministyczna - przy jednakowych § § parametrach i identycznych populacjach startowych – różne zachowanie algorytmu Rzetelna ocena – wymaga wielu uruchomień, analizy statystycznej Krzywa zbieżności – wykres zmian rozwiązania roboczego w czasie (wartości średnie ff, wartości maksymalne, wykres zmian przystosowania najlepszego osobnika); uśrednione lub dla pojedynczego przebiegu Koszt symulacji – liczba iteracji + liczność populacji Testy odporności algorytmu – zdolności opuszczania ekstremum lokalnego

§ Dopuszczalne jest pogorszenie populacji bazowej przez reprodukcję osobników słabo przystosowanych wyjście z pułapki ewolucyjnej § Pułapka ewolucyjna – niewielkie zmiany fenotypu prowadzą do pogorszenia rozwiązania

§ Operator selekcji, wielkość populacji oraz generacja § § populacji początkowej mają wpływ na różnorodność populacji Jest ona bardzo ważnym aspektem algorytmów genetycznych, gdyż decyduje o sposobie przeszukiwania dziedziny i od niej zależy możliwość znalezienia najlepszego rozwiązania Na początku algorytm sprawdza wiele różnych rozwiązań, a następnie dokładniej penetruje potencjalnie bardziej perspektywiczne obszary dziedziny funkcji. Jeśli początkowa populacja jest zróżnicowana, tj. zawiera dobrze spróbkowaną dziedzinę algorytmu to algorytm ma szansę na odnalezienie najlepszego rozwiązania. Źle przygotowana populacja startowa może spowodować, że pewne obszary dziedziny nie będą w ogóle badane. Algorytm genetyczny nie gwarantuje zbieżności do minimum globalnego, dlatego często stosuje się jego hybrydy.

PRSA połączenie AG z SA (parallel recombinative simulated annealing) procedure PRSA; { T=T 0; ustal wysoką początkową temperaturę Inicjuj n-elementową populację ; repeat { do n/2 razy{ t=t+1; wybór 2 rodziców z populacji; generuj 2 potomków (mutacja, rekombinacja ) ; oceń potomków (Ei); przeprowadź zawody Boltzmanna; zastąp rodziców zwycięzcami zawodów; } T=T- T; } until warunek stopu; }

§ PRSA odpowiada równolegle działającym wielu kopiom SA, z wykorzystaniem operatorów genetycznych: mutacji i krzyżowania § Zastosowanie schematu Metropolisa gwarantuje zbieżność metody do minimum globalnego § Tradycyjny operator selekcji zastąpiono tzw. alternatywą Boltzmanna [Aarts i Korst, 1989], w której prawo rodziców do życia określone jest prawdopodobieństwem p, danym wzorem gdzie: Ei – „energia” rodzica, Ej – „energia” potomka.

Ważnym problemem algorytmów ewolucyjnych jest również właściwy wybór reprezentacji oraz rozmiaru populacji, będącej miarą ilości zawartej w niej informacji (ang. carrying capacity). Małe populacje mogą być wystarczające do rozwiązania prostych problemów, natomiast liczniejsze stosuje się do bardziej skomplikowanych zadań. Trudne problemy wymagają stosowania licznych populacji. Dlatego, aby zredukować czas potrzebny do uzyskania zadawalającego rozwiązania stosuje się algorytmy współbieżne, wykorzystujące inherentną równoległość metody

Grefenstette wyróżnił cztery typy równoległych algorytmów genetycznych: § synchroniczny scentralizowany - w którym proces nadrzędny realizuje operacje genetyczne i koordynuje procesy podrzędne, obliczające wartości funkcji przystosowania, § półsynchroniczny scentralizowany - będący modyfikacją poprzedniego, polegającą na asynchronicznym działaniu procesów podrzędnych, § asynchroniczny rozproszony - w którym współbieżne procesy realizują niezależnie wszystkie operacje, wykorzystując pamięć dzieloną, § sieciowy - z autonomicznymi procesami realizującymi niezależne algorytmy genetyczne, komunikującymi się między sobą wymieniając najlepiej przystosowane osobniki.

Erick Cantu-Paz sformułował kilka kategorii technik zrównoleglających, stosowanych w algorytmach genetycznych: § zrównoleglenie globalne (global parallelization), § gruboziarniste równoległe GA (coarse grained parallel GA), § drobnoziarniste równoległe GA (fine grained parallel GA), § hybrydowe równoległe GA.

§ W GGA (Global Genetic Algorithm) każde dwa osobniki mogą być krzyżowane. § podział populacji między dostępne procesory § symultaniczna ewolucja subpopulacji § impulsowy wzrost komunikacji między procesami § Algorytmy coarse grained § Subpopulacje izolowane są między sobą na wzór geograficznych kontynentów, § genetyczne połączenie grup zapewnia migracja osobników - każda grupa w każdym kroku czasowym wysyła do innych swoich przedstawicieli § W modelu „wyspa” (island) migracja może się odbywać do dowolnej subpopulacji, natomiast metoda „stepping stone” ogranicza ją do sąsiednich obszarów. § Drobnoziarniste równoległe GA dzielą populację na wiele małych i realizowane są na masywnie równoległych komputerach § Algorytmy hybrydowe stanowią połączenie tych trzech technik.

procedure LGA; { inicjuj_populację P(t); oceń P(t); repeat { losowy wybór obszaru 3 x 3; wybór dwóch rodziców; krzyżowanie; mutacja; probabilistyczny wybór najlepszego spośród dwóch potomków i osobnika najgorszego w danym sąsiedztwie; dołącz zwycięzcę do nowej populacji; } until warunek stopu; }

Klasyczny GA Gdy krzyżowane są osobniki o wysokiej wartości ff, a niepodobnych ciągach kodowych może dojść do: § rozrywania dobrze przystosowanych łańcuchów § zuniformizowania populacji § zaniku różnorodności populacji § oddalenia od optimum globalnego

Przykład

GA, wykorzystujące ideę lokalności § Znaczenie geograficznego rozmieszczenie osobników § krzyżowanie ma miejsce jedynie pomiędzy spokrewnionymi gatunkami - „dobór krewniaczy” § dobrze przystosowane elementy populacji tworzą skupiska § oddalone od siebie ciągi kodowe, cechujące się dużą wartością funkcji celu nie zostaną rozbite § utrzymanie różnorodności populacji; możliwe jest zlokalizowanie większej ilości ekstremów