Neuro Evolution of Augmented Topologies Michael Isik 26

Neuro. Evolution of Augmented Topologies Michael Isik 26. 11. 2020 1

Worum gehts eigentlich? n n 26. 11. 2020 Problem soll gelöst werden durch Neuronales Netz Strategie zur automatischen Erzeugung Neuronaler Netze Bedient sich Evolutorischer Programmierung Entworfen von Kenneth O. Stanley und Risto Miikkulainen 2

Hauptthemen n n 26. 11. 2020 1. Grundlagen der Neuronalen Netze 2. Evolutorische Programmierung 3. NEAT 4. Evaluierung 3

1. Grundlagen der Neuronalen Netze Ziel: Erlernen von Funktionen oder Verhaltensweisen n Beispiele: u XOR Funktion u Pole Balancing u Steuerung von Fußballroboter u Wettervorhersage n 26. 11. 2020 4

Neuronales Netz als Blackbox: n n Meist reelle Werte verarbeiten Kann Gedächtnis besitzen 26. 11. 2020 5

Aufbau eines Neuronalen Netzes: n n n Signalinput durch Input. Zellen (Sensoren) Verbindungen leiten Signale weiter Gewichte modifizieren Signale Versteckte Zellen verarbeiten Signale Output Zellen geben Signale aus 26. 11. 2020 6

Aufbau einer versteckten Zelle: 26. 11. 2020 7

Beispielschaltung OR: 26. 11. 2020 8

Wer erzeugt die Netze eigentlich? 26. 11. 2020 9

Die Lernalgorithmen n 26. 11. 2020 Ziel: Automatisches Erzeugen Neuronaler Netze 10

Backpropagation: Fußballroboter: Navigation 26. 11. 2020 11

NEAT: n n 26. 11. 2020 TWEANNs: Topology and Weight Evolving Artificial Neural Networks Evolutorische Programmierung mit Genetischen Algorithmen 12

Hauptthemen n n 26. 11. 2020 1. Grundlagen der Neuronalen Netze 2. Evolutorische Programmierung 3. NEAT 4. Evaluierung 13

2. Evolutorische Programmierung Ziel: Entwicklung von Systemen als Individuen in einer Population, die ein Problem lösen n Angelehnt an die natürliche Evolution n 26. 11. 2020 14

Graphisches Modell: 26. 11. 2020 15

Frage n n 26. 11. 2020 Lebewesen mutieren nicht direkt Vielmehr deren DNA bzw. Genom Wie übertragen wir dies in die künstliche Evolution? Antwort: Genetische Algorithmen 16

Genetische Algorithmen n n System wird durch Genom kodiert Operationen wie: Mutation u Paarung anhand der Genome u 26. 11. 2020 17

Kodierung eines Systems Begriffe: n Genom n Gen n Allel 26. 11. 2020 18

Crossover 26. 11. 2020 19

Mutation 26. 11. 2020 20

Hauptthemen n n 26. 11. 2020 1. Grundlagen der Neuronalen Netze 2. Evolutorische Programmierung 3. NEAT 4. Evaluierung 21

3. NEAT Ziel: Entwicklung von Neuronalen Netzen für ein Problem n Smileys werden durch Neuronale Netze ersetzt n 26. 11. 2020 22

Grober Überblick n n n Problem ist gegeben Initiale Population von Neuronalen Netze mit Fitnessfunktion (wie gut löst Netz das Problem? ) selektieren Netze paare Netze mutieren Ist das Problem gelöst? 26. 11. 2020 23

Zur Erinnerung: 26. 11. 2020 24

Initiale Population n n Problem definiert Inputs und Outputs Netze minimaler Größe Verkleinert den Suchraum Ermöglicht minimale Lösung 26. 11. 2020 25

Zur Erinnerung: 26. 11. 2020 26

Selektion n n 26. 11. 2020 Die Fitnessfunktion wird durch das Problem definiert Diese entscheidet über die Güte eines Netzes 27

Genetische Algorithmen in NEAT n 3 Punkte: Genetische Kodierung u Crossover u Mutation u 26. 11. 2020 28

Kodierung eines Netzes 26. 11. 2020 29

Innovationsnummer n n Neu entstandene Gene erhalten neue Nummern Nachkommen von Netzen erben die Nummern Die Nummer als Zeitpunkt der Entstehung Ziele: Selbe Nummer bedeutet selbes Allel (Crossover) u Unterteilung in Arten u 26. 11. 2020 30

Zur Erinnerung: 26. 11. 2020 31

Paarung durch Crossover n 26. 11. 2020 Kommt sofort 32

26. 11. 2020 33

Zur Erinnerung: 26. 11. 2020 34

Mutation der Gewichte n n 26. 11. 2020 Einige Gewichte eines Netzes werden modifiziert Die Innovationsnummer bleibt dabei unverändert 35

Mutation 1 der Topologie 26. 11. 2020 36

Mutation 2 der Topologie 26. 11. 2020 37

Zu den Mutation Beachte: n Netzverhalten wird möglichst nicht verändert n Alte Gene werden nur deaktiviert verbessert Artzuweisung n Es werden niemals Gene entfernt Netz kann nur wachsen 26. 11. 2020 38

Artenbildung n n Nischenbildung Innovationen überleben Genetische Differenz läßt Arten bestimmen Crossover zwischen kompatiblen typen Wegen Innovationsnummern sehr leicht zu implementieren 26. 11. 2020 39

Hauptthemen n n 26. 11. 2020 1. Grundlagen der Neuronalen Netze 2. Evolutorische Programmierung 3. NEAT 4. Evaluierung 40

4. Evaluierung 26. 11. 2020 41

Vergleich mit anderen Systemen n n Problem: Double Pole Balancing Inputs Position des Wagens u Geschwindigkeit des Wagens u Winkelposition von Stange 1 u Winkelgeschwindigkeit von Stange 1 u Winkelposition von Stange 2 u Winkelgeschwindigkeit von Stange 2 u n 26. 11. 2020 Output: Steuerung des Wagens 42

Durchschnittliche Ergebnisse 26. 11. 2020 43

Beispiel für ein Netz n n Double Pole without velocity Äußerst kompakte Lösung 26. 11. 2020 44

Abschließend n n n 26. 11. 2020 Sehr mächtige Strategie Innovationsnummern ermöglichen leichte Implementierungen der Genetischen Algorithmen Minimale Initialpopulation kleiner Suchraum, minimale Lösungen Artenbildung ermöglicht gewagtere Innovationen Testergebnis: entfernt man irgend ein Element schlechtere Performance 45

Das wars n n 26. 11. 2020 1. Grundlagen der Neuronalen Netze 2. Evolutorische Programmierung 3. NEAT 4. Evaluierung 46

Thema 2 n n n 26. 11. 2020 Details über das Thema. Argumente und Beispiele. Warum ist das Thema für Ihr Publikum von Bedeutung? 47