Vorlesung Wasserwirtschaftliche Modellierung Vorlesung 7 Themen Neuronale Netze

Vorlesung Wasserwirtschaftliche Modellierung Vorlesung 7 Themen: Neuronale Netze (ANN) Trainingsformen von Neuronalen Netzen Anwendungsbeispiele Vor- und Nachteile: Fuzzy Logik versus Neuronale Netze

Lernziele der Veranstaltung erschaffen bewerten Sie treffen eine fachlich fundierte Auswahl eines Modellierungskonzeptes (Fuzzy oder Neuronale Netze) in Abhängigkeit der jeweiligen Aufgabenstellung. analysieren anwenden Sie grenzen die Vor- und Nachteile von Fuzzy Logic und Neuronalen Netzen fachlich exakt ab. verstehen Sie verstehen, wann Neuronale Netze bei wasserwirtschaftlichen Aufgaben angewendet werden können und beschreiben diese allgemeinverständlich. erinnern Sie kennen die Grundprinzipien und Voraussetzungen zur Anwendung von Neuronalen Netze. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Neuronale Verschaltung Bildzitat: Wikipedia Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Neutrotransmitter Videozitat: Mundipharma Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Biologisches Neuron versus künstliches Neuron Eingänge (Dendriten) Dendriten Soma Synapsen w 2 w 1 w 3 Aktivierung Axon Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Gewichte (Synapsen) Ausgang (Axon)

Mathematisches Modell eines Neurons Aktivierungsfunktion: Das Ergebnis der Propagation-Funktion wird verwendet um die Aktivierung des Neurons mit der Aktivierungsfunktion zu berechnen. Zu diesem Zweck können verschiedene Funktionstypen verwendet werden. Propagation-Funktion: Im ersten Schritt kombiniert die Propagation-Funktion alle von sendenden Neuronen kommenden Eingangswerte Ix. Kombination bedeutet hier, dass eine gewichtete Summe gebildet wird. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Activaton Function Act Int Propagation Function

künstliche Neuronale Netze Neuron ung üpf Verkn Ausgangsschicht Eingangsschicht verborgene Schicht Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken verborgene Schicht

Geschichte der Künstlichen Neuronalen Netze 1 1943 Warren Mc. Culloch und Walter Pitt beschrieben in ihrem Aufsatz „A logical calculus of the ideas immanent in nervous activity“ neurologische Netzwerke, die auf dem Mc. Culloch. Pitt-Neuron basieren. Sie zeigten, dass auch einfache Klassen neuronaler Netze prinzipiell jede arithmetische oder logische Funktion berechnen können. 1949 Donald O. Hebb beschrieb in seinem Buch „The Organization of Behaviour“ die mittlerweile klassische Hebb‘sche Lernregel als einfaches universelles Lernkonzept individueller Neuronen. 1974 Paul Werbos entwickelte in seiner Dissertation an der Harvard-Universität das Backpropagationverfahren. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Grundlegende Prinzipien von ANNs Trainingsphase Arbeitsphase Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Trainingsphase Die Entwicklung eines Neuronalen Netzes erfordert, dass dem Netz das gewünschte Verhalten beigebracht wird. Dieses wird als Trainingsphase bezeichnet. Dazu werden Beispieldatensätze mit bekannten Input- und Output-Konstellationen verwendet. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Arbeitsphase Nachdem das Lernen abgeschlossen ist, kann das Neuronale Netz in die Arbeitsphase eintreten. Als Ergebnis des Trainings wird das Neuronale Netz bei Eingangswerten, die den Trainingssätze entsprechen, ähnliche Ergebnisse produzieren. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Black Box Verhalten Es ist nicht möglich Wissen aus den Neuronalen Netzen zu extrahieren. Neuronale Netze zeigen nach außen ein typisches „Black-Box“ Verhalten. Eine Erklärungskomponente, die dem Menschen hilft, den Verarbeitungsweg nachzuvollziehen, gibt es nicht. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Black Box

Typen von Lernregeln • Überwachtes Lernen: „supervised Learning“ Wenn ein gegebenes Eingangsmuster ein spezielles Ausgangsmuster hervorrufen muss, kann jeder Trainingsschritt in der Form überwacht werden. • Unüberwachtes Lernen: „unsupervised Learning“ Wenn die Aufgabe des Trainingsprozesses darin besteht regelbehaftete Zusammenhänge innerhalb der Umgebung zu erkennen (wie z. B. die Bestimmung der Attribute eines gegebenen Eingangsmusters), so sind gewöhnlich keine speziellen Ausgangsmuster verhanden, mit denen der Trainingsprozess überwacht werden kann. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Abflussmodellierung mit Hilfe von ANN (Training 1) Anhand eines bekannten Niederschlag-Abfluss-Verhaltens (gemessene Werte/Trainingsansätze) wird durch Variation der einzelnen Netzparameter ein neuronales Netz entwickelt werden, das die gegebenen Verhältnisse im Einzugsgebiet möglichst genau abbilden kann. Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Abflussmodellierung mit Hilfe von ANN (Training 2) Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Abflussmodellierung mit Hilfe von ANN (Prozess) [m³/ s x mm] [mm / h] Unit Hydrograph 1 mm Niederschlag Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Abflussmodellierung mit Hilfe von ANN (Kontrolle) Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Modellkopplung mit Neuronalem Netz input layer Lokales Modell hidden layer output layer TOPLATS w rainfall runoff evaporation soil moisture Testdatensätze Trainingsdatensätze weight feed back Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken runoff

Neuro oder Fuzzy: Kriterien zur Methodenwahl die Einflussgrößen sind bekannt und enthalten die relevante Information die Einflussgrößen sind nicht genau bekannt, aber es liegen Beispieldaten vor die Anzahl der Einflussgrößen ist klein ( ≤ 20 ) es liegt ein hochdimensionaler Eingaberaum vor die Zusammenhänge zwischen den Einflussgrößen sind bekannt und fest die Zusammenhänge ändern sich während der Betriebsphase Fuzzy Logic Neuronales Netzwerk Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Vor- und Nachteil von Fuzzy Logic Heuristische Optimierung keine Lernfähigkeit Verarbeitung unscharfer Daten Einfaches Modelldesign Regelwissen notwendig Modifizierbarkeit Einbringen von “Know-how” Transparentes Verhalten Nachteil Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Vorteil

Vor- und Nachteil von Neuronalen Netzen schnelle Optimierung Lernfähigkeit Nur Verarbeitung scharfer Daten Schwieriges Netzdesign Kein Regelwissen notwendig “Black Box” Verhalten Kein Einbringen von “Know-how” Modifizierung nicht möglich Nachteil Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Vorteil

Vorteile von Neuro + Fuzzy schnelle Heuristische Optimierung keine Lernfähigkeit “Black Box” Modifizierbarkeit Verhalten Nur Verarbeitung Unscharfer Daten Einfaches Schwieriges Netzdesign Modelldesign Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Kein Regelwissen notwendig Schwieriges Einbringen von “Know-how” Transparentes Modifizierung Verhalten nicht Möglich

Hybride Neuro. Fuzzy Systeme 1 Fuzzifizierung Fuzzy-Inferenz Defuzzifizierung WENN < Situation > DANN < Aktion > WENN < Situation > DANN < Aktion > Ausgangsschicht Eingangsschicht Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken verborgene Schicht

Hybride Neuro. Fuzzy Systeme 2 Fuzzy-Inferenz Fuzzifizierung R R R Defuzzifizierung Ausgangsschicht Eingangsschicht R Verborgene Schicht Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken R Verborgene Schicht

Neuro. Fuzzy Modelle als DSS (input) Fuzzifizierung Fuzzy-Inferenz R Defuzzifizierung R R Ausgangsschicht R Eingangsschicht verborgene Schicht Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken

Neuro. Fuzzy Modelle als DSS (output) Solution produced by a human expert Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken Solution produced by a Neuro. Fuzzy hybrid system

Creative Commons Lizenz 4. 0 Dieses Material steht unter der Creative Commons-Lizenz “Namensnennung 4. 0 international” Erlaubt sind: Share — copy and redistribute the material in any medium or format Adapt — remix, transform, and build upon the material for any purpose, even commercially Um eine Kopie dieser Lizenz zu sehen, besuchen Sie https: //creativecommons. org/licenses/by/4. 0/ Zitierhinweis: Univ. -Prof. Dr. -Ing. Heribert Nacken RWTH Aachen University Vorlesung Wasserwirtschaftliche Modellierung | 7. Vorlesung |Univ. -Prof. Dr. -Ing. Heribert Nacken