Artificial Neurons Perceptrons and the perceptron learning rule

  • Slides: 28
Download presentation
Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling – 29. 04. 2004

Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling – 29. 04. 2004

Themen: o o o Definition KNN Vorbild aus der Biologie Simple Perceptrons Training eines

Themen: o o o Definition KNN Vorbild aus der Biologie Simple Perceptrons Training eines Perzeptrons Schwellwerteinheiten o o Beispiel „ODER-Perzeptron“ Lineare Einheiten

Definition KNN „[…] a System composed of many simple processing elements operating in parallel

Definition KNN „[…] a System composed of many simple processing elements operating in parallel whose function is determined by network structure, connecting strengths, and the processing performed at computing elements or nodes “ DARPA Neural Network study, Fairfax, VA: AFCEA International Press 1988

Vorbild aus der Biologie Biologisches Neuron Künstliches Neuron

Vorbild aus der Biologie Biologisches Neuron Künstliches Neuron

Simple Perceptron ε 1 ε 2 w 1 w 2 w 3 ε 4

Simple Perceptron ε 1 ε 2 w 1 w 2 w 3 ε 4 Ziel: Output = gewünschte Ausgabe w 4 O = Output Knoten g() = Aktivierungsfunktion wy = Gewicht Input y εk = k-ter Input

Training eines Perceptrons

Training eines Perceptrons

Simple Perceptrons Schwellwerteinheiten - Threshhold – Units -

Simple Perceptrons Schwellwerteinheiten - Threshhold – Units -

Schwellwerteinheiten (Threshhold – Units) o Mit: o und:

Schwellwerteinheiten (Threshhold – Units) o Mit: o und:

Schwellwerteinheiten (Threshhold Units) (2) o o o Die Projektion des Gewichtsvektors auf den Input.

Schwellwerteinheiten (Threshhold Units) (2) o o o Die Projektion des Gewichtsvektors auf den Input. Vektor soll das gleiche Vorzeichen haben, wie die gewünschte Ausgabe Die grenze zwischen +1 und -1 ist also genau die Ebene (Gerade oder Hyperebene wo wε = 0) Die Ebene geht durch den Ursprung, falls kein Schwellwert gegeben w

Schwellwerteinheiten (Threshhold Units) - OR-Funktion o Ist die OR-Funktion durch einfaches Perzeptron darstellbar? n

Schwellwerteinheiten (Threshhold Units) - OR-Funktion o Ist die OR-Funktion durch einfaches Perzeptron darstellbar? n x 1 0 0 1 1 Lineare Separierbarkeit x 2 0 1 x 1 || x 2 -1 1 1 0, 5 1

Schwellwerteinheiten (Threshhold-Units) - Lösung 2 Möglichkeiten: n Lösung ausrechnen und fertig n Lösung „lernen“

Schwellwerteinheiten (Threshhold-Units) - Lösung 2 Möglichkeiten: n Lösung ausrechnen und fertig n Lösung „lernen“ lassen Lernen = suk. Anpassung der Gewichte

Schwellwerteinheiten (Threshhold Units) - Beispiel ε 1 w 1 g(h) = sgn(h) ε 2

Schwellwerteinheiten (Threshhold Units) - Beispiel ε 1 w 1 g(h) = sgn(h) ε 2 Schwellwert: ε 1 || ε 2 w 2 Θ = 0, 5 Initial Gewichte: w 1 = 0, 5 w 2 = 0, 7

Ein einfacher Lernalgorithmus START: Choose any Value for w TEST: Choose an e in

Ein einfacher Lernalgorithmus START: Choose any Value for w TEST: Choose an e in F- || F+ If (e in F+) && (w. e – S > 0) go. To TEST 1 w If (e in F+) && (w. e - S<= 0) go. To ADD If (e in F-) && (w. e - S < 0) go. To TEST If (e in F-) && (w. e - S>=0) go. To SUB ADD: w : = w + e go. To TEST SUB: 1 w : = w – e go. To TEST Unter der Bedingung, dass es eine Lösung gibt (linear Separierbare Probleme) findet das Perzeptron sie (effizient) in einer endlichen Anzahl von Schritten

Schwellwerteinheiten (Threshhold-Units) - Beispiel START: Choose any Value for w TEST: Choose an e

Schwellwerteinheiten (Threshhold-Units) - Beispiel START: Choose any Value for w TEST: Choose an e in F- || F+ x 1 x 2 w 1 w 2 Σ G(Σ) Δ 0 0 0, 5 0, 7 0 -1 0 If (e in F-) && (w. e – S < 0) go. To TEST 0 1 0, 5 0, 7 1 0 If (e in F-) && (w. e – S >=0) go. To SUB 1 0 0, 5 0, 7 0, 5 -1 1 w : = w + e 0 0 1, 5 0, 7 0 -1 0 go. To TEST 0 1 1, 5 0, 7 1 0 1, 5 0, 7 1, 5 1 0 1 1 1, 5 0, 7 2, 2 1 0 If (e in F+) && (w. e – S > 0) go. To TEST If (e in F+) && (w. e - S <= 0) go. To ADD: SUB: Schwellwert 0. 5 !!! w : = w – e go. To TEST

Schwellwerteinheiten (Threshhold-Units) - Beispiel w w w e TEST: Choose an e in F-

Schwellwerteinheiten (Threshhold-Units) - Beispiel w w w e TEST: Choose an e in F- || F+ If (e in F+) && (w. e – S > 0) go. To TEST If (e in F+) && (w. e - S <= 0) go. To ADD If (e in F-) && (w. e – S < 0) go. To TEST If (e in F-) && (w. e – S >=0) go. To SUB ADD: w : = w + e go. To TEST SUB: w : = w – e go. To TEST e

Schwellwerteinheiten (Threshhold-Units) - Beispiel w w w e TEST: Schwellwert Choose an e in

Schwellwerteinheiten (Threshhold-Units) - Beispiel w w w e TEST: Schwellwert Choose an e in F- || F+ If (e in F+) && (w. e – S > 0) go. To TEST If (e in F+) && (w. e - S <= 0) go. To ADD If (e in F-) && (w. e – S < 0) go. To TEST If (e in F-) && (w. e – S >=0) go. To SUB ADD: w : = w + e go. To TEST SUB: w : = w – e go. To TEST w w

Beweis über Konvergenz o o o Zu zeigen: Falls eine Lösung existiert, so findet

Beweis über Konvergenz o o o Zu zeigen: Falls eine Lösung existiert, so findet sie der Lernalgorithmus in endlicher Zeit Ziel: finde obere Schranke für n (n Anzahl updates) Vorbedingungen: n W* ist der Optimal-Gewichtsvektor der Länge 1 W ist unser zufällig gewählter Gewichtsvektor Alle Pattern-Vektoren sind normiert n Es gilt: n n n 1 δ w*

Beweis über Konvergenz o Betrachte Zähler und Nenner getrennt: n Zähler: o Nach n-maliger

Beweis über Konvergenz o Betrachte Zähler und Nenner getrennt: n Zähler: o Nach n-maliger Anwendung:

Beweis über Konvergenz (2) n Nenner: o Nach n-maliger Anwendung:

Beweis über Konvergenz (2) n Nenner: o Nach n-maliger Anwendung:

Beweis über Konvergenz (3) o Mit Damit ist gezeigt, daß eine obere Schranke für

Beweis über Konvergenz (3) o Mit Damit ist gezeigt, daß eine obere Schranke für die Updates des Gewichtsvektors mit endlicher Anzahl von Schritten gefunden wird.

Diskriminante D o o Es gibt eine Möglichkeit die Lösbarkeit von Problemen zu prognostizieren:

Diskriminante D o o Es gibt eine Möglichkeit die Lösbarkeit von Problemen zu prognostizieren: D < 0 nicht mit einfachen Perzeptron lösbar D > 0 lösbar max(D) optimales Perzeptron

Simple Perceptrons Lineare Einheiten - linear Units -

Simple Perceptrons Lineare Einheiten - linear Units -

Linear Units o o g ist eine lineare, kontinuierliche und differenzierbare Funktion Ansonsten bleibt

Linear Units o o g ist eine lineare, kontinuierliche und differenzierbare Funktion Ansonsten bleibt alles gleich ; -)

Linear Units - Explizite Lösung o Errechnen der exakten Werte; keine sukzessive Verbesserung Nur

Linear Units - Explizite Lösung o Errechnen der exakten Werte; keine sukzessive Verbesserung Nur bei linear unabhängigen !!!

Linear Units - Lernen mit absteigenden Gradienten o o Definiere eine Kostenfunktion Im Minimum

Linear Units - Lernen mit absteigenden Gradienten o o Definiere eine Kostenfunktion Im Minimum der Kostenfunktion ist die Ausgabe = gewünschte Ausgabe suche nach Min

Linear Units – Lernen mit absteigenden Gradienten (2) o Ein kleiner Schritt in Richtung

Linear Units – Lernen mit absteigenden Gradienten (2) o Ein kleiner Schritt in Richtung des Minimums: o Wenn man das für jede Eingabe extra macht:

Zusammenfassung Simple Perceptrons können viele, sehr komplexe Probleme effizient lösen. D. h. aber NICHT,

Zusammenfassung Simple Perceptrons können viele, sehr komplexe Probleme effizient lösen. D. h. aber NICHT, dass sie deshalb auch alle einfachen Probleme lösen können. Wenn es eine Lösung gibt (das Problem ist linear Separierbar), dann findet der Lernalgorithmus des Perceptrons sie mit endlicher Anzahl von Schritten.

Simple Perceptrons Danke …

Simple Perceptrons Danke …