KohonenFeatureMap Selbstorganisierende Neuronale Netze Achtung Wir machen viele
Kohonen-Feature-Map Selbstorganisierende Neuronale Netze Achtung: Wir machen viele Vereinfachungen! Neuro. Lab Martin Reiche 2014 1
Leistung des Nervensystems • Das menschliche Gehirn empfängt Nervenimpulse. (mit 100 MB/s) • Aus den eingehenden Impulsen erzeugt unser Gehirn die gesamte Wahrnehmung der Welt. (mit Hilfe des Gedächtnisses) UND • Das Gehirn sendet Nervenimpulse. (mit 50 MB/sec) • Die ausgehenden Impulse steuern unseren Körper inklusive der Sprache. Neuro. Lab Martin Reiche 2014 2
Wirkungskreislauf bei der Verhaltenssteuerung Welt Gehirn Neuronen Auge Beine Neuro. Lab Martin Reiche 2014 3
Wichtige Leistung des Gehirns • Das Gehirn kann wiedererkennen d. h. einen Sinneseindruck einem Gedächtnisinhalt zuordnen. • Dazu ist es bei Geburt natürlich nicht in der Lage. (Simpler Grund: Die Beschaffenheit der Umwelt ist vor der Geburt ja nicht bekannt. ) • Also muss das Gehirn diese Fähigkeit erwerben. Neuro. Lab Martin Reiche 2014 4
Konsequenz Wiedererkennen setzt Lernen voraus. Das wirft zwei Fragen auf: • Wie wird Gelerntes im Gehirn gespeichert? • Wie vollzieht sich der Lernvorgang? Diese Fragen wollen wir an einem Modell untersuchen. Neuro. Lab Martin Reiche 2014 5
Natürliches Neuron (schematisch) Neuro. Lab Martin Reiche 2014 6
Vom Aktionspotenzial zur Erregung 1 0, 5 t t 0 Impulsfrequenz t Neuro. Lab Martin Reiche 2014 7
Modell eines Neurons Synapsengewichte W 1 Input von anderen Neuronen W 2 W 3 Summation Neuro. Lab Output an andere Neuronen Σ Schwellwertfunktion Martin Reiche 2014 8
Beispiel: Auge mit 3 Sehzellen Neuro. Lab Martin Reiche 2014 9
Netzwerk zur Erkennung „Netzhaut“ „Gehirn“ ? ? ? Input-Neurone Neuro. Lab ? Schwellwertfunktion 0, 8 ? ? ? 0, 8 Output-Neurone Martin Reiche 2014 10
Bedeutsame Bilder A, B, C Wie müssen die Synapsengewichte gewählt werden, damit das Netzwerk die gewünschte Reaktion zeigt? (Bei allen anderen Mustern soll kein Output erfolgen) Neuro. Lab Martin Reiche 2014 11
Lösung „Netzhaut“ „Gehirn“ 0, 5 -0, 5 0, 3 -0, 3 1 -0, 3 Input-Neurone Neuro. Lab Schwellenfunktion 0, 8 Output-Neurone Martin Reiche 2014 12
Modell des Gedächtnisses Die Frage: Wie wird Gelerntes im Gehirn gespeichert? Beantworten wir: Das Gelernte steckt in den Synapsengewichten! Nächste Frage: Wie kommt es dahin? Neuro. Lab Martin Reiche 2014 13
Lernregel nach Hebb (1949) „Sind zwei miteinander verbundene Neuronen gleichzeitig aktiv, so verstärkt sich die synaptische Verbindung zwischen ihnen. “ Diese Regel konnte an natürlichen Neuronen experimentell nachgewiesen werden! Neuro. Lab Martin Reiche 2014 14
Kohonen-Netzwerk Neuro. Lab Martin Reiche 2014 15
Kohonen-Netzwerk Kohonen-Schicht (rot) Eingangsschicht (blau) Neuro. Lab Martin Reiche 2014 16
Lernen im Kohonen-Netzwerk • Man definiert Trainingsmuster, die wiedererkannt werden sollen. • Diese Muster werden wiederholt auf die Eingangsschicht gelegt. • Nach jedem Schritt wird die Hebb‘sche Lernregel angewendet. Neuro. Lab Martin Reiche 2014 17
Lernen in Neuro. Lab Start Synapsengewichte auf Zufallswerte setzen Ein Trainingsmuster zufällig wählen Neuron mit maximaler Erregung = gewinnendes Neuron (GN) finden Synapsengewichte des GN sowie seiner Nachbarn gemäß der Hebb‘schen Regel etwas an das Trainingsmuster anpassen Lernrate und Kopplungsradius verringern Neuro. Lab Martin Reiche 2014 18
Kohonen-Netzwerk • Die Eingangsneuronen stehen in keinem Nachbarschaftsverhältnis zueinander. Ihre Anordnung ist bedeutungslos. • Benachbarte Neuronen der Kohonen. Schicht dagegen erregen sich gegenseitig. • Diese Erregung nimmt mit der Entfernung ab. („Mexican Hat“) • Modellvereinfachung: Letztere 2 Punkte treffen nur für den Lernvorgang zu. (Der erste Punkt gilt immer) Neuro. Lab Martin Reiche 2014 19
Lernen in Neuro. Lab C# Quellcode Für alle Neuronen der Kohonenschicht und alle Eingabeneuronen i, j: w[i, j] += hat * eps * (i. L. e. Norm[i, j] - w[i, j]); Wirkung: Die Synapsengewichte w des Neurons werden ein Stück in Richtung des Eingabemusters i. L. e. Norm verschoben. Neuro. Lab Martin Reiche 2014 20
Lernen in Neuro. Net Die Neuronen der Kohonenschicht organisieren sich: • Einzelne Neuronen werden durch bestimmte Eingangsmuster erregt, sie repräsentieren diese. • Ähnliche Eingangsmuster erregen benachbarte Bereiche. • Es entstehen Karten. Neuro. Lab Martin Reiche 2014 21
Lernen in Neuro. Net: somatotopische Karte (1) Eingangsversuch: Beschreibe den Handteller deines Nachbarn - der die Augen geschlossen hält - mit den Buchstaben eines Wortes. Er wird dir das Wort sagen können. Was muss da funktioniert haben? Im Kopf muss eine Abbildung des Handtellers existieren, von der das Gehirn die Buchstaben ablesen kann. Diese Abbildung kann aber von Geburt an nicht existieren, denn dazu müsste eine exakte „Verdrahtung“ der afferenten Neurone erfolgen. Die gibt es nicht. Neuro. Lab Martin Reiche 2014 22
Lernen in Neuro. Net: somatotopische Karte (2) Aber was man nicht kann, kann man ja lernen! Das Gehirn macht sich die Tatsachen zunutze, dass typischerweise immer mehrere Sensoren zeitgleich aktiviert werden. Das dient dem Gehirn als Hinweis auf Nachbarschaft. So puzzelt sich das Gehirn im Laufe tausender Berührungen an der Körperoberfläche eine Karte zusammen, die sogenannte somatotopische Karte. Ähnliches geschieht auch beim Sehen und Hören (retinotopische und tonotopische Karten) Neuro. Lab Martin Reiche 2014 23
Lernen in Neuro. Net: somatotopische Karte (3) Eine 5 x 5 Eingangsschicht wird mit einer 10 x 10 Kohonenschicht verbunden. Die Neuronen der Eingangsschicht sollen den Tastsinn von 5 x 5 benachbarten Hautbereichen, z. B. des Handtellers darstellen. Nun „berühren“ wir den „Handteller“ mit bestimmten Mustern und erwarten, dass sich in der Kohonenschicht eine somatotopische Karte einstellt. Neuro. Lab Martin Reiche 2014 24
Lernen in Neuro. Net: somatotopische Karte (4) Der Eingangsschicht werden tausende Male folgende Muster präsentiert: Neuro. Lab Martin Reiche 2014 25
Lernen in Neuro. Net: somatotopische Karte (5) Nach der Lernphase werden die Eingangsneuronen wie folgt abgebildet: a e u y Neuro. Lab y e u a Martin Reiche 2014 26
- Slides: 26