Projektseminar WS 0910 nnektionistische Sprachverarbeitung Konnektionismus die zweite

Projektseminar WS 09/10 nnektionistische Sprachverarbeitung Konnektionismus die zweite 29. 10. 2009 3. November 2009 Projektseminar WS 09/10 Konnektionistische Lars Konieczny Daniel Müller 1 Helmut Weldle

Organisation • Referate • Dritter Termin: Freitag 12 -14 h • Simulator: Erstmal Tlearn, dann Lens – Übungsfiles im Materialeinordner 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 2

…beim (vor-)letzten Mal • Grundprinzipien Konnektionismus – neuronal inspirierte Informationsverarbeitung • Kurze Geschichte • Formale Grundprinzipien: Begriffe, Symbole und Formeln – Aktivation • Netinput • Aktivierungsfunktionen – Lernen (Delta-Regel) 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 3

Tagesthemen • • Wiederholung Aktivation und Delta-Regel Repräsentation in KNNs Am Beispiel: Das Jets & Sharks Modell Distributed processing Prototypen Constraint satisfaction Fazit 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 4

Wiederholung Aktivierung Input Knoten/Neuron/Node j aj Wij wij: Verbindungsstärke/- gewicht(connection weight) von Knoten j zu Knoten i netinputi Unit i Knoten/Neuron/Node i ai: Aktivation(activation) des Knoten i inputij = ajwj ai netinputi= ajwij Aktivierungsfunktion F netinputi ai ai=F(netinputij ) Output 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 5

Wiederholung Lernen Input Output 3. November 2009 • • neue Verbindungen entwickelt, vorhandene Verbindungen löschen Verbindungsgewichte verändern Schwellenwerte von Neuronen verändern • Neuronenfunktionen verändern (Aktivierungs-, Propagierungs- und Ausgabefunktion) • neue Neurone entwickeln • vorhandene Neurone löschen Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 6

Wiederholung Delta-Regel Δwij = [ai(soll) - ai(ist)] aj ε Δwij: Gewichtsveränderung der Verbindung aj : Aktivation des Quellknotens ε : Lernrate 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 7

Wie ist Wissen gespeichert? DOG "CAT", [cat] "BAGEL", [bagel] [dog] "DOG", [dog] • • Diskrete Wissenseinheiten (Chunks) Zugriff über Adresse Beispiele: Datenbank, Zettelkasten, Lexikon … Eigenschaften: • Schnell, wenn Adresse bekannt, langsam(er), wenn über Inhalt zugegriffen wird • Wenn Speicheort zersört wird, ist das Wissen weg • Funktioniert menschliches Gedächtnis/Zugriff so? 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 8

Kognitive Verarbeitung beim Menschen • Inhaltsadressierbar • Fehlertolerant • 'Zerstörungstolerant' • Neuronale Signale selbst sind verrauscht Ein gutes Modell sollte diese Eigenschaften auch haben 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 9

Ein Beispiel: Jets und Sharks (Mc. Clelland 1981) Adresse Werte/Inhalt Gang Alter Ausbildung Fam. stand Beruf Alan Jets 30 er Junior High Verh. Burglar Art Jets 40 er Junior High Ledig Pusher Clyde Jets 40 er Junior High Ledig Bookie Dave Sharks 30 er High School Gesch. Pusher Don Sharks 30 er College Verh. Burglar Doug Jets 30 er High School Ledig Bookie Fred Sharks 40 er High School Verh. Burglar Gene Jets 20 er High School Ledig Pusher … … … "Ist Fred ein Pusher? " "Kennst du den Namen eines Pushers? " 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 10

Jets & Sharks Name Fam. stand verheiratet Art Dave Fred Alter geschieden 20 er 30 er ledig Person 2 40 er Person 1 Sharks Pusher Beruf Highschool Gang Jets Junior High Bookie College Burglar Ausbildung 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 11

Wie funktioniert's? • Gewichte w (fix): – Excitatorisch: +1 – Inhibitorisch: -1 • Anfangsaktivation a aller Nodes: -0. 1 • Anfrage: – "Kennst du einen Pusher? ": Aktivierung des 'Pusher' Knotens • Läuft über mehrere Zyklen, bis stabiler Zustand erreicht ist (Nodes haben konstantes Aktivationsniveau) 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 12

Kennst du den Namen eines Pushers? Name verheiratet Art Dave Zyklus 1 Zyklus 2 Fred Fam. stand Alter geschieden 20 er 30 er ledig 40 er Zyklus 3 … stabil Sharks Pusher Beruf Highschool Gang Jets Junior High Bookie College Burglar Ausbildung 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 13

Do you know the name of a pusher? Wechselseitige Hemmung (mutual Inhibition): • "winner takes all": Knoten hemmen sich gegenseitig, aber sobald einer die Überhand gewinnt, hemmt er die anderen, diese in damit weniger usw. 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 14

Der kleine Unterschied Initiale Aktivation: Nick: -0. 07 Fred: -0. 1 Empfindlich (bzw. sensitiv) für Rauschen • Kann passieren, das beim nächsten Mal Fragen eine andere Antwort erzeugt wird. ? Ist das wünschenswert? Grundlegende Eigenschaft dynamischer Systeme (Butterflyeffekt) 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 15

• Schreib einen Vogel auf 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 16

Prototypen • "Nenn mir irgendeinen Vogel" Nicht irgendein Vogel wird genannt, sondern ein 'typischer': (Amsel……. Strauß) • Das gleiche passiert auch im J&S Modell 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 17

Der prototypische Pusher Derjenige Knoten (Namen) wird aktiviert, der am meisten Eigenschaften mit dem Prototypen teilt Prototypen/Typikalität ist automatisch repräsentiert durch die Anzahl (und evtl. das Gewicht) der Verbindungen Ermöglicht auch Einordnung (am ehesten ein …) u. ä. 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 18

Constraint Satisfaction • Jeder Knoten beeinfusst alle, mit denen er verbunden: – Exc: Versuch, anderen Knoten in gleichen Zustand zu versetzen – Inh: Versuch, anderen Knoten in entgegengesetzten Zustand zu versetzen Constraints, die Zielzustand erfüllen soll Constraint Satisfaction 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 19

Constraint Satisfaction • Idealzustand: Alle Constraints sind erfüllt – nichts passiert mehr • Wir aber selten passieren… Aber: Stabiler Zustand, in dem möglichst viele Constraints erfüllt sind: Best Fit / Satisficing Menge der Möglichen Stabilen Zustände: "Erinnerungen" des Netzwerks 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 20

Modell von Kognition • Entscheidung entsteht durch Konsens unterschiedlicher Evidenzen – keine exaktes Matching notwendig Fehler/Rauschtoleranz – Notwendig angesichts der Eigenschaften des Gehirns – Und angesichts der realen Welt! – Notwendig ist nicht unbedingt die exakte Erinnerung an einen Stimulus (z. B. ein Wort, inklusive Fehler), sondern eine sinnvolle Interpretation! 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 21

Kennst du einen… • Shark, 20 er, High School, ledig, Einbrecher v …, Junior High, . . □ …, Einbrecher, Dealer, Buchmacher… • Fehlertoleranz • Sinnvolle Antwort, auch bei falschem oder unvollständigem Input 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 22

Fazit/Rekapitulation • Keine Trennung von "Speichern" und "Prozess/Verarbeitung" • Art der Modellierung: – Klassisch: • Problem • Mögl. Lösung Programm • Testen – Konnektionistisch • Problem • Simulation • Analyse 3. November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 23

j e E N 3. November 2009 t z t D E ! Projektseminar WS 09/10 Konnektionistische 24