High Level Cognition 1 Einfhrung Probleme mit neuronalen

High Level Cognition 1. Einführung - Probleme mit neuronalen Netzen - Kombination von Informationen - Zielgerichtetes Handeln - Context Awareness 2. Ein neuronales Modell zur Kombination von Informationen - prinzipielle Funktionsweise und Begründung des Modells - Versuchsreihe mit Affen - Bestandteile des Modells: 1) Feedforward bzw. Feedback Netz - Verhalten der Feedforward / Feedback Netze 2) Local Microcircuits - Verhalten der Microcircuits - Binding problem Patrick Drude High Level Cognition

Probleme mit “herkömmlichen” neuronalen Netzen: • Unmöglichkeit der Erweiterung • Konstante (benötigte Lernzeit)/(Komplexität der Situation) • Beides Widerspruch zur Natur => Wie speichern/verarbeiten Lebewesen Informationen ? • Speicherkapazität des Gehirns < Gesamtheit visueller Informationen • Speicherung in Form von Modulen • Nur die Kombinationen müssen erlernt werden Patrick Drude High Level Cognition

Situationsbedingtes Handeln • wahrgenommene Kombination • Berücksichtigung der Gesamtsituation } Konkrete Handlung Präsentation eines neuronalen Netzes, das • basierend auf Versuchsreihen mit Affen, • die Identität eines Objekts erkennt, • aus der Identität des Objekts auf seine Position und andere Eigenschaften schliessen lässt, • auf diese Weise zielgerichtetes Handeln ermöglicht. Patrick Drude High Level Cognition

Vorgehensweise: • Ausführung im Ventral Stream (VS) und im Dorsal Stream (DS). Sind beide Bestandteil des visuellen Cortex. • Identifizierung: object - based attention im anterior inferotemporal cortex (AIT) des VS • Positionsbestimmung: location - based attention bzw. spatial attention in den niedrigeren Schichten des VS • Übermittlung der Positionsinformation an den DS • Weiterverarbeitung im lateral intraparietal cortex (LIP) Patrick Drude High Level Cognition

Modell des Ventral Stream und des Dorsal Stream DS läuft von V 1 bis zum parietal cortex (PG), zu dem auch LIP gehört. DS verarbei-tet Positionsinformation, ist also der “Wo. Strom”. VS läuft von V 1 bis AIT und verarbeitet eingehende Informationen in Feedfor-ward Manier. VS ist der “Was. Strom”. Patrick Drude High Level Cognition

Eigenschaften und Verhalten des Modells • RF-Grösse der Neuronen wächst in jeder Schicht x(2 - 2. 5) • Retinotopische Speicherung der Informationen in V 2 - PIT • Positionsinformationen gehen in AIT verloren • Werden wiedergewonnen durch Zusammenwirken zwischen Feed. Forward (FF) und Feed. Back (FB) Netzwerk • Informationen über identifiziertes Objekt werden mit FB von AIT in niedrigere Schichten des VS zurückgesandt • Können hier aufgrund der retinotopischen Anordnung der Neuronen einer bestimmten Position zugeordnet werden • Kombinierte Informationen werden an DS weitergeleitet Patrick Drude High Level Cognition

Versuchsreihe mit Affen (1) • Woher weiss man, daß VS und DS in beschriebener Weise zusammenarbeiten ? • Experimente geben hierauf Hinweise: A B Patrick Drude High Level Cognition

Versuchsreihe mit Affen (2) Experiment A: • Beobachtung einzelner AIT-Zellen • AIT-Zellen wurden so gewählt, daß sie auf ein Objekt stark und auf die anderen Objekte kaum ansprachen • Dieselben AIT-Zellen sprachen sowohl auf den Hinweis als auch das Zielobjekt an, unabhängig von der Position => Identifizierung des Zielobjekts unter Verlust der Positionsinformation Patrick Drude High Level Cognition

Versuchsreihe mit Affen (3) Experiment B: • Beobachtung einzelner LIP-Zellen, die mind. eines der Objekte (nicht aber den Hinweis!) in ihrem RF hatten • Reaktion hing vom Ort des Zielobjekts ab • Keine Reaktion, falls Hinweis mit keinem Objekt im RF übereinstimmte • Falls aber Zielobjekt im RF, dann Reaktion nach dem Hinweis, aber vor der Augenbewegung • Reaktion spiegelte also Augenbewegung wieder Patrick Drude High Level Cognition

Versuchsreihe mit Affen (4) Vermutung aus Experimenten A und B: • Identität eines Objekts wird zunächst im VS festgestellt • VS teilt dann dem DS mit, “wohin” er gehen soll • VS markiert also ein Objekt, auf dem DS dann eine Aktion ausführt Markieren erfordert Zusammenwirken von FF und FB im VS. Im Folgenden soll gezeigt werden, wie dieser Vorgang im Detail abläuft. Patrick Drude High Level Cognition

Bestandteile des Modells (1) Feedforward und Feedback Netz: • Zusammenhang in der Aktivierung der V 2 -PIT Neuronen im FF bzw. FB Netz • Wenn FF das Hinweisobjekt verarbeitet und • FB im selben retinotopischen Bereich das Zielobjekt verarbeitet, => sollte dort grosse Übereinstimmung in den neuronalen Aktivitätsmustern auftreten • Diese grosse Übereinstimmung ist die Grundlage der Positionsbestimmung Patrick Drude High Level Cognition

Implementierung des Modells (1) V 1: 24 x 24 Matrix = 576 Receptive Fields. Jedes RF besteht aus 4 Neuronen (| _ / ) = 2304 Neuronen (N). V 2 - AIT: Dargestellt mit Hilfe von RFs aus V 1, ebenso die Übergänge zwischen V 2 - AIT im FF bzw. FB Netzwerk. V 2: 529 N mit RF = 2 x 2 (V 1 -RF) => 16 V 1 -N. V 4: 441 N mit RF = 4 x 4 (V 1 -RF) => 9 V 2 -N. PIT: 289 N mit RF = 8 x 8 (V 1 -RF) => 25 V 4 -N. AIT: 4 N mit RF = 24 x 24 (V 1 -RF) => 289 PIT-N. Aktivität der N in V 2 - AIT = Patrick Drude High Level Cognition

Implementierung des Modells (2) 576 V 1 RF, besteht aus 4 Neuronen 441 529 V 2 Neuron verbunden mit 16 V 1 Neuronen V 4 Neuron verbunden mit 9 V 2 Neuronen Patrick Drude High Level Cognition

Eigenschaften des Feedforward Netzes • Hohe Geschwindigkeit der Informationsverarbeitung lässt auf FF Netz schliessen • Hierarchische Abfole der einzelnen Schichten V 1 -PIT • Neuronen in höheren Schichten repräsentieren zunehmend komplexere Eigenschaften • Das FF Netz wurde mit “back - propagation” trainiert, jedes Objekt aus dem Array an jedem Ort zu erkennen • Als Folge dieses Trainings entwickelte das Netz eine verteilte Darstellung der Objekte Patrick Drude High Level Cognition

Eigenschaften des Feedback Netzes • FB hat besteht aus denselben Schichten wie FF{V 1}, die Informationen werden aber top - down verarbeitet • FB wurde mit der “Hebbian - learning rule” trainiert, jedes Objekt an jedem Ort zu erkennen • Grundlage hierfür bildeten die neuronalen Aktivitätsmuster im FF Netz Patrick Drude High Level Cognition

Verhalten des Feedforward / Feedback Netzes (1) A B C Patrick Drude High Level Cognition D

Verhalten des Feedforward / Feedback Netzes (2) • A: Neuronale Aktivität, wenn das FF Netz das Quadrat aus der Objektliste identifiziert • B: Neuronale Aktivität, wenn das FF Netz alle Objekte aus der Objektliste identifiziert • C: Neuronale Aktivität im FB Netz, wenn ein identifiziertes Objekt (das Quadrat) zur Positionsbestimmung in die niedrigeren Schichten “zurückgesendet” wird. • D: Übereinstimmung (rot) bzw. Nichtübereinstimmung (grün) einander entsprechender Neuronen in FF und FB Patrick Drude High Level Cognition

Verhalten des Feedforward / Feedback Netzes (3) • Warum werden im FB Netz auf allen retinotopischen Positionen Neuronen aktiviert? Resultiert aus der Art des Trainings sowie Divergenz der FB Aktivierung • Warum gibt es eine partielle Übereinstimmung zwischen FB Zielobjekt und FF Ablenkungsobjekten? Ursache ist die verteilte Darstellung, die das FF Netz entwickelt hat, also die Fähigkeit eines Neurons, auf unterschiedliche Merkmale anzusprechen Patrick Drude High Level Cognition

Bestandteile des Modells (2) • Wie interagieren FF und FB miteinander? Mit Hilfe eines Microcircuits (MC), der FF und FB in allen retinotopischen Bereichen des VS verbindet Patrick Drude High Level Cognition

Verhalten des Microcircuit (1) • Kreislauf besteht aus interagierenden Neuronen • Neuronen in A und B sind anregend, in I hemmend • Der Kreislauf von I nach I hemmt also die hemmende Wirkung von I auf A und B (Disinhibition) • A erhält FF Input und seine Neuronen werden entsprechend aktiviert • I erhält FB Input mit ensprechender neuron. Aktivierung • Die Aktivität der Neuronen in A, die mit dem FB Input NICHT übereinstimmen, wird unterdrückt (Inhibition) Patrick Drude High Level Cognition

Verhalten des Microcircuit (2) • Die Aktivität der Neuronen in A, die mit dem FB Input ÜBEREINSTIMMEN, wird verstärkt (Disinhibition) • Dies wird bewirkt, indem die normalerweise hemmenden Neuronen in I nun ihrerseits unterdrückt werden (Kreislauf von I nach I) • Dies verstärkt die Aktivität in A aber nur dann, falls die dortigen Neuronen zur selben Zeit FF Input erhalten • Mit Disinhibition lässt sich also die Aktivierung von “target cells” in A steuern Patrick Drude High Level Cognition

Verhalten des Microcircuit (3) Aktivität von A, bei Wechsel von FB Übereinstimmung (M) zu FB Nichtübereinstimmung (NM). A erhält dabei die ganze Zeit denselben FF Input Patrick Drude High Level Cognition

Verhalten des Microcircuit (4) • Starke Aktivität in A entspricht der Positionsselektion. • Daraufhin wird B aktiviert, undzwar durch Kombination verstärkter Aktivität aus A und reduzierter Unterdrückung aus I • Prinzipiell liesse sich A auch durch direktes FB ansprechen, also ohne den “Umweg” über den MC. Was wäre das Ergebnis? Patrick Drude High Level Cognition

Verhalten des Microcircuit (5) a) entspricht Disinhibition FB von A und anschließender Aktivierung von B b) entspricht Direkt FB von A, kaum Aktivierung von B Ursache: Direkt FB verstärkt sowohl A als auch Unterdrückung durch I: Beides hebt sich gegenseitig auf Patrick Drude High Level Cognition

Verhalten des Microcircuit (6) In diesen beiden Fällen liegt KEIN FF Input bei A vor c) Disinhibition FB; da in A aber kein Vergleichsinput vorliegt, ergibt sich kaum Aktivität d) Direkt FB führt zu gewisser Aktivierung von A auch ohne FF, aber kaum Aktivierung von B Patrick Drude High Level Cognition

Verhalten des Microcircuit (7) • Aktivität von B auf den einzelnen Schichten des VS, jeweils vor bzw. nach Anschalten des Zielobjekts (oben) bzw. eines Ablenkungsobjekts (unten) • Hohe Aktivität von B entspricht der also Auswahl einer Position • Aktivität von B kann im LIP des DS “location - selective” Neurone aktivieren Patrick Drude High Level Cognition

Implementierung des Modells (3) ΤS (d. IA/dt) = -IA + JA to. A F(IA) - JI to. A F(II) + Iff + Ibg ΤS (d. IB/dt) = -IB + JB to. B F(IB) - JI to. B F(II) + JA to. B F(IA) + Ibg ΤS (d. II/dt) = -II + JI to. I F(II) - JA to. I F(IA) + (-m + nm)Ifb + Ibg JA to. A ; JA to. B; JA to. I = 1. 0 JB to. B = 0. 3 JI to. I = 0. 1 JI to. A = 0. 1 JI to. B = 1. 1 ΤS = 5 msec Iff = 0. 05 Ibg = 0. 025 σ Ifb = 0. 03 = 0. 025 F(I, σ) = 1 / [Tr + Tsp (I, σ)] Patrick Drude High Level Cognition

Binding Problem (1) • Im bisherigen Modell wurden nur Form und Position eines Objekts kombiniert. Es sollte aber möglich sein, noch mehr Eigenschaften, wie z. B. Farbe oder Bewegung zu kombinieren, denn diese Eigenschaften haben alle eines gemeinsam: die Position • Aus der Position sollten sich also weitere Eigenschaften ableiten lassen • Präsentation eines Modells, das aus der Position die Farbe eines Objekts ermitteln kann Patrick Drude High Level Cognition

Binding Problem (2) • Dieses Netzwerk kombiniert Farbe und Form in einer verteilten Darstellung • Das V 1 RF besteht nun aus den vier 2 -D sowie drei Farbneuronen. Das Netzwerk wurde trainiert, auf dem AIT Level Form und Farbe zu erkennen Patrick Drude High Level Cognition

Binding Problem (3) • Ortsbestimmung erfolgt auf bekannte Weise • Ist die Position bekannt, kann die Information im dortigen retinotopischen Berecich genutzt werden, um die Farbinformation wiederzugewinnen • Problem mit dieser Architektur: Farbe und Form lassen sich nicht separat trainieren. Trainiert man viele Kombinationen von Form und Farbe an derselben Stelle, verliert die FB Information ihre “Fähigkeit”, zu unterscheiden Patrick Drude High Level Cognition

Zusammenfassung • Modell stellt eine gute Antwort auf die vorgestellten Testreihen dar • Die Grundlage hierfür ist der Umstand, daß in den niedrigen Schichten des VS alle Informationen vorhanden sind • Offene Fragen: Wie wird die Kombination mehrerer Eigenschaften desselben Objekts letztlich realisiert? • Die “Wahrheit” liegt irgendwo zwischen vollkommen getrennter Verarbeitung und verteilter Darstellung Patrick Drude High Level Cognition