Neuroinformatik Verhalten Analyse und Modellierung Bjrn Brembs Computational

Neuroinformatik Verhalten: Analyse und Modellierung Björn Brembs

Computational Neuroscience Datenanalyse Experiment Modell

Ivan Petrowitsch Pavlov

Pavlov’s Hunde Valiet Tungus Barbos

Klassisches Konditionieren UR Pavlov‘s Hund

Zeitliche Paarung von CS und US

Komplexere Assoziationen (1960 er) Overshadowing Training Test CS 1+CS 2+US CS 1 alleine CS 1+CS 2+US CS 2 alleine Blocking Prä-Training Test CS 2+US CS 2=100% CS 1+CS 2+US CS 1 alleine CS 1+US CS 1=100% CS 1+CS 2+US CS 2 alleine

Theoretische Formulierungen (1970 er) Experiment/Analyse: „Lernen ist von der zeitlichen Paarung der Reize abhängig“ Hypothese: „Der prädiktive Wert des CS könnte für das Lernen entscheidend sein“ also: Lernen findet immer dann statt, wenn Erwartungen verletzt werden Formalisierte Hypothese: , mit DV - Lernrate, l - tatsächl. US - erwarteter US Rescorla-Wagner-Regel (1972): Mit ai - Salienz von CSi (0<a<1), b - Salienz des US (-1<b<1)

Rescorla Wagner Regel Vereinfacht: DVCS=c(Vmax-Vall) Anfangsbedingungen: • Vmax = 100 (willkürlich) • Vall = 0 (kein Lernen) • Vcs = 0 (kein Lernen) • c = 0. 5 (willkürlich)

First Conditioning Trial 1 c (Vmax 0. 5 * 100 - Vall) 0 = = ∆Vcs 50

Second Conditioning Trial 2 c (Vmax. 5 * 100 - Vall) 50 = = ∆Vcs 25

Third Conditioning Trial 3 c (Vmax. 5 * 100 - Vall) 75 = = ∆Vcs 12. 5

4 th Conditioning Trial 4 c (Vmax. 5 * 100 - Vall) 87. 5 = = ∆Vcs 6. 25

5 th Conditioning Trial 5 c (Vmax - Vall). 5 * 100 - 93. 75 = = ∆Vcs 3. 125

6 th Conditioning Trial 6 c (Vmax - Vall). 5 * 100 - 96. 88 = = ∆Vcs 1. 56

7 th Conditioning Trial 7 c (Vmax - Vall). 5 * 100 - 98. 44 = = ∆Vcs. 78

8 th Conditioning Trial 8 c (Vmax - Vall). 5 * 100 - 99. 22 = = ∆Vcs. 39

Extinktion

1 st Extinction Trial 1 c (Vmax. 5 * 0 - Vall) 99. 61 = = ∆Vcs -49. 8

2 nd Extinction Trial 2 c (Vmax. 5 * 0 - Vall) 49. 8 = = ∆Vcs -24. 9

Hypothetical Acquisition & Extinction Curves with c=. 5 and Vmax = 100

Acquisitions & Extinktions Kurven mit c=0, 5 vs. c=0, 2 (Vmax = 100)

Rescorla-Wagner Spreadsheet

R-W sagt Übererwartung voraus DVCS=c(Vmax-Vall) • Blocking Prä-Training Test CS 2+US CS 2=100% CS 1+CS 2+US CS 1 alleine CS 1+US CS 1=100% CS 1+CS 2+US CS 2 alleine – Wenn Vall=Vmax=100 wird CS 2 kaum noch assoziative Stärke erreichen (Blocking) • Übererwartung Prä-Training 1 Test 1 Prä-Training 2 Test 2 Training Test 3 CS 1+US CS 1=100% CS 2+US CS 2=100% CS 1+CS 2+US CS 1+CS 2 CS 1+US CS 1=100% CS 2+US CS 2=100% CS 1+CS 2+CS 3+US CS 3 – Bei Vall>Vmax wird DV<0!

Computational Neuroscience Datenanalyse Experiment Modell

PER Konditionierung

R-W und Vummx 1

Blocking und Dopamin

Seit Rescorla und Wagner • Sutton und Barto 1990: Reinforcement learning, temporal difference models • „actor-critic model“ assoziativen Lernens http: //en. wikipedia. org/wiki/Temporal_difference_learning http: //www. scholarpedia. org/article/Temporal_difference_learning Reinforcement Learning: An Introduction Richard S. Sutton and Andrew G. Barto: http: //www. cs. ualberta. ca/~sutton/book/the-book. html http: //machinelearning. org

Analyse von Spontanverhalten http: //brembs. net/spontaneous/ http: //www. plosone. org/doi/pone. 0000443

Die Organisation von Verhalten wird meist als Input/Output Modell beschrieben Brain function is ultimately best understood in terms of input/output transformations and how they are produced. Michael Mauk (2000): Nature Neuroscience 3, 649 -651 Konstanter Input Verrauschter Konstanter Output …aber jedes Verhalten ist eine Antwort einen Reiz Nicht jeder Reiz bedingt die gleicheauf Antwort…

Drosophila am Drehmoment-Kompensator Selbst bei konstantem sensorischem Eingang verhält sich die Fruchtfliege variabel baseline spike

Zustandsraum-Rekonstruktion Koordinaten-Einbettung Zeitreihe: 80, 60, 40, …… Einbettungs-Dimension: 3 Drei Datenpunkte bestimmen einen 3 D Vektor: All computations: Alexander Maye, UKE Hamburg

Fliegen gegen Poisson Fliegenverhalten sieht nicht wie einfaches Rauschen aus Geometric Random Inner Products: GRIP Inter-Spike-Interval (ISI-)Analyse Fliegen als Zufallsgeneratoren? All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

Statistik erster Ordnung ISI-Verteilungen haben ein „schweres Ende“ Potenzgesetz: Skaleninvarianz All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

Unabhängigkeit der Daten Mischung der Einzelwerte ähnelt den Originaldaten nicht All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

Nichtlinearität? Noch nicht einmal sehr komplexe stochastische Modelle reichen aus Branched Poisson Process: BPP Offensichtlich scheint die Nichtlinearität ein wichtigerer Faktor zu sein als die Zufälligkeit! All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007) Root mean square fluctuation of displacement

Nichtlineare Vorhersagen: S-Maps Mathematisch instabile, nichtlineare Prozesse steuern das Flugverhalten von Drosophila Korrelation Logistische Gleichung: nichtlinear/stochastisch Nichtlinearität All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

Ein neues Verhaltensmodell Haben Fruchtfliegen einen freien Willen? Es muss eine input-unabhängige Output-Komponente geben: