Etvs Lornd Tudomnyegyetem Informatikai Kar Nhny neuronhl Lrincz

Eötvös Loránd Tudományegyetem Informatikai Kar Néhány neuronháló Lőrincz András Milacski Zoltán Ádám Quoc Le előadása alapján

§ Informatikai Kar Eötvös Loránd Tudományegyetem Neuronok Lőrincz András | Neuronháló előadás 2

§ Informatikai Kar Eötvös Loránd Tudományegyetem Vegyük neuronok hálózatát! Lőrincz András | Neuronháló előadás 3

Eötvös Loránd Tudományegyetem Informatikai Kar Multi Layer Perceptron (MLP) 1 1 i j Lőrincz András | Neuronháló előadás 4

§ Informatikai Kar Eötvös Loránd Tudományegyetem MLP tudnivalók Lőrincz András | Neuronháló előadás 5

Eötvös Loránd Tudományegyetem Informatikai Kar MLP történelem § § § Kb 1980 óta használnak hierarchikus struktúrát 1990 körül legyőzték a kernel módszerek (Support Vector Machine) 2006: címkézetlen mintákat is felhasználja, megint nyer (Restricted Boltzmann Machine) 2009: NVidia CUDA megjelenik, GPU-n futtatják de csak max 3 rétegre megy 2012: Google Brain Project, a Google szerverparkján már lefut 7 réteggel 1 hét alatt! Előtte másik szerverparkon futott 6 hónapig… Lőrincz András | Neuronháló előadás 6

§ Informatikai Kar Eötvös Loránd Tudományegyetem MLP speciális esetei Lőrincz András | Neuronháló előadás 7

§ Informatikai Kar Eötvös Loránd Tudományegyetem MLP speciális esetei Lőrincz András | Neuronháló előadás 8

Eötvös Loránd Tudományegyetem Informatikai Kar Egyéb neuronhálók listája Wikipédia oldal főbb hálói § Előrecsatolt neuronhálók § Többrétegű perceptron § Radiális bázisfüggvények § Győztes visz mindent (kemény verseny), lágy verseny § Kohonen önszervező háló § Rekurrens (visszacsatolt) hálók § Hopfield háló § Visszhang háló § Hosszú és rövid időtartamú memória háló § Stochasztikus neuronhálók § Boltzmann gép § Adaptiv rezonancia „elmélet” § Bayes hálók § Komponenseket kereső neuronhálók § Főkomponens analízis – kernel főkomponens analízis § Független komponens analízis § Nem-negatív mátrix faktorizáció A lista minden csak nem teljes. Lőrincz András | Neuronháló előadás 9

§ Informatikai Kar Eötvös Loránd Tudományegyetem WTA és Kohonen háló Lőrincz András | Neuronháló előadás 10

Informatikai Kar Eötvös Loránd Tudományegyetem Winner-take-all (WTA) Network Lőrincz András | Neuronháló előadás 11

Eötvös Loránd Tudományegyetem Informatikai Kar Kohonen háló (Self-Organizing Map - SOM) A rács kezdetben nem illeszkedik a bemenetek halmazára (kék felhő). A fehér pont jelzi az aktuális mintát, a sárga karika pedig a legközelebbi rácspontot és a szomszédságát. A pontot ráhúzzuk a mintára (a szomszédságát is, csak kisebb mértékben), majd ezt ismételjük. Végül a rács illeszkedni fog a kék felhőre, és megmarad a rácsszerkezet által definiált szomszédság. Lőrincz András | Neuronháló előadás 12

§ Informatikai Kar Eötvös Loránd Tudományegyetem Visszhang háló (Echo State Network) Lőrincz András | Neuronháló előadás 13

Minden bináris. Minden csúcs minden másik csúccsal össze van kötve (szimmetrikusan), kivéve önmagával. Szimmetrikus súlyokra a konvergencia garantált. Memóriaként viselkedik: zajos inputra bekonvergál egy előzetesen beállított zajtalan outputba. Informatikai Kar Eötvös Loránd Tudományegyetem Hopfield háló Lőrincz András | Neuronháló előadás 14

Eötvös Loránd Tudományegyetem Informatikai Kar Hopfield háló Lőrincz András | Neuronháló előadás 15

Eötvös Loránd Tudományegyetem Informatikai Kar Scholarpedia: Hopfield Háló § mivel vagy 0, vagy arányos Lőrincz András | Neuronháló előadás 16