Neurnov siete pre potaov videnie k r 2019
- Slides: 126
Neurónové siete pre počítačové videnie šk. r. 2019 -20 Úvod do neurónových sietí Doc. RNDr. Milan Ftáčnik, CSc. RNDr. Zuzana Černeková, Ph. D.
Štruktúra dnešnej prednášky �Neurónové siete (bez biologickej inšpirácie) �Aktivačné funkcie �Dopredný chod siete �Biologická inšpirácia a model neurónu �Počítanie gradientov v neurónovej sieti �Spätné šírenie – backpropagation (príklady, vzory a fungovanie) �Spätné šírenie pre vektory a matice Neurónové siete pre počítačové videnie 2019 -20 2
Opakovanie � Neurónové siete pre počítačové videnie 2019 -20 3
Opakovanie 2 �Výpočet najlepšieho W – optimalizácia cez zostup gradientu Neurónové siete pre počítačové videnie 2019 -20 4
Opakovanie 3 �Zostup gradientu �Numerický gradient: pomalý , približný , ľahko sa napíše �Analytický gradient: rýchly , presný , náchylný k chybám �V praxi: odvodíme analytický gradient a implementáciu otestujeme numerickým gradientom Neurónové siete pre počítačové videnie 2019 -20 5
Opakovanie 4 �Lineárne klasifikátory nie sú veľmi silné Vizuálny pohľad Lineárne klasifikátory sa naučia jeden vzor pre triedu Geometrický pohľad Lineárne klasifikátory vedia vytvoriť iba oddeľujúce nadroviny Neurónové siete pre počítačové videnie 2019 -20 6
Opakovanie 5 � Neurónové siete pre počítačové videnie 2019 -20 7
Opakovanie 6 �Príznaky vs. konvolučné neurónové siete Neurónové siete pre počítačové videnie 2019 -20 8
Neurónové siete �Bez biologickej inšpirácie �Doteraz: Lineárna fcia skóre Neurónové siete pre počítačové videnie 2019 -20 9
Neurónové siete �Bez biologickej inšpirácie �Doteraz: Lineárna fcia skóre �Teraz: 2 -vrstvová NS (V praxi obvykle pridávame na každú vrstvu prahovú hodnotu b nastaviteľnú učením) Neurónové siete pre počítačové videnie 2019 -20 10
Neurónové siete �Bez biologickej inšpirácie �Doteraz: Lineárna fcia skóre �Teraz: 2 -vrstvová NS Neurónové siete sú veľmi široký pojem; začíname so sieťami, ktoré sa nazývajú „plne prepojené NS“ alebo niekedy viacvrstvové perceptróny (MLP) (V praxi obvykle pridávame na každú vrstvu prahovú hodnotu b nastaviteľnú učením) Neurónové siete pre počítačové videnie 2019 -20 11
Neurónové siete �Bez biologickej inšpirácie �Doteraz: Lineárna fcia skóre �Teraz: 2 -vrstvová NS 3 -vrstvová NS (V praxi obvykle pridávame na každú vrstvu prahovú hodnotu b nastaviteľnú učením) Neurónové siete pre počítačové videnie 2019 -20 12
Neurónové siete �Bez biologickej inšpirácie �Doteraz: Lineárna fcia skóre �Teraz: 2 -vrstvová NS Neurónové siete pre počítačové videnie 2019 -20 13
Neurónové siete �Bez biologickej inšpirácie �Doteraz: Lineárna fcia skóre �Teraz: 2 -vrstvová NS Neurónové siete pre počítačové videnie 2019 -20 14
Neurónové siete � Neurónové siete pre počítačové videnie 2019 -20 15
Neurónové siete � Neurónové siete pre počítačové videnie 2019 -20 16
Aktivačné funkcie Neurónové siete pre počítačové videnie 2019 -20 17
Aktivačné funkcie RELU je dobrá východisková voľba pre väčšinu problémov Neurónové siete pre počítačové videnie 2019 -20 18
Architektúry NS �Plne prepojené vrstvy 2 -vrstvová NS NS s 1 skrytou vrstvou 3 -vrstvová NS NS s 2 skrytými vrstvami Neurónové siete pre počítačové videnie 2019 -20 19
Príklad dopredného výpočtu NS Neurónové siete pre počítačové videnie 2019 -20 20
Implementácia trénovania NS Pri 2 -vrstvovej sieti potrebujeme cca 20 riadkov Neurónové siete pre počítačové videnie 2019 -20 21
Nastavenie parametrov NS �Nastavenie počtu vrstiev a ich veľkosti 3 skryté vrstvy 6 skrytých vrstiev 20 skrytých vrstiev Viac neurónov = viac kapacity Neurónové siete pre počítačové videnie 2019 -20 22
Nastavenie parametrov NS II � Neurónové siete pre počítačové videnie 2019 -20 23
Biologická inšpirácia Neurónové siete pre počítačové videnie 2019 -20 24
Neurón a jeho model Neurónové siete pre počítačové videnie 2019 -20 25
Neurón a jeho model Neurónové siete pre počítačové videnie 2019 -20 26
Neurón a jeho model Sigmoidálna aktivačná funkcia Neurónové siete pre počítačové videnie 2019 -20 27
Neurón a jeho model Neurónové siete pre počítačové videnie 2019 -20 28
Biologická inšpirácia a NS Biologické neuróny sieti Komplexné vzory prepojení Neuróny v neurónovej Organizované v pravidelných vrstvách kvôli efektívnosti výpočtov Neurónové siete pre počítačové videnie 2019 -20 29
Biologická inšpirácia a NS II Biologické neuróny prepoje. Komplexné vzory prepojení Ale NS s náhodnými niami fungujú tiež!!! Neurónové siete pre počítačové videnie 2019 -20 30
Opatrne s analógiami k mozgu �Biologické neuróny: �Mnoho rozličných typov �Dendrity môžu vykonávať zložité nelineárne výpočty �Synapsy nie sú jednoduché váhy, ale zložité nelineárne dynamické systémy �Kód na popis nemusí byť adekvátny Neurónové siete pre počítačové videnie 2019 -20 31
Problém: ako počítať gradienty? � Neurónové siete pre počítačové videnie 2019 -20 32
(Zlý) nápad: počítať na papieri �Problém: Je to veľmi náročné, treba veľa maticových výpočtov a veľa papiera �Problém: Pri zmene stratovej funkcie (napr. softmax namiesto SVM), treba všetko prepočítať od začiatku �Problém: To nie je realistické pre veľké modely Neurónové siete pre počítačové videnie 2019 -20 33
(Lepší) nápad: backpropagation �Výpočtové grafy a spätné šírenie chyby Neurónové siete pre počítačové videnie 2019 -20 34
Konvolučná NS (Alex. Net) Neurónové siete pre počítačové videnie 2019 -20 35
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 36
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 37
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 38
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 39
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 40
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 41
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 42
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 43
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 44
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 45
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 46
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 47
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 48
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 49
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 50
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 51
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 52
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 53
Spätné šírenie – jednoduchý príklad Neurónové siete pre počítačové videnie 2019 -20 54
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 55
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 56
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 57
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 58
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 59
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 60
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 61
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 62
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 63
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 64
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 65
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 66
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 67
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 68
Spätné šírenie – ďalší príklad Neurónové siete pre počítačové videnie 2019 -20 69
Spätné šírenie – ďalší príklad Výpočtový graf nemusí byť jedinečný. Zvoľte si taký, pre ktorý sa ľahko počítajú lokálne gradienty pre každý vrchol. Neurónové siete pre počítačové videnie 2019 -20 70
Spätné šírenie – ďalší príklad Lokálny gradient sigmoidu Neurónové siete pre počítačové videnie 2019 -20 71
Spätné šírenie – ďalší príklad Lokálny gradient sigmoidu Neurónové siete pre počítačové videnie 2019 -20 72
Vzory v šírení gradientu Vrchol sčítaj: distribútor gradientu Neurónové siete pre počítačové videnie 2019 -20 73
Vzory v šírení gradientu Vrchol sčítaj: distribútor gradientu Vrchol násob: „vymenené násobenie“ Neurónové siete pre počítačové videnie 2019 -20 74
Vzory v šírení gradientu Vrchol sčítaj: distribútor gradientu Vrchol násob: „vymenené násobenie“ Vrchol kopíruj: pridáva gradient Neurónové siete pre počítačové videnie 2019 -20 75
Vzory v šírení gradientu Vrchol sčítaj: distribútor gradientu Vrchol násob: „vymenené násobenie“ Vrchol kopíruj: pridáva gradient Vrchol max: Router gradientu Neurónové siete pre počítačové videnie 2019 -20 76
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 77
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 78
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 79
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 80
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 81
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 82
Jednoduchý kód spätného šírenia Neurónové siete pre počítačové videnie 2019 -20 83
Rekapitulácia Doteraz sme riešili spätné šírenie pre skaláry Čo s funkciami, ktoré sú definované na vektoroch? Neurónové siete pre počítačové videnie 2019 -20 84
Rekapitulácia: derivácie vektorov � Neurónové siete pre počítačové videnie 2019 -20 85
Rekapitulácia: derivácie vektorov � Neurónové siete pre počítačové videnie 2019 -20 86
Rekapitulácia: derivácie vektorov � Neurónové siete pre počítačové videnie 2019 -20 87
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 88
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 89
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 90
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 91
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 92
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 93
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 94
Spätné šírenie s vektormi Neurónové siete pre počítačové videnie 2019 -20 95
Spätné šírenie s vektormi Jakobián je riedky: všetky nediagonálne prvky sú vždy nulové. Nikdy netvorte explicitný Jakobián, použite implicitné násobenie Neurónové siete pre počítačové videnie 2019 -20 96
Spätné šírenie s vektormi Jakobián je riedky: všetky nediagonálne prvky sú vždy nulové. Nikdy netvorte explicitný Jakobián, použite implicitné násobenie Neurónové siete pre počítačové videnie 2019 -20 97
Spätné šírenie s maticami (tenzormi) Neurónové siete pre počítačové videnie 2019 -20 98
Spätné šírenie s maticami (tenzormi) Neurónové siete pre počítačové videnie 2019 -20 99
Spätné šírenie s maticami Neurónové siete pre počítačové videnie 2019 -20 100
Spätné šírenie s maticami � Neurónové siete pre počítačové videnie 2019 -20 101
Spätné šírenie s maticami Ot: Ktoré časti y sú ovplyvnené jedným prvkom x? Neurónové siete pre počítačové videnie 2019 -20 102
Spätné šírenie s maticami � Neurónové siete pre počítačové videnie 2019 -20 103
Spätné šírenie s maticami � Neurónové siete pre počítačové videnie 2019 -20 104
Spätné šírenie s maticami � Neurónové siete pre počítačové videnie 2019 -20 105
Spätné šírenie s maticami � Neurónové siete pre počítačové videnie 2019 -20 106
Spätné šírenie s maticami Podobnou logikou: cestou Tieto formuly sa ľahko pamätajú: sú jedinou cestou k tomu, aby sedeli rozmery! Neurónové siete pre počítačové videnie 2019 -20 107
Zhrnutie �(Plne prepojené) NS sú skladačka lineárnych funkcií a nelineárnych aktivačných funkcií a majú omnoho väčšiu reprezentačnú silu ako lineárne klasifikátory �Spätné šírenie (backpropagation) je rekurzívna aplikácia reťazového pravidla pozdĺž výpočtového grafu na výpočet gradientov všetkých vstupov/parametrov/medziparametrov Neurónové siete pre počítačové videnie 2019 -20 108
Zhrnutie II �Implementácie udržiavajú grafovú štruktúru, v ktorej vrcholy implementujú dopredný chod() a spätný chod() API �dopredný chod – počíta výsledok operácie od vstupov k výstupu a uchováva všetky medziparametre potrebné k výpočtu gradientu v pamäti �spätný chod – aplikuje reťazové pravidlo na výpočet gradientov stratovej funkcie vo vzťahu k vstupom Neurónové siete pre počítačové videnie 2019 -20 109
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 110
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 111
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 112
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 113
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 114
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 115
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 116
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 117
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 118
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 119
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 120
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 121
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 122
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 123
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 124
Vektorizovaný príklad Neurónové siete pre počítačové videnie 2019 -20 125
Na diskusiu: maticový príklad Neurónové siete pre počítačové videnie 2019 -20 126
- Vraskovec oko
- Diagnostika potaov hp
- Diagnostika potaov toshiba
- Osnowa dokumentu
- Act score range
- Ciudad de tiatira
- Las 7 copas dela ira
- Dos menos veinticinco
- Servianos
- Sacramentos de la iglesia
- Hermanas de sipora
- Las maravillas del mundo actual
- Conclusión de las 7 iglesias del apocalipsis
- Inject.siete
- Los 7 dolores de maria
- Tns siet
- Un hotel va a hospedar a siete estudiantes
- Tea de las siete virtudes
- Falta de temor a dios
- La monja gitana
- El cuento de blancanieves y los siete enanitos
- Gula pecado capital
- Mateo 24 29 30
- Apocalipsis 1
- Siete kvadra
- Straightforward algorithm
- Godi fiorenza parafrasi
- Corona de los siete dolores de la virgen maría
- Las siete peticiones
- Uno dos tres cuatro cinco cinco seis
- Los siete pilares de la autoestima
- Da questo riconosceranno che siete miei discepoli
- Colinas de roma
- Virtudes contra los pecados capitales
- Pocitacove siete zakladne pojmy
- Siete espejos esenios
- Siete colinas
- Yo soy el alfa y el omega
- Las siete iglesias del apocalipsis en la actualidad
- Las siete iglesias
- Obraz kocky
- Las siete dimensiones
- Contraste de itten
- Las siete musas del arte
- Engradece
- Siete y cuarto
- Sustantivos luna
- Mensaje a las 7 iglesias explicacion
- Php stand
- Voucher rack in front office
- Pre op checklist nursing
- Parts of bus
- Sensomotorische fase
- “remember” by christina georgina rossetti
- Etapa pre cientifica
- Kennisnetgeboortezorg
- Huntsville city schools pre k
- Pre catecumenado
- Pré australopithecus
- Jeden otec dobrý rozbor
- Grade 9 english unchanging values in a changing world
- Which image personifies the house of usher?
- Pre trans fallacy
- Nursing care plan cataract
- Magnetické pole cievky s prúdom
- Pre production activities
- Post millennial eschatology
- Indicação de vni
- Basen urcena na spievanie
- Pre k curriculum california
- Pre reading activities for night by elie wiesel
- Harrison bergeron pre reading questions
- Cpancapa
- Pre reproductive age
- Pre university students age
- Actividad de pre-saberes
- Respect de lenvironnement
- Writing during the period of activism
- Stredny rod
- Flowers for algernon pre reading activities
- Typy sopiek
- Typewriter (1800)telephone (1876)
- Bellman ford complexity
- Honors precalculus chapter 1 test
- Pre award vs post award
- Pre teba otec
- Dibujos con tra tre tri tro tru
- Cipd assessment examples
- Pre meeting brief
- Tender document
- Alur proses multimedia
- Prelas 50
- Prepis viet pre druhákov
- The outsiders pre reading
- Bilan pré anti tnf
- Pre las
- Funciones pre-construídas
- Tufts blast
- Periodo pré homerico
- Duke pre med
- Coral springs pre k-8
- University of kansas premed
- Pre verbal stage
- Office-based pre-participation physical examination
- Prophets chart
- Pre classical yoga images
- Androrush side effects
- What is a psp report
- Stadio preoperatorio
- Fattore di frequenza
- Cern users office
- Era pré cambriana
- Tommaso campanella
- Pré consciente
- Pré consciente
- Caf in education
- Pre tribulation rapture
- Pre heat exchanger
- 5 jogos intelectivos
- Pre peri and post
- Pre-classical school of criminology
- Inflation created stairstep mesh at some locations.
- Hampton pre prep school
- Pré postagem correios
- Post kinematic metamorphic texture
- Pre natal sex
- Hire to retire process