Neural network NAM S B MDLAB Electronic Engineering

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2장 뉴로 컴퓨터 11

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 1 신경망 분류 단층구조(single layer) x y Input layer x 1 xn Output layer w 11 y 1 ym ym wm 1 w 1 n wmn 입력층 번호 출력층 번호 n Y 1 = ∱∑ xi w 1 i i=1 n Ym = ∱∑ xi wmi i=1 33

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 1 신경망 분류 다층구조(multi layer) x z y Input layer hidden layer Output layer v 11 x 1 vp 1 v 1 n xn vpn n z 1 zp w 11 w 1 p wm 1 wmp y 1 ym ym n z 1 = ∱∑ xi v 1 i Y 1 = ∱∑ zi w 1 i n n i=1 zm = ∱∑ xi vmi i=1 Ym = ∱∑ zi wmi i=1 44

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 1 신경망 분류 단층 신경망(single neural network) Pattern 분류 0과 1로 구분됨 AND, OR 연산 y x 55

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 6 6 2. 1 신경망 분류 다층 신경망(multi neural network) Pattern 분류 여러개로 구분됨 y x

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 7 7 2. 1 신경망 분류 순방향 신경망(forward neural network) input Input layer x 1 xn output Neural network Output layer w 11 y 1 ym ym wm 1 w 1 n wmn

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 8 8 2. 1 신경망 분류 역방향 (순환구조, 궤환구조) 신경망(feedback neural network) input x 1 xn output Neural network w 11 y 1 ym ym wm 1 w 1 n wmn

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 9 3. 1 신경망 분류 역방향 (순환구조, 궤환구조) 신경망(feedback neural network) 1’st output n 1 Y 1 = ∱∑ xi w 1 i i=1 n 1 Ym = ∱∑ xi wmi i=1 k’st output 9 k n Y 1 = ∱∑ yi K-1 i=1 k n Ym = ∱∑ yi i=1 K-1 w 1 i wmi

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 3. 1 신경망 분류 10 10 입력 데이터에 따른 분류 Neural network Digital input Analog input 지도학습 ADALINE ARTI 페셉트론 SOM 다층페셉 트론 ART 2 ADALINE 특징 맵

Neural network 3. 1 신경망 분류 응용분야에 따른 신경망 모델 P 75 NAM S. B MDLAB. Electronic Engineering, KNU 11 11

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 12 2. 2 vector 12 기하학적 표현 x 2 X = [x 1, x 2, … xm-1, xm ] X[x 1, x 2] 0 x 1 component

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 13 13 2. 2 vector 기하학적 표현 열 벡터(row vector) XT = X 1 x 2. xm-1 xm 행 벡터(column vector) X = [x 1, x 2, … xm-1, xm ] Y = [y 1, y 2, … ym-1, ym ] X + Y = [x 1 +y 1 , x 2 +y 2, … xm +ym ] k. X = [kx 1, kx 2, … kxm-1, kxm ]

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 2 vector 기하학적 표현 X, y, x : vector , k, l : 스칼라일 때 아래 식 성립 14 14

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 15 15

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 16 16

Neural network 선형 종속이다. NAM S. B MDLAB. Electronic Engineering, KNU 18 18

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 어떤 경우라도 0 이 안 된다. 따라서 선형 독립이다. 19 19

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 2 vector 기하학적 표현 : N차원의 두 벡터 의 내적 (inner product)은 (x와 y의 내적? ) Neuron의 NET 값을 구할 때 사용된다. 20 20

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 21 21

Neural network 22 NAM S. B MDLAB. Electronic Engineering, KNU 22 2. 2 vector 기하학적 표현 : 연상 메모리에서 사용된다. 직교 (orthogonal) : inner product 가 0일 때 직교 조건이 된다. y X=[1 0] X • Y =[1 0] Y (0, 1) 0 X (1, 0) Y=[0 1] 0 1 =1 x 0 + 0 x 1= 0 x Othogonal 조건

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 23 2. 3 matrix Matrix 표현 row column 정방형 (square) , 치환(transposition) , 대칭(symmetric) m=n 이면 정방 메트릭스 23

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 행과 열의 원소를 바꾸면 치환(transposition) WT 행과 열의 원소를 바꾸면 치환 W = WT 대칭(symetric) 메트릭스 라 한다 24 24

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 곱할 수 없음, 치환으로 곱할 수 있음 25 25

Neural network 조건 Wx = ⋋x 에 의해 W의 고유값은 NAM S. B MDLAB. Electronic Engineering, KNU 27 27

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 28 2. 4 활성화 함수 Activation function 1. 단극성(unipolar)/양극성(bipolar) function 2. Linear / nonlinear function 3. Continuous/ binary function 1) 항등 함수(identity function) ∱(NET) = NET 일 때 항등이 된다. ∱(NET) 양극성 함수 선형 함수 연속 함수 0 28 NET

Neural network NAM S. B MDLAB. Electronic Engineering, KNU Ex 2. 9) 항등합수를 활성화 함수로 사용할 경우 neuron 출력은? X 1 =1 X 2 = 2 1 1 y ∱(NET) = NET 조건 적용 29 29

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 30 2. 4 활성화 함수 Activation function 2) 경사 함수(ramp function) ∱(NET) = NET : NET ≧ 0 0 : NET < 0 ∱(NET) 0 30 NET

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 4 활성화 함수 Activation function 2) 경사 함수(ramp function) X 1 =1 X 2 = -2 -1 1 y 31 31

Neural network 32 2. 4 활성화 함수 Activation function 3) 계단 함수(step function) ∱(NET) = 1 : NET ≧ T 0 : NET < T ∱(NET) 0 T 단극성 32 NAM S. B MDLAB. Electronic Engineering, KNU ∱(NET) NET 0 T 양극성 NET

Neural network 33 2. 4 활성화 함수 Activation function 3) 계단 함수(step function) X 1 =1 X 2 = 2 33 NAM S. B MDLAB. Electronic Engineering, KNU 1 1 y

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 4 활성화 함수 Activation function 4) 시그모이드 함수(sigmoid function) 기울기 매개변수 a 변화에 따른 시그모이드 함수의 모양 변화 34 34 34

Neural network 35 NAM S. B MDLAB. Electronic Engineering, KNU 35 2. 4 활성화 함수 Activation function 4) 시그모이드 함수(sigmoid function) 1 ∱(NET) = ———— 1+exp(- ⋋NET) ∱(NET) 1 1 0. 5 0 0 단극성 NET -1 양극성

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 2. 4 활성화 함수 36 36 Activation function 4) 시그모이드 함수(sigmoid function) 단극성 ∱(NET) = 1 : NET ≧ T 0 : NET < T 1 ∱(NET) = ———— ∱’(NET)= ∱(NET)[1 - ∱(NET)] 1+exp(- NET)

Neural network 37 NAM S. B MDLAB. Electronic Engineering, KNU 2. 4 활성화 함수 37 Activation function 4) 시그모이드 함수(sigmoid function) 양극성 ∱(NET) = 1 : NET ≧ T -1 : NET < T 1 -exp(- NET) ∱(NET) = ———— 1+exp(- NET) 1 ∱’(NET)=— [1+∱(NET)][1 - ∱(NET)] 2

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 4) 시그모이드 함수(sigmoid function) X 1 =1 X 2 = 2 1 -1 y 출력이 아날로그 형태로 출력된다, 임계값은 0. 5이다. 38 38

Neural network 2. 4 활성화 함수 39 Activation function 5) tanh 함수(tanh function) Exp(NET)-exp(- NET) 1 -exp(- 2 NET) ∱(NET) = —————— = ———— Exp(NET)+exp(- NET) 1+exp(-2 NET) ∱’(NET)] = 39 NAM S. B MDLAB. Electronic Engineering, KNU [1+∱(NET)][1 - ∱(NET)]

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 40 40

Neural network 41 NAM S. B MDLAB. Electronic Engineering, KNU 2. 5 신경망 학습 41 학습방법 분류 1) 지도 학습(supervised learning) 2) 자율 학습(unsupervised learning) 3) 경쟁식 학습(competitive learning) 1) 지도 학습(supervised learning) input x Output y 적응식 신경망 W ⊿w 학습신호 발생기 목표치(교사신호) d

Neural network 45 NAM S. B MDLAB. Electronic Engineering, KNU 45 2. 5 신경망 학습 Hebb 학습법 input x 적응식 신경망 W ⊿w 특정부분만 학습 a ⊗ x r Output y 목표치(교사신호) d a : 학습율(learning rate) r : 학습신호(learning signal)

Neural network 46 2. 5 신경망 학습 Hebb 학습법 X 1 =1 X 2 = 2 0. 1 -0. 1 y 0. 2 X 3 = 1 w 1 = [0. 1 -0. 1 0. 2], a=1, X 1=[1 2 1], x 2=[0 1 1], x 3=[1 0 1] 활성화 함수를 항등함수, 시그모이드 함수 두가지 경우를 분석 실습 3 -12 46 NAM S. B MDLAB. Electronic Engineering, KNU

Neural network 1번째 학습 NAM S. B MDLAB. Electronic Engineering, KNU 47 47

Neural network 1번째 학습 NAM S. B MDLAB. Electronic Engineering, KNU 48 48

Neural network 1번째 학습 NAM S. B MDLAB. Electronic Engineering, KNU 49 49

Neural network 2번째 학습 NAM S. B MDLAB. Electronic Engineering, KNU 50 50

Neural network 51 NAM S. B MDLAB. Electronic Engineering, KNU 51 2. 6 페셉트론 학습법 x 1 xn w 1 y wn α ⊿w - ⊗ x γ =dy + Output y + 목표치(교사신호) d α : 학습율(learning rate) γ: 학습신호(learning signal) γ =d-y ⊿w = α γ x = α (d-yk)x w k+1 = w k + ⊿w k = w yk)x k + α (d- 예제 3 -13

Neural network 52 NAM S. B MDLAB. Electronic Engineering, KNU 52 3. 5. 3 델타 학습법 x 1 xn w 1 wn ⊿w y α ⊗ f’(NET) ⊗ Output y - + + (d – y) γ = (d – y) f’(NET) x α : 학습율(learning rate) γ : 학습신호(learning signal) d γ = (d – y)f’(NET) ⊿wk = α γ x = α (d-yk)f’(NETk)x= α (d-yk)*1/2*(1+f(NET))(1 f(NET))x k+1 k k k w = w + ⊿w = w + α (d-yk)(1 -f(NET))x 예제 3 -13

Neural network NAM S. B MDLAB. Electronic Engineering, KNU 53 53 3. 5. 5 LMS 학습법( 항등함수를 활성화 함수로 사용) x 1 xn w 1 wn ⊿w y α - ⊗ x γ =dy + + Output y 목표치(교사신호) d α : 학습율(learning rate) γ : 학습신호(learning signal) γ = (d – y)=d – f(NET)=d - xw. T ⊿wk = α γ x = α (d - xw. T) x w k+1 = wk + ⊿w k =w k +α (d - xw. T) x 예제 3 -15