Long ShortTerm Memory LSTM Deep vs Machine Learning

  • Slides: 24
Download presentation
그라데이션으로 Long Short-Term Memory (LSTM) 이해하기

그라데이션으로 Long Short-Term Memory (LSTM) 이해하기

Deep vs Machine Learning RNN LSTM

Deep vs Machine Learning RNN LSTM

Input Function Output

Input Function Output

RNN 의 문제점 : Vanishing Gradient Problem

RNN 의 문제점 : Vanishing Gradient Problem

- 0. 9 * 0. 9 = 0. 81 - 0. 9 * 0.

- 0. 9 * 0. 9 = 0. 81 - 0. 9 * 0. 9 = 0. 729

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM)

RNN Model

RNN Model

LSTM Model

LSTM Model

LSTM Model Cell State

LSTM Model Cell State

LSTM Step 3 – Cell State Update 선별된 정보와 새로운 정보를 합친다 Cell State

LSTM Step 3 – Cell State Update 선별된 정보와 새로운 정보를 합친다 Cell State New Cell State

LSTM Step 4 – Output Gate Layer 무엇을 Output으로 내보낼 지를 선별 tanh Cell

LSTM Step 4 – Output Gate Layer 무엇을 Output으로 내보낼 지를 선별 tanh Cell State sigmoid gate의 output =