Rosenblatt 1958 Perceptron Perceptron Minsky Papert 1967 Perceptron

深度學習發展史 �Rosenblatt, 1958, Perceptron

Perceptron 的限制 �Minsky & Papert, 1967, 證明 Perceptron 無法解決 XOR 的問題

類神經網路(Artifical Neural Network) �Werbos, 1975, multi-layer neural network �Rumelhart &Mc. Clelland , 1986, 電腦模擬 �G. Cybenko, 1989, Universal approximation theorem � 類神經網路被應用在影像辨識

Deep Learning

詞嵌入的計算方法 �Collobert& Bengio, 2011 �訓練時間 49 天 �Mikolov, 2013, Word 2 vec �訓練時間 1~2 天

詞嵌入的類推性質 語法具類推 (analogy)的性質 語義具類推 (analogy)的性質 clothing apples apple shirt cars furniture car families chair family

Recursive Deep Model