Artificial Neural Network JARINGAN SYARAF TIRUAN Tipe ANN

Artificial Neural Network JARINGAN SYARAF TIRUAN

Tipe ANN • ANN dibuat oleh Warren Mc. Culloch dan Walter Pitts pada tahun 1940. • Tipe ANN berdasarkan koneksi antar neuron yaitu feedforward dan feedback • Tipe ANN berdasarkan layer yaitu single layer, multi layer, dan recurrent network • Tipe ANN berdasarkan algoritma pembelajaran: – Supervised (error based) backpropagation, delta learning rule, forwardpropagation – Unsupervised Hebbian, self organizing kohonen feature map, stochastic simulated annealing – Reinforced (output based) • Fungsi aktivasi: threshold, sigmoid, linear, piecewise, hard limiter

Istilah dalam ANN 1. 2. Bobot (weight) – – – Merupakan label pada konektor antar neuron Berisi informasi sinyal input Disajikan dalam matriks Bias – – Sama seperti bobot lainnya Hubungan input dan output dapat ditulis dengan persamaan garis lurus y = mx+c Bias Input 3. 4. X Y y = mx+c Activation function – – Untuk menghitung output neuron Linier atau non linier Learning rate – – Dinotasikan dengan α Untuk mengendalikan jumlah penyesuaian bobot tiap langkah training

Sistem ANN • • • • ADALINE (Adaptive Linear Neural Element) ART (Adaptive Resonance Theory) AM (Associative Memory) BAM (Bidirectional Associative Memory) Boltzman Machines BSB (Brain‐state‐in‐a‐box) Cauchy Machine Hopfield Network LVQ (Learning Vector Quantization) Neoconition Perceptron RBF (Radial Basis Function) RNN (Recurrent Neural Network) SOFM (Self Organizing Feature Map)

Sistem NN LEARNING METHOD ARCHITECTURE Gradient Descent Hebbian Competitive Stochastic Single Layer ADALINE, Feed Hopfield, Forward Perceptron AM, Hopfield Multi Layer Feed Forward ADALINE, Hopfield, Perceptron Neoconition RNN BAM, BSB, Hopfield Boltzman and Cauchy Machines Recurrent Networks LVQ, SOFM ART

Evolusi ANN TAHUN NEURAL NETWORK DESAINER DESKRIPSI 1943 Mc. Culloch dan Pitts neuron Mc. Culloch dan Pitts gerbang logika 1949 Hebb kekuatan bertambah jika neuron aktif 1958‐ 1988 Perceptron Rosenblatt bobot panah bisa disesuaikan 1960 ADALINE 1972 SOM Widrow dan Hoff Kohonen 1982 Hopfield John Hopfield 1986 Back Propagation Rumelhart multi layer 1987‐ 1990 ART digunakan untuk biner dan analog Carpenter mean squared error klastering jaringan memory asosiatif

Perceptron • Adalah model neuron paling sederhana yang melakukan fungsi boolean dibuat oleh Mc. Culloh dan Pitts. • Neuron adalah sel pada otak manusia. ANN merupakan kumpulan neuron • ANN dapat dimodelkan dalan sebuah diagram yang terdiri dari simbol simpul dan anak panah. • Ada dua macam simpul yaitu sel neuron dan sel input. • Sel input hanya menerima input, tidak terlalu banyak perhitungan. Sel neuron melakukan perhitungan non linear dari nilai input. • Input sel terbagi dua yaitu sel sensor dan sel tiruan (dummy cells) • Sel sensor adalah simpul Input eksternal yang nilainya berasal dari luar ANN yaitu input yang diberikan oleh user. • Sel tiruan adalah simpul input internal yang nilainya selalu satu dengan notasi x 0 = 1.

• Output adalah neuron yang dinotasikan dengan panah. Ada dua tipe panah yaitu sinapsis dan output. • Sinapsis adalah panah yang menghubungkan sel‐sel (sel neuron, sel sensor, sel tiruan). Tiap Sinapsis bersesuaian dengan sebuah nilai bobot. • Sinapsis terbagi lagi menjadi dua yaitu sinapsis yang menghubungkan sel sensor ke sel neuron atau sel neuron ke sel neuron lainnya. • Sinapsis lainnya yaitu bias yang menghubungkan sel tiruan dengan sel neuron • Pengembangannya ANN dapat menerima input dan output yang sudah dinormalisasi dengan nilai antara 0 sd 1 atau ‐ 1 sd 1. Jika nilainya di luar jangkauan itu maka diubah terlebih dulu menjadi 0 sd 1 atau ‐ 1 sd 1 • Inti dari perhitungan ANN terletak pada sel neuron. Sel neuron dinotasikan dengan lingkaran. Gambar di bawah ini adalah contoh sebuah neuron yang diberi nama x 3. neuron ini menerima 2 sel input sensor x 1 dan x 2 juga sel input tiruan x 0. Output sel neuron yaitu y X 0 X 1 X 3 X 2 Y

Komponen ANN Sel neuron Simpul Sel input ANN Sel sensor Xn Sel dummy/ sel tiruan X 0 output Anak panah Antar sel sinapsis Bias

Neuron X 0 X 2 X 1 X 3 X 1 Y X 3 X 2 X 0 X 1 X 2. . . Xn X 0 W 0 X 1 W 1 ∑→f(s) W 2 Wn Y 1 Y X 2 X 3 Y 2

• Input neuron bisa berasal dari 3 sumber yaitu: 1. Sel neuron lain 2. Sel sensor 3. Sel dummy • Ketika lebih dari satu anak panah keluar dari sel, semuanya akan bernilai sama. • Contoh pada gambar di samping, sebuah sel sensor x 1 memiliki 2 anak panah keluar dari sel. Misal nilai x 1=1, nilai ini akan digunakan sebagai input untuk kedua neuron x 2 dan x 3 X 0 X 2 Y 1 X 3 X 0 Y 2

• Di dalam sel neuron (lingkaran) ada dua operasi: 1. Jumlah dari perkalian antara bobot dan input 2. Fungsi aktivasi non linier f (s) X X 1 X 2. . . Xn 0 W 1 ∑→f(s) Y W 2 Wn • Neuron ini akan mengakumulasi jumlah dari perkalian bobot sinapsis dan input neuron termasuk bias w 0 dan input tiruan x 1 = 0 menggunakan rumus:

Contoh • Diketahui nilai bobot, sel sensor x 1 = 0, x 2 = 1 , x 3 = 0, tentukan nilai s. • Jawab: S = w 0 x 0 + w 1 x 1 + w 2 x 2 + w 3 x 3 = (‐ 1)∙ 1 + 0, 5∙ 1 + (‐ 1, 5) ∙ 0 = 1, 5 Kemudian nilai s digunakan sebagai input fungsi aktivasi untuk menghasilkan output. Neuron akan menghasilkan output jika nilai s lebih besar dari nilai threshold. Secara umum output ditulis sebagai fungsi non linier y = f (s)

• Jika input neuron bernilai boolean, fungsi aktivasi yang umum digunakan adalah fungsi threshold Grafik fungsi threshold

Soal 1. 2. 3. 4. 5. Perceptron menangani nilai: ANN dinotasikan dengan: Anak panah dalam ANN disebut: Ada dua macam simpul yaitu: . Ada dua simpul input dalam ANN yaitu: 6. Sel tiruan dalam ANN nilainya selalu: 7. Input dari sel sensor dan output dari sel neuron bernilai antara: 8. Di dalam neuron ada dua operasi yaitu: 9. Fungsi aktivasi perceptron adalah fungsi: 10. Sel yang tidak memiliki sel tiruan dan juga tidak melakukan operasi penjumlahan dari perkalian ataupun fungsi aktivasi: A. B. C. D. E. F. G. H. I. J. 1 Boolean Sinapsis Threshold Input sensor Simpul dan anak panah Sel tiruan dan sel sensor Simpul input dan sel neuron 0 sampai 1 (atau ‐ 1 sampai +1) Jumlah dari perkalian dan fungsi aktivasi.

Contoh • Diketahui nilai s = 0, 25. Bagaimana nilai y (output) nya? • Jawab: s = 0, 25 berarti s > 0 sehingga y = f (s) = f (0, 25) = 1

Contoh • Diketahui dari gambar berikut, w 12 = ‐ 2, w 13 = ‐ 0, 5, bias w 02 = 1 dan w 03 = 1, 5. Bagaimana output jika input = 1. Bagaimana pula output jika input = 0.

• Untuk input = 1, nyatakan x 1 = 1 S 2 = w 02 x 0 + w 12 x 1 = 1∙ 1 + (‐ 2)∙ 1 = ‐ 1 y 1 = f (s 2) = f (-1) = 0 S 3 = w 03 x 0 + w 13 x 1 = 1, 5∙ 1 + (‐ 0, 5)∙ 1 = 1 y 2 = f (s 3) = f (1) = 1 • Untuk input = 1, nyatakan x 1 = 0 S 2 = w 02 x 0 + w 12 x 1 = 1∙ 1 + (‐ 2)∙ 0 = 1 y 1 = f (s 2) = f (1) = 1 S 3 = w 03 x 0 + w 13 x 1 = 1, 5∙ 1 + (‐ 0, 5)∙ 0 = 1, 5 y 2 = f (s 3) = f (1, 5) = 1 • Kesimpulannya, ANN didefinisikan oleh bobot dan arsitekturnya

• Terlihat bahwa setiap neuron disertai dengan sel input tiruan internal yang dinotasikan dengan x 0 bernilai 1 • Anak panah sinapsis dari sel input tiruan ke sel neuron disebut Bias yang dinotasikan dengan w 0 • Bias merupakan anak panah sinapsis khusus di dalam setiap neuron. Bias memiliki bobot khusus untuk mengubah nilai model neuron dari nilai asalnya yaitu nol. • Ada dua pandangan tentang perlunya bias: 1. Jika disajikan dalam model linier, bias adalah sebagai pembatas 2. Bias menyatakan nilai threshold. Jumlah dari perkalian bobot dan sel input dihitung dengan rumus:

• Karena x 0 selalu sama dengan 1 artinya sama dengan • Jika kita menggunakan fungsi threshold berikut sebagai fungsi aktivasi • Sama artinya dengan

Latihan 1. Mengapa sel input tiruan selalu bernilai satu? 2. Mengapa diperlukan Bias? 3. Bagaimana nilai fungsi threshold f (s) untuk nilai s berikut: a. s = 3 b. s = ‐ 2. 5 c. s = 0 d. s = 1 e. s = ‐ 1 4. Pada gambar di samping, jika bobot sinapsis semuanya bernilai 1 dan sel input bernilai 1, bagaimana outputnya? Bagaimana pula outputnya jika bernilai 0? 5. Jika threshold dari fungsi aktivasi didefinisikan seperti pada persamaan di samping. Bagaimana pengaruhnya pada bobot sinapsis?