Jaringan Syaraf Tiruan Artificial Neural Networks ANN 3

Outline • Pengantar Perceptron • Perceptron untuk Klasifikasi • Algoritma Belajar Perceptron JST -

Pengantar Perceptron • Perceptron adalah satu model jaringan syaraf tiruan generasi awal yang memiliki

Linearly Separable – p OR q 1 0 1 1 0 0 0 1

Linearly Separable – p AND q 1 0 0 1 1 1 0 0

Linear atau Non Linear? p q p XOR q 1 0 1 1 1

Non Linearly Separable – p XOR q 1 0 1 1 1 0 0

Linear atau Non Linear? p q Target 1 2 1 1 0 1 -1

Arsitektur Perceptron – 1 Output x 1 x 2 1 Input Layer w 11

Arsitektur Perceptron – n Output x 1 w 12 Y 1 w 21 x

Klasifikasi dengan Perceptron p q p AND q 1 1 0 0 0 1

Klasifikasi dengan Perceptron Target dikonversi dulu ke dalam rentang nilai bipolar [1, -1], karena

Klasifikasi dengan Perceptron p q p AND q 1 1 0 -1 0 1

Learning pada Perceptron • Agar perceptron mampu mengklasifikasikan data/ pola dengan benar, maka perceptron

Fungsi Aktivasi • Fungsi aktivasi adalah fungsi yang digunakan untuk mengaktifkan nilai keluaran (output)

Parameter Learning • Jumlah epoch Banyaknya iterasi learning (epoch) menentukan berapa lama proses learning

Algoritma Learning Perceptron 1. Tentukan jumlah epoch dan nilai α (misal, α = 1)

Algoritma Learning Perceptron b. Perbaiki bobot jaringan yang mengandung kesalahan (y ≠ target) dengan

Learning Perceptron p q p AND q 1 1 0 -1 0 1 -1

Learning Perceptron – Inisialisasi Bobot Masukan x 1 x 2 B Target (t) y

Learning Perceptron – epoch 1 Masukan x 1 x 2 B Target (t) y

Learning Perceptron – epoch 2 Masukan x 1 x 2 B Target (t) y

Learning Perceptron – epoch 3 Masukan x 1 x 2 B Target (t) y

Learning Perceptron – epoch 10 Masukan x 1 x 2 B Target (t) y

Testing Perceptron p q p AND q 1 1 0 -1 0 1 -1

LATIHAN • Lakukan proses learning pada perceptron untuk bisa mengenali pola berikut ini: Masukan

Learning Perceptron x 1 w 11 = 0 x 1 x 2 X 3

Learning Perceptron – Inisialisasi Bobot Masukan x 1 x 2 x 3 B Target

Learning Perceptron – epoch 1 Masukan x 1 x 2 x 3 B Targe

Learning Perceptron – epoch 2 Masukan x 1 x 2 x 3 B Targe

Learning Perceptron – epoch 3 Masukan x 1 x 2 x 3 B Targe

Testing Perceptron x 1 x 2 X 3 Target 1 1 1 0 -1

Learning Perceptron – epoch 26 Masukan x 1 x 2 x 3 B Targe

Perceptron untuk Mengenali Gambar • Bagaimana jika perceptron digunakan untuk mengenali sebuah gambar? JST

Perceptron untuk Mengenali Gambar • • Warna hitam = 0; Warna putih = 1;

Perceptron untuk Mengenali Gambar 0 1 1 1 0 JST - Pertemuan 2 0

Perceptron untuk Mengenali Gambar Masukan Target x 1 x 2 x 3 x 4

Slides: 58

Download presentation

Jaringan Syaraf Tiruan Artificial Neural Networks (ANN) 3 SKS Dosen: Muhammad Fachrie, M. Cs. JST - Pertemuan 2 1

Outline • Pengantar Perceptron • Perceptron untuk Klasifikasi • Algoritma Belajar Perceptron JST - Pertemuan 2 2

Pengantar Perceptron • Perceptron adalah satu model jaringan syaraf tiruan generasi awal yang memiliki kemampuan mengklasifikasikan pola/ data yang terpisah secara linear (linearly separable). JST - Pertemuan 2 3

Linearly Separable – p OR q 1 0 1 1 0 0 0 1 0 JST - Pertemuan 2 1 4

Linearly Separable – p AND q 1 0 0 1 1 1 0 0 0 0 1 0 JST - Pertemuan 2 1 5

Linear atau Non Linear? p q p XOR q 1 0 1 1 1 0 0 0 JST - Pertemuan 2 6

Non Linearly Separable – p XOR q 1 0 1 1 1 0 0 0 1 0 JST - Pertemuan 2 1 7

Non Linearly Separable – p XOR q 1 0 1 1 1 0 0 0 1 0 JST - Pertemuan 2 1 8

Linear atau Non Linear? p q Target 1 2 1 1 0 1 -1 1 0 0 -1 0 2 1 1 2 2 1 -1 -2 0 JST - Pertemuan 2 9

Linear atau Non Linear? p q Target 1 2 1 1 0 1 -1 1 0 0 -1 0 2 1 1 2 2 1 -1 -2 2 1 -2 -1 1 2 -1 -2 0 JST - Pertemuan 2 10

Arsitektur Perceptron – 1 Output x 1 x 2 1 Input Layer w 11 w 21 Y b dimana: Output Layer JST - Pertemuan 2 11

Arsitektur Perceptron – n Output x 1 w 12 Y 1 w 21 x 2 w 22 b 1 1 Input Layer dimana: Y 2 b 2 Output Layer JST - Pertemuan 2 12

Klasifikasi dengan Perceptron p q p AND q 1 1 0 0 0 1 0 0 p x 1 q x 2 1 JST - Pertemuan 2 2 3 Y ? -4 13

Klasifikasi dengan Perceptron Target dikonversi dulu ke dalam rentang nilai bipolar [1, -1], karena fungsi aktivasi yang digunakan adalah hard limit bipolar. p q p AND q 1 1 1 1 0 0 1 0 -1 0 0 1 -1 0 0 0 -1 JST - Pertemuan 2 14

Klasifikasi dengan Perceptron p q p AND q 1 1 0 -1 0 1 -1 0 0 -1 p x 1 q x 2 1 JST - Pertemuan 2 2 3 Y ? -4 15

Learning pada Perceptron • Agar perceptron mampu mengklasifikasikan data/ pola dengan benar, maka perceptron harus memiliki bobot jaringan yang tepat/ optimal. • Bobot jaringan yang optimal tersebut diperoleh melalui proses pembelajaran (learning). • Proses learning biasanya dilakukan dalam beberapa kali iterasi (tergantung kerumitan dan banyaknya data latih). Iterasi dalam proses learning Jaringan Syaraf Tiruan biasa disebut dengan epoch. JST - Pertemuan 2 16

Fungsi Aktivasi • Fungsi aktivasi adalah fungsi yang digunakan untuk mengaktifkan nilai keluaran (output) dari sebuah neuron. • Pada perceptron, fungsi aktivasi hanya terdapat pada neuron yang berada di output layer. • Fungsi aktivasi yang dipakai pada perceptron adalah hard limit bipolar. net JST - Pertemuan 2 17

Parameter Learning • Jumlah epoch Banyaknya iterasi learning (epoch) menentukan berapa lama proses learning yang dilakukan. Kecendrungannya, semakin besar epoch, semakin bagus akurasi sistem. • Learning rate (α) Laju belajar (learning rate) menentukan seberapa signifikan perubahan bobot jaringan selama proses learning. Umumnya learning rate diset antara 0 s. d. 1. JST - Pertemuan 2 18

Algoritma Learning Perceptron 1. Tentukan jumlah epoch dan nilai α (misal, α = 1) 2. Inisialisasi semua bobot jaringan (w dan b) Biasanya w dan b diset = 0. 3. Selama ada target yang tidak sama dengan output perceptron, lakukan: a. Hitung nilai keluaran (y) pada output layer: dimana: JST - Pertemuan 2 19

Algoritma Learning Perceptron b. Perbaiki bobot jaringan yang mengandung kesalahan (y ≠ target) dengan rumus: JST - Pertemuan 2 20

Learning Perceptron p q p AND q 1 1 0 -1 0 1 -1 0 0 -1 p x 1 q x 2 Maksimum epoch = 10 Learning rate = 1 1 JST - Pertemuan 2 w 11 = 0 w 21 = 0 Y b 1 = 0 21

Learning Perceptron – Inisialisasi Bobot Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 INISIALISASI JST - Pertemuan 2 ∆b 1 Bobot baru w 11 w 21 b 0 0 0 22

Learning Perceptron – epoch 1 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 INISIALISASI 1 1 0 Target ≠ y 1 1 1 Bobot baru w 11 w 21 b 0 0 0 1 1 1 PERBAIKI BOBOT! JST - Pertemuan 2 23

Learning Perceptron – epoch 1 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 INISIALISASI Bobot baru w 11 w 21 b 0 0 0 1 1 1 1 0 1 -1 0 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 24

Learning Perceptron – epoch 1 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 INISIALISASI Bobot baru w 11 w 21 b 0 0 0 1 1 1 1 0 1 -1 0 0 1 1 -1 1 0 -1 -1 0 0 -1 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 25

Learning Perceptron – epoch 1 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 INISIALISASI Bobot baru w 11 w 21 b 0 0 0 1 1 1 1 0 1 -1 0 0 1 1 -1 1 0 -1 -1 0 0 1 -1 -1 0 0 0 -1 Target = y BOBOT TETAP JST - Pertemuan 2 26

Learning Perceptron – epoch 2 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 1 JST - Pertemuan 2 Bobot baru w 11 w 21 b 0 0 -1 27

Learning Perceptron – epoch 2 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 1 1 1 -1 Target ≠ y 1 1 1 Bobot baru w 11 w 21 b 0 0 -1 1 1 0 PERBAIKI BOBOT! JST - Pertemuan 2 28

Learning Perceptron – epoch 2 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 1 Bobot baru w 11 w 21 b 0 0 -1 1 1 0 1 -1 0 1 -1 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 29

Learning Perceptron – epoch 2 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 1 Bobot baru w 11 w 21 b 0 0 -1 1 1 0 1 -1 0 1 1 -1 0 0 -2 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 30

Learning Perceptron – epoch 2 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 1 Bobot baru w 11 w 21 b 0 0 -1 1 1 0 1 -1 0 1 1 -1 0 0 -2 0 0 1 -1 -1 0 0 0 -2 Target = y BOBOT TETAP! JST - Pertemuan 2 31

Learning Perceptron – epoch 3 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 2 JST - Pertemuan 2 Bobot baru w 11 w 21 b 0 0 -2 32

Learning Perceptron – epoch 3 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 2 1 1 -1 Target ≠ y 1 1 1 Bobot baru w 11 w 21 b 0 0 -2 1 1 -1 PERBAIKI BOBOT! JST - Pertemuan 2 33

Learning Perceptron – epoch 3 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 2 Bobot baru w 11 w 21 b 0 0 -2 1 1 1 1 -1 1 0 1 -1 0 1 -2 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 34

Learning Perceptron – epoch 3 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 2 Bobot baru w 11 w 21 b 0 0 -2 1 1 1 1 -1 1 0 1 -1 0 1 -2 0 1 1 -1 -1 0 0 1 -2 Target = y BOBOT TETAP! JST - Pertemuan 2 35

Learning Perceptron – epoch 3 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 2 Bobot baru w 11 w 21 b 0 0 -2 1 1 1 1 -1 1 0 1 -1 0 1 -2 0 1 1 -1 -1 0 0 1 -2 0 0 1 -1 -1 0 0 1 -2 Target = y BOBOT TETAP! JST - Pertemuan 2 36

Learning Perceptron – epoch 10 Masukan x 1 x 2 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆b 1 BOBOT DARI EPOCH 9 Bobot baru w 11 w 21 b 2 3 -4 1 1 1 0 0 0 2 3 -4 1 0 1 -1 -1 0 0 0 2 3 -4 0 1 1 -1 -1 0 0 0 2 3 -4 0 0 1 -1 -1 0 0 0 2 3 -4 JST - Pertemuan 2 37

Testing Perceptron p q p AND q 1 1 0 -1 0 1 -1 0 0 -1 p x 1 q x 2 1 JST - Pertemuan 2 w 11 = 2 w 21 = 3 Y b 1 = -4 38

LATIHAN • Lakukan proses learning pada perceptron untuk bisa mengenali pola berikut ini: Masukan • Target x 1 x 2 x 3 t 1 1 1 0 -1 1 0 1 -1 0 1 1 -1 Set bobot awal dan bias = 0, learning rate = 1, dan Max. Epoch = 3. JST - Pertemuan 2 39

Learning Perceptron x 1 w 11 = 0 x 1 x 2 X 3 Target 1 1 1 0 -1 1 0 1 -1 0 1 1 -1 x 2 w 21 = 0 Y x 3 w 31 = 0 b 1 = 0 1 JST - Pertemuan 2 40

Learning Perceptron – Inisialisasi Bobot Masukan x 1 x 2 x 3 B Target (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 INISIALISASI Bobot baru ∆b 1 w 11 w 21 w 31 0 JST - Pertemuan 2 0 0 b 0 41

Learning Perceptron – epoch 1 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 INISIALISASI 1 1 1 0 Target ≠ y 1 1 w 11 w 21 w 31 b 0 0 1 1 PERBAIKI BOBOT! JST - Pertemuan 2 42

Learning Perceptron – epoch 1 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 INISIALISASI w 11 w 21 w 31 b 0 0 1 1 1 1 1 0 1 -1 -1 0 0 1 0 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 43

Learning Perceptron – epoch 1 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 INISIALISASI w 11 w 21 w 31 b 0 0 1 1 1 1 1 0 1 -1 -1 0 0 1 0 1 1 -1 0 -1 -1 -1 0 0 -1 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 44

Learning Perceptron – epoch 1 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 INISIALISASI w 11 w 21 w 31 b 0 0 1 1 1 1 1 0 1 -1 -1 0 0 1 0 1 1 -1 0 -1 -1 -1 0 0 -1 0 1 1 1 -1 -1 0 0 -1 Target = y BOBOT TETAP! JST - Pertemuan 2 45

Learning Perceptron – epoch 2 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 1 JST - Pertemuan 2 w 11 w 21 w 31 -1 0 0 b -1 46

Learning Perceptron – epoch 2 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 1 1 1 1 -1 Target ≠ y 1 1 w 11 w 21 w 31 b -1 0 0 -1 0 1 1 0 PERBAIKI BOBOT! JST - Pertemuan 2 47

Learning Perceptron – epoch 2 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 1 w 11 w 21 w 31 b -1 0 0 -1 1 1 0 1 1 0 1 -1 -1 0 1 -1 Target ≠ y PERBAIKI BOBOT! JST - Pertemuan 2 48

Learning Perceptron – epoch 2 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 1 w 11 w 21 w 31 b -1 0 0 -1 1 1 0 1 1 0 1 -1 -1 0 1 -1 1 0 1 1 -1 -1 0 0 -1 0 1 -1 Target = y BOBOT TETAP! JST - Pertemuan 2 49

Learning Perceptron – epoch 2 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 1 w 11 w 21 w 31 B -1 0 0 -1 1 1 0 1 1 0 1 -1 -1 0 1 -1 1 0 1 1 -1 -1 0 0 -1 0 1 1 1 -1 0 0 -1 -1 -1 0 -2 Target = y BOBOT TETAP! JST - Pertemuan 2 50

Learning Perceptron – epoch 3 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 2 w 11 w 21 w 31 B -1 -1 0 -2 1 1 1 -1 1 1 0 0 1 -1 1 1 0 1 -1 -1 0 0 0 1 -1 1 0 1 1 -1 0 -1 -1 -1 0 0 -2 0 1 1 1 -1 -1 0 0 -2 JST - Pertemuan 2 51

Testing Perceptron x 1 x 2 X 3 Target 1 1 1 0 -1 1 0 1 -1 0 1 1 -1 x 2 w 11 = -1 w 21 = 0 Y x 3 w 31 = 0 x 1 x 2 X 3 Output 1 1 1 -1 1 1 0 -1 1 0 1 -1 0 1 1 -1 b 1 = -2 1 JST - Pertemuan 2 52

Learning Perceptron – epoch 26 Masukan x 1 x 2 x 3 B Targe t (t) y Perubahan Bobot ∆w 11 ∆w 21 ∆w 31 Bobot baru ∆b 1 BOBOT DARI EPOCH 25 w 11 w 21 w 31 B 2 3 4 -8 1 1 1 0 0 2 3 4 -8 1 1 0 1 -1 -1 0 0 2 3 4 -8 1 0 1 1 -1 -1 0 0 2 3 4 -8 0 1 1 1 -1 -1 0 0 2 3 4 -8 JST - Pertemuan 2 53

Testing Perceptron x 1 x 2 X 3 Target 1 1 1 0 -1 1 0 1 -1 0 1 1 -1 x 2 w 11 = 2 w 21 = 3 Y x 3 w 31 = 4 x 1 x 2 X 3 Output 1 1 1 0 -1 1 0 1 -1 0 1 1 -1 b 1 = -8 1 JST - Pertemuan 2 54

Perceptron untuk Mengenali Gambar • Bagaimana jika perceptron digunakan untuk mengenali sebuah gambar? JST - Pertemuan 2 55

Perceptron untuk Mengenali Gambar • • Warna hitam = 0; Warna putih = 1; Angka 1 diberi target 1 Angka 0 diberi target -1 JST - Pertemuan 2 56

Perceptron untuk Mengenali Gambar 0 1 1 1 0 JST - Pertemuan 2 0 0 0 1 1 0 57

Perceptron untuk Mengenali Gambar Masukan Target x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 10 x 11 x 12 x 13 x 14 x 15 0 0 1 1 0 1 1 0 1 0 1 0 1 -1 0 0 1 0 0 -1 JST - Pertemuan 2 t 58