6 RANTAI MARKOV WAKTU DISKRIT KLASIFIKASI RUANG KEADAAN

6. RANTAI MARKOV WAKTU DISKRIT KLASIFIKASI RUANG KEADAAN Prostok-6 -firda

Untuk mempelajari prilaku dari suatu rantai Markov, kita perlu membuat klasifikasi dari ruang keadaan (ruang state) rantai Markov tersebut. Prostok-6 -firda 2

6. 1 Keadaan Accessible (dapat dicapai) Pandang suatu rantai Markov, Keadaan j dikatakan accessible (dapat dicapai) dari keadaan i , dinotasikan dengan jika terdapat bilangan bulat sehingga Sudah tentu setiap keadaan dapat dicapai oleh dirinya sendiri, sehingga karena Prostok-6 -firda 3

Contoh: 2/3 1/3 Jika 0 1 1 maka kita katakan keadaan 1 dapat dicapai dari 0 karena tapi tidak sebaliknya, keadaan 0 tidak dapat dicapai dari 1. Prostok-6 -firda 4

Jika dan bulat yaitu terdapat bilangan sehingga maka keadaan i dan j dikatakan saling berkomunikasi, dinotasikan, 1/3 Contoh: 0 1 1 1 2/3 2 Dalam hal ini, 1 dan 2 tidak saling berkomunikasi. 5 Prostok-6 -firda

Teorema 1 (sifat komunikasi kelas rantai Markov) Komunikasi adalah suatu relasi ekivalen, artinya (i) (iii) Prostok-6 -firda 6

Bukti: (i) dan (ii) jelas berdasarkan definisi. (iii) Asumsikan terdapat bilangan bulat sehingga maka dengan persamaan Chapman. Kolmogorov diperoleh, Artinya, Hal serupa berlaku untuk Sehingga terbukti Prostok-6 -firda 7

Berdasarkan relasi komunikasi, semua keadaan dalam rantai Markov dapat diklasifikasikan ke dalam kelas-kelas komunikasi yang terpisah (disjoint) dan lengkap (exhaustive). Contoh: 1. Tentukan kelas komunikasi dari matriks peluang transisi berikut: Prostok-6 -firda 8

Jawab : • Diagram transisinya untuk 1 0 1 1 • Kelas komunikasi : karena Prostok-6 -firda 9

2. Jika diberikan matriks peluang transisi Maka • Diagram transisinya: 1 0 1 1 • Kelas komunikasinya: {0} dan {1}. Prostok-6 -firda 10

3. Jika diberikan matriks peluang transisi Maka • Diagram transisinya: 1 0 1 1 2 1 • Kelas komunikasinya: {0} , {1}, dan {2}. Prostok-6 -firda 11

4. Jika diberikan matriks peluang transisi Maka 1/2 • Diagram transisinya: 1 0 1 1/3 1/2 2 1/3 • Kelas komunikasinya: {0} , {1, 2}. Prostok-6 -firda 12

5. Maka • Diagram transisinya: 1/4 0 3 1/2 1 1/2 3/4 1/4 • Kelas komunikasinya: {0, 2, 3} , {1}. Prostok-6 -firda 13

• Jika suatu rantai Markov hanya mempunyai satu kelas komunikasi, maka rantai Markov disebut Irreducible. Dalam hal ini semua keadaan saling berkomunikasi. Contoh: 1 diagram transisi 0 1 2 0 1 1 Kelas komunikasi : {0, 1, 2}. Jadi {0, 1, 2} rantai Markov Irreducible. 2 14

6. 2 Periodisitas • Keadaan i dikatakan memiliki perode d(i) jika d(i) merupakan FPB (faktor persekutuan terbesar) / gcd (greatest common divisor) dari seluruh n = 1, 2, … dimana • Jika d(i) = 1, maka keadaan i disebut aperiodik. • Jika d(i) > 1, maka keadaan i disebut periodik. Prostok-6 -firda 15

Teorema 2 Jika maka Bukti: Asumsikan terdapat bilangan bulat sehingga Jika Dari definisi periode, d(j) membagi kedua n+m dan n+s+m dan juga (n+m)-(n+s+m)=s dengan Artinya, d(j) membagi d(i), dan berlaku sebaliknya, d(i) membagi d(j). Jadi d(i)=d(j). Prostok-6 -firda 16

Contoh: 1 diagram transisi 1 1/2 0 1/2 2 1 Tentukan periodisitas dari setiap keadaan. Jawab: Prostok-6 -firda 17

• keadaan 0: state 0 periodik. Prostok-6 -firda 18

• keadaan 1: periodik • keadaan 2: periodik • Sesuai teorema 2, Sehingga, Prostok-6 -firda 19

6. 3 Keadaan Recurrent dan Transient Didefinisikan yaitu peluang dimana keadaan j dicapai dari keadaan i pertama kali setelah n langkah. (dalam 0 langkah, keadaan j tidak tercapai dari i) (dalam 1 langkah , keadaan j dapat dicapai dari i) Definisikan, 20 Prostok-6 -firda

Definisi 1 Jika keadaan i disebut recurrent. Jika keadaan i disebut transient. Ingat!, keadaan i dicapai dari keadaan i (kembali dikunjungi) 1, 2, …=langkah (bukan pangkat) Prostok-6 -firda 21

Teorema 3 (syarat perlu dan cukup keadaan recurrent dan transient) • Keadaan i recurrent jika dan hanya jika • Keadaan i transient jika dan hanya jika Prostok-6 -firda 22

Contoh Matriks peluang transisi suatu rantai Markov, 1 0 1/2 1 1/2 Tentukan setiap keadaan apakah recurrent atau transient. Jawab: • Jika gunakan teorema 3, 23 Prostok-6 -firda

Sehingga, state 0 recurrent. state 1 transient. Prostok-6 -firda 24

• Jika dengan definisi 1, 1 0 1/2 1 1/2 • • • state 0 recurrent Prostok-6 -firda 25

0 1 1 1/2 • • • State 1 transient. 26 Prostok-6 -firda

Teorema 4 Jika keadaan i recurrent dan maka keadaan j recurrent. Bukti : Asumsikan terdapat bilangan bulat sedemikian sehingga Maka untuk sebarang Jika dijumlahkan atas s, diperoleh yang menyatakan bahwa j recurrent. (terbukti) 27

Akibat: Suatu rantai Markov yang irreducible memiliki ruang keadaan yang recurrent atau transient. Prostok-6 -firda 28

6. 4 Keadaan Absorbing (menyerap) Keadaan i dikatakan Absorbing (menyerap) jika (sekali i dicapai, tidak pernah keluar lagi) Disebut juga sebagai rantai Markov terserap (absorbing Markov chain) jika paling sedikit terdapat satu keadaan terserap. Prostok-6 -firda 29

Contoh Matriks peluang transisi suatu rantai Markov, Ø Keadaan 0 dikatakan absorbing, karena Ø Periodisitas keadaan 0 : (keadaan 0 aperiodik). 30 Prostok-6 -firda

Teorema berikut menunjukkan rantai Markov dapat membentuk beberapa kelas recurrent dan suatu himpunan keadaan transient. Teorema 5 Dari suatu rantai Markov , semua keadaan dapat diklasifikasikan menjadi beberapa kelas recurrent dan sisanya merupakan keadaan transient. Prostok-6 -firda 31

Contoh Tunjukkan rantai Markov dengan peluang transisi berikut memiliki suatu kelas recurrent dan sebuah himpunan keadaan transient. Prostok-6 -firda 32

• Diagram transisinya: 1/4 0 3/4 1/3 1/2 2/3 1 2 3 1/3 • Rantai Markov ini mempunyai kelas recurrent {0, 1} dan himpunan state transient {2, 3}. Prostok-6 -firda 33

Contoh : Diketahui peluang transisi suatu rantai Markov, a. Tunjukkan bahwa rantai Markov tsb irreducible. b. Tentukan periodisitas setiap keadaan. Prostok-6 -firda 34

• Diagram transisinya: 0 0. 1 0. 8 1 1 0. 4 0. 1 2 3 0. 8 a. • 0. 2 Prostok-6 -firda 35

• • • Jadi kelas komunikasinya: {0, 1, 2, 3} rantai Markov irreducible. Prostok-6 -firda 36

b. periodisitas: • keadaan 0, Keadaan 0 aperiodik. Karena Maka dengan teorema 2, Sehingga keadaan 1, 2, 3 aperiodik. Prostok-6 -firda 37

Soal Latihan: 1. Diketahui peluang transisi suatu rantai Markov, Tentukan klasifikasi semua keadaan (state), yaitu kelas ekivalen, keadaan recurrent, dan transient. Prostok-6 -firda 38

2. Diketahui peluang transisi suatu rantai Markov, Tentukan klasifikasi semua keadaan (state), yaitu kelas ekivalen, keadaan recurrent, dan transient. Prostok-6 -firda 39

3. Diketahui peluang transisi suatu rantai Markov, (i) Tunjukkan bahwa rantai Markov tersebut irreducible (ii) Tentukan periodisitasnya. Prostok-6 -firda 40

Limiting Probability Untuk suatu rantai Markov, semua keadaan recurrent diklasifikasikan menjadi keadaan positif (non-null) recurrent atau null recurrent dengan memperhatikan menyatakan rata-rata waktu recurrent (mean recurrent time) untuk keadaan j. Prostok-6 -firda 41

Teorema • Jika keadaan j recurrent dan aperiodic, maka • Jika keadaan j recurrent dan periodik dengan periode d(j), maka Kita interpretasikan bahwa (artinya keadaan j null recurrent). Prostok-6 -firda 42

Corollary (Akibat) Jika keadaan j transient, maka Prostok-6 -firda 43

Definisi 5 Misalkan P matriks peluang transisi (m state) dari rantai Markov Homogen. Jika Maka disebut distribusi stasioner untuk rantai Markov Homogen. Prostok-6 -firda 44

Teorema 8 • Jika suatu rantai Markov Irreducible, positive recurrrent dan aperiodic (Rantai Markov Ergodik) maka terdapat limit peluang, yang bebas dari keadaan awal i, dengan tunggal dan merupakan solusi positif dari dan ini dinamakan distribusi stasioner dari rantai Markov. Prostok-6 -firda 45

Ilustrasi Misal rantai Markov dengan 3 ruang keadaan, {0, 1, 2}. Cara menentukan distribusi stasioner Selesaikan Atau (i) (iii) (iv) Selesaikan secara simultan 46

Contoh Misal kondisi cuaca (hujan atau tidak hujan) bergantung pada cuaca hari ini (hujan atau tidak hujan). 1. Misalkan , jika hari ini hujan maka besok akan hujan dengan peluang dan jika hari ini tidak hujan, maka besok akan hujan dengan peluang a. Tentukan peluang empat hari ke depan akan hujan jika hari ini hujan. b. Dalam jangka panjang, berapakah proporsi waktu (distribusi stasioner) untuk proses setiap keadaan. Prostok-6 -firda 47

Jawab: Misalkan keadaan 0 = keadaan hujan. keadaan 1 = keadaan tidak hujan. Maka matriks peluang transisi untuk masalah tersebut adalah: Jika Prostok-6 -firda 48

a. Jadi, jika hari ini hujan, maka peluang empat hari ke depan akan hujan adalah 0. 513 atau 51%. Prostok-6 -firda 49

b. Distribusi stasioner : Dari matriks peluang transisi diperoleh … (i) … (iii) Dari (i) dan (ii) diperoleh, Prostok-6 -firda 50

Substitusikan ke (iii), diperoleh Jadi, distribusi stasioner: Artinya untuk jangka panjang, peluang hujan 50% dan tidak hujan 50%. Prostok-6 -firda 51

2. Tentukan distribusi stasioner dari rantai Markov dengan matriks peluang transisi : Jawab : … (i) … (iii) … (iv) 52

Substitusi (i) ke (iv) : Sehingga distribusi stasioner : Artinya untuk jangka panjang, keadaan 0 50%, keadaan 1 25%, dan keadaan 2 25%. Prostok-6 -firda 53

Soal Latihan: 1. Diketahui peluang transisi suatu rantai Markov, Tentukan distribusi stasioner untuk setiap rantai Markov tersebut. Prostok-6 -firda 54