Teori Informasi Information Theory Sistem Komunikasi Digital Teknik

Teori Informasi [Information Theory] Sistem Komunikasi Digital Teknik Elektro - UNIKOM

Definisi

Bapak Teori Informasi Claude E Shannon

Contoh soal 1 Sebuah sumber informasi DMS memiliki symbol dengan masing-masing probabilitasnya Tentukan kandungan informasi untuk masing-masing sumber informasinya : Solusi

Entropy

Contoh soal 2 Sebuah sumber informasi DMS memiliki symbol dengan masing-masing probabilitasnya Tentukan entropy untuk masing-masing sumber informasinya : Solusi :

Contoh 3 Tentukan entropi untuk masing-masing dari sumber informasi :

Pengkodean Sumber (Source Coding) • Merupakan proses konversi informasi DMS ke bentuk binary sequence (deret binary) • Perangkatnya disebut “Source Encoder”.

Pengkodean Huffman (Huffman Coding) • Source coding ini adalah satu kode yang optimum dan mempunyai efisiensi yang tinggi • Prosedurnya: 1. Urutkan simbol berdasarkan probabilitasnya dari terbesar ke terkecil 2. Jumlahkan probabilitas 2 buah simbol dari probabilitas terkecil dan urutkan kembali probabilitasnya mulai yang terbesar 3. Beri tanda bit “ 0” untuk probabilitas yang lebih kecil dan tanda bit “ 1” untuk probabilitas yang lebih besar 4. Ulangi langkah di atas sampai jumlah probabilitasnya = 1

Contoh soal Tentukan keluaran Source Coding dengan prosedur Huffman untuk keluaran DMS sebanyak 6 simbol dengan peluangnya 0, 05; 0, 06; 0, 10; 0, 19; 0, 25; 0, 35 ! Solusi:

Contoh soal Diketahui simbol-simbol keluaran DMS sebagai berikut: Dengan menggunakan prosedur Huffman, tentukan simbol-simbol (codeword) output Source Coding !

Discrete Memoryless Channel (DMC) • Merupakan pemodelan kanal secara statistik dari DMS • Kanal disebut ‘Discrete’ karena sumber simbol yang dikirimkan dan output kanal adalah diskrit dan ukurannya terbatas • Pemodelan input : X = [x 0, x 1, ………………. , x. J-1] • Pemodelan output : Y = [y 0, y 1, ………………. , y. K-1]

Model matrik kanal DMC :

Kasus: Binary Simetric Channel (BSC) • Pada kasus ini kanal mempunyai 2 input simbol: x 1=0 dan x 2=1 X • Mempunyai 2 output simbol: y 1=0 dan y 2=1 Y • Probabilitas error dinyatakan p, diagram probabilitas transisinya sbb:

Soal latihan

Solusi:

Selesai…