Teorija informacija i komunikacija Markovljevi izvori Teorija informacija

Teorija informacija i komunikacija Markovljevi izvori

Teorija informacija i komunikacija U mnogim izvorima informacija simboli nisu statistički nezavisni. Takvi izvori nazivaju se Markovljevi izvori Ako izvor pamti M prethodnih simbola, izvor se naziva Markovljevim izvorom M-tog reda. DMS je specijalan slučaj Markovljevog izvora za M = O. Uobičajeno je da se Markovljev izvor predstavi dijagramom stanja. Ukoliko su sve verovatnoće u dijagramu stanja različite od 0, izvor je ergodičan (sve statistike su mu iste po vremenu i po ansamblu). Ergodičnost se može definisati i kao osobina izvora na čijem se izlazu verovatnoća pojedinih podnizova simbola ne menja protokom vremena. Može se pokazati da je izvor ergodičan kad god se iz svakog stanja može stići u svako stanje u nekom broju koraka; drugim rečima, ako postoji kružna tura kojom se bar jednom prolazi kroz sva stanja, izvor je ergodičan. Markovljevi izvori

Teorija informacija i komunikacija P[0/00] 00 P[0/10] P[1/00] P[0/01] 01 10 P[1/10] P[0/11] P[1/01] 11 P[1/11] Primer Binarni Markovljev izvor drugog reda

Teorija informacija i komunikacija U STANJE Neka je skup svih mogućih stanja Markovljevog izvora. Može se formirati matrica prelaza ovih stanja IZ STANJA Ukoliko elementi matrice [P] ne zavise od vremena, Markovljev izvor je stacionaran Markovljevi izvori

Teorija informacija i komunikacija Za regularne izvore se iz svakog početnog stanja (ukoliko mu je verovatnoća različita od nule) može stići u svako drugo u svakom broju koraka koji je veći od i, pa je zato svaki regularni izvor ergodičan. OBRNUTO NE VAŽI! Markovljevi izvori

Teorija informacija i komunikacija NAPOMENA Markovljevi izvori

Teorija informacija i komunikacija Osnovna teorema o regularnim Markovljevim izvorima

Teorija informacija i komunikacija Dakle, za velike vrednosti i verovatnoća prelaska nekog regularnog Markovljevog izvora iz jednog stanja u drugo nakon i koraka ne zavisi od i. Osnovna teorema o regularnim Markovljevim izvorima

Teorija informacija i komunikacija Osnovna teorema o Markovljevim izvorima

Teorija informacija i komunikacija Entropija Markovljevih izvora

Teorija informacija i komunikacija Entropija Markovljevih izvora

Teorija informacija i komunikacija Entropija Markovljevih izvora

Teorija informacija i komunikacija Entropija Markovljevih izvora

Teorija informacija i komunikacija Teoreme

Teorija informacija i komunikacija Jezik kao izvor informacija

Teorija informacija i komunikacija Uzmimo za primer srpski jezik. Broj glasova (fonema): 30 Broj slova: 31 (ćirilica), 27 (latinica) (Uračunat razmak _ ) U stvarnosti, svaki jezik, pa i naš, ima neuniformnu raspodelu verovatnoća pojavljivanja pojedinih simbola, a pored toga simboli su u većoj ili manjoj meri međusobno korelisani, pa je stvarna entropija jezika H(S) uvek manja od H(S)max. Informaciona suvišnost (redundansa) jezika je Jezik kao izvor informacija

Teorija informacija i komunikacija Primer REDNI BROJ SLOVO ai VEROVATNOĆA POJAVLJIVANJA PARCIJALNA ENTROPIJA 1 _ 0. 16295 0. 427 2 А 0. 10064 0. 333 3 И 0. 08024 0. 292 4 О 0. 07943 0. 290 5 Е 0. 07880 0. 289 6 Н 0. 04918 0. 214 7 С 0. 04204 0. 192 8 Р 0. 04121 0. 191 9 Т 0. 03785 0. 179 10 У 0. 03535 0. 170 Verovatnoće pojedinih ćirilicom napisanih slova

Teorija informacija i komunikacija Primer REDNI BROJ SLOVO ai VEROVATNOĆA POJAVLJIVANJA PARCIJALNA ENTROPIJA 11 Д 0. 03247 0. 161 12 В 0. 03067 0. 154 13 К 0. 03028 0. 153 14 М 0. 02751 0. 143 15 Ј 0. 02739 0. 142 16 П 0. 02404 0. 129 17 Л 0. 02393 0. 129 18 З 0. 01556 0. 093 19 Г 0. 01507 0. 091 20 Б 0. 01121 0. 073 Verovatnoće pojedinih ćirilicom napisanih slova

Teorija informacija i komunikacija Primer REDNI BROJ SLOVO ai VEROVATNOĆA POJAVLJIVANJA PARCIJALNA ENTROPIJA 21 Ч 0. 00902 0. 061 22 Ш 0. 00881 0. 060 23 Ц 0. 00652 0. 047 24 Њ 0. 00611 0. 045 25 Х 0. 00573 0. 042 26 Ћ 0. 00520 0. 039 27 Љ 0. 00402 0. 032 28 Ж 0. 00385 0. 031 29 Ф 0. 00224 0. 020 30 Ђ 0. 00221 0. 019 31 Џ 0. 00018 0. 002 Verovatnoće pojedinih ćirilicom napisanih slova

Teorija informacija i komunikacija Stoga je entropija Markovljevog izvora ukoliko se pretpostavi da je on DMS (Markovljev izvor nultog reda) Ispisivanjem verovatnoće dobijanja digrama, trigrama, itd. Dobija se sledeća tabela Jezik kao izvor informacija

Teorija informacija i komunikacija Predavanja Grafika Prof. dr Vojin Šenk Branislav Popović