INFORMATIKA Szmtgppel segtett minsgbiztosts CAQ Informcielmleti bevezets Adatforrs

INFORMATIKA Számítógéppel segített minőségbiztosítás (CAQ)

Információelméleti bevezetés • • Adatforrás, diszkrét szimbólumok, információtartalom, csatornakapacitás.

Információelméleti bevezetés Az üzenet információ tartalma • Minél kisebb egy szimbólum előfordulásának valószínűsége, annál nagyobb az információtartalma: I(mk) > I(mj), ha pk < pj.

Információelméleti bevezetés • Két független üzenet együttes információtartalma az egyes üzenetek információtartalmának összege: I(mk ÉS mj) = I(mk) + I(mj), I(mk) = log (1/ pk), és I(mj) = log (1/ pj),

Információelméleti bevezetés Az entrópia • független üzenetek esetén: H = ∑pi ∙ ld (1/ pi) [bit/szimbólum] és i=1, . . , m, • nem független üzenetek esetén: H = ∑Pi ∙ Hi = ∑Pi ∙ [ ∑pi, j ∙ ld(1/ pi, j )] [bit/szimbólum] és i=1, …, m, j=1, …, n.

Információelméleti bevezetés Veszteségmentes forrás kódolása • A forrás átlagos adási üteme: R = rs∙ H [bit/sec], ahol rs a forrás szimbólum adási üteme. • A forrás szimbólum bináris jelsorozat. Határozza meg a P(a)=0, 5; P(b)=0, 2; P(c)=0, 3 előfordulási valószínűségű a, b és c szimbólumok Shannon-Fanno féle és Huffman-féle bináris kódját.

Információelméleti bevezetés Shannon-Fanno féle digitális forrás kódolással: P(a)=0, 5; P(b)=0, 2; P(c)=0, 3∙ 2 0 , 6 0, 5 0 1 , 2 0, 3 0, 5 2 10 0, 2 0, 8 3 110 0, 2∙ 2 0 , 4 0 , 8 1 , 6 0, 5∙ 2 1 , 0 2 bit 10 , 0 0, 8∙ 2 1 , 6 3 bit 11 , 2 110 , 4

Információelméleti bevezetés Huffman-féle bináris kódolással: (a nagyobb előfordulási valószínűségű szimbólumhoz 0 -t, a kisebbhez 1 -et szoktak hozzárendelni) 1 0, 5 0, 3 0, 2 a b c 0 01 11

Információelméleti bevezetés Határozza meg az átlagos szóhosszúságot, az átlagos szórást és az entrópiát Shannon-Fanno féle kódolásnál. L = ∑pi∙li = pa ∙la + pb ∙lb + pc ∙lc L = 0, 5 ∙ 1 + 0, 3 ∙ 2 + 0, 2 ∙ 3 = 1, 7 [bit] σ = √∑pi∙(li – L)2 σ = √pa∙(la – L)2 + pb∙(lb – L)2 + pc∙(lc – L)2 σ = √ 0, 5 ∙(1 – 1, 7)2 + 0, 3 ∙(2 – 1, 7)2 + 0, 2 ∙(3 – 1, 7)2 σ 0, 77 H = ∑pi ∙ ld (1/ pi) = - pa∙ld(1/pa) - pb∙ld(1/p) - pa∙ld(1/pa) H = 0, 5∙ld(1/0, 5) + 0, 3∙ld(1/0, 3) + 0, 2∙ld(1/0, 2) H 1, 485 [bit/szimbólum]

Gyakorló feladat Határozza meg a P(a)=0, 4; P(b)=0, 2; P(c)=0, 2; P(d)=0, 1 és P(e)=0, 1 előfordulási valószínűségű a, b, c, d és e szimbólumok Shannon-Fanno féle és Huffman-féle bináris kódját.