Informcielmlet Nagy Szilvia 1 Az informcielmlet alapfogalmai 2005

Információelmélet Nagy Szilvia 1. Az információelmélet alapfogalmai 2005.

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információelmélet kezdetei Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia • Állatvilágról • Emberi információcsere fontosabb lépései – közvetlen információcsere – távoli személyek közti információcsere – gépekkel való hírközlés – gépek által generált adatforgalom • Az információelmélet kezdetei, Hartley, Shannon Feltételes entrópia 2

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információelmélet kezdetei Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia 3

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információelmélet kezdetei Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia • Állatvilágról • Emberi információcsere fontosabb lépései – közvetlen információcsere – távoli személyek közti információcsere – gépekkel való hírközlés – gépek által generált adatforgalom • Az információelmélet kezdetei, Hartley, Shannon • Az információelmélet a gyakorlatban Feltételes entrópia 4

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Shannon hírközlési modellje Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia információforrás adó csatorna – zajforrás vevő rendeltetési hely 5

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Shannon hírközlési modellje Egyetem Alapfogalmak Történelmi áttekintés A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Shannon hírközlési modellje forrás/adó kódoló csatorna dekódoló vevő/nyelő Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia tényleges forrás Lehet folytonos jel mintavételezés kvantálás forráskódolás A forrás jelét diszkrét jellé alakítja át és tömöríti 6

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Shannon hírközlési modellje Egyetem Alapfogalmak Történelmi áttekintés A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Shannon hírközlési modellje forrás/adó kódoló csatorna dekódoló vevő/nyelő Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Csatornakódolás avagy hibajavító kódolás: lehetővé teszi a zajos csatornán való biztonságos(abb) üzenetátvitelt, a keletkező hibák jelzését kijavítását. 7

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Shannon hírközlési modellje Egyetem Alapfogalmak Történelmi áttekintés A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Shannon hírközlési modellje forrás/adó kódoló csatorna dekódoló vevő/nyelő Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia modulátor Átalakítja a kódolt üzenetet a csatornán átvihető jellé. csatorna torzul a jel demodulátor, döntő Eldönti, hogy a lehetséges leadott jelalakok közül melyiket adhatták. 8

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Shannon hírközlési modellje Egyetem Alapfogalmak Történelmi áttekintés A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Shannon hírközlési modellje forrás/adó kódoló csatorna dekódoló vevő/nyelő Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Kijavítja és/vagy jelzi a vett jelek hibáit. Elvégzi a csatornakódolás inverz műveletét. 9

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Shannon hírközlési modellje Egyetem Alapfogalmak Történelmi áttekintés A hírközlés során egy üzenetet juttatunk el egy tér- és időbeli pontból egy másikba. Shannon hírközlési modellje forrás/adó kódoló csatorna dekódoló vevő/nyelő Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia a forráskódolás inverze a helyreállított üzenetet „kitömöríti” vevő értelmezi az üzenetet 10

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Esemény: sokszor végrehajtható kísérlet eredménye. Kísérlet, ill. kimenetel lehet például: • Egy dobozból golyókat veszünk ki, és vizsgáljuk a színüket. Esemény, hogy piros, zöld, lila, … golyót találtunk. • Fej vagy írást játszunk egy érmével. Esemény: a fej vagy az írás oldal van felül. • Minden kedden reggel 7 és 8 óra között vizsgáljuk egy buszmegállóban a megálló buszok számát. Esemény: 0 busz állt meg, 1, 2, … busz állt meg. • Egy hírközlési csatornára bocsátunk egy bizonyos jelet és vizsgáljuk a kimeneti jelet. Esemény: a vett jel azonos a leadottal, a vett jel amplitúdója azonos a leadottéval, de a frekvenciája 11 kétszeres, …

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Az A esemény ellentett eseménye a kísérlet minden A-n kívüli kimenetele. Jelölés: A. Egy A esemény valószínűsége: nagyon sokszor elvégezve a kísérletet Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia A valószínűség jellemzői: • 1 ≥ p(A) ≥ 0, az 1 valószínűségű esemény biztosan bekövetkezik, a 0 valószínűségű sohasem következik be. • p(A)+p(A) = 1. 12

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia A Kolmogorov-féle valószínűségi axiómákról: Eseménytér: Az elemi események összessége: W; a teljes esemény Események halmaza: S Lehetetlen esemény: O. Az S halmaz akkor és csak akkor s-algebra, ha • W S és O S, • ha Ai S i-re, akkor • ha A 1 S és A 2 S, akkor 13

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia A Kolmogorov-féle valószínűségi axiómákról: Minden A S eseményhez rendelhető egy p(A) szám, az A valószínűsége, melyre a következők igazak: • 0 ≤ p(A) ≤ 1 • p(W)=1 • ha A i ∙ A j = 0 i ≠ j-re, akkor Kölcsönös entrópia Feltételes entrópia 14

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Egy dobozban 15 sárga, 6 lila, 42 fehér és 11 kék golyó van. Mi a valószínűsége, hogy ha egyetlen golyót veszünk ki a dobozból (nem odanézve), akkor az • kék lesz: • sárga lesz: Entrópia Kölcsönös entrópia • nem sárga lesz: Feltételes entrópia • kék vagy lila lesz: • piros lesz: 15

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekövetkezik. A és B együttes bekövetkezési valószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mindkettő) bekövetkezik. Valószínűsége: p(A+B ). Az A és B események függetlenek, ha semmiféle befolyással nincs A-nak a bekövetkezése a B bekövetkezésére. Ekkor p(A∙B )= p(A ) ∙ p(B ). 16

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Egy A és egy B esemény szorzatán azt értjük, ha A és B is bekövetkezik. A és B együttes bekövetkezési valószínűsége: p(A∙B ). Egy A és egy B esemény összege az, ha vagy A, vagy B (vagy mindkettő) bekövetkezik. Valószínűsége: p(A+B ). Egyéb esetekben p(A∙B )≠ p(A) ∙ p(B ), csak azt lehet tudni, hogy p(A+B ) = p(A) + p(B) – p(A∙B ), és p(A∙B ) ≤ p(A ) ∙ p(B ). 17

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Egy dobozban 15 sárga, 6 lila, 42 fehér és 11 kék golyó van. Mi a valószínűsége, hogy ha két golyót veszünk ki a dobozból (nem odanézve), akkor • az 1. kék lesz, a 2. fehér: • mindkettő sárga lesz: Entrópia Kölcsönös entrópia Feltételes entrópia • valamelyik sárga lesz: • egyik sem lesz sárga: 18

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Egy hírközlési csatorna bemenetén és kimenetén megjelenő jelek nem függetlenek egymástól. Ha B jelet vettünk akkor annak a valószínűsége, hogy A jel volt a csatorna bemenetén: A-nak B feltétel melletti feltételes valószínűsége Entrópia Kölcsönös entrópia Feltételes entrópia 19

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Az is érdekes, hogy ha A jelet adok, milyen B kerül a csatorna kimenetére, ez B-nek A feltétel melletti feltételes valószínűségével, p( B|A )-val írható le: Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia A kölcsönös és feltételes valószínűségek között fennáll: p(A∙B )=p(B ) ∙ p( A|B )= p(A ) ∙ p( B|A ) 20

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Egy dobozban 15 sárga, 6 lila, 42 fehér és 11 kék golyó van. Mi a feltételes valószínűsége annak, hogy ha az első kihúzott golyó kék volt, akkor a második • fehér: • kék: • nem kék: • Mi annak a feltételes valószínűsége, hogy az első kék volt, ha a második kék: 21

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Ha az eseményekhez számértékek rendelhetők, (pl. árammérés), akkor kíváncsiak lehetünk a kísérlet eredményének várható értékére. Legyen A={A 1, A 2, … An } számhalmaz a kísérlet kimenetének értékkészlete, az A 1 kimenet valószínűsége p(A 1), … az An-é p(An ). Ekkor A várható értéke Entrópia Kölcsönös entrópia Feltételes entrópia 22

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Matematikai kitérő – Egyetem A valószínűségszámítás alapfogalmairól Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Az is érdekelhet minket, hogy átlagosan mennyire fog eltérni az eredmény a várhatóértéktől, ezt a szórással jellemezhetjük: Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Ha több kísérletet vizsgálunk, A és B korrelációja írja le az, hogy mennyire függ a kettő egymástól Feltételes entrópia 23

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információ Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Az információ valamely véges számú, előre ismert esemény közül annak megneve-zése, hogy melyik következett be. Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszüntet. Hartley: m számú, azonos valószínűségű esemény közül egy megnevezésével nyert információ: Kölcsönös entrópia Feltételes entrópia (log 2 m kérdéssel azonosítható egy elem) 24

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információ Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Az információ valamely véges számú, előre ismert esemény közül annak megneve-zése, hogy melyik következett be. Alternatív megfogalmazás: az információ mértéke azonos azzal a bizonytalansággal, amelyet megszűntet. Shannon: minél váratlanabb egy esemény, bekövetkezése annál több információt jelent. Legyen A={A 1, A 2, … Am } esemény-halmaz, az A 1 esemény valószínűsége p 1, … az Am-é pm. Ekkor az Ai megnevezésekor nyert információ: Megjegyzés: ha pi=1/m, minden i-re, visszakapjuk Hartley definícióját. 25

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információ tulajdonságai Egyetem 1. Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia 2. 3. 4. 5. Csak az esemény valószínűségének függvénye. Nem negatív: I ≥ 0 Additív: ha m = m 1∙m 2, I(m 1∙m 2) = I(m 1) + I(m 2) Monoton: ha pi ≥ pj , akkor I(Ai ) ≤ I(Aj ) Normálás: legyen I(A)=1, ha p(A)=0, 5. Ekkor kettes alapú logaritmus használandó és az információegysége a bit. Megjegyzés: ha tízes alapú logaritmust (lg-t) használunk, a hartley, az egység. Ekkor a normálás: I(p=0, 1)=1. Ha természetes alapú logaritmussal definiáljuk az információt (I=−ln p), akkor a natban mérjük az információt, a normálás pedig I(p=1/e)=1. 26

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információ Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia A forrásunk a következő üzenetet adta le: „ccndnddnnncdnndncdncdnnnncdc dncdcnnncdcccdcddcdccccnnn” (21 db „c”, 22 db „n”, 17 db „d”) Mekkora az információtartalma a „c” szimbólum kibocsátásának? p(c) = 21/(21+22+17) = 21/60 = 0, 35 I(c) = − log 2 0, 35 = −ln 0, 35/ln 2 = 1, 51 Feltételes entrópia 27

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az információ Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ A forrásunk a , , szimbólumokat bocsátja ki p =0, 12, p =0, 37, p =0, 06, p =0, 21, p =0, 24 valószínűséggel. Mi az információtartalma annak a közlésnek, hogy a jelet adta? I( ) = − log 2 0, 37 = − ln 0, 37/ln 2 = 1, 43 Entrópia Kölcsönös entrópia Feltételes entrópia 28

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az entrópia Egyetem Az entrópia az információ várható értéke: Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Az entrópia tulajdonképpen annak a kijelentésnek az információtartalma, hogy az m db egymást kizáró esemény közül az egyik bekövetkezett. A p log 2 p kifejezés p 0 esetén: L’Hospitalszabály szerint 29

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia A forrásunk a következő üzenetet adta le: „ccndnddnnncdnndncdncdnnnncdc dncdcnnncdcccdcddcdccccnnn” (21 db „c”, 22 db „n”, 17 db „d”) Mekkora az üzenet entrópiája? p(c)=21/60=0, 35 p(n)=22/60=0, 37 p(d)=17/60=0, 28 H(c) = − 0, 35 log 2 0, 35 = − 0, 35 ∙(ln 0, 35/ln 2)= = − 0, 35∙(− 1, 51) = 0, 53 H(n) = − 0, 37 log 2 0, 37 = − 0, 37 ∙(ln 0, 37/ln 2)= = − 0, 37∙(− 1, 43) = 0, 53 H(d) = − 0, 28 log 2 0, 28 = − 0, 28 ∙(ln 0, 28/ln 2)= = − 0, 28∙(− 1, 84) = 0, 51 30

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás A forrásunk a , , szimbólumokat bocsátja ki egyforma, p = p = p = 0, 2 valószínűséggel. Mennyi a forrás, mint halmaz entrópiája? H( , , ) = (− 0, 2 log 2 0, 2) 5 = 2, 32 Információ Entrópia Kölcsönös entrópia Feltételes entrópia 31

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia A forrásunk a , , szimbólumokat bocsátja ki p =0, 12, p =0, 37, p =0, 06, p =0, 21, p =0, 24 valószínűséggel. Mennyi a forrás, mint halmaz entrópiája? H( , , ) = − 0, 12 log 2 0, 12 − − 0, 37 log 2 0, 37 − 0, 06 log 2 0, 06 − − 0, 21 log 2 0, 21 − 0, 24 log 2 0, 24 = = 0, 37+0, 53+0, 24+0, 47+0, 49 = =2, 1 32

Széchenyi Információelmélet - Az információelmélet alapfogalmai István Az entrópia tulajdonságai Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje 1. Nem negatív: H( p 1, p 2, …, pm ) ≥ 0 2. Az események valószínűségeinek folytonos függvénye. 3. H( p 1, p 2, …, pm , 0 ) = H( p 1, p 2, …, pm ) 4. Ha pi = 1, a többi pk = 0 , ( k=1, …, i− 1, i+1 , …, m ), akkor H( p 1, p 2, …, pm ) =0. 5. H( p 1, p 2, …, pm ) ≤ H( 1/m, … 1/m ) 6. H(p 1, …, pk− 1, pℓ , pk+1, …, pℓ− 1, pk , pℓ+1, …, pm) = H( p 1, p 2, …, pm ), k, ℓ ; azaz az entrópia szimmetrikus változóinak cseréjére. Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia 33

Széchenyi Információelmélet - Az információelmélet alapfogalmai István A kölcsönös entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Legyen A={A 1, …, Am 1} a lehetséges leadott jelek halmaza, B={B 1, …, Bm 2} pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. Ai és Bj együttes bekövetkezési valószínűsége pi, j = p(Ai ∙ Bj ), a két esemény együttes bekövetkezésekor nyert információ I(Ai ∙ Bj )=−log 2 pi, j. Mindig igaz a kölcsönös információra, hogy I(Ai ∙ Bj )≥ I(Ai ), és I(Ai ∙ Bj )≥ I(Bj ). 34

Széchenyi Információelmélet - Az információelmélet alapfogalmai István A kölcsönös entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Legyen A={A 1, …, Am 1} a lehetséges leadott jelek halmaza, B={B 1, …, Bm 2} pedig a vehető jelek halmaza. Vizsgáljuk azt az összetett eseményt, hogy egy A-beli és egy B-beli esemény is bekövetkezik. Ai és Bj együttes bekövetkezési valószínűsége pi, j = p(Ai ∙ Bj ), a két esemény együttes bekövetkezésekor nyert információ I(Ai ∙ Bj )=−log 2 pi, j. A és B halmazok kölcsönös entrópiája: 35

Széchenyi Információelmélet - Az információelmélet alapfogalmai István A feltételes entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Legyen A={A 1, …, Am 1} a lehetséges leadott jelek halmaza, B={B 1, …, Bm 2} pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. Ai-nek Bj-re vonatkoztatott feltételes valószínűsége p(Ai| Bj ). Az A halmaz B halmazra vonatkoztatott feltételes entrópiája: Kölcsönös entrópia Feltételes entrópia 36

Széchenyi Információelmélet - Az információelmélet alapfogalmai István A feltételes entrópia Egyetem Alapfogalmak Történelmi áttekintés Shannon hírközlési modellje Valószínűségszámítás Információ Entrópia Kölcsönös entrópia Feltételes entrópia Legyen A={A 1, …, Am 1} a lehetséges leadott jelek halmaza, B={B 1, …, Bm 2} pedig a vehető jelek halmaza. Minden A-beli esemény bekövetkezése maga után von egy B-beli eseményt. Ai-nek Bj-re vonatkoztatott feltételes valószínűsége p(Ai| Bj ). Mivel p(Ai∙Bj )=p(Bj ) ∙ p( Ai|Bj ) minden i-re és jre, H(A ∙ B )= H(B) ∙ H(A|B )= H(A) ∙ H(B|A ). Így H(A) ≥ H(A∙B) ≥ 0 37