Information Theory 7 Source Coding v Entropy v

<정보이론(Information Theory)> 제 7장 Source Coding의 한계 v Entropy와 평균 코드길이 v UI-Code에 대한 고찰 v 코드의 확장에 대한 고찰 (Shannon’s 1 st theorem) v Markov 과정에 대한 고찰

v 코드의 확장에 대한 고찰 (1) q Shannon-Fano Code Source Alphabet S = {s 1, s 2, …, sq} : q elements & pi = Pr{si occurs}, i = 1, 2, …, q For any symbol si li : an integer such that 이러한 조건의 코드길이를 갖는 체계를 Shannon-Fano 코드라 한다. 정보공학 2001 -1

v Markov 과정에 대한 고찰 For j-th order Markov Process, Entropy of Markov precess Entropy of the adjoint system : 0 -memory system의 Entropy Shannon’s Noiseless Coding Theorem 정보공학 2001 -1