MARKOVSK ETZCE 1 Stochastick modely Pravdpodobnostn charakteristiky tohoto

MARKOVSKÉ ŘETĚZCE 1

Stochastické modely • Pravděpodobnostní charakteristiky tohoto procesu – jednorozměrné rozdělení pravděpodobností stavů X(x 1, t 1) = P{X(t 1) < x 1} – vícerozměrná rozdělení pravděpodobností stavů X(x 1, …, xm; t 1, …, tm) = P{X(t 1) < x 1, …, X(tm) < xm} – střední hodnota – rozptyl – korelační koeficient 2

Stochastické modely 3

Stochastické procesy • Stochastický proces - náhodná funkce – X(t) = X(e, t) s charakteristikou P(X(t) = e) – Průsek stochastického procesu – Realizace stochastického procesu E t 0 T 4

Markovské řetězce • Markovův řetězec je diskrétní řetězec, který splňuje markovskou vlastnost, tj. pro každé m = 2, 3, … a pro všechny možné stavy platí vztah P{Xm = em | Xm-1 = em-1, …, X 1 = e 1 } = = P{Xm = em | Xm-1 = em-1 }. n -1 n + 2 5

Pravděpodobnosti přechodů • Podmíněná pravděpodobnost pijm = P{Xm = j | Xm-1 = i } – se nazývá pravděpodobností přechodu M. řetězce ze stavu i do stavu j v m-tém kroku. • Matice pravděpodobností přechodu v m-tém kroku T = (pij), resp. Tm = (pijm) – Homogenní řetězec - nezávisí na umístění v čase – Nehomogenní řetězec - závisí na umístění v čase 6

Markovská rovnice Maticové vyjádření Markovovy rovnice: T(n) = Tn. i j 7

Absolutní pravděpodobnosti • Pravděpodobnosti jednotlivých stavů M. řetězce v kroku n se nazývají absolutní pravděpodobnosti stavů v okamžiku n pn = (p 1 n , p 2 n, p 3 n , … ). • Absolutní pravděpodobnosti stavů v okamžiku 0 se nazývají počáteční pravděpodobnosti stavů p 0 = (p 10 , p 20, p 30 , …) 8

Markovova věta Výpočet absolutních pravděpodobností Vektorově lze tyto vztahy zapsat takto: pn = p 0 Tn = pm Tn-m = pn-1 T j j j i 9

Limitní pravděpodobnosti • Ergodický Markovský řetězec: lim pj(n) = pj , j = 1, 2, …, r • Výpočet za pomoci řešení soustavy lineárních rovnic (Markovská soustava rovnic): 10

Chování ergodického řetězce 11

Druhy stavů Markovského řetězce • Uzavřená množina stavů - pravděpodobnost odchodu je rovna 0 • Absorbční stav - uzavřená množina stavů má jediný prvek • Trvalý stav - s pravděpodobností 1 se do něj systém vrátí – Trvalý nulový stav – v nekonečném středním počtu kroků – Trvalý nenulový stav – v konečném středním počtu kroků • Přechodný stav - pravděpodobnost návratu je menší než 1 • Periodický stav - návrat za počet kroků s periodou • Ergodický stav - je trvalý, není nulový a není periodický 12

Modely absorpčních řetězců • Markovský řetězec obsahující vedle přechodových stavů i stavy absorpční (konečné). • tvar modelu: • Pravděpodobnosti přechodů do absorpčních stavů: 13

Doba přechodu do daného stavu • Je náhodná veličina se střední hodnotou a rozptylem, která vyjadřuje v časových jednotkách dobu návratu do daného stavu. • Střední doba přechodu do daného stavu: – Fundamentální matici Z je možné využít pro výpočet středního počtu průchodů určitým stavem: 14