ALGORITMO DE VITERBI MODELOS DE MARKOV OCULTOS PROCESOS

ALGORITMO DE VITERBI MODELOS DE MARKOV OCULTOS

PROCESOS ESTOCASTICOS Conjunto de v. a {Xt}t T tal que su distribución conjunta es conocida. Espacio de parámetros del proceso: T Espacio de Estados: Conjunto de todos los valores que pueden tomar la v. a

PROCESOS ESTOCASTICOS Conjunto de v. a {Xt}t T tal que su distribución conjunta es conocida. T: Espacio de parámetros del proceso Espacio de Estados: Conjunto de todos los valores que pueden tomar la v. a

PROCESOS ESTOCASTICOS Estados Contable Infinito no Cont. Infinito Parámetros Contable Infinito no Contable Infinito Procesos Cadena Markov Estocástico

CADENA DE MARKOV Finito contable, Finito contable Lanzar una moneda 1’ 000 de veces Espacio de estados S= {0, 1} Espacio de Parámetros T= {1, 2, . . . 1’ 000} Def: Sea un proceso {Yn}n T un proceso estocástico con espacio de estados y parámetros contables se dice que el proceso es una cadena de markov si P(Yn = in | Yn 1=i 1, Yn 2=i 2, . . . Ynj=ij) n 1<n 2<n 3. . . <nj) P(Yn=in | Yns=is) : Probabilidad que en el período n este en el estado in

CADENA DE MARKOV Posibles Casos: • Que el resultado solo dependa del último tiempo • Cuando las Yn son independientes, entonces las partes no dependen una de la otra.

CADENA DE MARKOV MATRIZ DE TRANSICIÓN Yn= No de pieza ocupada por el ratón en el tiempo n (No de pieza ocupada después de n movimientos) Pij = P(Yn=j / Yn-1 = i) 1 2 3 4 5 6 7 8 9 Xn Xn-1 1 2. 9 1 2 3 4 5 6 7 8 9 0 ½ 0 0 0 1/3 0 0 0 <= Pij <= 1 Pij = 1 i-fila

MODELO DE MARKOV APLICADO A UNA SECUENCIA DE DATOS Definiciones ØSecuencia finita de datos: yt 1 t 4 = {yt 1, yt 2, yt 3, yt 4} ØV. a que tome el valor de y: P(Y=y) ØModelo de probabilidad: P (x) ØDistribución de Probabilidad Conjunta de una secuencia de observaciones T Y 1= {Y 1, Y 2, Y 3, . . YT) Es dada por: P(y. T 1)= P(y 1)P(y 2/ y 1)P(y 3/y 1 y 2)P(y 4/y 1 y 2 y 3). . . T P(y. T 1)= P(y 1) P(yt/yt-1 ) 1

MODELO DE MARKOV OCULTOS Definiciones Dado que para una variable de estados multinomial Qt {1, 2, . . . n}, el número de parámetros requeridos para representar la probabilidad de Transición P(qt|q t-1, q t-2, . . q t-k} es O(n k+1), y dado que para un k pequeño no se satisfacen los supuestos estadísticos para un modelo de Markov, se asume la hipótesis, de que los datos pasados en el secuencia pueden ser consistentemente modelados a través de una variable de estado.

MODELO DE MARKOV OCULTOS Supuestos de un HMM Yt : Proceso Observable no “Markoviano” Qt: Conjunto de estados, “Markoviano” no observable de orden 1. Resume todos los valores pasados de las variables observadas y ocultas cuando se quiere predecir la variable observada Yt en el estado Q t+1. :

MODELO DE MARKOV OCULTOS Supuestos de un HMM T La secuencia observada Y 1= {Y 1, Y 2, Y 3, . . YT) Se relaciona con La secuencia de estados Q T= {Q , Q , . . Q ) no observados 1 1 2 3 T Independencia P(y 1 |qt 1, yt-1 ) = P(yt | qt) 1 P(q t+1 |q 1 t, y 1 t ) = P(qt+1 | qt)

MODELO DE MARKOV OCULTOS Supuestos de un HMM Probabilidad de Estado Inicial P (q 1) 1 inicial, 0 otros casos Probabilidad de Transición P (qt|q t-1) Probabilidad de Emisión Estado Inicial Estado Final P (yt|q t)

MODELO DE MARKOV OCULTOS Distribución Conjunta de HMM T-1 T P(y 1, q 1) = P(q 1) P(q t+1| qt) P(yt|qt) t=1 T T T P(y 1, q 1) = P(q 1) P(y 1|q 1) P(q t| qt-1) P(yt|qt, qt-1) t=2 T T T Dado que Q 1 no es observada realmente interesa T representar la distribución de P(y 1), entonces, T T P(y 1) = P(y 1, q 1) T t P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1))

MODELO DE MARKOV OCULTOS Problemas Básicos con HMM Ø. Evaluación de la Probabilidad: Calcular eficientemente la probabilidad de una secuencia dada. • Algoritmo de Forward o de Avance • Algoritmo de Backward o Retroceso ØSecuencia de estados óptimo • Algoritmo de Viterbi ØEstimación de Parámetros • Algoritmo de Baum-Welch (maximización): Optimizar las probabilidad de los parámetros del modelo, con el fin de ajustar los parámetros “secuencia de entrenamiento” hasta un punto dado.

MODELO DE MARKOV OCULTOS Probabilidades de Transición en un HMM Para algunas aplicaciones como en datos secuenciales o reconocimientos de cadenas (discurso) en un HMM se asume que los estados ocultos tienen un valor discreto, con una distribución multinomial, haciendo entonces que la probabilidad de Transición se pueda representar como: P (qt|q t-1) = A ij = P(Qt = i| q t-1 = j) Este supuesto no siempre se puede aplicar, cuando los estados ocultos presentan un comportamiento continuo se habla de un espacio de estados, en que la probabilidad es gaussiana. Por otro lado también pueden ser híbridos (discreta-continua)

MODELO DE MARKOV OCULTOS Probabilidades de Emisión en un HMM Para algunas aplicaciones como en datos secuenciales en un HMM Yt es una v. a discreta independiente y P (yt|q t), es multinomial. Entonces: P (yt|q t) = Bij = P(Yi | Qt =j) Y el vector de va. Yt se puede dividir en sub-vectores Yti y calcular: i P(yti| qt) Sin embargo en algunas aplicaciones, la distribución de emisión es normal o mezcla de normal

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM = {a, b, c} Sea QT = {1, 2, 3, F} 1 A ij = 1 2 3 P (q 1) {1, 0, 0, 0} F 0. 2 0. 5 0. 3 0. 0 0. 1 0. 0 0. 9 0. 0 0. 4 0. 6 Bij = 1 2 3 a b c 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 1. 0 0. 0

MODELO DE MARKOV OCULTOS a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (1 x 0. 7)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (1 x 0. 7) (0. 5 x 0. 6)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) (1 x 0. 7) (0. 5 x 0. 6) (0. 9 x 1)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 5 x 0. 6) (0. 9 x 1) (0. 6 x 1)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) + (P 1. B 1, c) (1 x 0. 7) (0. 5 x 0. 6) (0. 9 x 1) (0. 6 x 1)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 5 x 0. 6) + (P 1. B 1, c) (A 1, 2. B 2, b) (1 x 0. 7) (0. 2 x 0. 3) (0. 9 x 1) (0. 6 x 1)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 5 x 0. 6) (0. 9 x 1) (0. 6 x 1) + (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) (1 x 0. 7) (0. 2 x 0. 3) (0. 3 x 1)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 5 x 0. 6) (0. 9 x 1) (0. 6 x 1) + (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 2 x 0. 3) (0. 3 x 1) (0. 6 x 1)

MODELO DE MARKOV OCULTOS Un ejemplo para generar una cadena en un HMM a b c 0. 0 0. 3 0. 7 0. 2 i. NI C 1 0. 3 0. 6 0. 1 1. 0 0. 4 0. 1 1 0. 5 2 0. 9 3 0. 6 F 0. 3 P(y 1, qt) = P(yt|qt) P(qt|q t-1) P(yt-11 , q t-1)) P(cab, qt) = (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 5 x 0. 6) (0. 9 x 1) (0. 6 x 1) + (P 1. B 1, c) (A 1, 2. B 2, b) (A 2, 3. B 3, a) A 3, F (1 x 0. 7) (0. 2 x 0. 3) (0. 3 x 1) (0. 6 x 1) 0. 1134 +0. 00756 0. 12

MODELO DE MARKOV OCULTOS ALGORITMO DE VITERBI Muy usado para reconocimiento de voz, biología molecular, fonemas, palabras, codificadores entre otros). Para secuencia de estados le corresponde una secuencia de labels de clasificación (e. d, palabras, caracteres, fonemas, sufijos). Dado una secuencia observada YT 1 = y. T 1, inferir la más probable secuencia de estados Q 1 = q 1 T V(i, t) = T Si t=1 P(y 1|Q 1=i) P(Q 1=i) Max {P(yt|Qt=i) P(Q=i|Qt-1=j) V(j, t-1)} Si t>1 j

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC 1 1 1 0. 5 0. 3 2 2 0. 9 3 3 0. 6 1. 0 0. 2 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini F F 1 c b a a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC 0. 2 1 1 0. 5 0. 3 2 2 0. 9 3 3 0. 6 1. 0 0. 0 1 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini F F 1*0. 3 c b a a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC 1 0. 2 1 0. 3 2 0. 0 3 0. 0 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 3)*(0. 2*0. 7) a a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC 1 0. 2 1 0. 3 2 0. 0 3 0. 0 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 3)*(0. 5*0. 1) a a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC 1 0. 2 1 0. 3 2 0. 0 3 0. 0 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 3)*(0. 3*0. 0) a a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a 1 0. 2 1 0. 3 0. 042 2 0. 015 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 042)*(0. 2*0. 3) a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a 1 0. 2 1 0. 3 0. 042 2 0. 015 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 042)*(0. 5*0. 6) a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a 1 0. 2 1 0. 3 0. 042 2 0. 015 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 042)*(0. 3*0. 0) a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a a 1 0. 2 1 1 0. 3 2 0. 042 (0. 042)*(0. 2*0. 3) 2 0. 015 (0. 042)*(0. 5*0. 6) 3 0 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F (0. 042)*(03*0. 0 )

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC 1 0. 2 1 0. 3 0. 042 0. 0025 2 0. 015 0. 0126 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F a a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a a 1 0. 2 1 0. 3 0. 042 0. 0025 2 0. 015 0. 0126 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F 0. 0126*(0. 1*0. 0)

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a a 1 0. 2 1 0. 3 0. 042 0. 0025 2 0. 015 0. 0126 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F 0. 0126*(0. 0*0. 3)

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC a a 1 0. 2 1 0. 3 0. 042 0. 0025 2 0. 015 0. 0126 3 0. 000 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 b 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F 0. 0126*(0. 9*1. 0)

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC b 1 0. 2 1 0. 3 0. 042 0. 0025 0. 00 2 0. 015 0. 0126 0. 0004 3 0. 000 0. 0113 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 a 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F a

MODELO DE MARKOV OCULTOS EJEMPLO DE VITERBI V(bcbaa, t) b t i. N IC b a 1 0. 2 1 0. 3 0. 042 0. 0025 0. 00 2 0. 015 0. 0126 0. 0004 0. 00 3 0. 000 0. 0113 0. 0045 0. 1 0. 5 0. 3 0. 9 3 0. 6 1. 0 0. 0 a 1 0. 0 0. 3 0. 7 0. 3 0. 6 0. 1 Ini c F F 0. 0027