Introduccin Las cadenas de markov son modelos probabilsticos

Introducción Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad, …

1 1. Definición de Cadena de Markov • Una Cadena de Markov (CM) es: • Un proceso estocástico • Con un número finito de estados (M) • Con probabilidades de transición estacionarias • Que tiene la propiedad markoviana

2 ELEMENTOS DE UNA CADENA DE MARKOV Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad) Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes) Probabilidades de transición entre estados, en un ciclo (matriz P) Distribución inicial del sistema entre los M estados posibles

3 CONCEPTO DE CADENAS ABSORBENTES Cadenas absorbentes • Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes: 1. La cadena tiene al menos un estado absorbente. 2. De cualquier estado no absorbente se accede a algún estado absorbente. • Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados: • Su matriz de transición siempre se puede llevar a una de la forma donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz. no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente.

4 Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes • CM absorbente: – Tiene al menos un estado absorbente – Desde cualquier estado no absorbente se puede acceder a algún estado absorbente • A largo plazo, termina en absorción con probabilidad 1 • Interesa calcular: – Probabilidad de absorción por cada estado absorbente – Numero esperado de pasos antes de la absorción

5 Comportamiento a largo plazo de las Cadenas de Markov: el caso de las cadenas absorbentes

Tipos de estados y Cadenas de Markov 6 Podemos considerar fij(n) para (n=1, 2, . . ) como la función de probabilidad de la variable aleatoria tiempo de primera pasada (n) Una vez que el proceso se encuentra en el estado i no lo abandona Una vez que el proceso se encuentra en el estado i existe una prob. >0 de no regresar

7 CADENAS ABSORBENTES • VEAMOS UNA CADENA ABSORBENTE DE MARKOV: • SI COMENZAMOS EN UN ESTADO TRANSITORIO ENTONCES AL FINAL TENDREMOS LA SEGURIDAD DE DEJAR EL ESTADO TRANSITORIO Y TERMINAR EN UNO DE LOS ESTADOS ABSORBENTES. • PARA VER POR QUE NOS INTERESAN LAS CADENAS ABSORBENTES, DESCRIBIREMOS LAS SOGUIENTES DOS:

EJEMPLO: Cuenta por cobrar. El estado cuenta por cobrar en una empresa se modela con frecuencia como cadena de markov. Suponga que una empresa supone que una cuenta es incobrable si se ha pasado mas de tres meses de su fecha de vencimiento. Entonces al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes estados específicos. Estado 1. Estado 5. cuenta nuevas. Los pagos e la cuenta están retraso un mes. Los pago de la cuenta están retrasado por dos meses. Los pago de la cuenta están retrasado por tres meses. Se ha saldado la cuenta. Estado 6. SE ha cancelado la cuenta por ser mal pagador. Estado 2. Estado 3. Estado 4. Supóngase que los últimos gastos indican que la siguiente cadena de markov describe como cambia el estado de una cuenta de un mes al siguiente.

Nueva 1 mes nuevas 0 1 mes 0 2 meses 0 3 meses 0 pagada 0 incobrable 0 0. 6 0 0 0 2 meses 3 meses pagada incobrales 0 0 0. 4 0 0. 5 0 0 0. 4 0. 6 0 0. 7 0. 3 0 0 1 Por ejemplo , si al principio de un mes una cuenta lleva dos meses de vencida hay 40% de probabilidad de que no se page al principio del mes siguiente y , por lo tanto, que tenga tres meses de retraso y una probabilidad de 60% de que paguen. Nueva 1 mes 2 meses 3 meses pagada incobrales nuevas 0 0. 6 0 0 0. 4 0 1 mes 0 0 0. 5 0 2 meses 0 0. 4 0. 6 0 3 meses 0 0 0. 7 0. 3 pagada 0 0 1 0 incobrable 0 0 0 1

0 0 Q= 0. 6 0 0 0 1 0 0 0. 4 0 -0. 6 0 0 0 1 -0. 6 0 0 0 -0. 6 1 0 -0. 6 0. 4 0. 5 0. 6 0. 7 R= 0 0 I -Q = I- Q 1 0 0. 5 0 0 0. 3 0 -0. 5 0 0 -0. 4 0 0 0 1 -0. 5 0 0 1 0 -0. 4 1 1 0 0 1 0 -0. 5 1 0 0 0 -0. 4 1 1 0 1 0 0 0 1 R 1+R 4 (-1)R 2

1 0 0 1 -0. 6 -1 0 -0. 6 1 0 0 1 -1. 2 -1 0 -0. 6 0 0. 5 1 0 0. 3 0. 5 1 -1 0 0 -0. 4 1 0 1 1 0 -1 0 0 1 0 -0. 6 -1 0 0 (. 6)R 2+R 1 0 1 (-1)R 3+R 4 0 0 0 1 (-1/4)R 4 1 0 0 0. 25 -1. 2 -1 0 -0. 15 0. 3 0. 5 1 - 1/4 0 0 -0. 4 0. 35 1 0 -0. 6 -1 0 0 0 R 4+R 1 1/4 (-1)R 3+R 2 R 3/. 35 1 0 0. 6 1 0 0. 42 0. 55 0. 7 1 0. 71 0. 35 4 0. 4 1 1 0 0. 06 1 0 0 1/4 1 1/4

Para contestar las pregunta 1 a 3 necesitamos calcular. 1 I- Q-1 (I-Q)-1 R 0 0 0 R= = 0. 6 0. 55 0. 35 1 0 0. 42 0. 7 1 0. 71 4 0. 4 1 0. 964 0. 94 0. 88 0. 7 0. 36 0. 12 0. 3 R= 0. 4 0 0. 5 0. 6 0. 7 0 0 0. 3 = 1. t 1 = Nueva a 1 pagada probabilidad de una cuenta nueva se pague es el elemento 1, 1 de (I-Q)-1 R =. 964 2. t 2 = 1 mes a 2 incobrable la probabilidad que una cuenta atrasada un mes vuelva incobrable es el elemento 2, 2 de (I-Q)-1 =0. 60 3. de la respuesta 1 solo el 3. 6% de toda las deuda son incobrable como las deuda totales del año son 1200 000 dólares en promedio -0. 33(1200000) = 43, 200 dolares seran inpagable al año