Cadenas de Markov Juan Antonio del Valle IO

Cadenas de Markov Juan Antonio del Valle IO 2

¿Cual es la probabilidad de que hoy se vea un arcoiris? 1 2 3 4 IO 2

Formulación de las cadenas de Markov. �Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento si depende del evento inmediato anterior. En efecto, las cadenas de este tipo: SI tienen memoria. " Recuerdan" el último evento y esto condiciona las posibilidades de eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. IO 2

� En la figura lateral se muestra el proceso para formular una cadena de Markov. El generador de Markov produce uno a uno los n eventos posibles, Ej , donde j = 1, 2, . . . , n, a intervalos discretos de tiempo (que no tienen que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos depende del estado del generador. Este estado se describe por el último evento generado. En esta figura, el último evento generado fue Ej, de manera que el generador se encuentra en el estado Mj. IO 2

Probabilidades de transición. �La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional : P(Ek / Mj). Esto se llama probabilidad de transición del estado Mj al estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición. IO 2

Cadenas de Markov Una forma de describir una cadena de Markov es a base de un diagrama de estados, como el que se muestra en la figura 4. 1. 2. En ésta se ilustra un sistema de Markov con cuatro estados posibles : M 1, M 2 , M 3 y M 4. La probabilidad condicional o de transición de moverse de un estado a otro se indica en el diagrama IO 2

Cadenas de Markov - Matriz de transición Otra forma de exhibir las probabilidades de transición es usar una matriz de transición. . La matriz de transición para el ejemplo del diagrama de estados se muestra al lado. Otro método para exhibir las probabilidades de transición es usar una matriz de transición. . Para n = 0, 1, 2, . . El superíndice n no se escribe cuando n = 1. IO 2

�Considere el problema siguiente: la compañía K, el fabricante de un cereal para el desayuno, tiene un 25% del mercado actualmente. Datos del año anterior indican que el 88% de los clientes de K permanecían fieles ese año, pero un 12% cambiaron a la competencia. Además, el 85% de los clientes de la competencia le permanecían fieles a ella, pero 15% de los clientes de la competencia cambiaron a K. Asumiendo que estas tendencias continúen determine ¿cual es la parte que K aprovecha del mercado? : �en 2 años; y �en el largo plazo. IO 2

Procedimiento de solución Observe que, cada año, un cliente puede estar comprando cereal de K o de la competencia. Podemos construir un diagrama como el mostrado abajo donde los dos círculos representan a los dos estados en que un cliente puede estar y los arcos representan la probabilidad de que un cliente haga una cambio cada año entre los estados. Note que los arcos curvos indican una "transición" de un estado al mismo estado. Este diagrama es conocido como el diagrama de estado de transición (notar que todos los arcos en ese diagrama son arcos dirigidos). IO 2

Dado ese diagrama nosotros podemos construir la matriz de la transición (normalmente denotada por el símbolo P) la qué nos dice la probabilidad de hacer una transición de un estado a otro estado. Sea: �estado 1 = cliente que compra cereal K y �estado 2 = cliente que compra cereal de la competencia IO 2

� tenemos así la matriz de transición P para este problema, dada por � Para estado 1 2 � Del estado 1 | 0. 88 0. 12 | � 2 | 0. 15 0. 85 | � Note aquí que la suma de los elementos en cada fila de la matriz de la transición es uno. � Por datos de este año sabemos que actualmente K tiene un 25% del mercado. Tenemos que la fila de la matriz que representa el estado inicial del sistema dada por: � Estado � 1 2 � [0. 25, 0. 75] IO 2

�Normalmente denotamos esta fila de la matriz por s 1 indicando el estado del sistema en el primer periodo (años en este ejemplo en particular). Ahora la teoría de Markov nos dice que, en periodo (año) t, el estado del sistema está dado por el st de la fila de la matriz, donde: � st = st-1(P) =st-2(P)(P) =. . . = s 1(P)t-1 �Tenemos que tener cuidado aquí al hacer la multiplicación de la matriz ya que el orden de cálculo es importante (i. e. St-1(P) no es igual a (P)St-1 en general). Para encontrar st nosotros podríamos intentar hallar P directamente para la potencia t-1 pero, en la práctica, es mucho más fácil de calcular el estado del sistema en cada año sucesivo 1, 2, 3 , . . . , t. IO 2

�Ya sabemos el estado del sistema en el año 1 (s 1) tal que el estado del sistema en el año dos (s 2) está dado por: �S 2 = S 1 P = [0. 25, 0. 75] |0. 88 0. 12 ||0. 15 0. 85 | � = [(0. 25)(0. 88) + (0. 75)(0. 15), (0. 25)(0. 12) + (0. 75)(0. 85)] � = [0. 3325, 0. 6675] �Note que este resultado tiene sentido intuitivo, e. g. del 25% comprando actualmente al cereal de K, 88% continúan haciéndolo, aunque del 75% comprando el cereal del competidor 15% cambia a comprar cereal de K - dando un (fracción) total de (0. 25)(0. 88) + (0. 75)(0. 15) = 0. 3325 comprando cereal de K. IO 2

�De lo anterior, en el año dos 33. 25% de las personas están en estado 1 - esto es, está comprando cereal de K. Note aquí que, como un chequeo numérico, los elementos de st deben sumar siempre uno. �En el año tres el estado del sistema se da por: �S 3=S 2 P=[0. 3325, 0. 6675] |0. 88 0. 12 ||0. 15 0. 85 | �= [0. 392725, 0. 607275] �Por lo tanto en el año tres 39% de las personas están comprando al cereal de K. IO 2

� Recalcar que está pendiente la cuestión hecha sobre la porción que K comparte del mercado en el largo plazo. Esto implica que necesitamos calcular St cuando t se hace muy grande (se acerca al infinito). � La idea de la largo plazo es basada en la suposición de que, en el futuro, el sistema alcance un "equilibrio" (a menudo llamado el "estado sustentable") en el sentido de que el St = St-1. Ésto no quiere decir que las transiciones entre estados no tengan lugar, suceden, pero ellos tienden "al equilibrio global" tal que el número en cada estado permanece el mismo. � Hay dos enfoques básicos para calcular el estado sustentable: � Computacional: - encontrar el estado sustentable calculando St para t=1, 2, 3, . . . y se detiene cuando St 1 y St son aproximadamente el mismo. Esto es obviamente muy fácil para una computadora y este es el enfoque usado por un paquete computacional. IO 2

�Algebraico: - para evitar cálculos aritméticos largos necesarios para calcular st para t=1, 2, 3, . . . tenemos un atajo algebraico que puede usarse. Recalcar que en el estado sustentable st = st-1 (= [x 1, x 2] para el ejemplo considerado anteriormente). Entonces como st = st-1 P tenemos eso �[x 1, x 2] = [x 1, x 2] | 0. 88 0. 12 | �. . . | 0. 15 0. 85 | �(y también notar que x 1 + x 2 = 1). De esto tenemos tres ecuaciones que podemos resolver. IO 2

�Note aquí que hemos usado la palabra suposición anteriormente. Esto es porque no todos los sistemas alcanzan un equilibrio, esto es, no cualquier sistema tiene matriz de transición �| 0 1| �|1 0 | �nunca alcanza un estado sustentable. �Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K tenemos las tres ecuaciones siguientes: �x 1 = 0. 88 x 1 + 0. 15 x 2 �x 2 = 0. 12 x 1 + 0. 85 x 2 �x 1 + x 2 = 1 IO 2

�o � 0. 12 x 1 - 0. 15 x 2 = 0 �x 1 + x 2 = 1 �Note que la ecuación x 1 + x 2 = 1 es esencial. Sin élla no podríamos obtener una única solución para x 1 y x 2. Resolviendo conseguimos x 1 = 0. 56 y x 2 = 0. 44 �Por lo tanto, en la largo plazo, K comercializa una porción del mercado del 55. 56%. IO 2

� Un chequeo numérico útil (particularmente para problemas más grandes) es sustituir el examen final calculando los valores en las ecuaciones originales para verificar que ellos son consistentes con esas ecuaciones. � Paquete de � El problema Computo para la solución anterior se resolvió usando un paquete de cómputo, la entrada se muestra abajo. � Datos de entrada al Problema del cereal de K (Probabilidades de Estado Iniciales) � 1: 0. 2500 2: 0. 7500 � Datos de entrada del Problema del cereal de K (Matriz de Probabilidades de Transición) Pg 1 �. . De. . . A � 1 1: 0. 8800 2: 0. 1200 � 2 1: 0. 1500 2: 0. 8500 IO 2

�El rendimiento se muestra debajo. Aunque el paquete puede usarse para calcular y desplegar St (para cualquier valor de t) no hemos querido mostrar esto. �En el rendimiento mostrado abajo de la nota: �las probabilidades de estado sustentables (se necesitaron 38 iteraciones antes de que St-1 y St fueran aproximadamente el mismo). Estas figuras son como se calcularon antes. IO 2

�periodo recurrente para cada estado - éstos son el número esperado de periodos que pasarán para que una persona en un estado esté de nuevo en ese estado (esto es, esperaríamos que hubieran 1. 80 periodos (en promedio) entre que una persona que compra el cereal de K y su próxima compra de cereal de K). �Iteración final--las Iteraciones Totales = 38 � 1: 0. 5556 2: 0. 4444 �Periodo recurrente para cada estado � 1: 1. 80 2: 2. 25 IO 2

Datos �Note aquí que los datos que se necesitan para deducir las probabilidades de transición, hoy en día, pueden fácilmente encontrarse. Por ejemplo se pueden colectar tales datos por marca del consumidor que cambia, inspeccionando a los clientes individualmente. Sin embargo hoy día, muchos supermercados tienen sus propias "tarjetas de lealtad" qué son registradas a través de inspecciones al mismo tiempo que un cliente hace sus compras en la caja. Éstos proporcionan una masa de información detallada sobre el cambio de marca, así como también otra información - por ejemplo el efecto de campañas promocionales. IO 2

� Debe estar claro que las probabilidades de transición no necesitan se consideradas como números fijos - más bien ellas son a menudo números que podemos influenciar/cambiar. � También note que la disponibilidad de tales datos permite modelos más detallados, a ser construidos. Por ejemplo en el caso del cereal, la competencia fue representado por sólo un estado. Con datos más detallados ese estado pudiera ser desagregado en varios estados diferentes - quizá uno para cada marca competidora del cereal. También podríamos tener modelos diferentes para segmentos diferentes del mercado - quizá el cambio de marca es diferente en áreas rurales del cambio de marca en áreas urbanas, por ejemplo. Las familias con niños constituirían otro segmento importante del mercado obviamente. IO 2

Comentarios � Cualquier problema para el que puede obtenerse un diagrama de transición de estado y que usa el enfoque dado puede analizarse. � Las ventajas y desventajas de usar teoría de Markov incluyen: � Teoría de Markov es simple de aplicar y entender. � Cálculos de sensibilidad ( contestar las condiciones "si pasa esto…") se llevan a cabo fácilmente. � La teoría de Markov nos da con el tiempo una visión de los cambios en el sistema. � P puede ser dependiente del estado actual del sistema. Si P es dependiente tanto del tiempo y del estado actual del sistema i. e. , P es una función de t y st, entonces la ecuación de Markov básica se vuelve St=St-1 P(t-1, St-1). � La teoría de Markov es un modelo simplificado de un proceso de toma de decisiones complejo. IO 2

Aplicaciones � Una aplicación interesante de procesos de Markov que yo conozco es la industria costera noruega del petroleo/gas. En Noruega un cuerpo estatal, el Consejo de administración de Petróleo noruego, (junto con la compañía de aceite estatal noruega (STATOIL)), tienen un papel grande en la planeación de los medios para el desarrollo costero del petroleo/gas. � El problema esencial que el Consejo de la administración del Petróleo noruego tiene, es cómo planear la producción para aumentar al máximo su contribución en el tiempo a la economía noruega. Aquí los horizontes de tiempo son muy largos, típicamente 30 a 50 años. De importancia crítica es el precio del aceite - todavía nosotros no podemos prever esto, sensiblemente con exactitud, para esta horizonte de planeación. IO 2

� Para superar este problema ellos modelan el precio del aceite como un proceso de Markov con tres niveles de precio (estados), correspondiendo a escenarios optimista, probable y pesimista. Ellos también especifican las probabilidades de hacer una transición entre los estados cada periodo de tiempo (año). Pueden usarse matrices de transición diferentes para horixzontes de tiempo diferentes ( matrices diferentes para el cercano, medio y futuro lejano). � Aunque éste simplemente es un enfoque simple, tiene la ventaja de capturar la incertidumbre sobre el futuro en un modelo que es relativamente fácil de entender y aplicar. IO 2

� Estudios sobre el modelado de la población (donde nosotros tenemos objetos con "edad") también son una aplicación interesante de procesos de Markov. � Un ejemplo de esto sería el modelado el mercado del automóvil como un proceso de Markov para prever la "necesidad" de nuevos automóviles cuando los automóviles viejos puedan extínguirse. � Otro ejemplo sería modelar el progreso clínico de un paciente en hospital como un proceso de Markov y ver cómo su progreso es afectado por régimenes diferentes de droga. IO 2