Sistemas de ayuda a la decisin Tema 4

Sistemas de ayuda a la decisión Tema 4. Modelos Gráficos Tablas y Árboles de Decisión y Diagramas de Influencia Indice 1) Tablas de decisión: definición y construcción. 2) Tablas de decisión: evaluación y análisis. 3) Árboles de decisión: definición y construcción. 4) Árboles de decisión: evaluación y análisis. 5) Diagramas de influencia: definición y construcción. 6) Diagramas de Influencia: evaluación y análisis 7) Software.

Sistemas de ayuda a la decisión Modelos Gráficos. An introduction to graphical models Kevin P. Murphy, 10 May 2001 Expert Systems and Probabilistic Network Models E. Castillo, J. M. Gutiérrez, and A. S. Hadi Springer-Verlag, 1997 Pattern Recognition and Machine Learning Christopher M. Bishop Copyright c 2002– 2006, 8 Graphical Models Probabilistic Graphical Models Principles and Techniques Daphne Koller and Nir Friedman The MIT Press, 2010 Cambridge, Massachusetts London, England Bayesian Networks and Decision Graphs Finn V. Jensen and Thomas D. Nielsen Published by Springer Verlag 2007

Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión • La forma más elemental de representación • Ilustra de forma sencilla los conceptos básicos • Elementos : decisión + estado → consecuencia a + θ → c(a, θ) ∈ C • Orígenes en el trabajo de von Neumann y Morgenstern (1944) sobre juegos en forma normal

Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión • Caso discreto (A y discretos): • Asignar creencias: • Asignar preferencias: • Calcular la utilidad esperada de cada alternativa ai • La decisión de máxima utilidad esperada a∗, se propone como alternativa óptima

Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión • Caso continuo (A y continuos): • Análogo, proponiéndose: ← utilidad esperada a∗ tal que ← alternativa óptima Típicamente un problema de programación no lineal • Ejemplo: desarrollo de software

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Tablas muy limitadas en la práctica: sólo 1 momento de elección • Típicamente, problemas reales son dinámicos, con decisiones encadenadas y alternancia de la ocurrencia de distintos fenómenos aleatorios • Orígenes en Raiffa y Schlaifer (1961), a partir de von Neumann y Morgenstern (1944) sobre juegos en forma extensiva • Elementos :

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Esqueleto (estructura): de izquierda a derecha (transcurrir del tiempo), desde la raíz hasta nodos terminales –Info cualitativa– • Relaciones entre los elementos y los juicios del decisor a través de probabilidades y utilidades –Info cuantitativa– • Probabilidades condicionadas a que sucesos a su izquierda ya han ocurrido y decisiones previas se han tomado

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Árbol: conjunto de estrategias o políticas que indican planes de acción sobre qué elección se hará en cada punto de decisión que puede alcanzarse con tal plan • Evaluar un árbol para identificar una estrategia óptima • Método regresivo de la programación dinámica (principio de optimalidad, Bellman y Dreyfus’ 62): sup. hemos tomado ciertas decisiones y la naturaleza ha adoptado ciertos estados, habremos llegado a un nodo que podrá ser: • terminal → y le asignaremos la utilidad de la consecuencia; • de azar → la EU máxima, a partir de ese nodo; • de decisión → la EU de la decisión de máxima utilidad esperada, a partir de ese nodo ⇒ Análisis del problema en forma extensiva

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Formalización: bi ramas, cada una j de un nodo i tiene un nodo sucesor nij, probabilidad pij(si), donde si son los valores de todas las variables de los nodos predecesores de i Mejor valor asociado a cada nodo i dependerá de si: si ti = terminal si ti = decisión si ti = azar donde (si, i → j) indica que ha ocurrido si y se transita del nodo i al j. Si i es el nodo raíz, entonces si = ∅

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero Ejemplo 5. 2, página 180 Fundamentos de los sistemas de ayuda a la decisión, Sixto Rios et al. RAMA, 2001

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Estados de maniobrabilidad: P(e 1) = 0. 3, P(e 2) = 0. 4 • Piloto puede cometer errores y la prueba es sólo simulada: P(ra|e 1) = 0. 9, P(ra|e 2) = 0. 65, P(ra|e 3) = 0. 15 ⇒ necesitamos P(E|R) y P(R), mediante Tma. de Bayes: • Coste de la prueba=600 euros Ejemplo: Helicóptero

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Incertidumbre asociada con la estrategia óptima o con otra de interés Ejemplo: Helicóptero Toma los valores 0, 0. 25, 0. 43 y 0. 85 con Ps 0. 045 (=0. 575 × 0. 078), 0. 425, 0. 260 (=0. 575 × 0. 452) y 0. 270 (=0. 575 × 0. 470), respect.

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Herramientas matemáticamente equivalentes • Tabla ⇒ Árbol • Árbol ⇒ Tabla: hay que enumerar las posibles estrategias y calcular la distribución conjunta (preproceso con cálculos no locales) • Ejemplo helicóptero : Probabilidades: P(R, E) = P(R|E)P(E) = P(E|R)P(R) Estrategias: A 1 = hacer la prueba; A 2 = no hacerla Si se hace: a 1(ra) = c ; a 1(rn) = c a 2(ra) = c ; a 2(rn) = ￢c a 3(ra) = ￢c ; a 3(rn) = c a 4(ra) = ￢c ; a 4(rn) = ￢c

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión ⇒ Análisis del problema en forma normal • Contiene las EU de todas las estrategias, no sólo de la óptima • Árbol: • Tabla: Ejemplo: Helicóptero

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Expresivos, intuitivos: caminos completos • No separa la información cualitativa y cuantitativa • Crecimiento exponencial ⇒ requisitos computacionales también (el algoritmo enumera al atravesar todos los caminos) • Árboles esquemáticos (generalización)

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Simétrico: todos escenarios con mismas variables y en la misma Secuencia • Helicóptero: 2 asimetrías: resultados de la prueba sólo si se realiza ésta; estado del helicóptero sólo se revelará si se compra • Puede tratar problemas asimétricos Menor carga computacional y fácil interpretacion

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Representación deficiente de relaciones probabilísticas (ad hoc) • Preproceso de probabilidades para la representación (el problema de los 2 árboles) • Cálculos con la distribución conjunta

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Coalescencia (replicación de subárboles) se detecta ad hoc • Restricciones información explícitas, pero requiere orden total (no siempre especificado)

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Coalescencia depende de cómo se complete el orden

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión • Puede tratar utilidad separable, con cálculos locales Ejemplo: Helicóptero

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Concebidos inicialmente como método de representación más compacta [Miller et al. (1976), Howard y Matheson (1983, reeditado en 2005)] • En ’ 80: algoritmos de evaluación de DI funcionando sobre el propio diagrama [Olmsted (1983), Shachter (1986)] • Elementos : DI es un grafo dirigido G = (N, A) Arcos condicionales: dependencias probabilisticas y funcionales, Arcos informativos: precedencia temporal, informacion disponible por etapas

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Con sólo nodos de azar: • Subyacente distribución conjunta de todas las v. a. ⇒ arcos representan un orden de asignación de las Probabilidades Condicionadas (pueden invertirse) a) Independencia total b) Independencia parcial c) Dependencia completa d) Independencia condicional (de A y C, dado B) • Ciclos no permitidos

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Con todo tipo de nodos: • En d), el decisor está mejor informado que en c) en el momento de la decisión → EU ≥ a la del caso c) • En e), la v. a. no tiene efecto sobre v → puede considerarse irrelevante respecto a la decisión • Ciclos decisión/decisión o decisión/azar tampoco permitidos • No pueden invertirse arcos desde/hacia decisiones

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Uso de : • DI orientado: con un nodo de valor • DI regular: 1. es acíclico 2. el nodo de valor (si existe) no tiene sucesores 3. ∃ un camino dirigido que contiene todos los nodos de decisión Propiedad 3 equivale a requerir un orden total de las decisiones ⇒ requiere la memorización del DI: • Si D 1 precede a D 2 en un DI regular, ⇒ {D 1}∪I(D 1) ⊂ I(D 2)

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia En cada nodo i del DI, un conjunto i, una variable Xi, y una aplicación • i de azar: Xi es v. a. con espacio muestral i; se define πi(xi|x. C(i)) = P(Xi = xi|XC(i) = x. C(i)) (CPT) • i de valor: U : C(i) → i (utilidad; luego EU) • i de decisión: Xi es la decisión y i es el conjunto de alternativas. ⇒ su aplicación asociada: d∗i : I(i) → i (las alternativas óptimas, dado el estado de información del decisor en el momento de tomar la decisión) será salida del algoritmo • Las aplicaciones πi y U son entrada del algoritmo de evaluación y luego se irán redefiniendo al avanzar éste Luego, DI es DAG G = (N, A) y también esta info cuantitativa

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Evaluación mediante el algoritmo de inversión de arcos • Esencialmente misma idea que en árboles, pero se aprovecha la estructura gráfica para obtener ventajas computacionales • Transformaciones: gráficas y numéricas • El algoritmo combina ideas de programación dinámica y fórmula de Bayes • Eliminación de sumideros: Se puede borrar un nodo sumidero de un DI orientado y regular [Independientemente de su valor, ningún otro nodo se ve afectado]

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Eliminación de nodo de azar : Si X ∈ C(v) y es su único sucesor en un DI regular y orientado, puede eliminarse por esperanza condicionada, heredando v los predecesores de X

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Eliminación de nodo de decisión: Si en un DI regular y orientado no hay sumideros, D ∈ C(v) tal que C(v){D} ⊂ I(D), puede eliminarse maximizando la utilidad esperada (condicionada), registrándose la mejor decisión. v no hereda los predecesores de D, pudiendo aparecer nuevos sumideros

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Inversión de arcos entre nodos de azar: Dado el arco (X, Y ), si ∄ otro camino dirigido entre X e Y en un DI regular, puede sustituirse por el arco (Y, X) mediante la aplicación del Tma. Bayes, con herencia mutua de predecesores

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Combinamos las transformaciones [Olmsted (1983), Shachter (1986)] • Existencia de nodo de azar eliminable: Si no hay sumideros y se han añadido los arcos de memoria, y si v tiene predecesores pero no puede eliminarse ningún nodo de decisión ⇒ existe un nodo de azar ∈ C(v) pero no es predecesor informativo de ningún nodo de decisión, y puede eliminarse, tal vez tras inversión de arcos • Eliminará todos los nodos hasta que sólo permanezca el de valor • En ese momento se tendrán las decisiones óptimas (en cada nodo de decisión) y la máxima utilidad esperada (en v)

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia 1. Verificar que el DI es regular, orientado, y añadir arcos de memoria 2. Eliminar sumideros 3. Mientras C(v) ∅, Si ∃i ∈ C ∩ C(v): S(i) = {v}, eliminar nodo de azar i si no, si ∃i ∈ D ∩ C(v): C(v){i} ⊂ I(i), eliminar nodo de decisión i eliminar sumideros creados si no, encontrar i ∈ C ∩ C(v): D ∩ S(i) = ∅ mientras C ∩ S(i) ∅ encontrar j ∈ C ∩S(i): ¬∃ otro camino de i a j invertir (i, j) eliminar nodo de azar i

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero • Invertir (E, R):

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero • Eliminar E:

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero • Eliminar C, R, P:

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Evaluación mediante el algoritmo de eliminación de variables 2 conjuntos de potenciales: P (probabilidades) y U (utilidades) PX = {p ∈ P|X ∈ dom(p)}, UX = {u ∈ U|X ∈ dom(u)} 1. Escoger un orden de eliminación de variables, respetando el orden dado entre las decisiones 2. Eliminar X: a) X de azar: b) X de decisión: 3. Modificar los conjuntos de potenciales:

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Compacidad: cada variable añadida al problema expande su tamaño linealmente ⇒ Algoritmo de reducción de nodos más que de enumeración de los caminos posibles • Separa la información cualitativa y cuantitativa • Representación eficiente de relaciones probabilísticas: • Relaciones probabilísticas explícitas • Representación directa de probabilidades (no hay problema de los 2 árboles) • Sólo probabilidades condicionadas (sí en modelos causales); si no, preproceso

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Computación local y aprovechamiento de la independencia condicional (i. c. ): • Todas las transformaciones se basan en la i. c. , explícita en el diagrama (base de la coalescencia) ⇒ ↓ cálculos, tiempo de ejecución y requisitos de memoria • Computación local para calcular las condicionadas deseadas en la evaluación (Tma. Bayes usando sólo variables necesarias) • Orden parcial de restricciones info: representado directamente en los arcos informativos (árboles requerían orden completo) • Dependencia del orden de eliminación de nodos: influye en esfuerzo computacional ) heurísticas para encontrar buenas secuencias: Kong, genético nuestro. . .

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Dificultad para modelizar asimetrías • Simetrizar: aumento del tamaño del problema (con estados artificiales), menos intuitivos y más carga computacional • Helicóptero: añadir arco (P, R), añadir ¬r para R, utilidades iguales cuando el estado es ¬c: U(hacer, ¬c, ei) = 0. 25 y U(no hacer, ¬c, ei) = 0. 26, i • Otros modelos: DI asimétricos [Smith, Holtzman y Matheson’ 93]; d. decisión secuenciales [Covaliu y Oliver’ 95]; unconstrained DI [Jensen y Vomlelová’ 02]. . . • Utilidad separable: DI varios nodos de valor [Tatman y Shachter’ 90] • Variables continuas: DI gaussianos [Shachter y Kenley’ 89], simulación [Bielza, Müller y Ríos Insua’ 99]. . . , discretización, . . .

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia • Diagramas de Influencia versus Árboles de Decisión DIAGRAMAS ÁRBOLES independencia condicional sí escenario 3. represent. probabilidades (condicionadas) directa con preproceso (problema dos árboles) 4. relaciones probabilísticas explícitas no (se detectan ad hoc) 5. modelización de asimetrías no sí 6. algoritmo reducción nodos enumeración caminos 7. computación local para condicionadas sí no 8. I. C. sí no 1. palabra clave 2. compacidad no (explosión combinatoria)

Sixto Ríos, 1995, Alianza Universidad, AU 822 Sistemas de ayuda a la decisión Modelos de Problemas de Decisión A: Fenómeno o sistema real C: Modelo empiríco D: Conceptualización MODELIZACIÓN L: Descripción, Predicción Exploración, Decisión, … Nueva modelización NO K: Validación E: Modelo matemático SI I: Relaciones empíricas H: Desconceptualización e interpretación F: Proceso lógico-deductivo G: Relaciones matemáticas