INTEGRACIN DE SISTEMAS DE INFORMACIN Curso Doctorado Sistemas

INTEGRACIÓN DE SISTEMAS DE INFORMACIÓN Curso Doctorado “Sistemas Informáticos Avanzados” 2004/2005 1

Motivación Sitios Web “Reporting”/Análisis Repositorios Documentos ventas BD Corporativas ¡¡ Dominio e intereses comunes

Ejemplos n Plataformas integradas para Bioinformática n Plataformas integradas para Hospitales n Sistemas de

Motivación Sitios Web “Reporting”/Análisis Repositorios Documentos ventas ¿Cómo crear ¿Cómo obtener el máximo organizaciones

Motivación Sitios Web “Reporting”/Análisis Repositorios Documentos ventas MIDDLEWARE Cliente/Servidor JDBC-ODBC HTTP RMI, CORBA SOAP.

Capas a estudiar ORGANIZACIÓN VIRTUAL COMPONENTES INTEGRACIÓN/COORDINACIÓN MIDDLEWARE Repositorios Documentos “Reporting”/Análisis Sitios Web Servidores

Organizaciones Virtuales ORGANIZACIÓN VIRTUAL Unidades Organizativas Workflow Perfiles: usuarios, grupos Proveedores Políticas globales de

bi lid ad Dimensiones de estudio en sistemas integrados Heterogeneidad Integración de Sistemas de

Heterogeneidad Integración de Sistemas de Información Es c al a bi lid ad Semántica

Información, Modelos de Datos Información datos estructuradossemiestruct. tablas objetos OEM RDBMS OODBMS documentos XML

Poder expresivo de formatos SGML XML objetos tablas HTML texto RECUBRIMIENTOS Integración de Sistemas

Conversiones tuplas Esquema objetos DTD o Esquema XML SGML ¿inferencia? XHTML ¿extracción? texto Integración

Ejemplos (isbn: 1231, titulo: ’Tesis’) Tupla (libro#1, isbn: 1231, titulo: ’Tesis’, capítulos: ( (cap#3,

Integración Sintáctica n MODELO DE DATOS COMÚN o CANÓNICO: – – n MODELO DE

Integración Semántica n n n Semántica: qué es y para qué sirve cada dato

¿Qué es una ontología? n “Una especificación de una conceptualización” (Gruber’ 93) n Conceptualización:

¿Por qué son útiles? n Definen una semántica formal – n Permiten el procesamiento

Ontologías y Metadatos Ontología title fname String lname Artis t creates Artifa ct exhibited

Axiomas estructurales Dublin Core Yahoo! Diccionario Word. Net Ontologías Ligeras Integración de Sistemas de

Ejemplo de ontología title fname creates Artist String lname technique Sculpto r Pablo exhibited

Manejo de metadatos n Ontologías Esquemas – – – n Expresadas en lenguaje natural

Schema Matching n n n ¿Cómo asociamos automáticamente los elementos de los esquemas con

Schema Matching n Nivel de elemento: – – – n Nivel de estructura: –

Integración/Coordinación bi Local-as-view lid ad Global/Local-as-view Heterogeneidad Integración de Sistemas de Información Es c

Autonomía de componentes n Fuerte relación con heterogeneidad: – – n A mayor autonomía,

Autonomía de componentes Principales enfoques (Levy 1999): Global as view (GAV). El esquema global

Ejemplo GAV: Sg estudiante(id, nombre, grado)= sigue(sno, id) {x, y, z | <x, y,

Ejemplo LAV: Sg estudiante(id, nombre, grado) S 1 sigue(sno, id) tutor(sno, sname)= profesor(sno, sname,

Pros y contras n n n GAV no soporta la evolución de los esquemas

Global/Local as View n n n El esquema global es una ontología consensuada. Las

BBDD Federadas/Warehouses A H S USUARIOS ESQUEMA EXTERNO Esquema Local BDD USUARIOS Esquema Local

Arquitectura I 3 -DARPA A H Interfaces de usuario E Servicios de Coordinación Aplicación

Fauna del I 3 -DARPA n n Intemediario (Facilitator): son dinámicos. En tiempo de

Otras emergentes: GRID n n n GRID: distribución transparente de procesos computacionales muy costosos.

Otras emergentes: redes P 2 P n n Redes para compartir recursos entre pares.

¿qué falta? ¿textos e imágenes? ¿miles de ontologías? ¿organizaciones virtuales dinámicas? ¿seguridad, privacidad, etc.

Slides: 41

Download presentation

INTEGRACIÓN DE SISTEMAS DE INFORMACIÓN Curso Doctorado “Sistemas Informáticos Avanzados” 2004/2005 1

Motivación Sitios Web “Reporting”/Análisis Repositorios Documentos ventas BD Corporativas ¡¡ Dominio e intereses comunes !! BD Públicas (millones de registros) Servidores de Mapas Integración de Sistemas de Información Clusters Altas Prestaciones 2

Ejemplos n Plataformas integradas para Bioinformática n Plataformas integradas para Hospitales n Sistemas de Información Geográfica n Integración de museos virtuales n Comercio Electrónico n Etc. Integración de Sistemas de Información (Hypermuseum) 3

Motivación Sitios Web “Reporting”/Análisis Repositorios Documentos ventas ¿Cómo crear ¿Cómo obtener el máximo organizaciones ¡¡ Dominio de información de intereses virtuales por encimaede todas las componentes? comunes !! BD Corporativas ellas? BD Públicas (millones de registros) Servidores de Mapas Integración de Sistemas de Información Clusters Altas Prestaciones 4

Motivación Sitios Web “Reporting”/Análisis Repositorios Documentos ventas MIDDLEWARE Cliente/Servidor JDBC-ODBC HTTP RMI, CORBA SOAP. . . BD Corporativas BD Públicas (millones de registros) Servidores de Mapas Integración de Sistemas de Información Clusters Altas Prestaciones 5

Capas a estudiar ORGANIZACIÓN VIRTUAL COMPONENTES INTEGRACIÓN/COORDINACIÓN MIDDLEWARE Repositorios Documentos “Reporting”/Análisis Sitios Web Servidores de Mapas COMPONENTES Clusters Altas Prestaciones Integración de Sistemas de Información BD Corporativas BD Públicas (millones de registros) 6

Organizaciones Virtuales ORGANIZACIÓN VIRTUAL Unidades Organizativas Workflow Perfiles: usuarios, grupos Proveedores Políticas globales de acceso, seguridad y privacidad Intermediarios Integración de Sistemas de Información Clientes 7

bi lid ad Dimensiones de estudio en sistemas integrados Heterogeneidad Integración de Sistemas de Información Es c al a Autonomía Integración/Coordinación 9

Heterogeneidad Integración de Sistemas de Información Es c al a bi lid ad Semántica Sintáctica Plataforma Autonomía Integración/Coordinación 10

Heterogeneidad Integración de Sistemas de Información Es c al a bi lid ad Semántica Sintáctica MIDDELWARE Plataforma Autonomía Integración/Coordinación 11

Heterogeneidad Integración de Sistemas de Información Es c al a bi lid ad Semántica Sintáctica Plataforma Autonomía Integración/Coordinación 12

Información, Modelos de Datos Información datos estructuradossemiestruct. tablas objetos OEM RDBMS OODBMS documentos XML Lore SGML HTML Nativas (Tamino) raw texto ASCII GIF MP 3 WAV Recuperación de la Información MM-SRI ORDBMS(+Extensiones) Sistemas BBDD (universales) Integración de Sistemas de Información 13

Poder expresivo de formatos SGML XML objetos tablas HTML texto RECUBRIMIENTOS Integración de Sistemas de Información 14

Conversiones tuplas Esquema objetos DTD o Esquema XML SGML ¿inferencia? XHTML ¿extracción? texto Integración de Sistemas de Información 15

Ejemplos (isbn: 1231, titulo: ’Tesis’) Tupla (libro#1, isbn: 1231, titulo: ’Tesis’, capítulos: ( (cap#3, titulo: ’t 1’), (cap#4, titulo: ’t 2’))) Objeto <libro> <isbn>1231</isbn> <titulo>Tesis</titulo> <capitulos> <titulo>t 1</titulo> <titulo>t 2</titulo> </capitulos> </libro> XML <html><body> <h 1>Libro: </h 1> isbn : 1231 titulo : Tesis capitulos: <ul> <li>Titulo : t 1 <li>Titulo : t 2</ul> </body></html> HTML Integración de Sistemas de Información 16

Integración Sintáctica n MODELO DE DATOS COMÚN o CANÓNICO: – – n MODELO DE ACCESO COMÚN – – n Todas las fuentes son consultadas a través de un lenguaje común También Orientado a Objetos: OQL o similar RECUBRIDORES – n Todas las fuentes exportarán sus datos a dicho modelo Generalmente un modelo conceptual Orientado a Objetos: UML, Ontologías, etc. Dispondremos de mecanismos de traslación tanto de consultas como de respuestas ESTRUCTURAS DE DATOS GLOBALES – Directorios, Catálogos de datos, esquemas globales, etc. Integración de Sistemas de Información 17

Heterogeneidad Integración de Sistemas de Información Es c al a bi lid ad Semántica Sintáctica Plataforma Autonomía Integración/Coordinación 18

Integración Semántica n n n Semántica: qué es y para qué sirve cada dato o información. Diferentes conceptualizaciones utilizadas por diferentes administradores: relativismo. Se expresa de muchas formas: – – Conflictos de nombres (sinónimos, holónimos, . . . ) Conflictos de tipos (atributos, restricciones, etc. ) Conflictos de datos (objetos iguales? , valores contradictorios? , etc. ) Conflicto de usos (diferentes aplicaciones) Integración de Sistemas de Información 19

¿Qué es una ontología? n “Una especificación de una conceptualización” (Gruber’ 93) n Conceptualización: Expresa todo lo que “existe” en el sistema como conceptos y relaciones entre ellos. n Especificación: Formal, sin ambigüedad n Expresión de un consenso Integración de Sistemas de Información 20

¿Por qué son útiles? n Definen una semántica formal – n Permiten el procesamiento de información por máquinas Permiten una semántica del mundo real – – Establecen una terminología por consenso Unión entre el contenido procesable por máquinas y por humanos Integración de Sistemas de Información 21

Ontologías y Metadatos Ontología title fname String lname Artis t creates Artifa ct exhibited Museu m Museo 1. xml/pintura{id=4}. . URIs http: //museo. com/cgi? pintor. . . BD 2: : Escultura. obra BD 1: : Galería. A utor RECURSOS Integración de Sistemas de Información 22

Axiomas estructurales Dublin Core Yahoo! Diccionario Word. Net Ontologías Ligeras Integración de Sistemas de Información Protégé RDF(S) OWL Lite O. Expresivas O. Descriptivas UML Frames Taxonomías Tesaurus Términos Metadatos Axiomas lógicos OWL DL OWL Full WEB-based Ontologías pesadas 23

Ejemplo de ontología title fname creates Artist String lname technique Sculpto r Pablo exhibited Museu m sculpts Painte r Cubist fname Artifac t Sculptur e paints Paintin g Flemish Picass o title lname I 1 paints I 2 technique Integración de Sistemas de Información Guernica Oil on canvas 24

Manejo de metadatos n Ontologías Esquemas – – – n Expresadas en lenguaje natural No son sistemas de tipos Permiten describir datos/información de una manera flexible Descubriendo metadatos: – – Lenguajes específicos: RQL, OWL-QL (solo una ontología) Buscadores basados en Recuperación de la Información (son aproximados!!) Integración de Sistemas de Información 25

Schema Matching n n n ¿Cómo asociamos automáticamente los elementos de los esquemas con la ontología o esquema global? Mezcla, alineamiento o combinación? Numerosas aproximaciones: – – – COMA (Do, 2001) CUPID (Madhavan, 2001) Artemis (Castano, 2001) PROMPT-Protégé (Noy, 2001) S-Match (Giunchiglia, 2004) Integración de Sistemas de Información 26

Schema Matching n Nivel de elemento: – – – n Nivel de estructura: – – – n Similitud léxica (e. g. Distancia edición) Diccionarios (sinónimos, hiperónimos, etc. ) Similitud de tipos (numéricos, tipos nombrados, . . . ) Similitud entre árboles o grafos Similitud taxonómica Vecinos próximos Nivel semántico (escasas propuestas) – Integración de axiomas consistente Integración de Sistemas de Información 27

Integración/Coordinación bi Local-as-view lid ad Global/Local-as-view Heterogeneidad Integración de Sistemas de Información Es c al a Autonomía Global-as-view 28

Autonomía de componentes n Fuerte relación con heterogeneidad: – – n A mayor autonomía, más redundancias, heterogeneidades e inconsistencias. A mayor autonomía, mayor DINAMICIDAD del sistema integrado Varios aspectos: – – – Autonomía en el diseño Autonomía en la administración Autonomía en el procesamiento de consultas Integración de Sistemas de Información 29

Autonomía de componentes Principales enfoques (Levy 1999): Global as view (GAV). El esquema global se crea a partir de los esquema locales. Local as view (LAV). Los esquemas locales se definen a partir de un esquema global común. Integración de Sistemas de Información 30

Ejemplo GAV: Sg estudiante(id, nombre, grado)= sigue(sno, id) {x, y, z | <x, y, z, _> ug <x, _, _, > doctor profesor(sno, sname, dept#) <x, y, z> doctor z = ‘phd’} S 1 ug(id, nombre, grado, sn o) tutor(sno, sname) S 2 doctor(id, nombre, titulo) supervisa(sno, id) supervisor(sno, sname, dept) Integración de Sistemas de Información sigue(sno, id)={x, y | <x, _, _, y> ug <x, _, _, > doctor <x, y> supervisa} profesor(sno, sname, dept)={x, y, z | <x, y> tutor <x, _, _, > supervisor <x, y, z> supervisor} 31

Ejemplo LAV: Sg estudiante(id, nombre, grado) S 1 sigue(sno, id) tutor(sno, sname)= profesor(sno, sname, dept#) {x, y | <x, y, _> profesor <x, z> sigue S 1 ug(id, nombre, grado, sn <z, _, w> estudiante w ‘phd’}. . . o) S 2 tutor(sno, sname) S 2 doctor(id, nombre, titulo)= {x, y, w | <x, y, z> estudiante z=‘phd’ supervisa(sno, id) supervisor(sno, sname, w=null}. . . dept) Integración de Sistemas de Información 32

Pros y contras n n n GAV no soporta la evolución de los esquemas locales, pero facilita la reformulación de consultas globales a los esquemas locales. En LAV los cambios del esquema local solo afectan a las reglas de esquema. Pero, en LAV los cambios del esquema global afectan a todas las reglas de los esquemas locales!!, y la reformulación de consultas no es una tarea sencilla. . Integración de Sistemas de Información 33

Global/Local as View n n n El esquema global es una ontología consensuada. Las fuentes de información se encargan de traducir localmente sus datos/consultas según la ontología de referencia. Los cambios de los esquemas locales deben ser administrados por las componentes. La ontología de referencia es invariante. ¿Lenguaje de consulta global? Integración de Sistemas de Información 34

Aproximaciones de SS. II integrados 35

BBDD Federadas/Warehouses A H S USUARIOS ESQUEMA EXTERNO Esquema Local BDD USUARIOS Esquema Local ESQ. EXP. Diccionario de Datos Esquema ESQ. Importado EXP. Esquema Local BDD Integración de Sistemas de Información ESQ. EXP. BDD ESQ. EXP. USUARIOS ESQUEMA EXTERNO USUARIOS Esquema Local BDD 36

Arquitectura I 3 -DARPA A H Interfaces de usuario E Servicios de Coordinación Aplicación Cliente Intermediario Servicios de Integración Intermediario Mediador dinámico diseñado Servicios de conversión Fuentes Recubridor XML RDBMS XML . . Integración de Sistemas de Información 37

Fauna del I 3 -DARPA n n Intemediario (Facilitator): son dinámicos. En tiempo de ejecución seleccionan las fuentes y las componentes necesarias para el acceso e integración de los datos. Son útiles para el descubrimiento de nuevos recursos y su incorporación a las aplicaciones. Mediadores (Mediators): codifican las tareas de consolidación de datos, fusión y análisis. – – n Descomponen las consultas complejas de las aplicaciones en subconsultas ajustadas a la semántica y estructura de las fuentes. Planifican estas sub-consultas y las mandan a los recubridores implicados. Integran los resultados intermedios y, una vez elaborados, los mandan a la aplicación. Recubridores (Wrappers): transladan las consultas al lenguaje de interrogación de los servidores, y transforman las respuestas en el formato uniforme utilizado en los mediadores. Integración de Sistemas de Información 38

Otras emergentes: GRID n n n GRID: distribución transparente de procesos computacionales muy costosos. Organizaciones Virtuales bien definidas y estrictas. Middleware muy potente: OGSA (Open Grid Services Arquitecture) Acceso integrado a datos aún pobre (OGSADAI) Integración semántica aún en fase muy preliminar (GRID semántico) A H Integración de Sistemas de Información E 39

Otras emergentes: redes P 2 P n n Redes para compartir recursos entre pares. Operaciones básicas: – – – n n Anuncios en la red (broadcast) Búsqueda de pares afines (o grupos) Reunión e intercambio par a par Alta escalabilidad (redes de miles de nodos) Alta autonomía (cada usuario decide qué desea compartir y con quién) Alta heterogeneidad semántica!!. Redes P 2 P semánticas: – – RDF como lenguajes para buscar y anunciar Grupos semánticos basados en sus metadatos. . . A H Integración de Sistemas de Información E 40

¿qué falta? ¿textos e imágenes? ¿miles de ontologías? ¿organizaciones virtuales dinámicas? ¿seguridad, privacidad, etc. ? Heterogeneidad Integración de Sistemas de Información Es c al a bi lid ad Semántica Sintáctica Plataforma Autonomía Posible tamaño: la web de contenidos (útiles) actual !! 41