Calidad de los Datos Espaciales Original de P

Calidad de los Datos Espaciales Original de P. A. J. van Oort Impartida el 10 de septiembre de 2003 Center for Geo Information (Universidad de Wageningen) Traducida al español por M. A. Bernabé y M. A. Manso Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 1

Resumen previo • Introducción: La Importancia de la QDE • Definiciones • Acerca de la QDE • Futuras Investigaciones y Conclusiones Abreviaturas de estas transparencias QDE: Calidad de los Datos Espaciales IQD: Información sobre la Calidad de los Datos Espaciales IDE: Infraestructura(s) de Datos Espaciales (o Geo-Espaciales) Introducción Definiciones Acerca de la QDE Futuras Investigaciones. Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 2

Desarrollos en el uso de Geo. Datos • Hay más información • Es más fácil de acceder a la información • Hay más usuarios • Hay más aplicaciones • Es mucho más fácil combinar datasets y realizar toda clase de manipulaciones SIG con ellos • Una larga distancia entre el usuario y el productor Introducción Definiciones Acerca de la QDE Futuras Investigaciones. Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 3

Como consecuencia: • La posibilidad de uso erróneo ha crecido • Los usuarios quieren saber si un conjunto de datos vale para lo que quiere • Los usuarios quieren saber los efectos de la QDE: • Debido a que quieren hacer un buen trabajo • Porque les pueden exigir responsabilidades (litigios) • Hay una necesidad de métodos formales para el almacenamiento, tratamiento y visualización de la IQD (Información sobre la Calidad de los Datos Espaciales) Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 4

Desarrollos actuales • Crece el interés en el conocimiento de QDE • Los estándares se desarrollan para facilitar el almacenamiento y el intercambio de IQDE: SDTS, ICA, CEN/TC 278, ISO/TC 211 • El software se desarrolla para almacenar los metadatos incluyendo la IQDE. • Las herramientas para el manejo y la visualización de QDE están desarrolladas pero apenas implementadas en el SIG. Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 5

Ejemplos de importancia de la QDE Un granjero recibe subsidios proporcionales a la superficie de su tierra. Él dice que su tierra es mayor ( más subsidios!) que lo que dice el gobierno. La diferencia puede ser debida a: (1) errores del granjero, o (2) errores en los geodatos del gobierno § El polígono 1000 tiene 891, 858 m 2 100 0 3000 2000 4000 No! Son 908, 117 m 2 6000 5000 Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 6

Ejemplos de importancia de la QDE • Un país desea bombardear una embajada utilizando un misil con GPS, que vuela automáticamente a la embajada con información procedente de un plano de la ciudad. pero…¿Está todavía ahi la embajada o la han cambiado? (¿está el mapa actualizado? ) ¿Cual es la precisión posicional del mapa? Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 7

Ejemplos de importancia de la QDE • El ministro de transportes quiere saber cuanto dinero necesita para el mantenimiento de una carretera. La longitud de la carretera en el 1/10. 000 parece ser superior a la 1/25. 000 Qué mapa debe el ministro utilizar? 1: 10, 000 1: 25, 000 Mirando un solo mapa no puede saber nada Comparando ambos mapas no hay duda de que el 1: 10. 000 es mejor Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 8

Perspectivas sobre calidad de datos Usuario: • precio • accesibilidad • Se ajustan estos datos a mi necesidad? Productor: • Correspondencia con el ‘suelo nominal’ • Encuentra especificaciones • Cómo documentar la QDE de una manera comprensible para todos los usuarios? Suelo nominal = una representación simplificada del (complejo) mundo real, de acuerdo con los datos que se han recogido. Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 9

Definiciones (1) 7 elementos de calidad de datos 1. Linaje 5. Exactitud Temporal 2. Consistencia 6. Exactitud Posicional 3. Completitud 7. Exactitud Temática 4. Exactitud Semántica Completitud: ¿Contiene el Dataset esas carácterísticas Linaje: Consistencia: Historia Especificación del Dataset. de con lascon reglas lógicas con Exactitud semántica: Temática: Temporal: Posicional: Correspondencia La El Correspondencia detalle precisión el de que delos la se lossituación valores describen objetos que se supone que debería contener? El que genera el las que el conjunto de datos debe ser. Nota: conforme y hasta espaciales de las con los fechas sus atributos verdaderas se. describen con posiciones los. valores reales ¿Quién lolaha producido? dataset mide completitud de acuerdo con la especificación nominal. De qué punto se violan forma que si la especificaciónestas nominalespecificaciones dice que sólo se incluyen los lagos mayores de lo 1 km 2 todos lagos mayores que esa cantidad están incluidos, ¿Quién haymodificado? entonces el dataset está completo. Sin embargo, ese dataset no serviría para Introduction un usuario que esté interesado en lagos menores. Definitions (1) Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 10

Ejemplos de QDE Pobres Consistencia lógica o “Entre el 1% (adición de nuevos datos) y el 5% (datos del contrato de pre-mantenimiento)” Completitud o “Algunas características (features) pueden haber sido eliminadas” o “Detalles de direcciones de calles parcialmente incompletas” Bien: Ayuntamiento de Vallecas: Nombres de calles incompletos para el 1% de la longitud total de calles, 5% del todas las calles. Exactitud Temporal o “Fotografías aéreas 1965 -1992” Bien: Grupo de Fotos 1: adquisición año 1965 Grupo de Fotos 2: adquisición año 1980 Introduction Definitions (1) Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 11

Ejemplos de QDE Pobres Exactitud Posicional o “Variable”, “+/- 100 m”, “ 100 m a 1000 m” o “Pueden estar presentes algunas discrepancias cartográficas” Bien: RMSE = 100 m. Bien: error posicional < 1 m con una probabilidad del 95% Exactitud de Atributos o “Sin importancia” (para un mapa de vegetación) o “Gran precisión de atributos” Bien: Pr(actualidad = BOSQUE | clasificado como = PASTO) = 0. 01 Bien: Porcentaje correctamente clasificado: 85. 3% Introduction Definitions (1) Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 12

Ejemplos de QDE Pobres Exactitud Semántica o “Pasto: es todo área cubierta de pasto” Qué es incorrecto ahí? o ¿Está también contado el pasto de los parques en áreas urbanas? o ¿Qué ocurre con el pasto en los terraples? ¿O están éstos clasificados como terraplenes? o Que ocurre si hay una combinación de pastos y árboles? Los requisitos respecto al detalle en la definición de clases dependen del uso. Introduction Definitions (1) Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 13

Definiciones (2): QDE en la 3ª dimensión 1. Dimensión Temporal 2. Dimension Espacial 3. Dimensión Temática Ejemplo: Dimensión Temporal espacial: “Lasprecisión “La cosechasposicional cultivadasesendeterrenos 60 dm en deáreas granjas rurales cambian y de 30 Ejemplo: Dimensión Temática: anualmente, dm en áreas por urbanas” lo tanto, la calidad de las especificaciones de este “la precisión conjunto posicional de datos es 10 se dm aplican parasólo carreteras, en el año 100 endm el que fue adquirido el dato” límites entre campos” Introduction Definitions (2) Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 14

Definiciones (3): exactitud, precision, sesgo Exactitud (accuracy): desviación del ‘verdadero’ valor Precision: nivel de detalle Bias: Tendencia, sesgo Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 15

Ejercicio: sesgo • Todos los puntos están sesgados • Debido al sesgo, y 1 es inexacto: todos los puntos se desvían de su verdadera posición • Después de quitar el sesgo, y 1 es preciso P. Están estimadas correctamente las posiciones de los puntos? R. no R. si P. Está correctamente estimada el área del polígono? P. En qué otra operación SIG hay un problema con el sesgo ? R. recubrimiento Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 16

Ejercicio: imprecision • y 2 is no sesgado • y 2 is inexacto • y 2 is impreciso P. Están las posiciones de los puntos estimadas correctamente? R. No, en promedio: si P. Está estimada correctamente el área del polígono? R. No, en promedio: si Introduction Definitions (3) Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 17

Prospección de Futuro • Modelos de error para cuantificar las implicaciones de QDE. • Mejores formas de comunicación del error; • Prevenir mal uso de los datos espaciales; • Aprender a vivir con los errores. Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 18

Modelos de error: Perturbación de los límites de polígonos La posición de cada punto de cada polígono está perturbada, de acuerdo con exactitud posicional de los puntos. 1000 3000 2000 4000 6000 5000 Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 19

Modelos de error: Perturbing polygon boundaries De acuerdo con el mapa, el polígono tiene una superficie de 893, 703. De acuerdo a otra fuente, el polígono tiene un área de 908, 117. Pr. Puede deberse esa diferencia de superficies a errores posicionales en el mapa? Resp. Si, es posible, pero la otra fuente es muy probablemente incorrecta. Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 20

Modelos de error: Una matriz de error Las probabilidades de la matriz de error de que las clases se confundan una con otra son: Pr(actual = Forest | classified = Forest) = 20 / 22. 1 = 0. 90 Pr(actual = Arable | classified = Forest) = 2 / 22. 1 = 0. 09 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 21

Modelos de Error: perturbaciones en las clases de cubiertas del suelo Crear 100 Mapas Reclasificados, basados en probabilidades de la matriz de error Poner en marcha un modelo con cada uno de estos mapas; Incertidumbre en el modelo de salida debido a la QDE. Introduction Definitions Dealing with SDQ Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 22 Future Research

Utilidad: uso de modelos de error Calcular las probabilidades basadas en QDE, utilizando modelos de error El riesgo se expresa en Euros, en número de personas afectadas, etc. Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 23

Modelado de errores: ¿que hace que sea tan duro? • A menudo, el gran número de datasets combinados hace difícil modelar el error de progación. • Están correlados los errores entre los datasets? Esto no se conoce. La calidad se describe para cada dataset por separado. • La IQDE no está disponible para todos los datasets o está pobremente descrita. • El Software no proporciona herramientas para implementar modelos de errores, por lo que tienes que programarlo tu mismo. Sabes como? Piensas que merece la pena este gasto de tiempo? Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 24

Alternativas para valorar la utilidad § § § Preguntar al productor de datos si el dataset sirve para el trabajo específico que vamos a hacer. Prueba y error Mirar la calidad que se requiere para aplicaciones similares Utilizar el mejor dato disponible Ser honesto en el hecho de que no hay datasets perfectos. Comenzar pensando en qué hacer cuando algo vaya mal. . Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 25

Vivir con el error: mantener la credibilidad Ejemplo Un gobierno utiliza un mapa para calcular las compensaciones a los granjeros debido a una inundación. . Se compensa a los granjeros. Debido a que el mapa no es perfecto, algunos granjeros que deberían haber sido compensados no lo han sido. De desarrolla un procedimiento que permita a esos granjeros probar que han sufrido daños y poder cobrar la subvención Todos los granjeros son informados de este procedimiento. . Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 26

Comunicación del error: metadatos en clearinghouses (1) En este caso el productor informa de los usos sobre los que puede utilizarse este dataset Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 27

Comunicación del error: metadatos en clearinghouses (1) Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 28

Software para la gestión de la QDE: Software para detectar errores. Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 29

Software para la gestión de la QDE Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 30

Software para prevenir mal uso Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 31

Investigación Futura (1) • Estándares para documentar la calidad adoptada para los datos • Continuación del trabajo sobre modelamiento del error y su comunicación • Desarrollo de software • Para facilitar el modelado del error y el análisis del riesgo • Para mejorar la comunicación y los avisos • Promocionar el análisis de riesgo para determinar la utilidad Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 32

Futuras investigaciones (2) • Mantener la integridad de la IQDE en las Infraestructuras de Geo. Datos isla Org. 1 Org. 2 Org. 3 Exactitud Temática: 100% Chequeo de consistencia: la isla se quita Piensa que la exactitud temática es del 100%, Pero encuentra el 90% Mantener la integridad de la IQDE es un tema técnico y de gestión. • Técnicamente: Cómo se hace? Puede automatizarse? Introduction • Gestión: Quien es el responsable? Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 33

Conclusiones • La calidad de los datos es demasiado importante para ignorarla • Los efectos de la calidad de los datos pueden ser cuantificados, pero se necesita mejorar la teoría y el software. • Los métodos para recolectar datos se mejoran día a día y como resultado, la calidad de los datos mejora. • Pero los errores no serán nunca eliminados del todo y tendremos que acostumbranos a vivir con cierta incertidumbre en nuestros datos. Introduction Definitions Dealing with SDQ Future Research Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 34

Gracias por su atención Preguntas? Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 35

Algunos websites § Estándares • http: //www. isotc 211. org/scope. htm#19114 • http: //mcmcweb. er. usgs. gov/sdts/SDTS_standard_nov 97/part 1 toc. html § Modelamiento del Error • http: //www. clarklabs. org/Idrisi. Software. asp? cat=2 • http: //www. esri. com/news/releases/03_2 qtr/reviewer. html § Metadatos • http: //geodesk. girs. wau. nl/geokey/select. htm (in dutch) • 1: 250, 000 scale Arkansas State Soil Geographic (STATSGO): http: //geoserver 2. wr. usgs. gov/servlet/FGDCServlet/retrieve? pn=1&el=F&db=curr ent&rp=3&mr=1&ac=current&cid=25 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 36