Mdulo 3 Midiendo la Exactitud Carlos Lpez Vzquez
- Slides: 95
Módulo 3: Midiendo la Exactitud Carlos López Vázquez carlos. lopez@ieee. org
Plan Error, Exactitud y Precisión n Definiendo estándares n Informando sobre la Calidad n Midiendo y Verificando n Análisis de Sensibilidad n
Error, Exactitud y Precisión Si no se lo mide, no se lo puede administrar n Tiene implicancias: n ä Sobre el dato final ä Sobre el proceso productivo ä Sobre las habilidades de las personas n Cada dato es específico, pero hay reglas generales
Fuente: Foote and Huebner Definiendo estándares Especificar criterios desde el principio n Para datos espaciales y no espaciales n Tópicos a considerar: n ä Niveles de error admisible ä Diccionarios, tesauros ä Criterios de clasificación Criterios para Datos n Criterios para Procedimientos n Tres pasos: n
1: qué exigir n Especificar criterios ä Mucha exactitud cuesta ä Poca exactitud cuesta ä Requisitos son propios del proyecto Ir hacia atrás: desde el output a los inputs n Requerirán Análisis de Sensibilidad n
2: entrenar a la gente No alcanza con exigir el éxito n Deben conocerse los objetivos n Debe capacitarse para lograrlo n Deben saber para qué se hace así n El proyecto no puede salir a pesar de la gente
3: verificar procesos y resultados Aplique un control regular n El Control puede ser n ä por lotes ä continuo n Aplicarlos äA proveedores externos ä Internamente
Plan 4 Error, Exactitud y Precisión 4 Definiendo estándares n Informando sobre la Calidad n Midiendo y Verificando n Análisis de Sensibilidad
Informando sobre la Calidad n Siempre debe estar escrito ä En documentos independientes ä Dentro de los datos Incluir Cómo, Cuándo, Dónde n Asignar a un responsable n Documentar preserva la inversión n ä Los datos sobreviven más de lo esperado ä Típico es 50~100 años n Y después vendrán los arquéologos…
Plan 4 Error, Exactitud y Precisión 4 Definiendo estándares 4 Informando sobre la Calidad n Midiendo y Verificando n Análisis de Sensibilidad
Midiendo y Verificando La realidad manda… n Comparar en campo si es posible n Comparar contra otra fuente más precisa si existe n Existen ensayos específicos por tipo de dato n Se aplican tests paramétricos y no paramétricos n
Cualquiera sea el test… n Deberá ser científicamente creíble ä Basado en estadística, medidas o ambas ä Repetible por otros n Deberá costar algo razonable ä Costo en dinero ä Costo en tiempo n Ampliamente aceptable ä Basado en estándares profesionales, nacionales y/o internacionales
Veremos uno… NSSDA: National Standard for Spatial Data Accuracy (1998)
POSITIONAL ACCURACY HANDBOOK 1999 NSSDA Identifica un estadístico bien definido para describir resultados de ensayos de exactitud posicional n Describe un método para el ensayo de coordenadas o posiciones n Provee un lenguaje estandarizado para informar la exactitud n No prevee ensayos para variables temáticas o categóricas; sólo cuantitativas n
Siete pasos 1. 2. 3. 4. Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
Siete pasos (cont) 5. 6. 7. Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluya esa declaración en los metadatos
Siete pasos 1. 2. 3. 4. Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
Siete pasos 1. 2. 3. 4. Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
POSITIONAL ACCURACY HANDBOOK 1999 Algunos detalles… n n n ¿Dónde localizar los puntos? Bien definidos, fáciles de medir Intersecciones perpendiculares Monumentos N>20, fallas ≤ 1 ¿N≤ 20? ä ä ä Estimación deductiva Evidencia interna Comparación con la fuente
Siete pasos 1. 2. 3. 4. Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
POSITIONAL ACCURACY HANDBOOK 1999 Datos ¿independientes? Buscar puntos comunes n Exactitud n ä Idealmente >> triple ä En otro caso… lo que haya (¡si es mejor!) Documentarla en metadatos n ¡Usar sólo cifras significativas! n Exactitud ~uniforme en área n Área ~equivalente n
Siete pasos (cont) 5. 6. 7. Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluya esa declaración en los metadatos
POSITIONAL ACCURACY HANDBOOK 1999 Cálculos en horizontal… Si: Errorx independiente de Errory Errores con distribución Normal No hay outliers
POSITIONAL ACCURACY HANDBOOK 1999 Cálculos en la vertical… Si: Errores con distribución Normal No hay outliers
Variables temáticas o categóricas No contempladas en el NSSDA Es importante hacer foco en: n Naturaleza de los errores n ä ¿Se confundieron especies de pinos? ä ¿Se confundió trigo con vid? Frecuencia de los errores n Magnitud de los errores n Origen de los errores n © Arthur J. Lembo, Jr. Cornell University
¿Cómo medir la Exactitud? n Prepare una matriz de confusión N puntos al azar ä Vea lo que dicen los datos ä Vea lo que hay en el terreno ä Cuente los casos n Idealmente, todo en la diagonal Datos ä Elija Terreno A B C A 10 2 3 B 0 20 0 C 4 1 10
Alguna terminología n Error por Omisión Def. : Error por columna/total en columna (1. 0 Exactitud del productor) n Error por Comisión Def: Error por fila/total en fila (1. 0 -Exactitud del usuario) ¡No incluir los elementos de la diagonal!
Resultados del ejemplo Exactitud Total: (10+20+10)/(10+2+3+0+20+0+4+1+10)= 40/50 = 80% n Exactitud de comisión para la clase A: 10/(10+2+3) = 10/15 = 67% n Exactitud de omisión para la clase A: Terreno 10/(10+0+4) = 10/14 = 71% Datos n A B C A 10 2 3 B 0 20 0 C 4 1 10
La tabla completa
El índice kappa de Cohen n n n Una medida de la exactitud observada en comparación con el azar Es un único número (un escalar) El ideal sería 1. 0; lo peor sería 0. 0 Un valor intermedio 0. 83 implica que se están evitando 83% de los errores que cometería una clasificación al azar No está recogido en los estándares Sin embargo se usa… ¿Cómo calcularlo?
Ejemplo: q. A=15*14/50=4. 20 q. B=20*23/50=9. 20 q. C=15*13/50=3. 90 q=Total=17. 3 Calcular “q” para cada caso Def. : q es el número de casos en la diagonal por puro azar qi=sumi(fila)* sumi(col)/N 1.
Ejemplo (cont. ): Kappa=(40 -17. 3)/(50 -40) =0. 227 Calcular kappa Def. : kappa=(traza(A)-q)/(N-q) 2.
Un pequeño problema… Se asume que no hay confusión posible al construir la matriz de confusión n En la práctica… n ä Absolutamente incorrecto ä Comprensible, pero incorrecto ä Razonable, pero podría ser mejor ä Buena respuesta ä Absolutamente correcto
Digresión: Midiendo Calidad… Estamos revisando los siete pasos n Hemos visto algunos tests de Exactitud n Algunos estandarizados, otros no n ä Para posición ä Para atributos Esencialmente controlan Exactitud n Pero en Calidad no todo es Exactitud… n
Otras componentes… Completitud n Coherencia lógica n Exactitud temporal n Linaje n Metadatos n
Ejemplo: Coherencia lógica n Representación sin sentido ä ä Caminos en el agua Isolíneas que se cortan Puentes sin rutas o sin río Cuencas hidrográficas vs. ríos
Volviendo a los Siete pasos… 5. 6. 7. Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluya esa declaración en los metadatos
POSITIONAL ACCURACY HANDBOOK 1999 Declaración de Exactitud n En el estándar se consideran dos formatos: 1. 2. n n “__ mts de exactitud (horizontal/vertical) al 95% de confianza” “Compilado para tener __ mts de exactitud (horizontal/vertical) al 95% de confianza” Usar (1) si se dispone de datos específicos independientes Usar (2) si se utilizó un procedimiento estándar consistente con el error obtenido
Incluyendo la Incertidumbre n Falacia de Falsa Precisión ä Una represa de 1: 234. 567, 89 m 3 ä La probabilidad de falla es 0. 3579 n Regla (indefendible…): un décimo de la resolución ä Población en unidades densidad en décimos ä Simple y popular, ¡pero errónea!
Incluyendo Incertidumbre(2) n Falacia de Falsa Certidumbre ä ä n Lo correcto sería alguno de: ä ä ä n Respuestas “precisas” sin sustento Exacerbado al combinar capas Ni hablar de mezclar escalas Problema extremadamente corriente resultado+intervalo [peor, típico, mejor] [min, max] con probabilidad X ¿Cómo determinarlo?
Siete pasos (cont) 5. 6. 7. Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluya esa declaración en los metadatos
POSITIONAL ACCURACY HANDBOOK 1999 Comunicando… Si hay varias capas, podría requerirse una declaración para cada una de ella n Si hay una mezcla inseparable y no ensayada, asignarle el peor nivel de error n Si está ensayada, asignarle el nivel obtenido n Nunca use más cifras que las de los datos n
Otras formas de estimar… Si tiene pocos puntos n Si la distribución es claramente no-gaussiana n ¡No está previsto en el estándar! Use Remuestreo (Bootstrap) n Atención: Lo que de allí resulte complementa, pero no sustituye a lo requerido por el estándar
Breve introducción al Bootstrap
Fuente: Lucila Ohno-Machado ¿Porqué Remuestrear? En ocasiones no es posible tener muchas muestras de una población n En ocasiones no es correcto (o posible) asumir una distribución para una población n n El objetivo es: Assess sampling variation
Bootstrap n Efron (biostadístico de Stanford ) a finales de los 80’s ä n n n “Pulling oneself up by one’s bootstraps” Es un enfoque no paramétrico para inferencia estadística Usa cálculos (fuerza bruta) en lugar de resultados asintóticos e hipótesis tradicionales sobre distribuciones Puede usarse para obtener errores estándar, intervalos de confidencia y prueba de hipótesis
Ejemplo Adaptado de Fox (1997) “Applied Regression Analysis” n Objetivo: Estimar diferencia promedio de respuestas entre Hombre y Mujer n Se dispone únicamente de cuatro parejas de observaciones: n
Observ. Hombre Mujer Differ. 1 24 18 6 2 14 17 -3 3 40 35 5 4 44 41 3
Diferencia promedio n Promedio de la muestra es (6 -3+5+3)/4 = 2. 75 n n Si Y fuese normal, el Intervalo de Confianza CI al 95% sería Problema: no conocemos
Estimadores corrientes n El estimador de la desviación estándar es n Asumiendo que la población es normal, podemos usar la distribución-t como
Intervalo de Confianza CI m = 2. 75 ± 4. 30 (2. 015) = 2. 75 ± 8. 66 -5. 91 < m < 11. 41
Media y varianza de la muestra Idea: usar la distribución Y* de la muestra para estimar la distribución Y de la población y* 6 -3 5 3 )=1. 745 p*(y*). 25. 25 E*(Y*) = S y* p(y*) = 2. 75 V*(Y*) = S [y*-E*]2 p(y*) = 12. 187 DE*(Y*)=sqrt(V*(Y*)
Caso extremo Muestreo con Reemplazo Muestra 1 2 3. . 100 101 … 255 256 Y 1* Y 2* Y 3* 6 6 6 Sólo hay 256 6 posibilidades 6 6 6 -3 -3 5 5 -3 3 Y 4* 6 -3 5 * 6. 00 3. 75 5. 75 6 3 2. 75 Otro -3 caso 6 extremo 1. 25 3 3. 5 3. 00
Calculando nuevos CI El promedio de estos 256 promedios es nuevamente 2. 75, pero su desviación es ahora (sin “^” porque la desviación ahora no se estima)
¿Y entonces? n ¡Esto ya era sabido! n Pero mediante remuestreo o bootstrap ä Los Intervalos de Confianza pueden ser más precisos ä Pueden ser calculados para problemas no lineales que no tienen fórmulas de error conocidas
La población es a la muestra lo mismo que la muestra es a las remuestras En la práctica (a diferencia del ejemplo anterior), no todas las NN remuestras son seleccionadas
Procedimiento Léase como “el criterio aplicado a la población” 1. Especifique un criterio de muestreo que produzca la muestra que se utilizará Criterio(población) muestra 2. Use esta muestra como si fuese la población (pero con reemplazo) Criterio(muestra) re-muestra 1 re-muestra 2 etc…
Procedimiento(2) 3. Para cada remuestra, calcule el estimador estadístico de su interés 4. Use la distribución de los estimadores de las remuestras para estimar las propiedades de la muestra
Atención: Remuetreo no es válido absolutamente para todo n No debe usarse si hay colas “largas” n Ej. : estimación del rango n http: //www. itl. nist. gov/div 898/handbook/eda/section 3/bootplot. htm
http: //www. itl. nist. gov/div 898/handbook/eda/section 4/eda 4222. htm Otro ejemplo: n Ver si unos datos ajustan al modelo n Confirmar que el proceso está bajo control ä n Tomar muestras al azar y confirmar que es de distribución, parámetros y escala fijos En particular, confirmar CI al 95%
¿Qué hacer primero? 4 gráficos
Supongamos Uniforme…
Un estimador para C Yi no es normal n Aplicaremos remuestreo n Estimadores posibles de C n ä Mediana ä Promedio del rango ä Quizá otros… n Buscaremos el de mínima varianza
Cómo Relativamente disperso lucen los CI Mucho más concentrado
Importancia… n Lo típico es requerir CI para la media ä Caso n normal: hay solución analítica En otros casos no la hay ä Es donde el bootstrap/resampling muestra su importancia
Otros métodos de remuestreo n Jackknife (sacar de a uno) es un caso especial de bootstrap ä n Validación cruzada ä n Remuestreo sin un caso y sin reemplazo (las muestras pasan a tener tamaño n-1) Divide los datos en entrenamiento y test Generalmente se los usa para estimar intervalos de confianza en predicciones para el modelo “full” (i. e. , modelo que usa todos los casos)
Recapitulando: n n Vimos estándares Vimos métricas de Exactitud ä ä n Vimos métodos para medir Exactitud ä ä n Posicionales Atributos Cuantitativos, Cualitativos, etc Cuando hay acceso a suficientes valores mejores Cuando son gaussianos Para los otros casos ä ä Explicamos e ilustramos Bootstrap Mencionamos Jacknife
Plan 4 Error, Exactitud y Precisión 4 Definiendo estándares 4 Informando sobre la Calidad 4 Midiendo y Verificando n Análisis de Sensibilidad
Análisis de Sensibilidad n Siempre hay que Validar los resultados ä Conjunto de entrenamiento ä Conjunto de validación ¿Cómo? Depende del Modelo+Datos n Datos continuos derivada parcial n Datos categóricos simulación Se suele hacer al final… ¡pero puede invalidar todo el proyecto! n
Cuanto antes mejor… Si el dato no existe con la exactitud requerida n Si no era necesaria tanta exactitud ¡Todo cuesta! n Datos pueden ser irrelevantes… n ä Tipo n de suelo para estudio eólico Relevancia diferente según el output ä Producción de energía en k. Wh-año ä Costo del proyecto en U$S
Ejemplo analítico 1 n n n Supongamos ¿Cómo se relaciona la Var(f) con Var(x)? Más en general: i. e. sf = |a|sx Pero vale sólo si la aproximación lineal es buena en el rango del error
Ejemplo analítico 2 n Consideremos ahora n En general Nuveamente sólo es válida si la aproximación lineal es buena en el rango del error El coeficiente de correlación r [-1, +1] es 0 si x, y no están correlacionadas
Otras fórmulas analíticas n Ahora considérese (sólo créanlo…) ä n Resultados similares para Otras fórmulas útiles El error relativo en x o 1/x es el mismo Error en el logaritmo es el error relativo
En general… n n Hay que estimar las derivadas parciales Métodos numéricos aproximados: ä Cociente incremental ä Uso de números complejos Problema: hay que estimar incremento Δ apropiado Alternativa: uso de la derivada exacta
Derivada exacta… n Derivación manual ä n Derivación automática ä ä n Variante 1: Generador de nuevo código Variante 2: Sobrecarga de operadores Paquetes ä ä n Sólo en casos simples; require codificar ADOL-F/ADOL-C TAPENADE Matlab+ADMAT Otros… Ejemplos
Generadores de código n n Generan automáticamente un segundo código fuente a partir del disponible ADOL-C/ADOL-F/TAPENADE, etc. Derivada exacta; no hay cociente incremental Ejemplo:
Sobrecarga de operadores n Sólo en ambientes orientados a objetos Ej. : Matlab + ADMAT toolbox n Ventajas: n ä ä Derivada exacta (tampoco hay cociente incremental) Sólo hay un código fuente
¿En qué andábamos? n Estábamos haciendo un Análisis de Sensibilidad ä ¿Alcanza/no alcanza la Exactitud de los datos disponibles? n Vimos Métodos Analíticos ä Sólo n para datos continuos Veremos métodos Estadísticos de Simulación ä Para datos continuos/categóricos
Fuente: Vesna Luzar-Stiffler Métodos de Monte Carlo n Cualquier procedimiento que usa números aleatorios n ¿Números aleatorios? ä ¿Qué es un número aleatorio? ¿Un número? ä Secuencia de números aleatorios
La parte aleatoria… n Distribución Uniforme ä ä ä 0 1 n p(0. 3)=p(1)=. . . ¿Cómo generar una secuencia de números aleatorios? ä ä ä n Todo número en [0, 1] tiene la misma probabilidad Fundamental (se usa para otras distribuciones) Para muestreo al azar, etc. Usar un sistema caótico (moneda, dado, etc. ) Usar un proceso inherentemente randómico Usar tablas de números aleatorios Problema: ä ä ä Resultados no reproducibles Impráctico, no confiable (¿sesgos? ) Tablas – no suficientemente extensas
Números seudo-aleatorios n Números pseudo-aleatorios generados con algoritmos n No correlacionados, ciclos largos, etc. Ej. : Middle square algorithm (J. Von Neumann, 1946): ä Para generar una secuencia de enteros de 10 dígitos: ä – Elija uno cualquiera, – Elévelo al cuadrado y luego – Extraiga los 10 dígitos intermedios como el siguiente número de la secuencia ä Por ejemplo: 3690295441 2 13618280441865384481 2
Seudo-Aleatorios… ¡No son al azar! Son series totalmente determinísticas y predecibles n Lucen como al azar, pero … n 2 6100 ↓ 2 37210000 ↓ 2 4410000 ↓ 2 16810000 ↓ 65610000 ¡LOOP!
Linear congruential method (Lehmer, 1948) n In+1 = (a*In + c) mod m ä I 0 = Valor inicial (semilla) ä a, c ≥ 0, ä m > I 0 , a, c n Una mala elección de constantes generará secuencias malas: a=c=I 0=7, m=10 ä 7, 6, 9, 0, . . . ä Ej. : loop A mod B=resto de dividir A entre B
Familia popular… n RANDU: In+1 = (65539*In) mod 231 ä Se n vio que no era bueno RANMAR: In = (a*In-1 + b*In-2) mod m ä genera series con período 1043 En general se deberían usar generadores conocidos, con propiedades bien documentadas n Sin embargo… n
Para PDF´s no uniformes n n Puede haber rutinas específicas (ej. : N(0, 1)) ¿Otros casos? ä Método de la probabilidad inversa – Calcular – Generar t~U(0, 1) – Evaluar – x resulta tener pdf igual a f(s) ä n Hay otros métodos para casos particulares Problemas: pdf’s discretas, eficiencia, etc.
Simulación de Monte Carlo n n n Aparece con las primeras computadoras (1945 -55) Áreas de aplicación incluyen biología, química, informática, análisis de datos econométricos y financieros, ingeniería, ciencia de los materiales, física, ciencias sociales, estadística, etc. La SMC se resume en: ä ä ä n n Asumiendo un mecanismo para generar datos de su proceso Produzca nuevas instancias de datos simulados Examine estadísticamente los resultados de esas instancias Si se tiene “la” pdf SMC estándar Si no, se usa Remuestreo (que es un pariente cercano)
Algunos problemas… n SMC plantea gran demanda de CPU ä Varianza ~1/sqrt(N) ä Bajar el error un 10% requiere multiplicar por 100 el número de simulaciones n Se intenta mejorar esta característica ä Técnicas n de Reducción de Varianza (TRV) Veamos de qué se trata…
TRV: Enfoque Antitético n Se basa en que n Si X 1 y X 2 son independientes, n Si se pueden generar X 1 y X 2 de forma que tengan correlación Cov(X 1, X 2) negativa puede lograrse que Var(X 1+X 2) sea menor que si son independientes
Ejemplo: Integral (o promedio) Puede ser reformulado como donde Xi y Xi’ están correlacionados negativamente y las Yi siguen siendo independientes
¿Cómo lograr correlación negativa? n El procedimiento en general es X=F-1(U) donde U~U(0, 1) y d. F/ds=f(s) n Pero U~U(0, 1) implica que (1 -U)~U(0, 1). n Por lo que, X´=F-1(1 -U) también tiene la misma distribución f(s) que X n Si F(s) es monótona (y por lo tanto también F-1(s)) entonces X´ y X tienen correlación negativa
Otros trucos… n Si se quiere calcular n En ocasiones es fácil resolver analíticamente la integral n y posteriormente hacer la simulación de Monte Carlo en el residuo, logrando
Aspectos importantes en SMC n n n n Diseño apropiado Medida de la exactitud del resultado Justificación del número de casos/muestras Selección del generador aleatorio Memoria y tiempo de cálculo Técnica de reducción de varianza Software usado Análisis del resultado (visualización, ajuste por curvas, etc. )
En resumen: n Como productor: hay estándares para expresar Exactitud ä Para posición y variables continuas ä No para variables categóricas n Estimación basada en suficientes valores más exactos ä Alternativamente, n usar Bootstrap Como usuario: preocuparse mucho sólo si el problema es sensible
¿Cómo medir Sensibilidad? n Hay técnicas informáticas… ä Simulación Monte Carlo – Uso general, no paramétrica, etc. – Mucha CPU y tiempo ä Propagación de errores – Sólo funciones diferenciables – No requiere simulación – Complejas para algunas operaciones GIS típicas n Escasa disponibilidad en GIS
Módulo 3: Midiendo la Exactitud Carlos López Vázquez carlos. lopez@ieee. org
- Mdulo
- Operadores de exactitud o truncamiento
- Medicion indirecta
- Error de propagacion
- Controles de exactitud
- Precision y exactitud
- Gabriela lpez
- Gabriela lpez
- Marina esteve
- Mi querido mi viejo mi amigo roberto carlos
- Del c avila group
- Cuáles son las etapas de la formación de los evangelios
- Carlos ireijo mitsuta
- Carlos varela rpi
- La rana y la culebra
- Gmail
- Escudo de universidad de san carlos
- Universidad san carlos
- Roberto carlos blogspot
- Juan carlos gualdron alba
- Juan carlos garcia salas
- Carlos robalo cordeiro
- Sacerdotalismo
- Ing carlos slim
- En esto creo educacion carlos fuentes
- Luis carlos ledesma villar
- Carlos diez
- Carlos alberto calixto mattar
- Juan carlos onetti premios
- Carlos tomasi
- Carlos fitch
- Elio carlos ricardo
- Diego carlos zanella
- Colegio san carlos
- Fórmula lineoangular
- Carlos ibañez
- Carlos rius
- Luciana carlos idade
- La danza y su clasificacion
- Gil, antonio carlos. como elaborar projetos de pesquisa.
- Hospital militar carlos j finlay
- Carlos alvarez icann site: linkedin.com
- Carlos mota
- Icebere
- Investigador
- Cual es el grupo funcional de los alquinos
- Faxina na alma
- Ies jci
- Carlos goñi
- El desayuno de hugo
- Carlos mansilla herrera
- Carlos varela rpi
- Obrigado senhor roberto carlos
- Juan carlos ceriani futsal
- Ing carlos sanchez
- Dolor estomacal agudo
- Carlos lozano nathal
- Luiz carlos tourinho morreu de que
- One week carlos bought 2 packages of dog bones
- Carlos baldelli
- Carlos zeus
- Copyright
- Juan carlos passano
- Carlos graphed the system of equations
- Carlos baz
- Bibliografia de carlos ruiz zafon
- Datos de carlos fuentes
- Juan carlos niebles
- Carlos conce
- Alma perfumada carlos drummond de andrade
- As 4 fases de carlos drummond de andrade
- Rui carlos botter
- Dr. carlos chan
- Carlos @hotmail.com
- Carlos eduardo carvalho lima
- Juan carlos freyre
- Luis carlos bueno
- Carlos nagel
- Dra ana raposo reumatologia
- Carlos pato md
- Juan carlos urizar
- Carlos nalda
- David torralbo
- Funcionalismo antropologia
- Diagrama 2300 tardes y mañanas adventista
- Ich
- La familia de carlos iv personajes
- 1 primerica parkway
- Juan carlos diaz colchado
- Agora é a hora de compartilharmos com carlos e helena
- Glucósidos propiedades
- Deus mostra o caminho
- Dr collazo psiquiatra
- Jean-paul belmondo elodie constantin
- Emiliano kargieman
- Dr carlos almaguer