IMAGE MOSAICING Procesamiento de Imgenes Digitales Dpto Matemtica

IMAGE MOSAICING Procesamiento de Imágenes Digitales Dpto. Matemática Aplicada I, Universidad de Sevilla Dario La Carrubba Francesco Perrino Samuel Jose Romero Rodriguez

INTRODUCCIÓN • Limitaciones de la camera clásica • Limite angular fijo • Uso de software pare el panorama

PLANTEAMIENTO TEÓRICO Búsqueda de puntos de interés • SIFT • SURF Filtrado de los “outliers” • RANSAC • MSAC Union de imágenes

SIFT Scale Invariant Feature Transform

SIFT • Scale Invariant Feature Transform • Características de una imagen • A partir de estas describir el conjunto de objetos que estaban contenidos en ella • 4 etapas: 1. Detección de extremos 2. Localización de puntos de interés 3. Asignación de orientaciones 4. Descriptor de punto de interés

DETECCIÓN DE EXTREMOS • Mayoría de algoritmos de detección Detección de características basado en la detección de esquinas • Invariantes a las rotaciones • Idea: encontrar dentro del espacio-escala de la imagen puntos invariantes a • Traslación • Escalado • Rotación • Mínimamente afectados por el ruido y pequeñas distorsiones • Puntos extremos (máximos o mínimos)

DETECCIÓN DE EXTREMOS • Puntos extremos: • Se obtienen de las diferencias gaussianas. ��(��, ��)=��(��, ������)−��(��, ����)=��(��, ����)∗��(� • Nº X de diferencias Gaussianas • Se parte de un �� inicial hasta 2�� • Una vez calculadas todas las x diferencias Gaussianas, se submuestrea cogiendo 1 de cada 2 pixeles.

DETECCIÓN DE EXTREMOS

DETECCIÓN DE EXTREMOS • Siguiente paso: Búsqueda por cada “piso” de extremos locales. • Será extremo relativo si es mayor/menor a sus 8 puntos vecinos dentro de su nivel y a sus 9 puntos vecinos de cada uno de los niveles inferior y superior

LOCALIZACIÓN PUNTOS DE INTERÉS • Se eligen los de entre los puntos anteriores aquellos que cumplan unas condiciones. Los puntos de interés con bajo contraste o que se encuentran localizados en los márgenes, son eliminados.

ASIGNACIÓN DE ORI ENTACIONES Y CRE ACIÓN DE DESCRI PTORES • A continuación, se asigna una orientación a cada punto de interés para garantizar la invariancia respecto a la rotación de las imágenes. • Finalmente, se crean los descriptores de los puntos de interés.

SURF Speeded-Up Robust Features

SURF • Descriptor local • Descripción discriminativa de estas zonas a partir de sus puntos vecinos • Basado en los mismos principios y pasos que el SIFT • Esquema diferente • Mejores resultados • Etapas: • Búsqueda de puntos de interés • Creación de descriptores • Emparejamiento de puntos

BÚSQUEDA DE PUNTOS DE INTERÉS • Diferencia con SIFT Se utilizan cuadrados en vez de gaussianas. • Se utiliza una aproximación básica a la matriz Hessiana permitiendo el uso de imágenes integrales.

IMÁGENES INTEGRALES • Una vez se ha calculado la imagen integral: • 3 evaluaciones para calcular la suma de las intensidades para cualquier área rectangular y vertical. tiempo de calculo independiente de la imagen

MATRIZ HESSIANA • Matriz cuadrada de ��×��, de las segundas derivadas parciales Con ella se pueden hallar los puntos críticos de una función f de múltiples variables. • Pueden ser máximo, de un mínimo, un punto de silla o por el contrario no puede determinarse. • Hay que tener presente que los puntos críticos son aquellos que anulan el gradiente.

CREACIÓN DE DESCRIPTORES • Describe la distribución de intensidad del contenido dentro del punto de interés de los puntos vecinos. • Es generado basándose en el área circundante de un punto de interés. • La dimensión del descriptor tiene un impacto directo con el tiempo de adquisición que se toma.

CREACIÓN DE DESCRIPTORES 1 - Encontrar una orientación reproducible basándose en la información de una región circular alrededor del punto de interés. 2 - construye una región cuadrada alineada a la orientación seleccionada 3 - se realiza un emparejamiento entre las dos imágenes.

ASIGNACIÓN DE ORIENTACIÓN • Para obtener un punto invariante a las rotaciones, iluminación y orientación se utiliza el wavelet de Haar sobre las direcciones de �� en una región circular de radio 6��, siendo �� es la escala del punto de interés. • Una vez calculados para todos los vecinos, se estima la orientación dominante calculando la suma de todos los resultados dentro de una ventana deslizante que cubre un ángulo de ��/3. • Se suman la respuesta horizontal y vertical con la ventana. El vector más largo de las ventanas es lo que define la orientación del punto de interés.

DESCRIPTOR BASADO EN LA SUMA DE LAS RESPUESTAS DE HAAR WAVELET. una región cuadrada centrada en el punto de interés La región de interés se divide regularmente en 4× 4 subregiones cuadradas para cada una de ellas se calculan unas características simples, el Wavelet de Haar para �� e ��, se suavizan los resultados mediante un filtro Gaussiano obteniendo ���� y ����.

DESCRIPTOR BASADO EN LA SUMA DE LAS RESPUESTAS DE HAAR WAVELET • Para cada sub-región se suman los resultados ���� i ����, además de calcularse su valor absoluto |����| y |����|. De esta manera, cada subregión proporciona un vector ��, que estará compuesto por:

EMPAREJAMIENTO DE PUNTOS • A la hora de realizar el emparejamiento puede optarse por dos posibles maneras para llevarlo a término: Obtener los puntos característicos de la imagen primera y su descriptor y hacer el mismo con la segunda imagen. Obtener los puntos característicos de la primera imagen con el descriptor. Posteriormente comparar este descriptor con los puntos de la segunda imagen donde se cree que está su pareja correspondiente.

RANSAC RANdom SAmple Consensus

QUE ES RANSAC Y PORQUE LO NECESITAMOS? • RANdom SAmple Consensus (RANSAC) • Método iterativo • Calcular los parámetros de un modelo matemático de un conjunto de datos observados que contiene valores atípicos • Uno de los problemas en la búsqueda de puntos de interés es que • Algunos de los datos dados pueden estar sujetos a ruido y “valores atípicos” • Datos que no encajan con el modelo

EXPLICACIÓN GRÁFICA

PASOS PRINCIPALES 1. Seleccionar un subconjunto aleatorio de los datos originales • “inliers hipotéticos” 2. Un modelo se monta en el conjunto de inliers hipotéticos. 3. Todos los demás datos se prueban contra el modelo ajustado. Esos puntos que se ajustan al modelo estimado, de acuerdo con alguna función de pérdida de modelos específicos, se consideran como parte del conjunto de consenso. 4. El modelo estimado es bueno si se han clasificado suficientes puntos como parte del conjunto de consenso. 5. El modelo puede ser mejorado • Estimar usando todos los miembros del conjunto de consenso

• Este procedimiento se repite un número fijo de veces • Produciendo o bien un modelo que es rechazado porque no hay suficientes puntos en el conjunto de consenso, o un modelo aceptado con suficientes puntos en el conjunto de consenso. • En este último caso, mantenemos el modelo si su conjunto de consenso es más grande que el modelo guardado previamente.

RESOLUCION PRATICA Cargando las imágenes a usar Registro de pares de imágenes Inicialización de la imagen panorámica Creación de una Photo. Sphere

PANORAMA HORIZONTAL

PANORAMA HORIZONTAL

PANORAMA VERTICAL

PANORAMA VERTICAL

IMAGEN PANORÁMICA MIXTA

IMAGEN PANORÁMICA MIXTA

CONCLUSIONES • Aplicaciones en muchos campos • La construcción de los mapas en línea • Recorrido de 360 ° de un edificio • Las mejoras introducido • Utilización de cámaras fotográficas con un ángulo de toma inferior • Evita muchas transformaciones • Buen entorno 3 D