Super resolucin de imgenes y vdeo Rafael Molina

Super resolución de imágenes y vídeo Rafael Molina y Javier Mateos Dpto. de Ciencias de la Computación e I. A. Universidad de Granada Rafael Molina rms@decsai. ugr. es Teléfono: + 34 958 240594 http: //decsai. ugr. es/~rms Abril, 2005 Super resolución

Contenidos • Miembros del equipo • ¿Qué es la super resolución de imágenes y vídeo? • Aplicaciones desarrolladas por nuestro grupo • Algunas publicaciones relevantes • Proyectos de investigación subvencionados relacionados con SR. • Conferencias, libros y divulgación en medios • Colaboradores • Información adicional Rafael Molina Super resolución 2

I. Miembros del equipo 1. Catedrático: Dr. Rafael Molina Soriano, 2. Prof. Titular: Dr. Javier Mateos Delgado, 3. Profs. Titulares de E. U. : Dr. M. Vega y Dr. Antonio López y S. Villena, 4. Prof. Asociado: Dr. Javier Abad, 5. Becarios (FPU y asociados a proyectos): Luis Álvarez, José Garrido Carrillo. 6. Visitantes: Dácil Barreto dos Santos. Rafael Molina Super resolución 3

II. ¿Qué es la super resolución? El objetivo de la super resolución de imágenes y video es la obtención de una imagen de alta resolución a partir una o varias imágenes de baja resolución. Veamos algunos ejemplos: Rafael Molina Super resolución 4

Ejemplo I: Super resolución a partir de imágenes estáticas (http: //www. robots. ox. ac. uk/~improofs) Rafael Molina Super resolución 5

A partir de las imágenes anteriores se puede obtener. . . Interpolación bilineal Replicación de píxeles Método de super resolución Rafael Molina Super resolución 6

Ejemplo II: Super resolución a partir de imágenes estáticas (modelo desarrollado por nuestro grupo) Entradas Cuatro imágenes de baja resolución Rafael Molina Duplicación de píxeles de una imagen Nuestro método de super resolución combinando las cuatro imágenes Super resolución 7

Ejemplo III: Super resolución a partir de vídeo comprimido (desarrollado por nuestro grupo) Interpolación de la misma secuencia observada en baja resolución Sección de una secuencia de alta resolución Rafael Molina La misma sección obtenida por nuestro método de super resolución Super resolución 8

En resumen: Es posible mejorar la resolución espacial a partir de imágenes observadas de baja resolución y … Rafael Molina Super resolución 9

… también en secuencias de vídeo Rafael Molina Super resolución 10

¿Qué hace posible la super resolución? Una CCD con 8 x 8 píxeles Dos CCDs con 8 x 8 píxeles donde NO es posible la SR. Rafael Molina Super resolución Una CCD con 16 x 16 píxeles Dos CCDs con 8 x 8 pixeles donde SI es posible la SR. 11

Idea subyacente a la SR para imágenes estáticas Varias imágenes de baja resolución de la misma escena con desplazamiento sub-píxel entre ellas. Tenemos cuatro CCDs con este tamaño de píxel. Símbolos Rafael Molina Super resolución Nuevo tamaño de píxel 12

Idea subyacente a la super resolución con objetos en movimiento tiempo t+1 tiempo t El problema es mucho más complejo ya que ahora diferentes objetos se pueden mover con diferentes movimientos. Rafael Molina Super resolución 13

III. Aplicaciones desarrolladas por nuestro grupo Para imágenes estáticas Imagen de tamaño 128× 64 interpolada de una imagen observada 32× 16 Reconstrucción con sólo una imagen de tamaño 32 x 16 Reconstrucción con dos imágenes de tamaño 32 x 16 Reconstrucción con cuatro imágenes de tamaño 32 x 16 Reconstrucción con ocho imágenes de tamaño 32 x 16. Reconstrucción con dieciséis imágenes de tamaño 32 x 16 Rafael Molina Super resolución 14

El ejemplo de la página 8 corresponde a software desarrollado por nuestro grupo en el que una secuencia de vídeo en formato QCIF con un bit-rate de 1 Mbps es procesada para obtener una secuencia de vídeo en formato CIF. Reconstrucción por interpolación Rafael Molina Reconstrucción por super resolución Super resolución 15

Otro ejemplo en el que una secuencia de vídeo en color en formato QCIF con un bit-rate de 128 Kbps es procesada para obtener una secuencia de vídeo en formato CIF. Interpolación de la secuencia de baja resolución Resultado obtenido Secuencia original por nuestro método de baja resolución de super resolución Rafael Molina Super resolución 16

IV Algunas publicaciones relevantes (recientes) 1. 2. 3. C. A. Segall, R. Molina, and A. K. Katsaggelos, “High-Resolution Images from Low-Resolution Compressed Video”, IEEE Signal Processing Magazine, vol. 20, no. 3, 37 -48, May 2003. R. Molina, M. Vega, J. Abad, and A. K. Katsaggelos, “Parameter Estimation in Bayesian High-Resolution Image Reconstruction with Multisensors”, IEEE Transactions on Image Processing, vol. 12, no. 12, 1655 -1667, December 2003. C. A. Segall, A. K. Katsaggelos, R. Molina, and J. Mateos, “Bayesian Resolution Enhancement of Compressed Video”, IEEE Transactions on Image Processing, vol. 13, no. 7, 898 -911, July 2004. L. D. Alvarez, J. Mateos, R. Molina, and A. K. Katsaggelos, “High Resolution Images from Compressed Low Resolution Video: Motion Estimation and Observable Pixels”, International Journal of Imaging Systems and Technology, vol. 14, no. 2, 58 -66, August 2004. 5. L. D. Alvarez, R. Molina, and A. K. Katsaggelos, “High Resolution Images from a Sequence of Low Resolution Observations”, in Digital Image Sequence Processing, T. R. Reed (ed. ), ch. 9, CRC Press, 2004. Rafael Molina Super resolución 17

V Proyectos de investigación subvencionados relacionados con SR. 1. Título: Reconstrucción tridimensional de alta resolución en cámaras PET para animales pequeños. 2. Investigador. Principal: Antonio López. 3. Entidad. Financiadora : Instituto de Salud Carlos III 4. Participantes : Universidad de Granada, Inst. de Investigaciones Biomédicas August Pi i Sunyer, Instituto de Fisica Corpuscular de Valencia, Instituto de Óptica de Madrid, Universidad Autónoma de Madrid y Universidad Politécnica de Madrid. 5. Financiación : 18. 400 € (para la Universidad de Granada) 6. Período: 2005 -2007 Rafael Molina Super resolución 18

1. Título: Reconstrucción de alta resolución de imágenes y vídeo 2. Investigador. Principal: Rafael Molina 3. Entidad. Financiadora : Ministerio de Educación y Ciencia (acción Integrada) 4. Participantes : Universidad de Granada, Universidad de Ioannina 5. Financiación : 11. 000 € (para la Universidad de Granada) 6. Período: 2005 -2006 Rafael Molina Super resolución 19

1. Título: Superresolución a partir de secuencias de imágenes de baja calidad espacio-temporal 2. Investigador. Principal: Javier Mateos 3. Entidad. Financiadora : Ministerio de Ciencia y Tecnología 4. Participantes : Universidad de Granada. 5. Financiación : 68. 080, 00 € (para la Universidad de Granada) 6. Período: 2004 -2006 Rafael Molina Super resolución 20

1. Título: Computational and Information Infraestructure in the Astronomical Datagrid 2. Investigador. Principal: Rafael Molina 3. Entidad. Financiadora : UE, Acción Costs 4. Participantes : Diferentes países a nivel europeo. 5. Financiación : 60. 000 € por año 6. Período: 2000 -2005 Rafael Molina Super resolución 21

1. Título: Imagen médica molecular y multimodalidad (IM 3). Análisis y Tratamiento de Imagen médica 2. Investigador. Principal: Rafael Molina 3. Entidad. Financiadora : Redes tácticas de grupos del Instituto Carlos III 4. Participantes : Diferentes centros de investigación nacionales. 5. Financiación : 21. 731, 95 € por año 6. Período: 2003 -2005 Rafael Molina Super resolución 22

1. Título: Obtención de imágenes y vídeo de alta resolución a partir de secuencias de vídeo comprimidas de baja resolución 2. Investigador. Principal: Rafael Molina 3. Entidad. Financiadora : Comisión Interministerial de Ciencia y Tecnología 4. Participantes : Universidad de Granada. 5. Financiación : 60. 000 € 6. Período: 2001 -2003 Rafael Molina Super resolución 23

VI. Conferencias, libros y divulgación en medios Conferencias plenarias invitadas (recientes) 1. Rafael Molina “Super resolution of Images and Video”, En Advanced Concepts for Intelligent Vision Systems , (ACIVS 2005). Brujas, septiembre 2005. http: //acivs. org/acivs 2005/ 2. Rafael Molina “Titulo por determinar” En International Conference on Super Resolution Imaging. Hong Kong, Agosto 2005. http: //hkumath. hku. hk/~math/event/Super/home. htm Rafael Molina Super resolución 24

Libros en preparación 1. A. K. Katsaggelos, R. Molina, and J. Mateos , Super Resolution of Images and Video. En preparación, 2006. Noticias en medios de Comunicación 1. Periódico Ideal, 22 de junio de 2004 Rafael Molina Super resolución 25

VII. Colaboradores (en SR) • Prof. A. K. Katsaggelos, Nortwestern University (Evanston, Illinois), Director Centro Motorola para Comunicaciones. • Prof. F. Murtagh, Universidad de Londres • Prof. N. Galatsanos. Universidad de Ioannina (Grecia) VIII. Información adicional Visitar la página web del grupo http: //decsai. ugr. es/vip Rafael Molina Super resolución 26