Pesquisa em imagens combinando informao visual e informao

Pesquisa em imagens combinando informação visual e informação textual

Introdução l. O aumento de quantidade de informação visual utilizada criou a necessidade de novos métodos nas áreas de pesquisa e recuperação de imagens, menos dependentes da intervenção humana.

O problema da interpretação de conteúdos l Na recuperação automática de imagens está sempre presente o problema do semantic gap. l Como remediar este problema?

Algumas propostas anteriores l Utilização de Latent Semantic Indexing (LSI) com anglogramas (Zhao e Grosky). l Associação de emoções a imagens (Colombo et al). l Construção de estruturas de conhecimento (Barnard et al, Benitez e Chang).

A proposta para um protótipo de recuperação de imagens l Baseado no LSI. l Com os objectivos de: Comparar os resultados obtidos com e sem utilização de características de baixo nível; ¡ Verificar a prestação do LSI quando é utilizado com um conjunto de dados desfavorável; ¡ Testar a eficácia de cada uma das características de baixo nível do MPEG-7. ¡

Funcionamento do protótipo l Na fase de indexação é criada uma matriz de termos por documentos e é realizado o LSI sobre essa matriz. l Quando é colocada uma interrogação a matriz é utilizada como num modelo vectorial comum.

Criação da matriz de indexação

O MPEG-7 l Foi criado com o objectivo de promover a integração de anotações provenientes de fontes de dados diversas num único conjunto de estruturas de anotação e facilitar a pesquisa e recuperação eficientes de informação através da utilização destas estruturas.

Características de imagem do módulo XM l. O e. Xperimentation Model é a plataforma de testes dos descritores do MPEG-7. l As suas características são classificadas como sendo relativas à cor ou à textura, mas algumas fornecem também informação espacial.

Características de imagem utilizadas l Scalable Color Descriptor (SCD) l Color Structure Descriptor (CSD) l Color Layout Descriptor (CLD) l Homogeneous Texture Descriptor (HTD) l Edge Histogram Descriptor (EHD)

Ex-votos l Definição: “Um objecto, quase sempre de índole piedosa, que se oferece a Deus ou a um Santo, em cumprimento de um voto. ”

Ex-votos l Não têm um estilo distinto. l Muitas vezes um mesmo santo é representado em diferentes ex-votos com postura e simbologia semelhante.

Dados de teste l Pinturas votivas (e as descrições nelas inscritas) retiradas do livro “Do Gesto à Memória”. l Segundo este livro, na maioria dos casos, os ex-votos escolhidos são constituídos por dois elementos: a representação do suposto milagre e a representação da entidade à qual o agradecimento é destinado.

Conclusões l. O protótipo concebido a partir desta proposta produziu bons resultados com a utilização de texto e de características da imagem em simultâneo, melhorando os resultados obtidos, quer com a utilização de comparação vectorial, quer com a utilização do LSI apenas com texto, para uma grande gama de documentos recuperados.

Conclusões l Na comparação dos desempenhos individuais dos cinco descritores do módulo XM do MPEG-7 usados, o Edge Histogram Descriptor obteve os melhores resultados.

Experiências futuras l Utilizar segmentação. l Utilizar query relevance feedback. l Utilizar outras métricas de distância entre vectores que não o coseno.

Experiências futuras l Verificar os resultados do protótipo com um conjunto de dados em que cor e textura sejam um factor de distinção das imagens mais relevante. l Utilizar como dados de teste documentos que conjuguem anotações textuais com vídeo.