Recuperao de Informao Indexao de Bases de Documentos

Recuperação de Informação Indexação de Bases de Documentos Flavia Barros

Roteiro Métodos de Indexação de Documentos n n n Arquivos invertidos Arquivos de assinaturas Bitmaps

Arquivos Invertidos Arquivo de índices invertidos n n é um “mecanismo” que utiliza palavras para indexar uma coleção de documentos a fim de facilitar a tarefa de busca Estrutura de um arquivo invertido n Vocabulário w É o conjunto de todas as palavras distintas no texto n Ocorrências w Lista que contém toda a informação necessária sobre cada palavra do vocabulário n documentos onde a palavra aparece, sua posição no texto, freqüência, etc…

Arquivos Invertidos Vocabulário Conjunto de termos que aparecem nos documentos n n Após uso de stemming, stop-words, . . Heaps’ law w O vocabulário cresce na ordem de O(n ), onde é uma constante entre 0. 4 e 0. 6 w Ex. : Trec tem 1 GB de documentos e um vocabulário de 5 Mb Deve ser mantido em uma estrutura separada n Cada entrada do vocabulário contém tipicamente um termo e um ponteiro para a lista de ocorrências do termo

Arquivos Invertidos Listas de Ocorrência Cada ocorrência armazena informações que dependem n n do modelo de RI e do tipo de consulta permitida pelo sistema Exemplos de listas de ocorrência: n n n para o modelo booleano clássico, é necessário armazenar apenas a lista de documentos onde o termo aparece para o modelo vetorial, a ocorrência deve armazenar a freqüência do termo nos documentos para consultas por proximidade, a ocorrência deve manter a posição dos termos nos documentos

Arquivos Invertidos Exemplo Documento 1 2 3 4 5 6 Texto Please porridge hot, pease porridge cold Pease porridge in the pot Nine days cold Some like it hot, some like it cold Some like it in the pot Nine days old

Arquivos Invertidos Exemplo 1 Documento 1 2 3 4 5 6 Texto Please porridge hot, pease porridge cold Pease porridge in the pot Nine days cold Some like it hot, some like it cold Some like it in the pot Nine days old Vocabulário Listas de documentos onde termo aparece Arquivo Invertido No Termo Docs 1 2 3 4 5 6 7 8 9 10 11 12 13 cold days hot in it like nine old pease porridge pot some the 1, 3, 1, 2, 4, 4, 3, 3, 1, 1, 2, 4, 2, 4 6 4 5 5 5 6 6 2 2 5 5 5

Arquivos Invertidos Exemplo 1 Documento 1 2 3 4 5 6 Arquivo Invertido Texto Please porridge hot, pease porridge cold Pease porridge in the pot Nine days cold Some like it hot, some like it cold Some like it in the pot Nine days old Vocabulário Ocorrências e posições No Termo (Docs; Pos) 1 2 3 4 5 6 7 8 9 10 11 12 13 cold days hot in it like nine old pease porridge pot some the (1; 6), (4; 8) (3; 2), (6; 2) (1; 3), (4; 4) (2; 3), (5; 4) (4; 3, 7), (5; 3) (4; 2, 6), (5; 2) (3; 1), (6; 1) (3; 3), (6; 3) (1; 1, 4), (2; 1) (1; 2, 5), (2; 2) (2; 5), (5; 6) (4; 1, 5), (5; 1) (2; 4), (5; 5)

Arquivo Invertido com TF-IDF Arquivo Invertido Dj, tfj Termos df computer 3 D 7 , 4 database 2 D 1 , 3 4 D 2 , 4 1 D 5 , 2 science system • Entrada do vocabulário armazena a freqüência do termo na base • Cada ocorrência indica o documento onde o termo aparece e a freqüência do termo no documento

Arquivo Invertido com TF-IDF Construção Texto dos documentos é pre-processado para extrair os termos, que são armazenados de forma seqüencial juntamente com o IDs documentos

Arquivo Invertido com TF-IDF Construção Em seguida, o arquivo gerado é ordenado lexicograficamente (=ordem alfabética)

Arquivo Invertido com TF-IDF Construção Múltiplas entradas do termo para o mesmo documento são então agrupadas e a informação da freqüência é adicionada Tf ij

Arquivo Invertido com TF-IDF Construção Busca em um arquivo invertido sempre começa a partir do vocabulário n Assim, é sempre melhor armazenar o vocabulário em um arquivo separado

Arquivo Invertido com TF-IDF Construção O arquivo é então separado em duas partes: vocabulário e ocorrências vocabulário DF ocorrências TF

Arquivos Invertidos Busca O algoritmo básico segue três passos: n Busca do vocabulário w As palavras ou padrões presentes na consulta são pesquisados no vocabulário do arquivo n Recuperação de ocorrências w A lista de ocorrências de todas as palavras encontradas é recuperada n Manipulação de ocorrências w As ocorrências são processadas para resolver a consulta w De acordo com o modelo de RI

Arquivos Invertidos Busca As estruturas mais usadas para armazenar o vocabulário são tabelas hash, árvores e árvores-B A alternativa mais simples é armazenar as palavras em ordem alfabética e fazer pesquisa binária n n Gasta menos espaço Custo de tempo da ordem de O(log n) w N=tamanho do vocabulário

Arquivos Invertidos Consulta com apenas uma palavra n n a busca simplesmente retorna a lista de ocorrências da palavra que será utilizada na ordenação e recuperação dos documentos Consultas de contexto são um pouco mais complexas. . .

Consultas com Contexto Grupos Nominais Para possibilitar consultas com GNs, os sistemas de RI devem ter um arquivo invertido que armazena as posições de cada palavra no documento Processo n n Recuperar documentos que contêm as palavras da consulta e as posições de cada palavra nos docs fazer a intersecção dos documentos w Para eliminar redundâncias n verificar a ocorrência de palavras contíguas w E melhor iniciar a verificação de contigüidade com a palavra menos comum no grupo

Consultas com Contexto Grupos Nominais Documento 1 2 3 4 5 6 Arquivo Invertido com posições dos termos Texto Please porridge hot, pease porridge cold Pease porridge in the pot Nine days cold Some like it hot, some like it cold Some like it in the pot Nine days old Vocabulário Ocorrências e posições No Termo (Docs; Pos) 1 2 3 4 5 6 7 8 9 10 11 12 13 cold days hot in it like nine old pease porridge pot some the (1; 6), (4; 8) (3; 2), (6; 2) (1; 3), (4; 4) (2; 3), (5; 4) (4; 3, 7), (5; 3) (4; 2, 6), (5; 2) (3; 1), (6; 1) (3; 3), (6; 3) (1; 1, 4), (2; 1) (1; 2, 5), (2; 2) (2; 5), (5; 6) (4; 1, 5), (5; 1) (2; 4), (5; 5)

Consultas com Contexto Busca com Proximidade das Palavras Usa uma abordagem semelhante à busca com grupos nominais n n Encontra todos os documentos em que todas as palavras da consulta ocorrem Em um contexto que satisfaz as restrições de proximidade Durante a busca pela posição das palavras restantes n n Encontra a posição mais próxima de ki a p E verifica se está dentro da distância máxima permitida

Consultas Booleanas Busca em Arquivos Invertidos Palavras combinadas com operadores booleanos Cada consulta define uma árvore sintática: n n Folhas são termos simples isolados Nós internos são operadores booleanos AND Consulta: Recuperação AND (Informação OR Documentos) Recuperação Informação OR Documentos

Consultas Booleanas Busca com Arquivos Invertidos Busca no arquivo invertido percorre a árvore sintática da consulta a partir das folhas n n Folhas correspondem à buscas por palavras isoladas no arquivo invertido Nós internos definem operadores sobre os conjuntos de documentos recuperados

Consultas Booleanas Busca com Arquivos Invertidos Palavra isolada n Recupera documentos contendo essa palavra OR n Recursivamente recupera e 1 e e 2, e faz a união dos resultados AND n Recursivamente recupera e 1 e e 2, e faz a interseção dos resultados BUT n Recursivamente recupera e 1 e e 2, e utiliza o conjunto complementar dos resultados

Consultas Booleanas Busca com Arquivos Invertidos AND Consulta: Recuperação AND (Informação OR Documentos) OR Recuperação Informação AND OR Docs: 1, 2, 4, 6 Docs: 1, 4 Documentos Docs: 1, 2, 4, 6 Docs: 2, 4, 5 Docs: 1, 2, 4, 5 Documentos recuperados

Arquivos de Assinaturas Estrutura de indexação baseada em vetores binários: n Cada palavra no vocabulário da base de documentos é mapeada em um vetor de B-bits w Sua assinatura n O mapeamento é feito pelo uso de uma ou mais funções de hash, com duas possibilidades w Uma função única que define os valores de todos os bits de uma vez, ou w Uma função diferente para definir o valor de cada bit do vetor O livro não traz exemplos de funções de hash

Arquivos de Assinaturas Vocabulário da Base de Documentos Os valores das assinaturas raramente coincidem n n para vetores com um tamanho adequado ao tamanho do vocabulário Para boas funções de hash Porém, os valores dos bits na vertical podem coincidir n Problemas de precisão na recuperação Termos Assinaturas com 16 bits

Arquivos de Assinaturas Assinatura dos Documentos n A assinatura de cada documento pode ser obtida com base nas assinaturas das suas palavras n Aplicando o operador OR às assinaturas dos termos que aparecem no documento Documento Texto Assinatura

Arquivos de Assinaturas Consultas Procedimento para consultas com uma palavra: n n A palavra é mapeada na sua assinatura com as mesmas funções utilizadas no mapeamento do vocabulário da base Realiza-se uma busca seqüencial na base de índices documentos por documentos relevantes Formalização: n n n Seja Bj a assinatura do documento Dj Seja P a assinatura da palavra da consulta Então recupere todos os documentos em que P AND Bj = P w Esses documentos provavelmente contêm a palavra da consulta Q

Arquivos de Assinaturas Consultas Em outras palavras. . . n n Se qualquer bit com valor = 1 na assinatura da consulta tiver valor = 0 na assinatura do documento, então com certeza o documento não contém a palavra da consulta Se todos os bits 1 da assinatura da consulta também têm valor = 1 no documento, então provavelmente a palavra da consulta está presente no documento

Arquivos de Assinaturas Dificuldades É possível que n n todos os bits =1 na assinatura da consulta tenham valor = 1 no documento também mas o termo não esteja presente no documento (false drop) Probabilidade de false drop é maior para documentos com muitos termos n uma vez que teriam assinatura com muitos bits iguais a 1 Aumentado tamanho da assinatura, diminuímos a probabilidade de false drop

Bitmaps Estrutura que também trabalha com valores binários, porém utiliza um procedimento diferente das assinaturas Cria uma matriz de termos (Ki) x documentos (Dj) da base n n Se o termo Ki está presente no documento Dj, então elemento ij da matriz é =1 caso contrário, ij=0 Implementa o modelo booleano para RI

Bitmaps - Exemplo • Conjunto de n documentos indexados através de m termos K 1 K 2. . . Km D 1 D 2. . Dn 1 1. . 0 0 1 1. . . 0. . 1

Bitmaps Consultas Para consultas com um termo simples n pesquisa o vetor do termo (linha da matriz) de forma seqüencial w Compara bit n retorna os documentos com valor do bit=1 Consultas booleanas nesse esquema de indexação também são simples n n n Recupera as linhas dos termos da consulta Aplica o operador booleano Só depois faz a pesquisa seqüencial bit a bit

Bitmaps – Exemplo de Consulta • Considere a consulta Q = K 1 AND K 2 D 1 D 2. . . Dn K 1 1 1. . 0 K 2 0 1. . 1 Operação booleana AND com os vetores K 1 AND K 2 D 1 D 2. . . Dn 0 1. . 0 • Uma pesquisa seqüencial no vetor K 1 AND K 2 irá retornar os documentos que satisfazem a consulta

Bitmaps Método ocupa muito espaço desnecessário para termos pouco comuns n Maioria dos bits iguais a 0 É ineficiente para adicionar e deletar documentos n n Uma vez que se deve verificar a presença ou ausência de todos os termos no documento Nos arquivos invertidos, trabalha-se apenas com os termos que aparecem de fato no documento

Conclusões Arquivos invertidos são mais usados em sistemas de RI n uma vez podem ser usados para resolver uma grande quantidade de tipos de consultas Arquivos de assinaturas e Bitmaps são usados basicamente para consultas com termos simples e consultas booleanas Arquivo de assinaturas é muito estudado, mas pouco usado