Agentes na Internet Patrcia Nunes Pereira Professor Geber

Agentes na Internet Patrícia Nunes Pereira Professor: Geber Ramalho

Tópicos u Motivação u Introdução u Categorias de Agentes u Foco: Filtragem de Informação v IR - Recuperação de Informação v Categorização de Textos v Exemplos u Discussão u Referências e Links

Motivação u Rápido crescimento do volume de informações disponível na Internet u Dificuldade em localizar documentos relevantes v Alto consumo de tempo v Síndrome da Nau perdida TOO MUCH INFORMATION = NO INFORMATION

Introdução u Bum da Internet: Þ Grande volume de informação, diversificada, não estruturada, multilíngue, . . . u Agentes inteligentes na Internet: Þ Automatizar a busca e recuperação de informações

Categorias de Agentes u Agentes de Busca u Agentes que Filtram Informação u Agentes de Entrega Off-line u Agentes de Notificadores u Agentes de Comércio na Web u Chatterbots u. . .

Agentes de Busca Search Engine Consulta Servidor de Consultas Browser Resposta Base de Índices Usuário )--( Robô Busca Indexing Engine Web

Agentes de Busca u Atributos: Precisão X Recall u Características: v Esforço consciente para encontrar informação v Entrada: palavras chave v Descarta links menos relevantes v Não há garantia da qualidade da informação u Vários exemplos (robot-based): u Web. Crawler, Lycos, Altavista, . . .

Agentes que Filtram Informação Browser Servidor News Artigos Indexados Perfil do usuário Indexing Engine Agente de Filtragem Internet

Filtragem de Informação u RI + Interesses do usuário = Informação Relevante u Perfil do usuário: Estático ou Dinâmico u Problemas: v Indexação; v Linguagem Natural: resolução de fenômenos lingüísticos u Sinonímia (R=Gerador de sinônimos) u Polisemia (R=Indexação por significado) Objetivo: Evitar a perda de documentos relevantes e a recuperação de documentos irrelevantes!

Filtragem de Informação u Tentativa de resolver parcialmente os problemas associados à recuperação de informação dos keyword-based systems. u Características: v Extração dos conceitos salientes do conjunto de documentos v Aprendizado do perfil do usuário

Filtragem de Informação (Extração de Conceitos salientes em Documentos) u Abordagem PLN: Sumarização de Documentos v Formato particular éSelf-Consuming v Heurísticas de freqüência das palavras: u TFIDF Associa pesos às palavras TFIDF(w) = TF(w) * (LOG(|D|) - LOG(DF(W))) u HT Paradigm u Sumarização Hierárquica éSolução para Polisemia

Categorização de Textos u Tarefa bastante custosa, se manual u Aplicação do domínio de ML u Categorias pré-definidas u Suporte à IR v Rápido crescimento de informações textuais na Web íNecessidade de processamento u Abordagem ML para classificação: åUsa indução sobre amostras pré-classificadas

Categorização de Textos u Visão unificada: v Categ. Textos = ML + IR + Conhec. Adicional Texto inicial Representação Inicial Conhecimento Adicional Categorização Indução Redutor de Dimensão ou Seleção de Características Representação Final

Categorização de Textos Construção indutiva de categorizadores u Textos éExemplos para aprendizagem u Aprendizado: v Numérico (maioria)u Ex. : Redes Neurais, Classificadores Probabilísticos, Regressão Linear, . . . v Simbólico - ID 3, Espaço de Versões, . . . u Características a serem consideradas: modularidade, inteligibilidade, resistência a ruídos, . . .

Categorização de Textos Impacto do conhecimento u Três faces: v IR e Aprendizagem Numérica: extraído dos dados v Conhecimento do Domínio: aplicação específica v Raciocínio Indutivo: fonte de conhecimento u Conhecimento para: v Gerar indexação v Agrupar categorias v Discriminar candidatas a palavras-chave

Filtragem de Informação Exemplos u BORGES (A. F. SMEATON, 1996) v Usuário precisa especificar palavras ou frases descrevendo suas necessidades de informação v Oferece solução para Polisemia - Word. Net v Extensão do perfil do usuário com os termos relacionados ao significado sem ambigüidade

Filtragem de informação Exemplos u Web. Watcher (Web. Watcher 1996) v Usuário identifica palavras-chave v Duas páginas estão relacionadas se há uma terceira página que aponta para elas v Medida de similaridade: mutual information

Filtragem de informação Exemplos u LAW (Bayer 1995) v Monitora ações do usuário para distinguir documentos relevantes v Monta o perfil do usuário v Robô autônomo busca por documentos relevantes þSugere links interativamente

Filtragem de Informação Exemplos - Crítica u Focam no aprendizado do perfil do usuário u Baseados no modelo espaço-vetorial u Não há muitas considerações sobre técnicas de PLN extensivas u Virtualmente impossível isolar informações relevantes

Filtragem de Informação Exemplo u SAMURAI (H. Leong, S. Kapur, O de Vel, 1997) v Módulos: u Sumarização de Texto u Monitoração e Modelagem do usuário u Search Engine = Web Search + Perfil do Usuário u Filtragem de links irrelevantes u Compilação dos resultados

Discussão u O que é um Agente “inteligente”? u Qual o futuro dos Agentes no mundo real?

Links u http: //www. ece. curtin. edu. au/~saounb/bargainbot/ articles. html u http: //www. firefly. com u http: //www. sics. pe/ps/abc/survey. html u http: //www. dsv. su. se/~fk/if_Doc/Int. Filter. html u http: //www. lcs. media. mit. edu/groups/agents/ resources. html u http: //www. cs. umbc. edu/agents u http: //www. iit. nrc. ca/bibliographies/ml-applied-toir. html

Referências [1] Gleaning Information from the Web: Using Syntax to Filter out Irrelevant Information, R. Chandrasekar e B. Srinivas, University of Pennsylvania, Philadelphia, PA 19104, 1997; u [2] Text Summarisation for Knowledge Filtering Agents in Distributed Heterogenous Enviroments, H. Leong, S. Kapur, O de Vel, James Cook, University of North Queensaland, Austrália, 1997; u [3]A Framework for Comparing Text categorization Approaches, Isabelle Moulinier, LAFORIA-IBPCNRS, Université Paris VI, France, 1997 u

Referências [4]Agent Sourcebook, Alper K. , Cagland e colin G. harrison; u [5] Internet Agents, Fah-Chun Cheong, MIT Media. Laboratory, Cambridge, MA, 1994; u [6]Learning and revision User Profiles: u The Identification of Interesting Web Sites, Michael , Pazzani, Daniel Billsus, University of California, Irvine, CA 92697, 1997 u [7] Learning Information Retrieval Agents: Experiments with Automated web Browsing, Marko balabanovic e Yoav Sholan, Stanford University, 1995 u