Moteurs de Recherche Vincent VANDENBUSSCHE DEA SIR GR
Moteurs de Recherche Vincent VANDENBUSSCHE DEA – SIR / GR BD Mars 2002
Plan n Introduction n n Crawling n n n Index de texte Classement n n Stockage distribué Indexage n n Sélection Rafraîchissement Stockage n n Fonctionnement Page. Rank Conclusion 2
Introduction – Défis n Taille du Web n n n Plusieurs milliards de pages Croissance exponentielle Plusieurs dizaine de terabytes 3
Introduction – Défis n Rafraîchissement n . com n n 40 % des pages changent chaque jour La demi-vie des pages est de 10 jours Enchevêtrement de liens n nœud de papillon 22 % Pages accessibles depuis le cœur et mais ne donnant pas accès au coeur Cœur : 28 % Pages accessibles depuis le cœur et donnant accès au coeur 22 % Pages donnant accès au cœur mais pas accessible depuis le coeur 4
Introduction – Défis n Moteurs de recherche n n n n n Google : www. google. com Wise. Nut : www. wisenet. com All. The. Web : www. alltheweb. com Lycos : www. lycos. com Altavista : www. altavista. com Northern Light : www. northernlight. com Hot. Bot : www. hotbot. com MSN Search : search. msn. com Teoma : www. teoma. com 5
Introduction – Fonctionnement Entrepôt de pages WWW Crawler(s) Contrôleur Crawl Module Indexage Index texte Module Analyse Index structure Client Module Interrogation Module Classement Index services 6
Crawling – Description n Algorithme : n n n S 0 : ensemble initial d’URLs à récupérer R S 0 Tant que R : n n Récupérer l’URL Télécharger la page correspondante Extraire les URLs de cette page et les ajouter à R Challenges : n n Quelles pages le crawler doit-il télécharger ? Comment le crawler doit-il tenir compte du rafraîchissement des pages ? 7
Crawling – Sélection n Métrique d’importance n Basé sur l’intérêt : IS(P) n n n Basé sur la popularité : IB(P) n n Définir un intérêt : requête d’intérêt Q Quantifier la similarité textuelle entre P et Q Décompte des citations Basé sur la localisation : IL(P) n n Sur le domaine : . com plus important Sur la syntaxe : nombre de slashs 8
Crawling – Sélection n Stratégies de crawl n Crawl & Stop n n n K : nombre de pages à télécharger IK : Kème importance sur la totalité des pages du Web M : nbre de pages téléchargées dont l’importance > IK Performance crawler : (M x 100)/K Crawl & Stop avec seuil n n G : importance seuil H : nombre de pages du Web dont l’importance > G N : nbre de pages téléchargées dont l’importance > G Performance crawler : n n Si K>H : (N x 100)/K Si K<H : (N x 100)/H 9
Crawling – Sélection n Métriques d’ordonnancement n Métrique a priori n n Métrique de localisation IL(P) Métrique de popularité IB’(P) approchée n n Uniquement à partir des pages déjà téléchargées Métrique d’intérêt IS’(A(P)) approchée n n n Métrique d’importance page Métrique d’ordonnancement URL Basée sur le texte de l’ancre pointant vers P Uniquement à partir des pages déjà téléchargées Combinaison de ces métriques n IC(P) = k 1 x IL(P) + k 2 x IB’(P) + k 3 x IS’(A(P)) 10
Crawling – Sélection n 225 000 pages Métrique d’ordonnancement : IB’(P) Stratégies : Crawl & Stop avec seuil pour G = 100 ( H=1400) 11
Crawling – Rafraîchissement n Métrique de rafraîchissement n n n Fraîcheur page P : n À l’instant t : n En moyenne : ge page P : n À l’instant t : n En moyenne : Fraîcheur et âge collection 12
Crawling – Rafraîchissement n Stratégie de rafraîchissement n n n Ressource limitée n n n Uniforme : fréquence f Proportionnelle : i/fi constant e 1 e 2 Résultat n 1/2 x 1/2 = 1/4 1/2 x 1/18 = 1/32 Si l’évolution des pages suit une loi de Poisson, la stratégie uniforme est toujours meilleure que la stratégie proportionnelle quelque soit le nbre de page, leurs fréquences d’évolution et leurs fréquences de rafraîchissement au sens de la métrique de fraîcheur ou d’âge. 13
Crawling – Rafraîchissement n Optimisation du rafraîchissement n n n Nbre de pages : 5 avec fréquence d’évolution respective 1, 2, …, 5. Capacité crawler : 5 pages Evolution selon loi de Poisson 14
Stockage – Défis n Extensibilité n n Modes d’accès n n n Random : module d’interrogation Streaming : module d’indexage et d’analyse Rafraîchissement n n n Distribution de l’entrepôt de pages Massif Fréquent Effacement pages obsolètes 15
Stockage – Distribution n Politique de distribution des pages n n n Méthode d’organisation des pages sur un site n n Uniforme Hashage par intervalle Méthode de rafraîchissement n n n Mode batch ou mode rigide Crawl complet ou partiel En place ou avec image 16
Indexage – Description n Types d’index : n Index de structure (ou de liens) n n Index de contenu (ou de texte) n n Index inversé Index de services n n Stocker les informations de voisinage Index de site Partitionnement d’index : n n Locale Globale 17
Indexage – Index inversé n Définition n n Mot d’indexage Localisation : URL + poids Index inversé : liste des localisations par mot d’indexage Lexique : ensemble des mots d’indexage Challenge n n n Taille Rafraîchissement Format de stockage (compression) 18
Indexage – Distribution Indexeurs Serveurs de requêtes Distributeurs Etape intermédiaire Pages Web Index inversé Etape 2 Etape 1 Statisticiens 19
Classement – Challenge n Présenter les résultats d’une requête de façon efficace n n Taille importante du Web Pages Web pas suffisamment auto-descriptive Utiliser la structure des liens du Web Page. Rank n n Algorithme développé par Page & Brine en 1998 à la base de Google Étendre la notion de citation en prenant en compte l’importance du citant. 20
Classement – Page. Rank n Version théorique n N(i) : nbre de liens sortant de la page i B(i) : nbre de pages citant i Définition récursive du Page. Rank r(i) de i : n Interprétation de r comme vecteur propre n n r 2=0. 286 n r 1=0. 286 r 5=0. 143 Méthode de la puissance itérée r 3=0. 143 r 4=0. 143 21
Classement – Page. Rank 2 n Version pratique n 3 Le Web n’est pas un graphe fortement connexe : n 1 n n 5 4 n Existence de voies sans issue Existence de points d’arrêts Enlever les nœuds sans liens de sortie Donner la possibilité de sortir des voies sans issue 2 3 1 4 n d traduit l’aptitude à l’ennui du surfeur lorsqu’il est bloqué dans une voie sans issue. A partir d’un moment il va décider de repartir d’un autre point. 22
Conclusion n 2 contraintes fortes n n n n Taille Rafraîchissement Heuristiques de crawling Stockage distribué Indexage parallélisé Classement basé sur les liens (Page. Rank) Ce qu’il reste à faire n n Images, vidéos Multiplication des contenus dynamiques 23
Bibliographie n [1] A. Arasu, J. Cho, H. Garcia-Molina, and S. Raghavan. Searching the web. ACM Transactions on Internet Technologies, 1(1), June 2001 n n [2] The Search Engine Showdown www. searchengineshowdown. com [3] B. Murray, A. Moore. Sizing the Internet, White Paper, July 2000 disponible sur www. cyveillance. com 24
- Slides: 24