Les systmes de recommandation NEGRE Elsa Universit ParisDauphine

Les systèmes de recommandation NEGRE Elsa Université Paris-Dauphine Elsa. Negre@dauphine. fr NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 2 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Un système de recommandation – Quèsaco? l Un système de recommandation (RS) aide les utilisateurs qui n'ont pas suffisamment d'expérience ou la compétence nécessaire pour évaluer le nombre, potentiellement important, d’alternatives offertes par un site (web). l Dans leur forme la plus simple les RS l recommandent à leurs utilisateurs des listes personnalisées et classées d'articles l fournissent aux consommateurs des renseignements pour les aider à décider quels articles acheter l Les articles peuvent être : l musique, livres, films, … l De manière générale, on parle d’items 3 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Un système de recommandation – Quèsaco? (2) l l Problématique : estimation de scores pour des articles non encore évalués Définition [Hill+: CHI’ 95] : l Soit l l C : ensemble de tous les utilisateurs S : ensemble de tous les articles possibles u : fonction d’utilité d’un article s à l’utilisateur c Alors, choisir l’article s’ non encore évalué de S qui maximise l’utilité de chaque utilisateur c de C 4 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 5 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les méthodes les plus utilisées l [La personnalisation - Personalized recommendations] l Le filtrage collaboratif – Collaborative filtering l Les recommandations basées sur le contenu – Content-based l Les approches hybrides 6 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les méthodes les plus utilisées (2) Personalized recommendations 7 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les méthodes les plus utilisées (3) Collaborative: "Dites-moi ce qui est populaire parmi mes pairs" 8 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les méthodes les plus utilisées (4) Content-based: “Montrez-moi plus que ce qui ressemble à ce que j’ai aimé" 9 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les méthodes les plus utilisées (5) Hybrid: combinaisons de différentes entrées et/ou composition de différents mécanismes 10 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 11 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Filtrage collaboratif Collaborative: "Dites-moi ce qui est populaire parmi mes pairs" 12 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Filtrage collaboratif - Présentation l Les systèmes basés sur le filtrage collaboratif produisent des recommandations en calculant la similarité entre les préférences d’un utilisateur et celles d’autres utilisateurs l De tels systèmes ne tentent pas d’analyser ou de comprendre le contenu des items à recommander l Ils sont capables de suggérer de nouveaux items à des utilisateurs qui ont des préférences similaires à d’autres l La méthode consiste à faire des prévisions automatiques (filtrage) sur les intérêts d'un utilisateur en collectant des avis de nombreux utilisateurs (collaborateurs). L'hypothèse sous-jacente de cette approche est que ceux qui ont accepté (aimé qqch) dans le passé ont tendance à accepter (aimer qqch) de nouveau dans l'avenir. 13 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Filtrage collaboratif Mécanisme l l Idée : Essayer de prédire l'opinion de l'utilisateur qu’il aura sur les différents items et être en mesure de recommander le «meilleur» item à chaque utilisateur en fonction de : des goûts/avis précédents de l'utilisateur et des avis d'autres utilisateurs qui lui sont semblables Mécanisme : 1. Un grand groupe de préférences d’utilisateurs sont enregistrées 2. Un sous-groupe d’utilisateurs est repéré dont les préférences sont similaires à celles de l'utilisateur qui cherche la recommandation 3. Une moyenne des préférences pour ce groupe est calculée 4. La fonction de préférence qui en résulte est utilisée pour recommander des options à l'utilisateur qui cherche la recommandation 5. La notion de similitude doit être définie d'une certaine façon NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 l 14

How collaborative filtering works? “People who liked this also liked…” abcd How it works Item to Item User to User NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 Source : Bracha Shapira User-to-User § Les recommandations sont faites en trouvant des utilisateurs ayant des avis similaires. Jane et Tim aiment tous les deux l’Item 2 et détestent l’Item 3; il semble qu’ils ont des avis similaires, ce qui suggère qu’en général Jane et Tim sont du même avis. Donc, l’Item 1 est une bonne recommandation pour Tim. Cette approche n’est pas adaptée pour des millions d’utilisateurs. Item-to-Item § Les recommandations sont faites en trouvant les items qui ont le même intérêt pour plusieurs utilisateurs. Tom et Sandra aiment l’Item 1 et l’Item 4. Cela suggère que, en général, les utilisateurs qui aiment l’Item 4 aimeront aussi l’Item 1, donc l’Item 1 pourra être recommander à Tim. Cette approche s’adapte à 15 des millions d’utilisateurs et des millions 15 d’items.

Filtrage collaboratif – Techniques utilisées l Similarité : l l Sélection du voisinage l l Neighbourhood-based algorithms (k. NN, …) Rating Prediction l l l Pearson’s correlation coefficients between 2 users, Cosinus similarity measure SVD – Matrix Factorization LSA Association rules … 16 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Filtrage collaboratif – Avantages l l l Utilise des recommandations d’autres utilisateurs (score) pour évaluer l’utilité des items l'essentiel est de trouver des utilisateurs ou groupes d'utilisateurs dont les intérêts correspondent à l'utilisateur courant Plus il y a d’utilisateurs, plus il y a de scores : meilleurs sont les résultats 17 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Filtrage collaboratif – Inconvénients l Trouver des utilisateurs ou groupes d’utilisateurs similaires est difficile l cold start problem – démarrage à froid l Nouvel utilisateur = Pas de préférences l Nouvel item = Pas de score l Faible densité de la matrice utilisateur/score l Évolutivité: l l dans les systèmes avec un grand nombre d‘items et d'utilisateurs, le calcul croît linéairement; des algorithmes appropriés sont nécessaires Portfolio Effect: Non Diversity Problem l Il n'est pas utile de recommander tous les films avec Antonio Banderas à un utilisateur qui a aimé l'un d'eux dans le passé l Sécurité l Privacy NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 18

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 19 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Basée sur le contenu Content-based: “Montrez-moi plus que ce qui ressemble à ce que j’ai aimé" 20 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Basée sur le contenu – Présentation l Pour les recommandations basées sur le contenu, le système essaie de recommander des items qui correspondent au profil de l'utilisateur. l Le profil est basé sur les items que l’utilisateurs a aimé dans le passé ou sur les intérêts qu’il a explicitement définis. l Un RS basé sur le contenu fait coïncider le profil de l’item avec le profil de l’utilisateur pour décider de sa pertinence pour l’utilisateur. 21 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Basée sur le contenu – Exemple update Read New books Match Recommender Systems 22 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 User Profile recommendation 22

Basée sur le contenu Techniques l l Ces systèmes utilisent le plus souvent un algorithme de “machine learning” pour obtenir un profil des préférences de l’utilisateur à partir d’exemples basés sur une description du contenu. … 23 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Basée sur le contenu – Avantages l Recommander des items similaires à ceux que les utilisateurs ont aimé dans le passé l Le profil des utilisateurs est la clé l Le matching entre les préférences de l'utilisateur et les caractéristiques des items fonctionne aussi pour les données textuelles l Pas besoin de données sur les autres utilisateurs. l Pas de problème de démarrage à froid ou de faible densité l Possibilité de faire des recommandations à des utilisateurs avec des goûts « uniques » . l Possibilité de recommander de nouveaux items ou même des items qui ne sont pas populaires 24 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Basée sur le contenu – Inconvénients l Tous les contenus ne peuvent pas être représentés avec des mots-clés (exemple: les images, …) l Des items représentés par le même ensemble de mots-clés ne peuvent pas être distingués l Les utilisateurs avec des milliers d'achats/items sont un problème l Nouvel utilisateur : pas d’historique l “Over-specialization” : limitation aux items similaires l Les profils utilisateurs… l Pour produire des recommandations précises, l'utilisateur doit fournir un « feedback » sur les suggestions retournées - les utilisateurs n'aiment pas… l Entièrement basé sur les scores d’articles et de sujets d'intérêt: moins il y a de scores, plus l’ensemble de recommandations possibles est limité. l Il faut faire attention à l’évolution des intérêts de l’utilisateur et les prendre en compte l Impossible d’exploiter les jugements des autres utilisateurs NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 25

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 26 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Hybride Hybrid: combinaisons de différentes entrées et/ou composition de différents mécanismes 27 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Hybride - Présentation l Combinaison du filtrage collaboratif et basé sur le contenu l 3 approches : l l l Monolitique Parallèle Pipeline 28 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 29 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Quelques variations… l Knowledge based RS l l l Cluster Models l l l Utilise les informations des utilisateurs et des items L'interaction conversationnelle est utilisée pour établir les préférences des utilisateurs : « plus comme ci » , « moins comme ça » , « aucun de ceux là » , … Crée des clusters ou des groupes Met un utilisateur dans une catégorie La classification simplifie la tâche de “matching” entre utilisateurs Plus d'évolutivité et de performances Un peu plus précis que le filtrage collaboratif classique Graph-based method l l Principe de la propagation d’activité Utilise les chemins de longueur > 3 pour recommander des items 30 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 31 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Evaluation des systèmes de recommandation l Mean Absolute Error (MAE) calcule l’écart entre les scores prédits et les scores réels. l Root Mean Square Error (RMSE) , similaire à la MAE, mais met l’accent sur les plus grands écarts l Rappel et précision l Le « rank score » est défini comme le rapport entre le score des items corrects et le meilleur score théorique réalisable pour l'utilisateur l … 32 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 33 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les systèmes de recommandation en BD et OLAP Recommandations en bases de données : l Etant donnés : l Un log de requêtes l Une base de données l Une session courante l Soit l Q : ensemble de requêtes l S : ensemble de sessions l u : fonction d’utilité d’une requête q pour une session s l Alors choisir la requête q’ non encore évaluée de Q qui maximise l’utilité pour chaque session s de S NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 l 34

Les systèmes de recommandation en BD et OLAP (2) l Approches basées sur : l Exploitation du profil d’utilisation (Cuppens+: DSS’ 91, Jerbi+: DAWAK’ 09) l Analyse pilotée par la découverte (Sarawagi: VLDB’ 99 -VLDB’ 00 -VLDB’ 01, Cariou+: DAWAK’ 08, Giacometti+: IJDWM’ 09) l Exploitation du log de requêtes (Sapia: DMDW’ 99 DAWAK’ 00, Chatzopoulou+: SSDBM’ 09, Yang+: ICDE’ 09, Negre: 09) 35 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Les systèmes de recommandation en BD et OLAP (3) l Requête : {Rouge}X{Centre, Limousin}X πAnnée(Temps)X{Montant} l Références : {<Montant, Rouge, Centre, 2007>, <Montant, Rouge, Limousin, 2007> <Montant, Rouge, Centre, 2008>, <Montant, Rouge, Limousin, 2008>} l Résultats : 36 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Exploitation du profil 37 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Analyse pilotée par la découverte 38 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Exploitation du log de requêtes 39 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Plan l l Qu’est ce qu’un système de recommandation ? Les méthodes les plus utilisées l l l l Filtrage collaboratif Basée sur le contenu Hybride Quelques variations Un petit mot sur l’évaluation La recommandation en BD et OLAP Conclusion et perspectives 40 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Conclusion l l l Les systèmes de recommandation ont leurs racines dans de nombreux domaines de recherche : l Recherche d’information l Filtrage d’information l Classification de texte l … Ils utilisent des techniques issues de différents domaines : l Machine learning l Data mining l … Et abordent différents sujets : l Algorithmes de recommandation l Approches collaboratives, basées sur le contenu, hybrides, … l Evaluation des RS l … 41 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Perspectives l Amélioration des techniques de filtrage collaboratif l l Multicriteria recommender systems l l l l Traitement du langage naturel, Dialog-based systems for interactive preference, and Passage des RS classiques aux “conseillers virtuels”. Les techniques de recommandation vont fusionner avec d’autres champs de recherche l l Prendre en compte les aspects temporel, géographiques, … Contexte émotionnel (“Je suis tombée amoureuse d’un garçon. Je veux voir un film romantique. ") … Group recommendations Améliorer les modèles d’interactions l l Exploiter les scores multicritères qui contiennent de l’information contextuelle, pour améliorer les recommandations Context awareness l l Utiliser plus de sources de données (tagging data, demographic information, and time data) Combiner des techniques … User modeling Personalized reasoning … … 42 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

Questions ? 43 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012