Fouille de donnes issues de capteurs problmatique et

Fouille de données issues de capteurs : problématique et méthodes Pascal Poncelet Pascal. Poncelet@lirmm. fr Journée “Les Capteurs en Agriculture” Paris 18 avril 2014

Le processus d’extraction de connaissances 2

Data Mining ou non ? l NON l OUI Recher le salaire d’un employé Les supporters achètent de la bière le samedi et de l’aspirine le dimanche Interroger un moteur de recherche Web pour avoir des informations sur le Data Mining Regrouper ensemble des données en fonction de la valeur de leurs attributs Contexte général 4

Quelles données ? 5

Clustering § Objectifs : • Apprentissage non supervisé • Un ensemble de points décrits par attributs/dimensions • Structurer les données en classes homogènes. Regrouper les points pour que les données d’un même cluster (ou classe) soient les plus similaires possibles 6

Clustering § Une bonne méthode de regroupement permet de garantir • Une grande similarité intra-groupe • Une faible similarité inter-groupe § Qualité = choix de la mesure de similarité ! § Difficulté : choix de la mesure de similarité, trop d’attributs, classes déséquilibrées 7

Exemples 8

Classification § Objectifs : • Prendre des données « étiquetées » • Découper le jeu de données en deux parties : § jeu d’apprentissage et jeu de test • Définir un modèle à partir du jeu d’apprentissage • Vérifier la validité du modèle sur le jeu de test § Difficulté : Définition du modèle. Trop d’attributs. Classes très déséquilibrées. 9

Evaluation Matrice de coûts Validité du modèle : nombre de cas exacts (=somme de la diagonale) divisé par le nombre total : 14 120/150 = 0. 8

Extraction de motifs Règles d’association – relations entre les objets Les clients qui achètent du pain achètent souvent du chocolat Les clients qui achètent des couches ont tendance à acheter de la bière Les particules de monoxyde de carbone et la température sont fortement corrélés lors de l’hospitalisation des patients 15

Recherche de règles d’association § Items : A, B, C, D, E, F Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 16

Recherche de règles d’association § § Items : A, B, C, D, E, F 4 transactions (sous ensemble d’ items) • T 1 : {A, D} Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 17

Recherche de règles d’association § § § Items : A, B, C, D, E, F 4 transactions (sous ensemble d’ items) • T 1 : {A, D} Support d’un itemset • Supp ({A, D})=1/4 Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 18

Recherche de règles d’association § § § Items : A, B, C, D, E, F 4 transactions (sous ensemble d’ items) • T 1 : {A, D} Support d’un itemset • Supp ({A, D})=1/4 • Supp ({A, C})=2/4 Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 19

Recherche de règles d’association § § Items : A, B, C, D, E, F 4 transactions (sous ensemble d’ items) • T 1 : {A, D} Support d’un itemset • Supp ({A, D})=1/4 • Supp ({A, C})=2/4 Fréquent Itemsets (min. Supp=50%) • {A, C} est un fréquent itemset Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 20

Recherche de règles d’association § § § Items : A, B, C, D, E, F 4 transactions (sous ensemble d’ items) • T 1 : {A, D} Support d’un itemset • Supp ({A, D})=1/4 • Supp ({A, C})=2/4 Fréquent Itemsets (min. Supp=50%) • {A, C} est un fréquent itemset Règles : (min. Supp et min. Conf = 50%) • A C [50%, 50%] Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 21

Recherche de règles d’association § § § Items : A, B, C, D, E, F 4 transactions (sous ensemble d’ items) • T 1 : {A, D} Support d’un itemset • Supp ({A, D})=1/4 • Supp ({A, C})=2/4 Fréquent Itemsets (min. Supp=50%) • {A, C} est un fréquent itemset Règles : (min. Supp et min. Conf = 50%) • A C [50%, 50%] • C A [50%, 100%] Trans Items ID 1 A, D 2 A, C 3 A, B, C 4 A, B, E, F 22

L’espace de recherche Level 4 ABCD ABC AB ABD AC A ACD BC BCD AD B C BD Level 3 CD Level 2 Level 1 D {} 23

Extraction de motifs Motifs séquentiels – comprendre le comportement des objets Les clients achètent du chocolat le lundi et du pain le mercredi Quelles sont les conséquences d’un ouragan ? Quel est le prochain achat d’un client après sa voiture ? Très est souvent suivi par un adjectif positif est un motif d’opinion positive dans une phrase Ni l’un …. Ni l’autre. . Est un motif d’une opinion négative 24

Motifs séquentiels § § § Items : A, B, C, D, E, F Séquence : (A) (D) Séquence fréquente : (A) (C) Trans. I Items D 1 (A) (D) 2 (A) (C) 3 (A, B) (C) 4 (A) (B) (C, F) 25

L’espace de recherche AAA AA A(AB) AAB (AB) AB A(AC) AAC (AC) AC B A (AB)B BB ABB (ABC) (AB)C (BC) BC CC C {} 26 …

Données spatio-temporelles § Un ensemble de points localisés dans l’espace et dans le temps • T=(x 1, y 1, t 1), …, (xn, yn, tn) la position dans l’espace au temps ti était (xi, yi) 27

Extraction de motifs § Les trajectoires • • Grouper ensemble les objets qui ont des trajectoires similaires Pour chaque groupe créer un résumé : Flock, convoy, moving cluster, swarm, closed swarm, Star, k. Star 28

Exemples Essaim Convoi Groupe 29

Difficulté de la fouille pour les capteurs § Des variables continues • Comment discrétiser ? § Equi-répartition ? Méthodes quantiles ? Méthode des amplitudes ? Méthode des moyennes emboitées ? Nombre de classes ? • Sur l’écart absolu moyen ? § Calcul de l’écart absolu moyen § Mesure standardisée (z-score) 30

Exemple 31

Exemple Influence de la distance et de la représentation § Avec distance de Manhattan § d(p 1, p 2)=120 d(p 1, p 3)=132 p 1 ressemble plus à p 2 qu’à p 3 d(p 1, p 2)=4, 675 d(p 1, p 3)=2, 324 p 1 ressemble plus à p 3 qu’à p 2 32

Difficulté de la fouille pour les capteurs § Des séries temporelles • Comment comparer et classer des séries temporelles ? • Nécessité d’avoir d’autres types de distance Distance Euclidienne Dynamic Time Warpping 33

Difficulté de la fouille pour les capteurs ©Thomas Dévogèle

Difficulté de la fouille pour les capteurs § Souvent des valeurs manquantes • Comment gérer les valeurs manquantes ? § § Prendre la moyenne des autres valeurs ? Prendre la valeur précédente ? Faire la moyenne entre la précédente et la suivante ? Phénomène d’usure § § Comment prendre en compte l’usure ou les pannes ? Définir un comportement normal et comparer par rapport à une déviation 35

Difficulté de la fouille pour les capteurs 36

Difficulté de la fouille pour les capteurs § Des données avec des granularités temporelles différentes • Comment fusionner/comparer des informations obtenues toutes les secondes et des informations obtenues toutes les heures ? • Echantillonnage utile ? § § Les informations toutes les secondes ne sont peut être pas utiles Stocker uniquement les variations (=, , ) ? 37

Difficulté de la fouille pour les capteurs § Des flots de données • Impossible de stocker toute l’information § Utilité de tout stocker : pouvoir interroger le passé ? • Quelle était la valeur du capteur il y a une semaine, un mois, une année ? • Nécessité d’avoir des mécanismes d’agrégation 38

Conclusions La fouille de données de capteurs est difficile § Des techniques sont bien adaptées : § • Motifs et trajectoires : comprendre les évolutions et caractériser des comportements similaires • Classification, clustering : regrouper des séries ensembles Les prétraitement sont toujours difficiles § Fouille ou requêtes : DSMS (Data Stream Management System) § 39