Excution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Application à des logiciels interactifs pour des enfants autistes Soutenance de thèse présentée par Karim SEHABA 7 décembre 2005 Laboratoire Informatique Image Interaction

Systèmes interactifs Ø Objectif global Conception d’un système capable : • identifier le comportement de l’utilisateur • personnaliser les activités de l’application • prendre en compte les consignes de l’expert Ø Types d’interactivités Ø Actions explicites : éléments de contrôle (clavier, souris, écran tactile, etc. ) Ø Actions implicites : expressions faciales, gestes, orientations du regard, etc. Corpus de comportements Exécution adaptative par observation et analyse de comportements 2

Contexte général Système adaptatif Interaction Directives Scénario Profil de l’utilisateur Utilisateur/Joueur Trace Expert Contrôle d’exécution Méthodologie Comportements de l’utilisateur Définition de l’application (l’expert) Personnalisation de l’application (l’expert) Exécution contrôlée (système) Analyse de la trace (l’expert) Exécution adaptative par observation et analyse de comportements 3

Problématique scientifique Système adaptatif Interaction Directives Scénario Profil de l’utilisateur Utilisateur/Joueur Trace Expert Contrôle d’exécution Comportements de l’utilisateur Exécution adaptative par observation et analyse de comportements 4

Problématique scientifique Interaction Utilisateur/Joueur Contrôle d’exécution Caractérisation du profil ? Contrôle d’exécution ? Trace Analyse de comportement Expert Notion de comportement ? Représentation ? Identification ? Exécution adaptative par observation et analyse de comportements 5

Contributions Analyse de comportements Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Agents observateurs Contrôle d’exécution Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agent de décision Agent d’exécution Architecture du système

Ø Béhaviorisme fatigue, stress, … Ø Cognitivisme cognitivisme Notion de comportement réponses m is or vi be ha représentation des variables internes de l’individu e comportements en réponse à des stimuli Points communs • lien fort entre comportement et stimuli • observable en réponse à une stimulation Mais • quelles sont les entités à observer ? • où commence et où se termine un comportement ? • quel est le niveau d’observation et d’analyse dans lequel on se place ? Niveaux d’analyse et point de vue Exécution adaptative par observation et analyse de comportements 7

Comportement dans notre approche Hypothèses Ø les stimuli sont les objets de l’application (pictogrammes, musiques, images, etc. ) Ø l’identification du comportement est le résultat de l’analyse des actions dans un processus d’interprétation Ø le processus d’interprétation est une instanciation de modèles par observation de différents éléments de base (appelés formes) Définition du comportement Réactions observables, à différents niveaux, en réponse à des stimulations. Réactions constituent des formes calculables d’évènements généré par les actions de l’utilisateur à partir Exécution adaptative par observation et analyse de comportements du flux 8

Niveaux d’analyse Évènements Formes Exemple : trajectoire entre un objet en mouvement et la direction du regard Exemple : clic de souris Niveau 1 Niveau 2 Comportements Exemple : perception Niveau 3 Exécution adaptative par observation et analyse de comportements 9

Analyse par observation Observateurs communicant via un environnement d’observation Évènements Formes Comportements <Forme 1>, <Forme 2>, … Flux d’évènements Comportement Environnement d’observation Niveau 1 Niveau 2 Niveau 3 Ø Environnement d’observation structure partagée entre les différents observateurs Ø Observateur connaissance de base permettant de donner des points de vue sur les formes Exécution adaptative par observation et analyse de comportements 10

Fondements théoriques Quelle est la relation entre formes et comportements ? Ø Les « Affordances » (J. J. Gibson) la perception concerne les caractéristiques fournies aux observateurs les affordances constituent les caractéristiques faciales, la voix, la façon de bouger etc. [BM 86] [MZ 98] Les formes sont des « affordances » comportementales Comment exprimer les points de vue ? Ø Les Frames (M. Minsky) ensemble des connaissances relatives à un objet, un concept ou une situation typique (frame Structure • frame : liens d’héritages et d’instanciation • attributs : propriétés de la structure • facettes : modalités descriptives de l’attribut (attribut 1 (facette 1. 1, valeur 1. 1) (facette 1. 2, valeur 1. 2) ) ) Les facettes des frames représentent les points de vue Exécution adaptative par observation et analyse de comportements 11

Transitions entre les niveaux Formes Évènements Comportements <Forme 1>, <Forme 2>, … Flux d’évènements Comportement Environnement d’observation Niveau 2 Niveau 1 ? Niveau 3 ? Quelle est la représentation des formes ? Quelle est la structure des observateurs ? Quel est le processus d’interprétation ? Exécution adaptative par observation et analyse de comportements 12

Formalisation : forme Forme Élément de base dans l’analyse de comportement <T id = ’%ID%’, attribut 1 = ’valeur 1’, . . . , attribut. N = ’valeur. N’>. . . </T id = ’%ID%’> • T : type utilisé pour la reconnaissance • %ID% : clé unique dans l’environnement d’observation • attribut, valeur : informations utilisables par les observateurs dans le processus d’interprétation Exemple <clic id=’ 1’, xpos = ’ 50’ , ypos = ’ 300’> <clic id=’ 1’> Exécution adaptative par observation et analyse de comportements 13

Formalisation : observateur Observateur Ø Contexte • description de la situation Ø Point de vue • action à appliquer sur l’environnement d’observation Contexte <Sorte-de> : <contexte> <Formes> : (frome 1, forme 2) <Contraintes contenu> : forme 1 valeur 1 forme 2 forme 3 <Contraintes relations> : <Contraintes profil> : Point de vue <Mode d’activation> : <réactif>/<proactif> <Procédure d’activation> : Exécution adaptative par observation et analyse de comportements 14

Formalisation : observateur Contexte Point de vue Composant Contexte Øsorte-de : désigne les contextes hérités Øformes : définissent la description du comportement Øcontraintes : définissent les relations que les formes doivent vérifier Types de relations Ø Relation d’assignation ( ) contenu de la forme Ø Relation d’identification ( ) même contenu pour les 2 parties Ø Relation de prédicats relation logique Types de contraintes ØContrainte contenu relations entre les formes Exemple : posture de la tête 45° Ø Contrainte relations entre les formes et les stimuli Exemple : Mouvement. boule orientation. regard Ø Contrainte profil caractéristiques du profil de l’utilisateur Exécution adaptative par observation et analyse de comportements 15

Formalisation : observateur Contexte Point de vue Composant Point de vue ØMode d’activation • réactif : présence de certaines formes dans l’environnement • proactif : attente des formes par d’autres observateurs <clic id=’ 1’, xpos = ‘ 50’ , ypos = ‘ 300’> <clic id=1> ØProcédure d’action • génération d’autres formes <clic_sur_objet id= ‘obj 1’, couleur= ‘ 0000 FF’, position =’(60, 310)’, rayon = ‘ 20’ > <clic_sur_objet id= ‘obj 1’> Exécution adaptative par observation et analyse de comportements 16

Formalisation : observateur Contexte Point de vue Composant Point de vue ØMode d’activation • réactif : présence de certaines formes dans l’environnement • proactif : attente des formes par d’autres observateurs ØProcédure d’action • génération d’autres formes • interprétation du comportement de l’utilisateur • production d’un message pour l’utilisateur Exécution adaptative par observation et analyse de comportements 16

Processus d’interprétation Mise à jour des formes Sélection des observateurs Exécution des actions des observateurs Non Mise en mémoire des formes manquantes Contexte totalement vérifié Oui Déclenchement de la procédure d’action Exécution adaptative par observation et analyse de comportements 17

Contributions Analyse de comportements Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Agents observateurs Contrôle Exécution Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agent de décision Agent d’exécution Architecture du système

Contrôle d’exécution Principe de contrôle Ø production de scénario en fonction du profil et besoins Ø observation des actions de l’utilisateur Ø détection des incohérences Ø déclenchement d’un nouvel épisode de raisonnement Capacités du modèle Ø représentation de l’utilisateur Ø représentation des connaissances Ø processus de raisonnement Hypothèses Ø application : ensemble d’objets munis de comportements Ø activité : instance de l’application Ø scénario : séquence d’activités Exécution adaptative par observation et analyse de comportements 19

Modèles de contrôle Système à base de connaissances Øutilisation des règles (état de l’environnement action à exécuter) Système à base de procédures Øutilisation des procédures comme action Système de classeurs Øcaractérisation de l’état par plusieurs attributs Avantages Øvérifications formelles Øadaptation à la réactivité du système Difficultés Øprédiction de l’état du système Ømaintenance des règles Øadaptation de la scénarisation Approches mal adaptées pour une exécution adaptative « Storytelling » interactif Méthodes de collecte et de restitution des histoires comme vecteur de connaissances Interaction limitée pour les objets de l’application Exécution adaptative par observation et analyse de comportements 20

Contrôle d’exécution à partir de cas Représentation de l’utilisateur : profil Représentation des connaissances Processus de raisonnement

Profil de l’utilisateur L’utilisateur est caractérisé par un profil et des objectifs à atteindre Ø Ø informations générales compétences Descripteur : <attribut, valeur> préférences histoire Nom : Prénom : haut> <Perception-auditive, Date 5 de naissance <durée-session, min> <Perception-visuelle, bas> : … <couleur, <Regard, vert> moyen> Agenda <son, jingle> Trace d’exécution : üanimation graphique üdonnées statistiques Trajectoire des objets Exécution adaptative par observation et analyse de comportements 22

Raisonnement à partir de cas Problème Cas cible … Expérience 1 Expérience 2 Base de cas Expérience. N Cas sources Exécution adaptative par observation et analyse de comportements 23

Raisonnement à partir de cas Élaborer Problème Cas cible Base de cas Connaissances générales Exécution adaptative par observation et analyse de comportements 23

Raisonnement à partir de cas Élaborer Problème Cas cible Cas appris Base de cas Retrouver Cas source Cas cible Connaissances générales Cas Cible Adapté, Évalué, Corrigé, Cas Cible adapté Solution confirmée Exécution adaptative par observation et analyse de comportements 23

Raisonnement à partir de cas Élaborer Problème Cas cible Cas appris Base de cas Retrouver Cas source Connaissances générales Cas Cible Adapté, Évalué, Corrigé Cas cible Adapter Cas Cible adapté Réviser Solution confirmée Exécution adaptative par observation et analyse de comportements 23

Raisonnement à partir de cas Élaborer Problème Cas cible Cas appris Mémoriser Base de cas Retrouver Cas source Connaissances générales Cas Cible Adapté, Évalué, Corrigé Cas cible Adapter Cas Cible adapté Réviser Solution confirmée Exécution adaptative par observation et analyse de comportements 23

Représentation des cas Qu'est-ce qu'un cas ? Problème : contexte d’application [une séquence de descripteurs] Solution : scénario [une séquence d'activités] Organisation de la base de cas Ø mémoire dynamique de Schank cas dans un épisode généralisé (EG) Un EG : • Norme • Cas • Index Descripteur : [attribut, valeur] • compétences et préférences <Perception-auditive, haut> <durée-session, 5 min> • objectifs EG 1 Norme : <type, débutant> <regard, moyen> <couleur, vert> Index I 1: <perception> haut (C 1) bas (C 2) I 2: <attention> haut (EG 1) bas (EG 2) C 1 Contexte d’application : <type, débutant> <regard, moyen> <couleur, vert> <perception, haut> Scénario : EG 2 <type, débutant> <regard, moyen> <couleur, vert> C 2 Contexte d’application : <type, débutant> <regard, moyen> <couleur, vert> <perception, bas> Scénario : Exécution adaptative par observation et analyse de comportements 24

Processus de raisonnement Remémoration Adaptation Mémorisation Filtre 1 : maximise la similarité entre le cas source et cible C : cas source S : cas cible D: ensemble descripteurs du cas source W : coefficient d’importance du descripteur : similarité entre le descripteur d de C et S Filtre 2 : minimise l'effort d'adaptation du cas source au cas cible Exécution adaptative par observation et analyse de comportements 25

Processus de raisonnement Globale Remémoration Adaptation Mémorisation Locale Globale remplacer des sous-scénarios par d'autres mieux adaptés Locale régler les comportements des stimuli Exécution adaptative par observation et analyse de comportements 26

Processus de raisonnement Remémoration Globale Évaluation Adaptation Mémorisation Locale Sauvegarde Évaluation Ø évolution du profil Ø évolution de la base de cas Sauvegarde Ø choix d'un EG qui contiendra le nouveau cas Ø enchaînement du nouveau cas à l'EG Ø généralisation des cas/EG. Exécution adaptative par observation et analyse de comportements 27

Contributions Analyse de comportements Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Agents observateurs Contrôle Exécution Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agent de décision Agent d’exécution Architecture du système

Les agents du système Base de cas Trace d’exécution Exécution Vision Raisonnement Décision Système de vision (Face. Lab) Comportements Activité adaptée Scénario Base de d’application Objectifs Contexte profils <Forme 1>, <Forme 2>, … Action Environnement d’observation Action Utilisateur/Joueur Interface de jeu Observation Exécution adaptative par observation et analyse de comportements 29

Prototype Serveur Raisonnement Machine utilisateur 1 2 S’identifier Profil Définir les objectifs 3 Définir les seuils 4 5 Fenêtres Cas cible Fiche utilisateur Rapport de raisonnement Base de cas Agent de décision Scénario d’activités Agent de d’observation Lancer l’exécution Exécution du scénario Résultats de raisonnement Activité Mé isa mor tion Décision Instanciation n iatio té ap ad anc rio Inst na Scé Profil + buts Observation ent rgem Cha profil de Login Base des profils Sauvegarde de la trace Nouveau cas Valider la mémorisation Mémorisation 30

Domaines d’application ØJeux vidéo Exécution adaptative des personnages du jeu ØLogiciels éducatifs Gestion des actions imprévisibles ØNavigation sur le web Adaptation des opérations à l’utilisateur Application : Projet Autisme Exécution adaptative par observation et analyse de comportements 31

Projet Autisme Cadre • service de pédopsychiatrie de l’hôpital de La Rochelle (20 d’expérience dans l’approche thérapeutique) • jeux éducatifs destinés à des enfants autistes Autisme • difficultés dans la relation sociale • difficultés dans la communication • indifférence de comportement (rupture, isolement, etc. ) Capacité d’interaction et approche adaptative qui tient compte des consignes de médecin(l’expert) Exécution adaptative par observation et analyse de comportements 32

Approche : Jeux éducatifs Caractérisation des jeux ü décor statique ü objets (stimuli) munis d’un comportement ü règles du jeu ü objectifs à atteindre Types d’utilisateurs Ø Tuteur Coucou caché • assistance de l'enfant dans les tâches de l'activité • suivi/contrôle de l'interaction entre l'enfant et le scénario Ø Expert • définition du jeu • caractérisation des activités associées au jeu • définition des cas en adaptant certains scénarios à certains profils Ø Joueur • profil et objectifs éducatifs à atteindre Exécution adaptative par observation et analyse de comportements 33

Expérimentations Étude d’un cas Xavier Évaluation antérieure üévitement du regard üévitement du changement üévitement du contact Évaluation du 8 octobre 2004 ü meilleure communication par le regard ü meilleure tenue du corps ü objets et situations mieux reconnus Date de naissance : 28/11/99 Évaluation du janvier 2004 ümaintien du contact ümots associés à des gestes Évaluation du 30 Septembre 2005 ü manifestation d’une attention ü réussite dans le domaine du graphisme et du langage Exécution adaptative par observation et analyse de comportements 34

Résultats de la thèse Ø Méthode d’analyse de comportement par observation Ø Contrôle d’exécution à partir de cas Ø Méthodologie appliquée au domaine expérimentale Ø Première version d’un prototype pour le Projet Autisme Analyse de comportements Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Agents observateurs Contrôle Exécution Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agent de décision Agent d’exécution Exécution adaptative par observation et analyse de comportements 35

Conclusion Domaine pluridisciplinaire Øsciences cognitives Ømodélisation des connaissances Øméthodologie éducative pour des enfants autistes Difficultés Øformalisation des observateurs Øprocessus d’interprétation Øadaptation de cas (globale et locale) Avantages Øpersonnalisation de l’application à l’utilisateur Øévaluation de la pertinence de l’application Øévolutivité et interactivité des logiciels Øcompréhension du comportement de l’utilisateur Exécution adaptative par observation et analyse de comportements 36

Perspectives Recherche Risque d’incohérence Ø vérification des propriétés du scénario Plus de formalisation des cas Ø utilisation des logiques de descriptions Ø étape d’élaboration des cas Mises à jour dynamique Ø construction dynamique des objectifs Ø modification dynamique du profil Application « Autisme » Peu de comportements considérés Ø validation du modèle avec d’autres comportements Ø validation de l’efficacité sur le terrain Applications à d’autres domaines Ø jeux vidéo Ø interaction sociale entre robot et être humain Exécution adaptative par observation et analyse de comportements 37

Exécution adaptative par observation et analyse de comportements Application à des logiciels interactifs pour des enfants autistes