Prototype dagent motionnel pour le dialogue Luca Bisognin

Prototype d’agent émotionnel pour le dialogue Luca Bisognin (luca. bisognin@imag. fr) Sylvie Pesty (sylvie. pesty@imag. fr) Equipe MAGMA/ Laboratoire Leibniz

Présentation 1. 2. 3. 4. 5. 6. Motivations Qu ’est-ce qu ’une émotion? Pourquoi modéliser les émotions dans le traitement du dialogue? Comment modéliser les émotions? 1. Indices 2. Critères 3. Mécanisme d ’évaluation (modèle OCC) Aspects architecturaux 1. Agent Conversationnel 2. Agent Conversationnel Emotionnel 3. Rapprochement architectures BDI Perspectives et Conclusion

Motivations n 1998 -2002 (Ph. D Guillaume Chicoisne) : n n n 2000 -2004 (Ph. D Patricia Jaques) : n n n recherche sur la dynamique du dialogue développement d’un agent conversationnel recherche sur la modélisation affective d’un apprenant dans un EIAH développement d’un agent pédagogique expressif 2003 -2004 (contrat RIAM Luca Bisognin): n recherche sur la modélisation d’un agent cognitif émotionnel pour le traitement du dialogue

Qu’est-ce qu’une émotion? n 2 dimensions n n n 5 caractéristiques (Scherer 2000) : n n n Expressive (liée aux modifications physiologiques) Cognitive (attention, contrôle, motivation, décision, action) Dépendance temporelle Variabilité quantitative et qualitative ( « appraisal » ) Effets physiologiques et expressifs Réactivité : signal d’autrui ou de son propre corps Rationalité : cause et but Exemples : joie, tristesse, colère, peur, surprise, … Quels rôles dans le traitement du dialogue?

Pourquoi modéliser les émotions dans le traitement du dialogue? Elles contribuent au sens d’un message en ouvrant une « fenêtre » sur les intentions de l’interlocuteur n Que je suis content de vous voir! Oh ça oui!

Pourquoi modéliser les émotions dans le traitement du dialogue? n Elles orientent le déroulement du dialogue (cf. R. Bertrand & al. , R. Vion & al. ) dénégation diversion compassion/souhaits prostration évaluation questionnement rationalisation banalisation verbalisation de l’émotion Evénement Temps du dialogue

Comment modéliser les émotions? Préciser les dimensions de l’objet qui vont donner lieu à une mesure, les indicateurs (manifestations) des émotions et les techniques de mesure. valence positif Émotions de base Intensité ? Activation (stimulation) Ø Dimensions : élevé faible négatif Mais autres dimensions? Ø Manifestations des émotions : expressions faciales, gestes, tendances à l ’action, expression et contrôle des émotions dans la parole (prosodie), réponses physiologiques, etc…

Comment modéliser les émotions? n n Dimension expressive n Support « incarné » (cf. embodied agents) n Traitement de la multimodalité Dimension cognitive n Mécanismes d’interprétation (quels indices? ) n Mécanismes de décision (quels critères? ) Notre étude porte essentiellement sur la dimension cognitive

Indices émotionnels n Certains indices d’ordre physiologique et expressifs n n Plusieurs indices d’ordre physionomique n n traits du visage, regard, posture Des indices prosodiques n n pigmentation de la peau, rythme respiratoire ton, timbre, rythme de la voix, etc… Tous les indices verbaux possibles n indices lexicaux, morphologiques, syntaxiques, sémantiques et pragmatiques

Indices verbaux n Les émotions à tous les étages sémantique Procédés d’anti-orientation (mais) syntaxique Phrase expressive : « Délicieux, ce café. » Verbes psychologiques, etc… morphologique lexical phonologique Hypocoristiques, diminutifs, etc… Lemmes à dénotation affective Ton, timbre, rythme de la voix

Critères de décision n En local : fonction de l’état interne de l’agent n En global : fonction de la régulation affective dans le dialogue Décision guidée par une évaluation émotionnelle ( « appraisal » )

Le modèle d’Ortony, Clore & Collins (1989)

Un agent conversationnel Un agent situé dans le “temps du dialogue” : n ajout de mécanismes d’interprétation et d’expression en contexte n gestion d’un focus conversationnel par l’agent : image d’un objet commun entre interactants (type du dialogue, objectif et thème, relation sociale, …) n double mécanisme de régulation du dialogue: n n régulation locale à l’échelle de quelques énoncés n mécanisme basé sur des attentes régulation globale à l’échelle du dialogue n mécanisme basé sur le focus caractère adaptatif et rationnel de l’agent

Texte Traits du visage Formalisation Postures Intégration Multi-modale Chaîne de traitement des entrées Interprétation Raisonnement (gestion conversationnelle) Texte Enonciation Traits du visage Enonciation Postures Répartition Multi-modale Environnement Agent Conversationnel (vision d’ensemble) Expression Chaîne de traitement des sorties

Texte Traits du visage Formalisation Postures Intégration Multi-modale Chaîne de traitement des entrées primeévaluation (appraisal) circuit top-down Interprétation circuit bottom-up Réaction (émotions primitives) Texte Traits du visage Postures Enonciation Répartition Multi-modale Environnement Agent Conversationnel Emotionnel (une vision d’ensemble) Chaîne de traitement des sorties Raisonnement Gestion conversationnelle Expression

Agent rationnel (une vision d’ensemble) entrées senseurs Environnement physique et social • perception ->B • raisonnement -> D, I, π sorties effecteurs • execution de π Agent

Traits du visage Perception Texte Génération de Croyances et Révision Postures Contrôleur de Stimulus Texte Traits du visage Action Environnement Agent émotionnel (un prototype d’architecture) Postures Génération Contrôleur de Situations Attendues (Attentes) Reconnaissance de situation Planification et Ordonnancement (Focus)

Perspectives de déploiement Implémentation de l’agent conversationnel 1. 1. Decodage/encodage des modalités gestuelles, faciales et posturales 2. Suivi du dialogue par focus à compléter 2. Implémentation du traitement des indices émotionnels (MAGMA) 3. Caractérisation des phases de régulation affective dans le dialogue 4. Implémentation des mécanismes d ’évaluation émotionnelle (en cours) 5. Implémentation d ’un agent animé expressif (Galilea/Virtual Actors)

Perspectives applicatives n Augmentation du réalisme n jeux vidéos (autonomie des personnages non joueurs, dialogue naturel avec le joueur, projet RIAM Galilea/Virtual Actors…) n Amélioration de l’ergonomie n n applications bureautiques (compagnons) « Optimisation » de l’effet pédagogique n Piaget : « l’affectivité motive l’activité intellectuelle et l’intérêt »

Conclusions n L’émotion : nouveau paradigme? Reconsidération de la rationalité (Brooks, Harnad) n Prise de décision et Emotion (Damasio, 1994) n Affective Computing (R. Picard, MIT, 1995) n Formalisation d ’architectures BDI+E?

Bonus Une démo ?