Analyse automatique des expressions du visage Application la

Analyse automatique des expressions du visage Application à la Langue des Signes Hugo MERCIER - Equipe TCI Directeur de Recherche: Patrice DALLE 1/16

Sommaire Problématique Etat de l'art Expressions du visage et Langue des Signes Formalisme proposé Architecture proposée 2/16

Introduction Domaine émergent Applications IHM (modalité d'intéraction) Animation Compression (adaptée au visage) Psychologie, linguistique Ici expressions = composantes langagières En lien avec travaux TCI Guillemette JAUSIONS AS IG Equipe projet 3/16

Problématique Analyse pour l’interprétation des expressions: Formalisme de représentation Coût de l'analyse Architecture système Langue des Signes ? Hypothèse de continuum avec les expressions du co-verbal 4/16

Etat de l'art: formalismes FACS (Facial Action Coding System) Ekman, Friesen, 1978 Décomposition élémentaire des mouvements du visage 46 'Action Units' (Action Faciales) Analyse manuelle AU 10 AU 15 AU 26 AU 1 5/16

Etat de l'art: formalismes MPEG 4 (Moving Picture Experts Group) Face and Body Ad. Hoc Group, 2001 Mesures relatives Plus bas niveau que FACS 6/16

Expressions et Langue des Signes Plusieurs rôles: Lexical Composante de définiton d'un Signe Quantifiants (gros, grand, . . . ) Syntaxique Sémantique Mode du discours (conditionnel, interrogatif, . . . ) Emotions en Transfert Personnel Formalisme ? Intégration de l’aspect langagier: les informations de bas niveau sur les états musculaires ne suffisent pas 7/16

Définitions linguistiques Quantifiants “Joues légèrement gonflées, front plissé, air dur, mâchoires serrées: fort, costaud” Expressions modales “Plissement des yeux, froncement du nez et des sourcils, lèvres serrées et projetées vers l'avant: minuscule” Hypothèse mentale: “clignement très bref des yeux suivi d'une fuite du regard ultra-rapide vers le haut” Intégration de ces connaissances ? Mesures floues Aspect temporel Définitions subjectives 8/16

Formalisme proposé Inspiré du formalisme des experts (linguistes) Règles de compositions de connaissances Connaissances élémentaires A base de règles États musculaires Connaissances composées Opérateurs de composition (spatiale et temporelle) 9/16

Formalisme proposé: compositions Types de compositions: Redéfinitions (symétrie et autre) Actions faciales (simple, tremblement, . . . ) Expressions Opérateurs Conjonction ', ' Disjonction '||' Séquencement '+' Négation '-' Eventualité '? ' 10/16

Traduction des définitions linguistiques Redéfinitions Tremblement-joues <=> af-tremblement [ gonflement-joues ] Expressions Souffle-air <=> bouche-ouverte, joues-gonflées Actions faciales Sourcils-relevés <=> sourcil-gauche-relevé, sourcil-droit -relevé Gonflement des joues, plissement des yeux, souffle d'air en continu: grande quantité de Grande-quantité <=> (joues-gonflées, yeux-plissés) + souffle-air ( durée = longue ) Représentation sous forme XML 11/16

Interprétation Buts: Rester proche de la compréhension humaine Analyser à moindre coût Limites de l'analyse classique Il est trop coûteux d'extraire les informations indépendamment sur chaque image Idée Il est moins coûteux de prédire et vérifier des informations plutôt que de les extraire sur chaque image de la séquence vidéo 12/16

Architecture proposée Analyse bi-directionnelle Analyse ascendante classique (extraction) Analyse descendante (prédiction / vérification) Rester à haut niveau et se contenter de vérifier certaines connaissances par prédiction Basculement critique Partir des données brutes (images de la séquence) pour déduire des connaissances de haut niveau L’analyse descendante nécessite une analyse ascendante (initialisation, apport de nouvelles informations, reprise sur erreurs) Mécanisme de contrôle ? 13/16

Algorithme Prédiction / vérification simple Par défaut, opérateur d’extraction (ascendant) Règle en partie validée sur une image: Règle dont une partie temporelle a été validée: Mise en priorité des opérateurs de vérification Mise en priorité de la règle sur l’image suivante Mise en priorité ~ Prédiction 14/16

Algorithme: illustration Gros <=> (joues-gonflées, bouche-fermée) + (jouesneutres, bouche-ouverte) Joues: pas d'opérateur d'extraction (vérification uniquement) 15/16

Conclusion Proposition d'un formalisme et d'une architecture pour l'interprétation des expressions en Langue des Signes A faire: Valider le formalisme linguistes Valider l’architecture Implantation Opérateurs extraction / vérification Mécanisme de contrôle Traiter les problèmes d’occultation et de changement de pose très présents en Langue des Signes Envisager d'autres niveaux d'analyse ? (statistique des Expressions du visage en Langue des Signes) 16/16