Interface HommeMachine INTERACTIONS MULTIMODALES Professeur Catherine Recannati Linda

Interface Homme-Machine INTERACTIONS MULTIMODALES Professeur: Catherine Recannati Linda KHALIL – M 2 EID 2010 -2011

Introduction � I-Concepts de multimodalité � 1. Mode � 2. Modalité � 3. Taxonomie des modalités � II-Architecture � 1. Modèles et contrôleurs � 2. Modèle de la tâche � III-Exemples d’interfaces multimodales � 1. Exemple divers � 2. Tableau numérique � 3. Télétact

Concepts de multimodalité � 1. Mode � 2. Modalité � 3. Taxonomie des modalités

Concepts de multimodalité � 1. Mode �Communication entre deux entités ○ Hommes ○ Animaux ○ Machines ○ Êtres vivant �Mode de communication ○ Organes utilisés par chaque entité ○ Mode d’entrée/Mode de sortie

Modes de communication � Modes d’entrée chez l’Homme Organes Modes correspondants Yeux Visuel Oreille Auditif Nez Olfactif Langue Gustatif Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires Tactilo-proprio-kinesthésique (TPK)

Modes de communication � Modes de sortie chez l’Homme Organes Modes correspondants Système vocale Orale Système musculaire Actionnel ou gestuel �Système vocale: poumons, cordes vocales, langue, lèvres … �Système musculaire: mains bras, tête, visage…

Modes de communication � Modes non humain �Végétal �Animal �Machine � Machine: } liste non-exhaustive liste en évolution

Modes de communication � Communication Homme/Homme: relations Sortie Entrée Visuel Auditif Olfactif Gustatif TPK Oral Non Oui Non Non Gestuel Oui Non Non Oui

Modes de communication � Communication Homme-machine: relations Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre Système de reconnaissance vocale Oral Non Oui Gestuel Oui Non �Caméra: gestes du corps �Oculomètre: gestes de l’œil �Joystick, souris, …: gestes de la main

Modes de communication � Communication machine-Homme: relations Visuel Auditif Olfactif Gustatif TPK Ecrans 2 D et 3 D Oui Non Non Afficheur Braille Oui Non Non Oui Systèmes de synthèse et/ou Non de restitution de sons (parole, bruit, musique. . . ) Oui Non Non Systèmes avec retour tactile Non et/ou retour d'effort Non Non Oui

Modalités � Positionnement � Structure des informations échangée � Perception � Machine: côté humain par le sujet perçue comme un être humain

Taxonomie des modalités � Différentes formes de présentation � État de l’utilisateur � État de l’environnement

Taxonomie des modalités � Selon Bernsen : �Modalités de sortie par rapport à la machine �Modalités pures ○ Profil de la modalité ○ Le média d’expression �Modalités particulières ○ Héritent des modalités pures ○ Caractéristiques plus spécialisée

Concepts de multimodalité � 3. Taxonomie des modalités Critères de modalité Description Langagière / Non langagière préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques Analogique / Non analogique Analogique : véhicule des informations qui tirent leurs représentations de l'entité signifiée. Arbitraire /Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné. Statique / Dynamique influence du temps sur la structure des informations. Média d’expression graphique, sonore ou tactile

Concepts de multimodalité � 3. Taxonomie des modalités �Média: ○ Pas au même niveau que les autre critères ○ Graphique �Mode visuel �Mode tactile �Critères incompatibles ○ Arbitraire vs analogique

Taxonomie des modalités � Nouvelle approche : �Multidimensionnel Mode Critère Temporel Spatial Langagier D’analogie De prosodie Visuel Oui Oui Non Auditif Non Oui Oui Oral Non Oui Gestuel Oui Oui Non TPK Oui Non

Taxonomie des modalités � Temporel �Visuel et TPK: animations ○ Clignotements ○ Rotations ○ Déplacements ○ Changement de couleurs … �Gestuel ○ Gestes statiques ○ Gestes dynamiques: déplacements pris en compte

Taxonomie des modalités � Spatial �Visuel: type de projection �Auditif: son mono, stéréo ou 3 D �Gestuel: 1 D, 2 D ou 3 D � Critère langagier �Tout mode �Critère à valeurs continues

Taxonomie des modalités � Analogie �Visuel: ○ ressemblance représentation/représenté ○ Distinction photo/peinture/graphique… �Auditif: distinction des sons � Prosodie �Auditif et Oral ○ Distinction chant / parole

Architecture � 1. Modèles � 2. Contrôleurs

Architecture Utilisateur Contrôleur de l’interaction Modèle de l’Interaction Application Contrôleur du flot Application Contrôleur de dialogue Modèle de l’environnement Modèle de l’utilisateur Modèle de la tâche Modèle du dialogue

Modèles � Modèle du dialogue �Structure hiérarchique �Enchaînement de situation � Modèle de la tâche �Description sémantique �Relations conceptuelles entre les objets �Représentation de buts et sous-buts

Modèles � Modèle de l’utilisateur �Connaissances de niveau linguistique �Modélisation du savoir �Modélisation du niveau d’expertise �Interprétation des gestes, mimiques �Interface en fonction des préférence, caractéristiques, aptitude de l’utilisateur �Gestion dynamique de l’interaction

Modèles � Modèle de l’environnement �Information sur le contexte �Choix des médias à utiliser �Règles d’exploitation des connaissances �Capteurs de contexte: mises à jour � Modèle de l’interaction �Spécificité de l’interaction multimodale �Description des médias �Historique d’interaction

Contrôleurs � Contrôleur de dialogue �Contenu sémantique des échanges � Contrôleur d’interaction �Formes de présentation des messages �Transmission de la sémantique des entrées au contrôleur de dialogue �Choix de la présentation en fonction des autres modèles

Interfaces multimodales � 1. Exemple divers � 2. Tableau numérique � 3. Télétact

Interfaces multimodales � Wiimote �Modalité: le geste ○ Mouvements de la main ○ Pression sur bouttons �Sortie ○ Vibrations ○ Affichage

Interfaces multimodales � Bornes d’achats tactiles �Entrée: Gestes de la main �Billeterie �Passage de commande dans les Fast Food ○ Sortie: information envoyé à la cuisine

Interfaces multimodales

Interfaces multimodales � Iphone, Ipad … � Système � Voice de reconnaissance vocal Painter � Tableau numérique

Tom Pouce

Tom Pouce

Tom Pouce

Tom Pouce

Télétact � Profilomètre laser � Mesure sur 15 mères de rayon � Oreillette � 32 notes musicales: intervalles de distances � 2 types de vibrations sur 2 doigts � 4 intervalles de distances �Détection jusqu’à 12 mètres.

Conclusion � Nombreuses � Différents interfaces structures objectif � Architecture d’interaction commune