quipe dingnierie de linteraction homme machine Laboratoire CLIPSIMAG

Équipe d'ingénierie de l’interaction homme machine Laboratoire CLIPS-IMAG, Grenoble RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier 1

Introduction • Multimodalité étudiée avec un utilisateur fixe Quel usage en contexte mobile? • Projet en collaboration avec France Telecom • Conception et developpement d’un système mobile et multimodal • Évaluation ergonomique du système 2

Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion 3

RAZZLE : version France-Télécom 4

RAZZLE 5

Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion 6

Exemple 7

Modèle d’Interaction Mixte: Objet Mixte Objet mixte Outil Objet de la tâche 8

Modèle d’Interaction Mixte: Objet Mixte Objet physique Propriétés physiques Objet mixte Propriétés physiques ? Propriétés numériques Objet numérique Propriétés numériques • modalité d’ Interaction m = (d, l) • parole = (microphone, langage naturel) 9

Modèle d’Interaction Mixte : Objet Mixte Modalité de Liaison Objet mixte Dispositif d’entrée Données physiques en entrée Langage d’entrée Propriérés physiques Propriétés numériques Dispositif de sortie Données physiques générées Langage de sortie 10

Modèle d’Interaction Mixte : Objet Mixte Dessin mixte Caméra Image Vision par ordinateur Propriétés physiques Formes Projecteur Image Sélection 11

Modèle d’Interaction Mixte : Objet Mixte Pièce mixte Valeur numérique Transforma° géométrique Capteur d’ orientation Valeur numérique Transforma° géométrique Casque semi transparent Image Capteur de position Popriétés physiques Identifiant Position Orientation Projection 3 D 12

Modèle d’Interaction Mixte : Objet Mixte Objet mixte Propriétés physiques Outil Modalités de Liaison Propriétés numériques Objet de la tâche 13

Modèle d’Interaction Mixte : Interaction Mixte tâche élémentaire Outil action réponse retour d’information Objet de la tâche 14

Modèle d’Interaction Mixte : Interaction Mixte modalité d’Interaction m = (d, l) 15

Modèle d’Interaction Mixte : Interaction Mixte Outil mixte Dispositif d’entrée Propriérés physiques Dispositif de sortie Données physiques Langage d’entrée Propriérés numériques Langage de sortie Langage d’interaction en sortie en entrée Objet de la tâche 16

Modèle d’Interaction Mixte : Interaction Mixte 17

Modèle d’Interaction Mixte : Interaction Mixte Outil mixte caméra Bouton de papier image Vision Par ordinateur Bouton, Mot, Emplacement Outil mixte translation dessin 18

Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion 19

Modalités conçues Outil mixte ? ? ? 20

Modalité gestuelle 21

Modalité gestuelle Outil mixte caméra Propriétés physiques image Vision Par ordinateur Geste reconnu traduction 22

Modalité tactile 23

Modalité tactile Outil mixte touchpad Propriétés physiques données Langage d’entrée Clic, Geste reconnu traduction 24

Modalité parlée Outil mixte micro Propriétés physiques données Langage d’entrée Mot reconnu traduction 25

Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion 26

Magicien d’Oz Salle de jeu Salle du compère 27

Magicien d’Oz 28

Magicien d’Oz Salle de jeu Salle du compère 29

Architecture de RAZZLE Pac-amodeus : Arch et PAC Contrôleur de dialogue Adaptateur de noyau fonctionnel A P C Interaction logique A P C Noyau fonctionnel Interaction physique A P C 30

Architecture du Magicien d’Oz Compère Contrôleur Contr de dialogue Adaptateur de noyau fonctionnel Interaction logique Noyau fonctionnel Interaction physique Interface Java rmi, réseau sans fil Joueur Magicien d’oz 31

Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion 32

But de l’expérience Étudier l’usage de la multimodalité par les utilisateurs d’un système mobile 33

Protocole expérimental • • • 10 sujets 20 ans < âge < 30 ans Non joueurs aux jeux vidéos 3 sessions de jeu pour chacun Enregistrement des sessions Entretiens 34

Résultats 35

Résultats 36

Résultats 37

Résultats 38

Résultats 39

Résultats 40

Résultats • Intérêt du magicien d’Oz Mais lieu de l’expérience confiné • Utilisabilité de la modalité gestuelle • Multimodalité utilisée 41

Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion 42

Conclusion Dans le cadre d’un projet avec France Telecom • Modèle d’interaction mixte • Conception d’un système mobile et multimodal • Étude de son usage 43

Perspectives • Pouvoir comparatif • Lien entre le modèle d’interaction mixte et le développement logiciel 44

Perspectives 45

Équipe d'ingénierie de l’interaction homme machine Laboratoire CLIPS-IMAG, Grenoble RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier 46