Universit Joseph Fourier U F R informatique Mathmatiques

Université Joseph Fourier U. F. R informatique & Mathématiques Appliquées Institut National Polytechnique de Grenoble ENSIMAG CLIPS-IMAG Communication langagière et Interaction Personne-Système IIHM Ingénierie de l’Interaction Homme-Machine Méta-IHM pour la configuration d’espace interactif ambiant Par Anne Roudaut Responsable : Joëlle Coutaz

Contexte du travail : IHM en informatique ambiante • Un vaste réseau de ressources informatiques interconnectées 2

Contexte du travail : IHM en informatique ambiante • En surface, de nouvelles possibilités d’interaction pour l’utilisateur 2

Contexte du travail : IHM en informatique ambiante • En surface, de nouvelles possibilités d’interaction pour l’utilisateur Pick & Drop [Rekimoto 98] 2

Contexte du travail : IHM en informatique ambiante • En surface, de nouvelles possibilités d’interaction pour l’utilisateur Cube TV [Block 04] 2

Contexte du travail : IHM en informatique ambiante • Nouveaux services, techniques, ressources 3

Contexte du travail : IHM en informatique ambiante • Nouveaux services, techniques, ressources • Frontières souples 3

Contexte du travail : IHM en informatique ambiante • Comment contrôler, configurer, évaluer l’état de l’espace ambiant? 4

Problème • Des solutions isolées et ad hoc Jigsaw [Rodden 04] 5

Problème • Des solutions isolées et ad hoc Jigsaw [Rodden 04] Transtick [Rekimoto 05] Paris New-York 5

Problème • Des solutions isolées et ad hoc • Pas de réflexion générale sur le problème Jigsaw [Rodden 04] Transtick [Rekimoto 05] Paris New-York 5

Ma réponse : le concept de méta-IHM Méta-IHM 6

Objectifs • Définir la notion de méta-IHM • Identifier les implications architecturales pour l’intégration technique de méta-IHM • Illustrer les travaux de recherche au moyen d’un démonstrateur 7

Plan Contexte Problème Objectifs Contributions Conceptuelles Techniques Conclusion Perspectives 8

Plan Contexte Problème Objectifs Contributions Conceptuelles Techniques Définition de méta-IHM Analyse de l’état de l’art Conclusion Perspectives 8

Définition de méta-IHM • Méta-IHM : – Une méta-IHM recouvre l’ensemble des fonctions (et leur IHM) nécessaire et suffisant pour permettre à l’utilisateur de configurer, contrôler et évaluer l’état de l’espace ambiant. – Méta : elle est au-dessus des services métiers de l’espace – IHM : elle permet de configurer, de contrôler et d’évaluer l’état de cet espace 9

Définition de méta-IHM : Approche adoptée • Puissance d’une taxonomie : – Comprendre et cerner le sujet – Comparer les solutions existantes – Explorer de nouvelles pistes 10

Définition de méta-IHM : Espace taxonomique 11

Définition de méta-IHM : Espace taxonomique 11

Définition de méta-IHM : Espace taxonomique Ils perdent leur raison d’être 11

Définition de méta-IHM : Espace taxonomique Ils conservent leur raison d’être 11

Définition de méta-IHM : Espace taxonomique Transtick [Rekimoto 05] 11

Définition de méta-IHM : Espace taxonomique Jigsaw [Rodden 04] 11

Définition de méta-IHM : Espace taxonomique Dynawall [Streitz 99] 11

Définition de méta-IHM : Espace taxonomique 12

Définition de méta-IHM : Espace taxonomique Speakeasy [Newman 02 ] 12

Définition de méta-IHM : Espace taxonomique Les tablettes d’Hinckley [Hinckley 00 b] 12

Définition de méta-IHM : Espace taxonomique Pick & Drop [Rekimoto 98] 12

Définition de méta-IHM : Espace taxonomique Plastic Clock 12

Définition de méta-IHM : Espace taxonomique E-gadget [Marcopoulos 04] 12

Définition de méta-IHM : Espace taxonomique 12

Définition de méta-IHM : Espace taxonomique Observabilité : percevoir l’état du service Traçabilité : observabilité au cours du temps Contrôlabilité : intervenir sur l’exécution du service 13

Définition de méta-IHM : Espace taxonomique Editeur Jigsaw [Rodden 04] 13

Définition de méta-IHM : Migri. XML [Molina 06] Espace taxonomique 13

Définition de méta-IHM : Espace taxonomique Projecteur mobile [Borkowski 06] Migri. XML [Molina 06] 13

Définition de méta-IHM : Espace taxonomique Speakeasy [Newman 02 ] 13

Définition de méta-IHM : Espace taxonomique Editeur Jigsaw [Rodden 04] 13

Définition de méta-IHM : Espace taxonomique 13

Plan Contexte Problème Objectifs Contributions Conceptuelles Techniques Définition de méta-IHM Analyse de l’état de l’art Conclusion Perspectives 14

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles Transtick [Rekimoto 05] 15

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution Migri. XML [Molina 06] 15

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation Jigsaw [Rodden 04] 15

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation end-user programming Jigsaw [Rodden 04] 16

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation end-user programming 16

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation end-user programming ! 16

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation end-user programming Programmation visuelle Jigsaw [Rodden 04] 16

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation Programmation visuelle end-user programming Programmation textuelle on mouse. Up put "100, 100" into pos repeat with x = 1 to the number of card buttons set the location of card button x to pos add 15 to item 1 of pos end repeat end mouse. Up Jigsaw [Rodden 04] Hyper. Card 16

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation Programmation visuelle end-user programming Programmation textuelle Programmation par l’exemple on mouse. Up put "100, 100" into pos repeat with x = 1 to the number of card buttons set the location of card button x to pos add 15 to item 1 of pos end repeat end mouse. Up Jigsaw [Rodden 04] Hyper. Card Emacs 16

Analyse de l’état de l’art : Tendances • Méta-IHM tangibles • Méta-IHM pour la redistribution • Méta-IHM de programmation end-user programming Environnements auteurs Dreamweaver 16

Analyse de l’état de l’art : Les failles - Langage d’interaction : un réel défi 17

Analyse de l’état de l’art : Les failles - Langage d’interaction : un réel défi - Absence d’intégralité des services 17

Analyse de l’état de l’art : Les failles - Langage d’interaction : un réel défi - Absence d’intégralité des services - Niveaux de contrôle peu respectés 17

Analyse de l’état de l’art : Les failles - Langage d’interaction : un réel défi - Absence d’intégralité des services - Niveaux de contrôle peu respectés - Absence de méta-IHM mixte 17

Plan Contexte Problème Objectifs Contributions Conceptuelles Techniques Conclusion Perspectives Conception de CESAM Amélioration de CESAM 18

Conception de CESAM : Les bases - Langage d’interaction : un réel défi - Absence d’intégralité des services - Niveaux de contrôle peu respectés - Absence de méta-IHM mixte 19

Conception de CESAM Partie externe Objets systèmes (Ressources d’interaction, calcul et communication) Découvrir Assembler Paramétrer 20

Conception de CESAM Partie externe Partie tissée Objets systèmes (Ressources d’interaction, calcul et communication) Objets des services métiers Découvrir Assembler Paramétrer Remodeler Fusion des 2 parties Redistribution 20

Conception de CESAM Partie externe Partie tissée Objets systèmes (Ressources d’interaction, calcul et communication) Objets des services métiers Découvrir Assembler Paramétrer Remodeler Fusion des 2 parties Redistribution 20

Conception de CESAM : la partie externe • Construire des îlots d’interaction Découverte des objets sous forme de jetons Zone d’assemblage des jetons Zone de paramétrage 21

Conception de CESAM : la partie externe • Construire des îlots d’interaction Déplacement des jetons par glisser-déposer Les jetons compatibles s’allument 21

Conception de CESAM : la partie externe • Construire des îlots d’interaction Formation d’un îlot d’objets jeton non compatible avec l’îlot formé 21

Conception de CESAM Partie externe Partie tissée Objets systèmes (Ressources d’interaction, calcul et communication) Objets des services métiers Découvrir Assembler Paramétrer Remodeler Fusion des 2 parties Redistribution 22

Conception de CESAM : la partie tissée • Remodelage de l’application métier Funny. Pic 23

Conception de CESAM : la partie tissée • Remodelage de l’application métier Funny. Pic 23

Conception de CESAM : la partie tissée • Eclater 24

Conception de CESAM : la partie tissée • Eclater • Fusionner 24

Conception de CESAM : la partie tissée • Eclater • Fusionner • Dupliquer 24

Conception de CESAM : la partie tissée • • Eclater Fusionner Dupliquer Rétablir 24

Conception de CESAM Partie externe Partie tissée Objets systèmes (Ressources d’interaction, calcul et communication) Objets des services métiers Découvrir Assembler Paramétrer Remodeler Fusion des 2 parties Redistribution 25

Conception de CESAM : une méta-IHM mixte • Redistribution par manipulation directe des objets numériques Le jeton avale l’objet numérique pour le redistribuer 26

Plan Contexte Problème Objectifs Contributions Conceptuelles Techniques Conclusion Perspectives Conception de CESAM Amélioration de CESAM 18

Amélioration de CESAM : Les bases - Langage d’interaction : un réel défi - Absence d’intégralité des services - Niveaux de contrôle peu respectés - Absence de méta-IHM mixte 19

Amélioration de CESAM : programmation par macros • Construire des macros Macros représentées par des punaises L’utilisateur punaise la macro sur un îlot 21

Amélioration de CESAM : programmation par macros • Construire des macros Macros représentées par des punaises L’utilisateur punaise la macro sur un îlot Programmation ponctuelle et programmation évènementielle 21

Amélioration de CESAM : programmation ponctuelle • Construire une macro par l’exemple Découverte Les macros sont stoquées dans la liste des objets manipulables Bouton de début et de fin d’enregistrement de macros 21

Amélioration de CESAM : programmation ponctuelle • Construire une macro par l’exemple Découverte Les macros sont stoquées dans la liste des objets manipulables Bouton de début et de fin d’enregistrement de macros Accès à la zone de programmation évènementielle 21

Amélioration de CESAM : programmation évènementielle • Construire une macro en visuel ou textuel Principe d’égale opportunité 21

Amélioration de CESAM : programmation évènementielle • Construire une macro en visuel ou textuel 21

Amélioration de CESAM : programmation évènementielle • Construire une macro en visuel ou textuel ("Le 28/09/2006" et 13 h 30") ilot 1 = PDA et Ordinateur PDA = Zone. Navigation de Powerpoint Ordinateur = Zone. Restante de Powerpoint 21

Plan Contexte Problème Objectifs Contributions Conclusion Perspectives 33

Conclusion • Contributions conceptuelles [Roudaut 06] – Espace taxonomique pour la définition d’une méta-IHM – Analyse de l’état de l’art – Analyse poussée d’une tendance : end-user programming • Contributions techniques – Conception du prototype CESAM • Méta-IHM mixte offrant tous les services – Amélioration de CESAM • Environnement de programmation auteur – Mise en place de CESAM dans l’infrastructure conceptuelle CAMELEON-RT 34

Conclusion • Contributions conceptuelles [Roudaut 06] – Espace taxonomique pour la définition d’une méta-IHM – Analyse de l’état de l’art – Analyse poussée d’une tendance : end-user programming • Contributions techniques – Conception du prototype CESAM • Méta-IHM mixte offrant tous les services – Amélioration de CESAM • Environnement de programmation auteur – Mise en place de CESAM dans l’infrastructure conceptuelle CAMELEON-RT 34

Perspectives • A court terme : – Valider les choix de CESAM par une évaluation expérimentale – Etudier le critère de traçabilité • A long terme : 35

Merci de votre attention

Plan Contexte Problème Objectifs Contributions Conceptuelles Techniques Conclusion Perspectives Conception de CESAM Implications architecturales 27

Implications architecturales : CAMELEON-RT 28

Implications architecturales : CAMELEON-RT 28

Implications architecturales : CAMELEON-RT 28

Implications architecturales : CAMELEON-RT 28

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 29

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 1. Découverte du contexte d’interaction Utilisateur Plate-forme Environnement 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 2. Synthèse des données recueillies Situation 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 3. Création d’un plan de configuration Plan de configuration : Remplacer par 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 4. Mise en œuvre du plan Recher : 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 5. Recherche de composants Vide ! 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 6. Mise en œuvre du plan Générer : 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 7. Génération du composant 30

Implications architecturales : CAMELEON-RT • Un exemple de fonctionnement : 8. Exécution du plan 30

Implications architecturales : retour sur la méta-IHM • Cas du système autonome 31

Implications architecturales : retour sur la méta-IHM • Contrôle grâce à la méta-IHM 31

Implications architecturales : retour sur la méta-IHM Observabilité : Pour chaque flèche du diagramme, la méta-IHM est avertie : 32

Implications architecturales : retour sur la méta-IHM Observabilité : Pour chaque flèche du diagramme, la méta-IHM est avertie : Traçabilité : Pour chaque parcours dans le diagramme, une flèche atteint la méta-IHM. S’il n’y a pas de rupture dans le chemin, la traçabilité est respectées. . 32

Implications architecturales : retour sur la méta-IHM Observabilité : Pour chaque flèche du diagramme, la méta-IHM est avertie : Traçabilité : Pour chaque parcours dans le diagramme, une flèche atteint la méta-IHM. S’il n’y a pas de rupture dans le chemin, la traçabilité est respectées. . Contrôlabilité : Pour chaque flèche du diagramme atteignant la méta-IHM, un contrôle est possible. 32

Perspectives • A court terme : – Etendre le langage d’interaction de CESAM avec de la programmation par exemple, textuelle et visuelle – Compléter CESAM par tous les niveaux de contrôle – Valider les choix de CESAM par une évaluation expérimentale • A long terme : 35

Perspectives • Du consommateur d’application au designer d’espace ambiant 36

Perspectives • Du consommateur d’application au designer d’espace ambiant 36

Perspectives • Du consommateur d’application au designer d’espace ambiant 36

Perspectives • Du consommateur d’application au designer d’espace ambiant 36

Perspectives • Du consommateur d’application au designer d’espace ambiant ? 36