Ergonomie des IHM Module IHM ESSI Alain GIBOIN
Ergonomie des IHM Module IHM, ESSI Alain GIBOIN (INRIA) Évaluation coopérative Méthode originale
Évaluation coopérative : Présentation générale Auteurs : Monk, Wright, Haber et Davenport (1993) t Méthode conçue pour des informaticiens par des psychologues spécialistes des IHM
Évaluation coopérative : Présentation générale t Quel est le but de la méthode ? n Obtenir des données sur les problèmes que peut rencontrer l’utilisateur d’un logiciel « L'objectif n'est pas de fournir une liste exhaustive des problèmes pouvant être identifiés. « Il est plutôt d'aider à identifier, avec le minimum d'effort, les problèmes les plus importants à considérer. » n afin d'améliorer ce logiciel
Évaluation coopérative : Présentation générale t À qui est destinée cette méthode ? « L'évaluation coopérative peut être utilisée par des concepteurs ne possédant pas de connaissances spécialisées en ergonomie »
Évaluation coopérative : Présentation générale t Quand utiliser cette méthode ? n « L'évaluation coopérative est le plus utile pour avoir un retour précoce sur la reconception dans un cycle itératif rapide »
Évaluation coopérative : Présentation générale t Méthode adaptée aux étudiants en informatique de l’ESSI Auteur : A. G. n Définition : procédure permettant aux étudiants de l'ESSI d'obtenir des données sur les problèmes importants que pourraient rencontrer les utilisateurs de leur interface, et d'améliorer ensuite cette interface.
Plan t Evaluation coopérative n Méthode originale n Méthode adaptée aux étudiants en informatique
Évaluation coopérative : Méthode originale t Ses étapes n Étape 1/ Recruter des utilisateurs n Étape 2/ Préparer des tâches à exécuter par les utilisateurs n Étape 3/ Interagir et enregistrer
Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs t Définir la population cible n Par les «dimensions» de l'utilisateur Statut Préférences Niveau d’expérience Personnel de la bibliothèque Lecteurs Fournisseurs Libraires Maisons d'édition
Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs t Définir la population cible n Par les «dimensions» de l'utilisateur n À l'aide de typologies d'utilisateurs Exemple : Utilisateurs de documentation électronique (cf. Horton, 1990)
Typologie d'utilisateurs Utilisateurs de documentation électronique (cf. Horton, 1990)
Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs t Nombre d'utilisateurs à recruter n Entre 1 et 5 utilisateurs par itération, tôt dans le processus de conception t Sources possibles de recrutement
Sources possibles de recrutement
Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs t Si les utilisateurs recrutés ne sont pas les utilisateurs cibles n Ces utilisateurs ont -ils les mêmes caractéristiques que les utilisateurs cibles ? En particulier : l l l Connaissance du domaine de la tâche Expérience de l'informatique Aptitude à manipuler les dispositifs d'entrée (clavier, etc. ) Niveau d'éducation Manière d'aborder les situations de résolution de problèmes
Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs t Modalités de recrutement n Questions à se poser l l Une permission pour les utilisateurs est-elle nécessaire ? Des arrangements administratifs doivent-ils être faits ?
Évaluation coopérative : Méthode originale t Ses étapes n Étape 1/ Recruter des utilisateurs n Étape 2/ Préparer des tâches à exécuter par les utilisateurs n Étape 3/ Interagir et enregistrer
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Objectif n Préparer une feuille de tâches l l Ces tâches doivent être représentatives des tâches réelles des utilisateurs Elles doivent permettre une exploration minutieuse de l'interface
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Objectif n Préparer une feuille de tâches n Caractéristiques de la feuille de tâches l l Contenu : liste des tâches que les utilisateurs essaieront de réaliser à l'aide du prototype La liste sera donnée à l'utilisateur au début de la séance d'évaluation
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Objectif n Préparer une feuille de tâches n Caractéristiques de la feuille de tâches n Questions à se poser sur les tâches n Les tâches choisies sont-elles réalisables à l'aide du prototype ? n Les tâches vont-elles amener l'utilisateur à se centrer sur les parties de l'interface auxquelles vous intéressez ? n Combien de temps avez-vous alloué pour chaque utilisateur ? n À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ? n Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ? n L'énoncé des tâches est-il suffisamment clair pour un utilisateur novice ?
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Choses à surveiller pendant la préparation des tâches n Les tâches sont-elles spécifiques ? l l Exemple de tâche non spécifique "Réalisez la tâche que vous effectuez normalement. " Exemple de tâche spécifique "Dessinez une maison avec une porte, quatre fenêtres et une cheminée. "
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Choses à surveiller pendant la préparation des tâches n Les tâches sont-elles spécifiques ? n Les tâches sont-elles représentatives ? l l En discuter avec les utilisateurs En discuter avec d'autres spécialistes de l'entreprise
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Choses à surveiller pendant la préparation des tâches n Les tâches sont-elles spécifiques ? n Les tâches sont-elles représentatives ? n Que faire si l'utilisateur ne termine pas la tâche ou la termine trop rapidement ? l l Décider d'un temps maximum pour chaque tâche Ajouter des tâches supplémentaires – Tâches plus simples pour les utilisateurs n'ayant pas terminé – Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu
Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs t Choses à surveiller pendant la préparation des tâches n Les tâches sont-elles spécifiques ? n Les tâches sont-elles représentatives ? n Que faire si l'utilisateur ne termine pas la tâche. . . ? n Examen des fonctions importantes l Double examen – Examen en début de séance – Examen en fin de séance
Évaluation coopérative : Méthode originale t Ses étapes n Étape 1/ Recruter des utilisateurs n Étape 2/ Préparer des tâches à exécuter par les utilisateurs n Étape 3/ Interagir et enregistrer
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Sous-étapes n Avant l'arrivée des utilisateurs n À l'arrivée des utilisateurs n Pendant la réalisation des tâches n «Debriefing»
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Avant l'arrivée des utilisateurs n Objectif l Vérifier que tout est en place et complètement opérationnel l Pour cette vérification, utiliser la check-list suivante l Le prototype est-il prêt à l'utilisation dans un environnement suffisamment tranquille ? La feuille de tâche est-elle disponible ? Moyen d'enregistrer ce que dit l'utilisateur (magnétophone, micro connecté à vidéo) ? Moyen d'enregistrer ce que fait l'utilisateur (vidéo, log) ? Carnet ou feuille pro-forma sur lesquels prendre des notes ? Liste de questions à poser pendant le debriefing ? Avez-vous prévu ce que vous allez dire à l'utilisateur quand il arrive ? Avez-vous manipulé vous-mêmes la feuille de tâches pour préciser ce à quoi s'attendre ? l Avez-vous vérifié le bon fonctionnement des appareils d'enregistrement ? l l l l
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Sous-étapes n Avant l'arrivée des utilisateurs n À l'arrivée des utilisateurs n Pendant la réalisation des tâches n «Debriefing»
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t À l'arrivée des utilisateurs n Principes gouvernant la séance l Conduite de la séance : mode informel (discussion libre sur le système) l Statut des utilisateurs : co-évaluateurs et non sujets d'expérience
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t À l'arrivée des utilisateurs n Principes gouvernant la séance l l l Conduite de la séance… Statut des utilisateurs… Indiquer aux utilisateurs ce que l'on attend de la séance : – observer en quoi le système peut les induire en erreur ou leur rendre difficiles certaines tâches – et non relever les erreurs qu'ils commettent ou noter ce qu'ils sont incapables de faire C'est le système qui est évalué et non l'utilisateur
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t À l'arrivée des utilisateurs n Actions l Mettre les utilisateurs en confiance l Démarrer l'enregistrement de la séance (pour ne pas oublier) l Se présenter – Qui vous êtes – Objectif de la séance – Souligner que c'est le système qui est évalué et non l'utilisateur – Expliquer la philosophie de l’évaluation coopérative
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t À l'arrivée des utilisateurs n Actions (suite) l Expliquer l’évaluation coopérative – Décrire la technique – Indiquer à l'utilisateur que ses paroles seront enregistrées mais qu'elles resteront confidentielles l Présenter la feuille de tâches – Préciser que les tâches ne sont pas un test, mais juste une manière d'introduire l'utilisateur aux différentes parties du système l Conseil : pour garder son caractère informel à cette étape, ne pas rédiger de consigne
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Sous-étapes n Avant l'arrivée des utilisateurs n À l'arrivée des utilisateurs n Pendant la réalisation des tâches n «Debriefing»
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Pendant la réalisation des tâches n Impératifs l Laisser parler les utilisateurs l Être attentif à ce qui se passe
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Pendant la réalisation des tâches n Impératifs n Actions l Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système – Demander aux utilisateurs de commenter en direct » ce qu'ils font et » ce qu'ils vont faire
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Pendant la réalisation des tâches n Impératifs n Actions l Encourager les utilisateurs à parler à voix haute l S'assurer de la (relative) continuité du dialogue en posant des questions appropriés chaque fois que cela est possible – – – – Comment fait-on ça ? Que voulez-vous faire ? Qu'arrivera-t-il si. . . ? Que vient de faire le système ? Que veut vous dire le système avec ce message ? Pourquoi le système a-t-il fait cela ? À quoi vous attendiez-vous ? Qu'êtes-vous en train de faire maintenant ?
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Pendant la réalisation des tâches n Impératifs n Actions l l Encourager les utilisateurs à parler à voix haute S'assurer de la (relative) continuité du dialogue l Noter chaque occurrence de comportement inattendu et chaque commentaire sur l'utilisabilité du système l Comportement inattendu : quand les utilisateurs font quelque chose que le concepteur n'a pas prévu. Exemple : L'utilisateur tape une série imprévue de commandes Commentaires : commentaires et évaluations subjectifs (positifs ou négatifs) de l'interface. l Exemples : – "C'est chouette de pouvoir faire ça sans avoir à retaper tout. " – "Ça exige beaucoup d'effort. " – "Je déteste devoir faire ça deux fois. "
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Pendant la réalisation des tâches : notations n Procédure l Faute de temps pour prendre des notes détaillées, – noter l'endroit de la bande magnétique où se trouve le comportement ou le commentaire – et décrire brièvement (si possible en un mot) ce qui est arrivé n Avertissement l l Ne pas laisser la prise de notes interférer avec l'objectif prioritaire de créer un dialogue avec l'utilisateur Arrêter la prise de notes si cela arrive
Exemple de pro-forma pour la prise de notes
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Sous-étapes n Avant l'arrivée des utilisateurs n À l'arrivée des utilisateurs n Pendant la réalisation des tâches n «Debriefing»
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t «Debriefing» n Principe l Discussion avec l'utilisateur lorsque ce dernier a terminé toutes ses tâches – Discussion sur ce que chacun pense être les problèmes d'utilisabilité les plus importants du système – Discussion sur la technique elle-même d'évaluation coopérative l Des commentaires très intéressants peuvent surgir de cette phase
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t «Debriefing» n Questions de référence sur le prototype l Quelle est la plus grande qualité du prototype ? Quel est le plus grand défaut du prototype ? Qu'est-ce qui a le plus besoin d'être changé ? Avez-vous trouvé les tâches faciles à réaliser ? l Questions spécifiques sur le prototype l l l
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t «Debriefing» n Questions de référence sur l’évaluation coopérative l l l L'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t «Debriefing» n Utilisation des questions de référence l Les photocopier et les utiliser comme « déclencheurs » l Ces questions étant générales, les compléter par des questions plus spécifiques de son cru sur des aspects plus particuliers du système – sur les noms de menus – sur les valeurs par défaut – etc.
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t «Debriefing» n Formulaire complémentaire l Questionnaire (simple) à remplir par les utilisateurs l Cas d'utilisation : – Utilisateurs nombreux – Besoin d'avoir un retour plus formel
Évaluation coopérative - méthode originale 3/ Interagir et enregistrer t Second «Debriefing» n Principe l Revoir les utilisateurs une seconde fois (seuls ou en groupe) – pour clarifier son interprétation des problèmes importants d'utilisabilité et – discuter des changements possibles à faire sur le système
Plan t Evaluation coopérative n Méthode originale n Méthode adaptée aux étudiants en informatique
- Slides: 46