Intervention du SMART au Conseil des tudes 1

Intervention du SMART au Conseil des études 1 er et 2ème doctorat Faculté de Médecine Jean-Luc GILLES, Pascal DETROZ & Myriam DUPONT CHU - 30/05/2005 Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Réponses à des questions ponctuelles : Avantages / inconvénients vrai-faux vs QCM ? Quels systèmes de cotation appliquer lors de vrai-faux ? Faut-il utiliser la consigne « Choisissez la meilleure solution » ? Comment améliorer la qualité des tests standardisés interdisciplinaires ? Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM Leclercq (1986) Avantages et inconvénients respectifs Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM 1. Du point de vue des possibilités de feedbacks Vrai-faux Les propositions incorrectes apparaissent plus comme des « masques à la réponse correcte » que comme des propositions qui pourraient fournir des informations sur le type d’erreur commise par l’étudiant. QCM « The distractor a student chooses may give you diagnostic insight into difficulties the student is experiencing » Nitko (2001) Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM 2. Du point de vue des réponses dues au hasard Vrai-faux Dans le cas d’une question vrai-faux, les évalués ont dès le départ 50 % de chances de donner la réponse correcte. . . Les vrai-faux surestiment les performances des étudiants. QCM « There is less of a chance for a student to guess the correct answer to a multiple-choice item than to a true-false item or to a poorly constructed matching exercise » Nitko (2001) Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM 3. Du point de vue de la fidélité Nombre de solutions proposées Niveaux de fidélité 0, 5 0, 6 0, 7 0, 8 0, 9 2 54 67 90 135 270 3 36 45 60 90 180 4 30 37 50 75 150 5 27 34 45 67 135 6 25 31 42 63 126 7 24 30 40 60 120 8 23 29 39 58 115 9 22 28 37 56 112 Nombre de questions nécessaires pour obtenir une fidélité donnée quand toutes les QCM ont le même nombre de solutions proposées Ebel (1969) Pour atteindre une fidélité théorique de 0, 8 Il faudrait prévoir 135 Vrai-faux Il faudrait prévoir 56 QCM Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM 4. Du point de vue du temps de réponse nécessaire Imaginons que l’on vise une fidélité théorique de 0, 8… Vrai-faux QCM Dans le cas de vrai-faux, Dans le cas de QCM avec 9 solutions, il en faudrait environ 135 il en faudrait environ 56 Estimons le temps de réponse moyen pour chaque vrai-faux à 2 minutes : Estimons le temps de réponse moyen pour chaque QCM à 4 minutes : 135 x 2 = 270 min. 56 x 4 = 224 min. soit 4 h 30 d’examen soit environ 3 h 45 d’examen Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM 5. Du point de vue de l’authenticité des questions Vrai-faux De part leur nature dichotomique, en général, les questions vrai-faux ne se prêtent pas bien à l’évaluation de compétences mises en jeu dans des situations complexes « authentiques » , comme celles qu’on peut rencontrer dans un contexte professionnel. En fait, ils sont souvent utilisés pour évaluer des connaissances factuelles. QCM « The multiple-choice format can be used to assess a greater variety of learning targets than other formats of response-choice items » Nitko (2001) Exemple : les QCM « cas à analyser » Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM 6. Du point de vue des niveaux taxonomiques Avec degrés de certitude Bloom (1956, 1984) Vrai-faux * QCM Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Avantages / inconvénients vrai-faux vs QCM Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2 h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) Besoins identifiés dans le cadre des évaluations des acquis en 1 er et 2ème doctorat en février 2003 Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Systèmes de cotation appliqué lors de vrai-faux Systèmes de cotations possibles dans le cas de vrai-faux généralisés (d’après Leclercq, 1986) Indiquez, pour chacune des couleurs suivantes, si elle appartient (vrai ou faux) à la catégorie des couleurs spectrales primaires. 1. l’infra-rouge 2. le rouge …………. . . … (V) 3. l’orange 4. le jaune 5. le vert ………………. (V) 6. le bleu ………………. (V) 7. l’indigo 8. le violet 9. l’ultra-violet Type 1 Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées … sévérité 2 systèmes de cotations possibles Type 2 Chaque proposition est considérée comme une question indépendante et corrigée comme telle. On peut omettre à une ou plusieurs solutions. … sévérité Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Systèmes de cotation appliqué lors de vrai-faux Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées Noizet et Caverni (1978) Expérience menée avec des étudiants en médecine (N = 556) Si on annonce le nombre de solutions vraies et le nombre de solutions fausses => plus facile ! Si le nombre de solutions vraies et de solutions fausses n’est pas annoncé => plus difficile ! Tâche de discrimination d’un pattern de réponses (une fois les X solutions correctes repérées, les autres peuvent être considérées comme incorrectes). Tâche de jugement multiple. 53 % de patterns de réponses exacts 27 % de patterns de réponses exacts Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Systèmes de cotation appliqué lors de vrai-faux Dans le cas d’un vrai-faux généralisé, c’est le tarif de la « correction for guessing » qui est le plus souvent utilisé pour contrer les effets des réponses correctes dues au hasard : En cas de réponse correcte : +1 En cas de réponse incorrecte : avec NSP = Nombre de Solutions Proposées, dans le cas d’un vrai-faux « type 1 » = le nombre de combinaisons possibles dans le cas d’un vrai-faux « type 2 » =2 En cas d’omission : 0 Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

La consigne « Choisissez la meilleure solution » « Il est en principe plus difficile de répondre à une QCM de la forme ci-dessus qu’à une QCM classique … En effet… plusieurs solutions peuvent être considérées comme correctes (4 et 5), et il faut les classer entre elles pour, finalement, choisir la meilleure. » Leclercq (1986) Critiques : « … rather difficult to craft…You need to create distractors that are partially correct… unlike typical multiple choice items for which one option is the only correct one » « … What is legitimately a best answer in one teacher’s class (given what students have been taught) is not the best answer in another teacher’s class. » « …Best implies a set of criteria that may not have been taught or understood by students. » « …A teacher may easily write a “tricky” item in which an option’s correctness depends on a trivial fact, …or an easily overlooked word in a phrase. » Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05 Nitko (2001)

Comment améliorer la qualité des tests standardisés interdisciplinaires ? Une approche qualité Objectifs de qualité Besoins des évaluateurs & des évalués Ressources en personnel et en matériel Modèles & procédures Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2 h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) Besoins identifiés dans le cadre des évaluations des acquis en 1 er et 2ème doctorat en février 2003 … régulation des cotes en fonction de questions se révélant problématiques a posteriori (simulation le 28/10/02) … entraînement des étudiants durant l'année. Utilisation des boîtiers de votes électroniques. … préparer les étudiants depuis les candis et affiner le système progressivement. Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Les besoins identifiés dans le cadre des évaluations des acquis en 1 er et 2ème doc. Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2 h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) Suggestions une analyse des avis des étudiants à propos des différentes modalités d'évaluation proposées dans le cadre des tests interdisciplinaires ? un feedback individualisé pour chaque étudiant accessible via le web après chaque test interdisciplinaire ? cycle de gestion qualité des tests standardisés … régulation des cotes en fonction de questions se révélant problématiques a posteriori (simulation le 28/10/02) Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine … entraînement des étudiants durant l'année. Utilisation des boîtiers de votes électroniques. … préparer les étudiants depuis les candis et affiner le système progressivement. - 30/05/05

L’équipe du SMART peut vous aider à : 1. Construire vos tables de spécification 2. Choisir vos méthodes de questionnement 3. Analyser la qualité docimologique de vos questions (d’un point de vue formel) relecture selon les règles de rédaction des QC et proposition d’améliorations 4. Gérer vos banques de questions 4. Concevoir et mettre en œuvre des examens « à blanc » avec les moyens logistiques du SMART (BVE, TIMI, …) 6. Accompagner dans l’analyse a posteriori des questions (r. bis, …) 7. Concevoir des feedbacks plus diagnostiques et plus précis 8. Utiliser les informations liées aux EVALENS pour améliorer vos examens Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05

Site web du SMART : http: //www. smart. ulg. ac. be Intervention du SMART au Conseil des études 1 er et 2ème doctorat en Faculté de Médecine - 30/05/05