Les Questionnaires Choix Multiples Pr Claire LE JEUNNE

Les Questionnaires à Choix Multiples Pr Claire LE JEUNNE Vice doyen à la pédagogie et à la vie étudiante Faculté de médecine Paris Descartes DIU Pédagogie médicale 23/01/2015

Qualités attendues d’une évaluation ? Ajustement des questions en cours de route Retour immédiat sur la compréhension de la question Diagnostic fin quant à la profondeur des connaissances Standardisation des consignes Standardisation des corrections Capacité à couvrir toute la matière Temps de passation Temps de correction Simplicité de la correction Valorisation d’une réaction rapide Capacité à appréhender les processus mentaux de : -connaissance - compréhension - application - analyse - synthèse - évaluation Capacité à appréhender la créativité Capacité à appréhender les qualités rédactionnelles Capacité à appréhender les compétences orales Capacité à appréhender un raisonnement Possibilité de feed-back rapide et précis Risque de mémorisation d’informations erronées

Définition "une question à laquelle l’étudiant répond en opérant une sélection (au moins) parmi plusieurs solutions proposées (au moins deux), chacune étant jugée (par le constructeur de l’épreuve) correcte ou incorrecte en soi et indépendamment de l’étudiant interrogé" Dieudonné LECLERC (Bruxelles – 1986) mesure la capacité à reconnaître une « bonne » réponse, pas à la produire.

Avantages et limites de ce type d’évaluation Avantages Limites • La correction est rapide, beaucoup plus que dans le cas d’une évaluation classique • La correction est objective et fidèle • Le champs d’évaluation est vaste • La constitution progressive d’une banque de questions permet de faciliter l’élaboration ultérieure de nouveaux questionnaires • La conception d’un bon questionnaire demande du temps • Une réponse exacte peut être due au hasard • Un questionnaire ne permet pas de tester la capacité à rédiger, à créer, ou à produire des raisonnements complexes

Inconvénients des QCM • les questions sont difficiles à rédiger, • les leurres sont complexes à concevoir • les étudiants répondent de mémoire à des questions mises à disposition dans une banque sans en comprendre la réponse • la complexité des questions « tirant dans les coins » • l’ambiguïté de certaines propositions, • ou le caractère discutable de certaines réponses.

Recommandations pour la réalisation des QCM • Travailler en équipe. La rédaction d’un questionnaire satisfaisant demande beaucoup de temps et d’imagination, le texte doit être parfaitement compréhensible et dénué de toute ambiguïté • il est donc plus efficace de travailler en équipe.

Identifier les items de questionnement • Dissocier la phase de conception du questionnaire de celle de sa réalisation technique, afin d’éviter une « surcharge cognitive » : il est souvent difficile de réfléchir simultanément au sens de la question et à la façon de la présenter. • S’entendre d’abord sur l’ensemble des éléments à évaluer, puis sur les moyens d’évaluer chacun d’entre eux (en variant les stratégies et éventuellement le niveau de difficulté) et • enfin sur la formulation et la présentation.

6 niveaux d’objectifs pédagogiques peuvent être testés en fonction du type de QCM • Connaissance : définir, énumérer, nommer • Compréhension : associer, différencier, décrire distinguer • Application : illustrer, montrer, classifier, résoudre • Analyse : expliquer, classer, comparer, isoler • Synthèse : intégrer, élaborer, rédiger, argumenter • Evaluation : décider, s’autoévaluer, juger

Les sujets des questions Les questions doivent - porter sur les sujets importants de la matière traitée - traiter d’un seul sujet par question -permettre de distinguer à quel degré l’élève a assimilé la matière il convient de veiller particulièrement à : - l'univocité : le mot garde le même sens dans des emplois différents - la précision : le terme ne laisse place à aucune indécision - la simplicité : le niveau de langage correspond à celui des élèves - l'honnêteté : on évitera d'introduire des notions non connues des étudiants

La formulation des questions Les questions doivent - Etre structurées en faisant une nette séparation entre tronc et alternatives - être précises en évitant le vague et les sous-entendus - être concises en évitant tout ce qui est inutile pour identifier l’alternative correcte: - être intelligentes en évitant de fournir des moyens techniques ou superficiels d’identifier l’alternative correcte ou les alternatives fausses Le p. H joue un rôle important dans l’estomac en réglant l’activité des enzymes de la digestion sécrétées par les glandes de la muqueuse interne. Ce p. H est : □ basique □ acide □ neutre

Un item doit cibler une seule notion. • L’énoncé doit être bref, non ambigu, précis et complet. • Éviter les propositions sous la forme négative. • Alterner des questions visant différents types de compétences (restitution de connaissances, compréhension, analyse, logique, observation, etc. ). • Les propositions doivent avoir le même degré de vraisemblance. • Au sein d’un même item, les propositions doivent avoir des longueurs comparables. • Pour diminuer l’effet du hasard on peut proposer des réponses du type aucune réponse n’est correcte ou L’énoncé est incomplet…….

Ce qu’il ne faut pas faire Il faut éviter les formulations ambiguës telles que les formes négatives ou a fortiori les doubles négations : �� Dans quel cas la fièvre est absente ? �� Dans quel cas il n’y pas d’apyrexie ? On préfèrera �� Dans quel cas la température est normale ?

Si la vignette est : A propos de la péritonite appendiculaire quelles sont les propositions exactes ? On notera que la thématique est très générale voire vague, de sorte que les propositions seront disparates. En revanche : Quels sont les arguments cliniques en faveur d’une sténose hypertrophique du pylore ? Cette formulation est beaucoup plus fermée et permettra de focaliser les propositions de réponse sur la même thématique

Adverbes et formes adverbiales • Certains adverbes portent en eux une indication de fréquence. Il est donc important, si l’on souhaite y recourir de rappeler en début d’examen la valeur sémantique de chaque adverbe : – – �� Classiquement : > 90% des cas �� Typiquement, Habituellement : >60% des cas �� Souvent, Parfois, Peut… > 30% des cas �� Est associé à …, est le traitement de choix…, peut être vu…, peut être causé par… sont autant de formes adverbiales qui ne portent pas en elle d’indication de fréquence significative.

Choix des leurres Nombre de leurres • Une bonne QCM doit en règle comporter 4 leurres et une seule bonne réponse, au moins pour une évaluation sanctionnante dont l’objectif est la validation d’une connaissance. • Les QCM pour lesquels plusieurs bonnes réponses sont attendues doivent être utilisés avec parcimonie. • Si 3 bonnes réponses sont attendues, la valeur de chacune est rarement équivalente, une d’elle est souvent plus rare, moins réaliste, plus discutée… • La multiplication des bonnes réponses possibles dans un QCM diminue la valeur discriminante. • Une seule bonne réponse limite les choix liés au seul hasard

Qualité CHOIX DES LEURRES • Le choix de 4 leurres est une contrainte reconnue par tout enseignant s’étant déjà prêté à l’exercice de la rédaction de QCM. – 1. Le leurre doit être réaliste : son exclusion ne doit pas être évidente ou relever d’un travail de déduction plus qu’un appel aux connaissances. – 2. le leurre ne doit comprendre qu’un message au risque d’entraîner le doute ou la confusion.

• 3. Le leurre doit être autant que possible recruté dans le même domaine que la bonne réponse (options cliniques, options para cliniques, options thérapeutiques…). • 4. Si des unités de mesures sont utilisées, il ne faut pas cher à piéger le candidat par des unités différentes. • 5. Enfin, mais c’est une évidence, le leurre doit être faux de façon indiscutable et consensuelle.

Comment différentier les choix dus au hasard? augmenter le nombre de distracteurs afin de réduire les chances de trouver la bonne réponse au hasard ; - retirer des points en cas de réponse incorrecte, de manière à décourager certains « parieurs » (ex. : -1 en cas de mauvaise réponse) et/ou valoriser l’omission (cf. les différents barèmes aux pages 5 et 6) ; - demander à l’étudiant de préciser, pour chacune de ses réponses, le degré de certitude avec lequel il a opéré son choix et en tenir compte dans la notation

• Éviter de donner dans un item la réponse à un autre item du questionnaire. • Varier la position de la(des) bonne(s) réponse(s). • Éviter les situations où l’étudiant peut être tenté de s’en remettre au hasard. • Plusieurs items de difficulté variée permettent d’évaluer le degré d’acquisition d’une notion. • Pour rédiger des distracteurs crédibles, on peut s’aider des mauvaises réponses les plus fréquemment observées chez les étudiants. • Éviter une différence entre deux distracteurs fondée sur une infime nuance.

Tester le questionnaire Le questionnaire doit être testé par des collègues ou par des étudiants, pour affiner la rédaction, la notation et estimer le temps nécessaire pour y répondre. en général 2 minutes minimum par QCM

Durée d’exposition à la QCM • il faut prévoir un temps de composition pour chaque. • En moyenne on retient le principe d’une QCM par minute. • Mais il est possible de prévoir que certaines QCM portant sur des connaissances « basiques » doivent être achevées en 30 secondes et que d’autres pour lesquelles la lecture de la vignette ou des propositions de réponse est longue requièrent 3 minutes de réflexion.

Définir un système de notation • Pour cela il faut s’interroger sur les points suivants afin de fixer des règles qui devront être précisées clairement au début du questionnaire : - Peut-il y avoir une ou plusieurs bonnes réponses par item (dans le cas de choix multiples)? -Comment valorise-t-on les réponses exactes ? -Attribue-t-on une pénalité en cas de réponse erronée ? - L’absence de réponse entraîne-t-elle une pénalité ? (pour inciter l’étudiant à se prononcer) • Toutes les réponses exactes peuvent être valorisées de manière identique, ou bien leur valeur peut être pondérée suivant l’importance relative des éléments évalués. • Les réponses erronées tout comme les réponses absentes peuvent être ignorées ou bien générer des pénalités, qui peuvent être fixes ou variables selon les questions. Certaines réponses erronées peuvent même dans certaines évaluations sommatives être éliminatoires.

Modes de pondération • Mode binaire : le plus couramment utilisé – �� Bonne réponse =1 point, – �� Toute autre réponse = 0 point • Au prorata : d’autant plus de points que de bonnes réponses. – �� Deux bonnes réponses (sur 2) = 1 point – �� Une bonne réponse = ½ point – �� Aucune bonne réponse = 0 point – Problème des points négatifs

Cotation variable en fonction du niveau de difficulté – au niveau de la question : une QCM difficile ne comptera que pour 1 point ; une QCM portant sur un thème essentiel comptera pour 3 points – au sein même de la question : le choix d’un leurre jugé inacceptable pourra provoquer un 0 à la question ; le choix d’une des deux bonnes réponses attendues pourra rapporter 0, 75 point, alors que le choix de l’autre, jugée moins importante ne rapportera que 0, 25 point.

Réutilisation des épreuves ? • Il est classique, en France, de laisser aux candidats le loisir de conserver à l’issue de l’épreuve la listes des questions posées. Cette pratique a des effets délétères à plusieurs titres : – �� Les candidats créent des banques de QCM qui permettent aux générations qui les suivent un apprentissage avant l’épreuve forcément bénéfique. Parfois, on observe malheureusement que les étudiants apprennent par coeur la bonne réponse à des QCM incomprises. – �� Les banques étudiantes « épuisent » les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez élevé de nouvelles QCM de bonne qualité. – �� La sortie régulière de la même question fait bien sûr perdre la valeur du taux de bonnes réponses si elle est attendue par les étudiants.

• chaque année les épreuves de QCM doivent comporter au moins 60% de questions nouvelles, • le renouvellement peut porter sur – un leurre – une bonne proposition, – la formulation de la vignette…

Questions d’ancrage • A contrario, il est nécessaire de faire usage chaque année d’un quota (10% à 30%) de questions d’ancrage déjà validées, déjà utilisées et pour lesquelles la performance des étudiants est connue. • Cette pratique permet de mesurer de façon comparative les différentes cohortes de candidats. – Si une cohorte a réalisé une performance faible, mais qu’elle a répondu comme les cohortes précédentes aux questions d’ancrage, c’est que l’épreuve était de niveau de difficulté supérieure à celle des années précédentes. – Si en revanche sa performance était aussi plus faible que les années précédentes sur les questions d’ancrage, c’est que le niveau de la promotion était inférieur à celui de ses aînés.

Conclusion La technique de rédaction des QCM est cruciale, parce qu’elle doit permettre de décerner jusqu’à quel degré l’élève a atteint les objectifs fixés. Des QCM mal faits ou mal cotés ne peuvent faire cette évaluation. - Elle est difficile parce qu’il s’agit d’un travail qui demande de la patience, de la compétence, de la méfiance, de la faculté d’anticiper et de se mettre au niveau de celui qui apprend. En outre l’évaluation correcte des QCM pose des problèmes de cotation difficiles à établir et à faire accepter. -Les QCM sont de plus en plus souvent réalisés sur ordinateur Il faudra probablement creuser ces pistes

Un oeil presbyte a. voit mal de loin b. voit mal de près c. doit toujours être corrigé d. ne doit être corrigé que pour la vision proche e. Aucune réponse n’est exacte L’énoncé sera formulé, sous une forme positive et interrogative. Aucun de ces gaz n’est un gaz organique, sauf un. Lequel ? a. dioxyde de chlore (Cl. O 2) b. acide sulfhydrique (H 2 S) c. amoniac (NH 3) d. acétone (CH 3 COCH 3) e. Méthane (CH 4) Jean-Baptiste Lully a. était chargé de la direction « des petits violons » b. est mort de la gangrène c. était l’ennemi de Molière d. était le compositeur de Louis XIV e. menait ses musiciens à la baguette

Syntaxe Structure de la phrase • Les phrases doivent être aussi courtes que possible, dans la vignette, mais aussi dans les propositions de réponses. • Il faut veiller à ce que la structuration de chaque proposition de réponse soit identique pour une QCM donnée. Toute variation dans la forme ou dans l’usage de négation constituera des pièges ou des indicateurs pour l’étudiant. Il identifiera une proposition donnée non pas pour son contenu mais pour sa forme.

Vocabulaire Champ lexical • Les mots utilisés ne doivent pas être ambigus ni appartenir à un champ lexical autre que celui qui est requis pour nos candidats. • Ne pas cher à piéger le candidat sur l’ambiguïté d’un mot plus qu’à évaluer sa connaissance.

Les alternatives doivent être - approximativement de même forme , de même longueur(restreinte) et de même degré de complexité. - également plausibles pour un élève non averti - en nombre restreint - sans artifices logiques - disjointes, c. à. d. il faut qu’elles ne se recoupent pas - distribuées au hasard, c. à. d. que les alternatives vraies ne doivent pas toujours occuper la même place. Dans la réalisation de la structure tertiaire des protéines □ n’interviennent pas les acides aminés □ il serait faut de prétendre que les acides aminés ne jouent aucun rôle □ quelques acides aminés ne peuvent pas participer

Check List de vérification lors de la rédaction d’un QCM R 1 : la question mesure un objectif important d’apprentissage et se rapporte au référentiel R 2 : l’énoncé est composé d’une phrase, d’une courte histoire clinique , d’une iconographie R 3 : l’enoncé présente un seul problème à résoudre R 4: l’enoncé utilise un langage simple et clair sans ambiguité , ni jugement de valeur R 5 : l’énoncé est formulé à la forme affirmative ou interrogative R 6: les propositions sont au nombre de 5 R 7: la bonne réponse ressemble aux autres R 8: propositions homogènes dans leur forme , leur contenu , leur structure grammaticale R 9 : les propositions ne sont pas synonymes ne se chevauchent pas R 10: tous les distracteurs sont plausibles R 11: les propositions indispensables sont précisées R 12 : suivent les conseils typographiques A à E pas de majuscule

Qualités attendues d’une évaluation Ajustement des questions en cours de route Retour immédiat sur la compréhension de la question Diagnostic fin quant à la profondeur des connaissances +/Standardisation des consignes + Standardisation des corrections + Capacité à couvrir toute la matière + Temps de passation +/Temps de correction + Simplicité de la correction + Valorisation d’une réaction rapide + Capacité à appréhender les processus mentaux de : - connaissance + - compréhension + - application + - analyse +/- synthèse - évaluation Capacité à appréhender la créativité Capacité à appréhender les qualités rédactionnelles Capacité à appréhender les compétences orales Capacité à appréhender un raisonnement Possibilité de feed-back rapide et précis +/Risque de mémorisation d’informations erronées -

Quelques références bibliographiques • L’élaboration des questions à choix multiples avec Questy http: //www. questy. fr/