Principes dvaluation en ducation mdicale JP Fournier Dpartement

Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale Centre de Simulation Médicale Faculté de Médecine Université de Nice Sophia Antipolis

Les challenges v Compétence vs Excellence : ü Impact négatif de l’examen sommatif sur le développement professionnel ultérieur ; ü Importance d’examens formatifs ; ü Changement de comportement d’étudiants et tuteurs ; v Novice vs Expert : ü Progression du mode de raisonnement avec l’acquisition d’expertise ; ü Examens adaptés ; v Validité et fidélité ; v Examen formatif vs examen sommatif. DU de Pédagogie et d’Enseignement par Simulation D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Validité(s) v Force des conclusions et inférences que l’on peut tirer des résultats d’une évaluation ; v 5 facettes « classiques » : ü Validité apparente (face validity) : examen adapté à son objectif ; ü Validité de contenu (content validity) : contenu de l’examen représentatif du corpus de compétences (connaissances) à mesurer ; ü Validité de construit (construct validity) : aptitude à identifier les groupes par niveau d’expertise (experts vs novices) ; ü Validité prédictive (predictive validity) : aptitude à prédire le futur (ex; succès professionnel après validation) ; ü Validité résultante (consequential validity) : conséquences éducatives du test. DU de Pédagogie et d’Enseignement par Simulation D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Validité de construit Origine des preuves Preuves Conclusions Contenu Table de spécification Contenu du test représentatif Processus de réponses Construction du test satisfaisante Structure interne Données psychométriques Analyse d’items, fidélité Validité externe Corrélation avec d’autres tests Résultats concordants Conséquences du test Impact du test DU de Pédagogie et d’Enseignement par Simulation D’après Downing SM. Med Educ 2003

Fidélité (reliability) v Reproductibilité des scores dans le temps ; v Indissociable de la validité ; v Plusieurs approches pour la mesurer : ü Consistance interne : score α de Cronbach ; ü Théorie classique des tests ; ü Théorie de la généralisabilité. D’après DU de Pédagogie et d’Enseignement par Simulation Downing SM Med Educ 2004 Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Examen sommatif vs formatif v Opposition classique quasiment point par point ; v Ré-introduction d’examen formatifs ; v Ré-évaluation de l’importance d’examens formatifs ; v Plusieurs conséquences : ü Changements culturels ; ü Intégration de données formatives dans une évaluation sommative ; ü Nécessité d’évaluation formative psychométriquement correcte. DU de Pédagogie et d’Enseignement par Simulation D’après Van der Vleuten CPM Med Educ 2005

Les principes v Spécificité de cas ; v Table de spécification ; v Pyramide de Miller ; v Quel(s) test(s) pour quel(s) objectifs ? v Equation d’utilité. DU de Pédagogie et d’Enseignement par Simulation

Principes : spécificité de cas v Compétences multi facettes ; v Pas ou peu d’extrapolation d’un cas à l’autre ; v A compenser par l’augmentation du nombre de cas (et donc de la durée d’examen, …et de correction). DU de Pédagogie et d’Enseignement par Simulation D’aprè Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Pyramide de Miller Performance Observation directe, pairs, vidéo, audits Action Compétences Compétence Examen oral, ECOS, épreuve de clinique, simulation, TCS Utilisation des connaissances Cascades, QCM à contexte riche, TCS, problèmes à résolution séquentielle Connaissances QCM, QROC, questions rédactionnelles D’après Miller Acad. Med. 1990 DU de Pédagogie et d’Enseignement par Simulation

Pyramide de Miller DU de Pédagogie et d’Enseignement par Simulation D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Table de spécification (blue print) DU de Pédagogie et d’Enseignement par Simulation D’après Amin Z. Practical guide to medical students assessment, 2006

Equation d’utilité Utilité = Fidélité x Validité x Faisabilité x Acceptabilité x Impact éducatif D’après Van der Vleuten CPM. Adv Health Sci Educ 1996 DU de Pédagogie et d’Enseignement par Simulation

Principaux tests utilisés v Examens écrits : Test Compétence(s) explorée(s) Avantage(s) Inconvénient(s) QCM v Connaissances v Validité v Fidélité v Difficiles à préparer v Cueing effect TCS v Raisonnement en contexte d’incertitude v Validité de construit v Fidélité v Déroutant v Jury Key-features v Connaissances v Raisonnement v Validité v Fidélité v Difficiles à préparer Questions courtes v Résolution de problèmes v Raisonnement v Résolution de problèmes v Correcteur(s) dépendante(s) Questions rédactionnelles v Analyse et synthèse v Processus cognitif évolué v Correcteur(s) dépendante(s) v Fidélité médiocre DU de Pédagogie et d’Enseignement par Simulation

Principaux tests utilisés v Observation directe : Test Compétence(s) explorée(s) Avantage(s) Inconvénient(s) ECOS v Habiletés v Comportement v Communication v Validité v Fidélité v Coût, logistique v Check-list désavantageant les étudiants évolués v Artificiels parfois Examen oral v Connaissances v Raisonnement v Exploration en profondeur v Fidélité v Standardisation Mini CEX v Habiletés cliniques v Communication v Validité v Fidélité v Feedback v Teste la compétence plutôt que la performance Patients standardisés v Habiletés cliniques v Communication v Réalisme v Plusieurs aspects évalués simultanément v Coût v Logistique DU de Pédagogie et d’Enseignement par Simulation

Principaux tests utilisés v Evaluation multi source : Test Compétence(s) explorée(s) Avantage(s) Inconvénient(s) Collègues v Habiletés cliniques v Habiletés psychosociales v Multiples sources v Crédibilité ? d’évaluation v Performance réelle Patients v Habiletés psychosociales v Une des meilleures v Validité ? sources v Performance insuffisante ? Portfolios v Pratique réflexive v Evaluation multi format v Profil d’un individu à partir de multiples sources D’après DU de Pédagogie et d’Enseignement par Simulation v Interférences avec l’auto évaluation v Temps v Non fidèle. Epstein RM. N Engl J Med 2007 Kogan JR. JAMA 2009 Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Mini CEX DU de Pédagogie et d’Enseignement par Simulation D’après Norcini J. Med Teacher 2007

Utilisation de la simulation comme outil d’évaluation Multiples impératifs / limites : Identification d’objectifs d’apprentissage ; Identification de as à résoudre ; Construction de scenari ; Choix de a technique de simulation ; Chaque étudiant accomplit plusieurs tâches ; Check-list ou évaluation globale ; observateurs entraînés et en nombre suffisant ; v Comparabilité du niveau de difficulté d’une tâche à l’autre ; v Vérification de l’extrapolation en pratique réelle. v v v D’après Boulet J. in Dunn WF (Ed) Simulators i critical care and beyond, SCCM, Des Plaines, 2004 Van der Vleuten CPM. Teach Learn Med 1990 Newble D. Teach Learn Med 1994 DU de Pédagogie et d’Enseignement par Simulation