Intrt du simulateur comme outil dvaluation des DES

Intérêt du simulateur comme outil d’évaluation des DES d’anesthésie-réanimation. Expérience au CHU de Lille Gilles Lebuffe, Stéphane Plateau Clinique d’Anesthésie-Réanimation de l’hôpital Huriez CHRU de Lille France

Evaluation des DES l Aucune évaluation pour l’attribution du diplôme l En anesthésie-réanimation: – Délivrance du DES après soutenance d’un mémoire – Selon les Facultés: Examen oral complémentaire l Évaluation orale: – Commodité d’organisation – Evaluation de la prise en charge du patient à partir des connaissances scientifiques du candidat – Apprécie la qualité du raisonnement ou le bon jugement – Aucun retour sur la réactivité et le comportement en situation critique

La simulation l l Outil potentiel de formation et d’évaluation des internes Mise en situation du candidat sans interférer avec la sécurité du patient – Création de scénarii l Simples, réalistes et reproductibles – Observation du raisonnement clinique en situation critique l Reproduire matériellement les composantes d’une intervention chir sous AG – – – Mannequin électronique (VS, pouls, PA) Matériel d’anesthésie (respirateur, système de perfusion) Monitorage Simulateur réaliste

Environnement de simulation

Scénario l Elaboration d’une banque de scénarii – Tester le candidat sur un éventail de cas l Scénarii courts et valides l Mise en place de scores d’évaluation – Propositions des items par des experts – Analyse de l’homogénéité des grilles d’évaluation ou consistance interne ou test de Crombach l l Etude de la performance et de la fiabilité des items Valeur optimale entre 0, 6 et 0, 9

Consistance interne de quelques situations Scénario Hypoxémie Tachycardie HTA postopératoire Hypotension postopératoire Effet toxique des AL Rachianesthésie totale Intubation difficile Hypoxie peropératoire Tachycardie ventriculaire Choc anaphylactique Bronchospasme Ischémie myocardique Test de Crombach < 0, 63 0, 79 < 0, 64 0, 88 < 0, 69 0, 71 0, 76 Br J Anaesth 2004, 92; 388 Anesthesiology 2002, 97; 1434

Consistance interne de quelques situations Scénario Hypoxémie Tachycardie HTA postopératoire Hypotension postopératoire Effet toxique des AL Rachianesthésie totale Intubation difficile Hypoxie peropératoire Tachycardie ventriculaire Choc anaphylactique Bronchospasme Ischémie myocardique Test de Crombach < 0, 63 0, 79 < 0, 64 0, 88 < 0, 69 0, 71 0, 76 Br J Anaesth 2004, 92; 388 Anesthesiology 2002, 97; 1434

Scénario intubation oesophagienne et choc anaphylactique

Choc anaphylactique

Score d’évaluation (1)

Scénario bronchospasme et souffrance myocardique

Bronchospasme

Score d’évaluation (2)

Evaluation de la préparation du bloc opératoire

Validité du simulateur pour apprécier la performance des internes A/R en situation critique

Scores globaux Scénario intubation oesophagienne et réaction anaphylactique * Scénario bronchospasme et souffrance myocardique

Testing internal consistency and construct validity during evaluation of performance in a patient simulator Devitt et al. Anesth Analg 1998; 86: 1140 Pour chaque item, score significativement plus élevé pour les anesthésistes expérimentés (P<0. 001; Test de Cochran-Mantel-Haenszel)

Evaluation of anesthesia residents using mannequin-based simulator Schwid et al. Anesthesiology 2002; 97: 1434 l Simulateur Méti l 97 internes de 10 facultés américaines l Scénarii *& * – Deux scénarii successifs par interne – Score d’évaluation sur 108 points * p<0. 05; débutant vs année 1, 2, 3 & p<0. 05; année 1 vs année 2, 3 *&

Analyse des erreurs commises au cours de l’évaluation

Omissions lors des procédures de vérification du matériel et des consignes de sécurité Omissions Aspiration Non vérifiée Vérifiée Matériel de secours de suppléance Non vérifié Vérifié Défibrillateur Non vérifiée Vérifiée Intervention Non vérifiée Vérifiée Jeun Non vérifiée Vérifiée Réglage des alarmes Non vérifiée Vérifiée Année 1 n=11 Année 2 n=13 Année 3 n=11 Année 4 n=13 1 10 8 5 2 9 5 8 0, 76 11 0 11 2 8 3 13 0 1 11 0 10 3 11 0 11 2 0, 64 10 1 11 2 11 0 12 1 1 7 4 6 7 5 6 6 7 0, 56 8 3 9 4 9 2 9 4 0, 74 P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année) P

Prise en charge du choc anaphylactique Paramètres Arrêt précoce des halogénés Non effectué Effectué Remplissage précoce Non effectué Effectué Administ. précoce d’adrénaline Non effectuée Effectuée Posologie adéquate d’adrénaline Non effectuée Effectuée Information de l’équipe chir. Non effectuée Effectuée Prélèvements sanguins Non effectués Effectués Année 1 n=6 Année 2 n=7 Année 3 n=3 Année 4 n=5 3 3 6 1 0 3 5 0 0, 75 5 1 3 4 0 3 2 3 0, 09 3 3 6 1 0 3 2 3 0, 04 3 3 6 1 2 1 0 5 0, 04 4 2 3 4 2 1 3 2 0, 58 6 0 6 1 2 1 5 0 0, 71 P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année) P

Principales erreurs pour la prise en charge du bronchospasme Omissions Analyse de la courbe de capno Non effectué Effectué Vérification de l’intubation Non effectué Effectué Diminution des agents halogénés Non effectuée Effectuée Administration de bronchodilatateurs Non effectuée Effectuée Année 1 n=5 Année 2 n=6 Année 3 n=8 Année 4 n=8 4 1 4 2 3 5 6 2 0, 45 2 3 6 0 8 0 5 3 0, 66 4 1 3 3 4 4 6 2 1 0 5 0 6 3 5 0 8 0, 25 P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année) P

Evaluation du simulateur par les internes

Appréciationdu simulateur par les internes d’A/R Juniors Seniors Evaluation globale 9 [8 – 10] 8 [8 – 9] Outil de formation 8 [7 – 9] 9 [8 – 10] Outil d’évaluation 8 [7 – 9] Valeurs médianes [25 – 75ème centile]

Appréciation du simulateur par les internes d’A/R: Commentaires libres l « Le stress de l’évaluation est non négligeable. Malgré le réalisme, quelques difficultés à se mettre dans l’ambiance d’un bloc avec un vrai patient » l « Difficulté d’être naturel avec un mannequin » l « Difficulté de commenter et d’agir en même temps » l « Mannequin très réaliste, excellente mise en situation, mémorisation intense des erreurs commises lors de la simulation » l « On est plus vigilant car on sait qu’il va se passer quelque chose » l « Très stressant, impressionnant » l « Intéressant, utile pour la formation, à quand la prochaine »

Intérêt d’une évaluation par simulation comparée aux examens écrits et oraux l Faible corrélation entre les scores de simulation et les examens écrits et oraux – r = 0, 38 vs examen écrit et 0, 43 vs examen oral (Anesthesiology 2002; 97: 1434) – r = 0, 19 vs examen écrit et 0, 04 vs examen oral (Med Educ 2000; 34: 42) l Exploration de différents aspects de la connaissance l Evaluation de la performance clinique avec le simulateur l Existe-t-il une appréciation du raisonnement clinique avec la simulation? – Evaluation du raisonnement par la verbalisation des décisions et des actes réalisés – Problème de la mobilisation des ressources cognitive en situation critique – Avantage de l’observation du candidat dans un environnement similaire à celui de la réalité

Conclusions l La simulation apparaît comme un outil discriminant et valide pour apprécier les performances des internes d’A/R en situation critique l La validité de la simulation dépend principalement du niveau de réalisme des paramètres simulés et de l’homogénéité des grilles d’évaluation l Nécessité de valider nos résultats sur des effectifs plus larges impliquant plusieurs facultés l Problème de la cohérence des méthodes d’enseignement et de l’évaluation par simulation