Monitoring de lvaluation des Units par les tudiants

Monitoring de l’évaluation des Unités par les étudiants Taux de retour et fiabilité de l’évaluation des Unités: résultats avant et après Evasys Margaret Gerbase avec la collaboration de Michèle Germond Cette étude fait partie du Projet d’Evaluation de l’Enseignement de l’Université de Genève Faculté de Médecine. Le projet a reçu le support de la Faculté de Médecine et le généreux soutien de la Société Académique de Genève, la Fondation Louis. Jeantet, la Fondation Ernst et Lucie Schmidheiny et la Fondation Gabriella Giorgi-Cavaglieri. Comité du Programme Bachelor 03 février 2010

Objectifs - analyser le taux de réponse des questionnaires d’évaluation des Unités avant et après Evasys - analyser la fiabilité des mesures Années analysées 2005 -06 à 2007 -08: questionnaires papier 2008 -09: questionnaire en ligne

Taux de retour des questionnaires d’évaluation

A propos de la fiabilité des mesures Types de fiabilité : a) fiabilité de l’instrument : calcul du coefficient G (modèle de la généralisabilité) coefficient G >. 80 = instrument fiable; les moyennes observées ne dépendent pas de l’échantillon d’étudiants interrogés

Fiabilité de l’instrument Unités

A propos de la fiabilité des mesures Types de fiabilité : a) fiabilité de l’instrument : calcul du coefficient G (modèle de la généralisabilité) b) fiabilité des résultats : calcul de l’erreur standard de la moyenne (SEM) (modèle de la généralisabilité)

b) fiabilité des résultats: signification de l’erreur standard de la moyenne - C’est l’erreur la plus probable dans l’estimation de la moyenne inconnue de la population. Elle permet de calculer les intervalles de confiance qui contiennent, avec 68% ou 95% de chance, cette moyenne inconnue de la population.

Erreur standard de la moyenne et intervalles de confiance Erreur standard. 10 3. 80 3. 90 4. 00 4. 10 4. 20 68% de chance de contenir η 95% de chance de contenir η Erreur standard. 15 3. 70 3. 85 4. 00 68% de chance de contenir η 95% de chance de contenir η 4. 15 4. 30

Taux de réponse moyen durant les 4 dernières années académiques Unités Taux de réponse par année académique 2005 - 06 2006 - 07 2007 - 08 2008 - 09 Sig 2 e année (7 unités) 78% 77% 83% 43% p <. 0001 3 e année (4 unités) 59% 56% 59% 40% p =. 031 Total 72% 71% 75% 42% p <. 0001 p<. 001 p =. 393 2ème vs. 3ème année

EVALUATIONS DES UNITES: DERNIERS 4 ANS Evaluation moyenne APP 2005 -06 2006 -07 2007 -08 (1) (2) (3) Différences entre années 2008 -09 (4) ANOVA Test F Contrasts Tests post hoc p <. 001 → 1 -4 p <. 001 → 2 -4 p =. 002 → 3 -4 p =. 002 → 2 -4 p =. 033 → 3 -4 INTRO 4. 19 4. 15 4. 05 3. 83 p <. 001 CVC 3. 84 4. 00 3. 92 3. 73 p =. 002 NDM 3. 62 3. 84 3. 71 3. 79 p =. 044 p =. 033 → 1 -2 REPRO 3. 94 3. 83 3. 88 3. 90 p =. 582 - C-C 3. 87 3. 98 4. 04 4. 00 p =. 236 - EH 4. 00 4. 15 3. 98 4. 04 p =. 163 - RESPIR 3. 69 3. 87 3. 78 3. 71 p =. 215 - LOCO 3. 95 3. 78 3. 94 3. 63 p =. 001 p =. 003 → 1 -4 p =. 004 → 3 -4 PEC 3. 78 3. 80 4. 10 3. 76 p =. 050 p =. 046 → 3 -4 DI 3. 75 3. 76 3. 78 3. 48 p =. 069 - INF 3. 71 3. 80 3. 98 3. 72 p =. 050 p =. 052 → 1 -3

EVALUATIONS DES UNITES: DERNIERS 4 ANS Evaluation moyenne APP 2005 -06 2006 -07 2007 -08 (1) (2) (3) Différences entre années 2008 -09 (4) ANOVA Test F Contrasts Tests post hoc p <. 001 → 1 -4 p <. 001 → 2 -4 p =. 002 → 3 -4 p =. 002 → 2 -4 p =. 033 → 3 -4 INTRO 4. 19 4. 15 4. 05 3. 83 p <. 001 CVC 3. 84 4. 00 3. 92 3. 73 p =. 002 NDM 3. 62 3. 84 3. 71 3. 79 p =. 044 p =. 033 → 1 -2 REPRO 3. 94 3. 83 3. 88 3. 90 p =. 582 - C-C 3. 87 3. 98 4. 04 4. 00 p =. 236 - EH 4. 00 4. 15 3. 98 4. 04 p =. 163 - RESPIR 3. 69 3. 87 3. 78 3. 71 p =. 215 - LOCO 3. 95 3. 78 3. 94 3. 63 p =. 001 p =. 003 → 1 -4 p =. 004 → 3 -4 PEC 3. 78 3. 80 4. 10 3. 76 p =. 050 p =. 046 → 3 -4 DI 3. 75 3. 76 3. 78 3. 48 p =. 069 - INF 3. 71 3. 80 3. 98 3. 72 p =. 050 p =. 052 → 1 -3

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009

Conclusions 1. Globalement, l’évaluation des Unités en ligne entraîne une diminution du taux de retour de l’ordre de 40%, notamment en 2ème année; 2. Le taux de retour diminue progressivement au cours de l’année; 3. La diminution du taux de retour peut avoir un impact sur la fiabilité des résultats en élargissant l’intervalle de confiance des scores attribués par les étudiants aux Unités.