Atelier 3 valuer les 12 qualits quelle approche

Atelier 3 Évaluer les 12 qualités: quelle approche, quels mécanismes, quels outils ? Animé par: Yves Boudreault Anastassis Kozanitis LE GÉNIE EN PREMIÈRE CLASSE ( mais pas servi sur un « plateau d’argent » )

PLAN DE L’ATELIER 1. 2. 3. 4. 5. Aperçu du processus d’évaluation des 12 qualités Principes qui guident notre approche Exemples de mécanismes d’évaluation « adéquats » Outils technologiques en appui à la démarche Conclusions à tirer LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » )

SONDAGE LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 3

NOUVELLE NORME 3. 1 ET LES 12 QUALITÉS DU BCAPG Ø 1) Je n'ai jamais entendu parler de ça. Ø 2) J'en ai entendu parler, mais je ne sais pas ce dont il s'agit. Ø 3) J'ai une certaine idée de ce dont il s'agit, mais ce n'est pas clair. Ø 4) J'ai une idée très claire de ce dont il s'agit et je peux l'expliquer. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 4

LE PROCESSUS MIS EN PLACE POUR ÉVALUER LES 12 QUALITÉS Ø 1) Je n'ai jamais entendu parler de ça. Ø 2) J'en ai entendu parler, mais je ne sais pas ce dont il s'agit. Ø 3) J'ai une certaine idée de ce dont il s'agit, mais ce n'est pas clair. Ø 4) J'ai une idée très claire de ce dont il s'agit et je peux l'expliquer. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 5

1. APERÇU DU PROCESSUS D’ÉVALUATION DES 12 QUALITÉS 12 qualités Déclinaison des qualités Conception de la matrice qualités/cours Détermination des CAF et CAS dans les programmes Élaboration du processus de développement de chacune des qualités Détermination des niveaux à atteindre dans l’échelle Élaboration des mécanismes d’évaluation Collecte des données Analyse des données et écriture du RAPPORT !!! LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 6

1. APERÇU DU PROCESSUS D’ÉVALUATION DES 12 QUALITÉS LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 7

1. APERÇU DU PROCESSUS D’ÉVALUATION DES 12 QUALITÉS Joint Session : NCDEAS & CEAB’s Policies and Procedures Committee LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 8

1. APERÇU DU PROCESSUS D’ÉVALUATION DES 12 QUALITÉS Joint Session : NCDEAS & CEAB’s Policies and Procedures Committee LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 9

2. PRINCIPES QUI GUIDENT NOTRE APPROCHE Le développement des 12 qualités se fait de façon longitudinale, concertée et itérative (approche-programme). L’approche évaluative devrait refléter ce principe. Poly (depuis 2005) Fractionnement Programme par objectifs Tardif, J. (2012). Évaluation des compétences: logique, enjeux, défis. Conférence d’ouverture de la 7 e journée de l’enseignement de Polytechnique. Intégration Programme par compétences LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 10

APPROCHE HYBRIDE OU MIXTE Programmes par objectifs • La formation s’inscrit dans une logique photographique Σ des évaluations dans le cadre d’un cours pour vérifier l’atteinte des objectifs du cours Programmes par compétences (qualités) • La formation s’inscrit dans une logique vidéographique Sélection d’évaluations de certains cours réunies dans un portfolio pour faire état du développement des compétences (qualités) Tardif, J. (2012). Évaluation des compétences: logique, enjeux, défis. Conférence d’ouverture de la 7 e journée de l’enseignement de Polytechnique. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 11

2. PRINCIPES QUI GUIDENT NOTRE APPROCHE L’évaluation d’une qualité, puisque son développement est étalé dans le temps, exige le recours à de multiples contrôles des acquis, soit formatifs ou sommatifs (CAF et CAS). Permet de: Ø Rendre compte d’une progression dans un parcours de développement Ø Rendre compte de l’autonomie graduelle de l’étudiant GCH 1530 – Chimie organique (CAF 1) GCH 2560 – Méthodes expérimentales et instrumentation (CAF 2) GCH 3520 – Projet de phénomènes d’échanges (CAF 3) GCH 3100 C – Projets d’opérations unitaires (CAS) LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 12

2. PRINCIPES QUI GUIDENT NOTRE APPROCHE Ces contrôles peuvent être différenciés d’un niveau de développement à l’autre. Nous avons retenu une échelle à 5 niveaux de développement des qualités. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 13

2. PRINCIPES QUI GUIDENT NOTRE APPROCHE Utilisation d’une échelle à 5 niveaux • Description de l’échelle • Fait jouer trois éléments: • Degré d’autonomie • Degré d’adéquation des actions ou des choix • Degré de normalité de la situation • Utilité de l’échelle • Précise le contexte et les attentes • Aide à la prise de décision • Allocation des ressources • Activités d’enseignement et d’apprentissage • Choix des situations d’évaluation • Justifier le jugement porté à l’endroit des actions ou des choix LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 14

2. PRINCIPES QUI GUIDENT NOTRE APPROCHE Description Pour la réalisation de tâches… 1 2 Indicateurs La qualité est mobilisée avec de l’aide et sous la supervision constante d’un expert. Reconnait les situations dans lesquelles celle-ci est susceptible de devoir être mise à contribution et est conscient de ses limites. Suit le déroulement de la tâche; Exécute des routines ou des procédures; Demande souvent de l’aide; Se montre ouvert aux informations; Le résultat final peut ne pas La qualité est mobilisée avec de l’aide et sous la supervision fréquente d’un expert. Ses actions doivent être révisées par un expert pour en assurer la conformité et ses choix doivent être validés. Suit le déroulement de la tâche; Maitrise les procédures simples et Reçoit favorablement des conseils; Le résultat final peut ne pas expérimente les plus avancées; répondre au besoin exprimé du client, toutefois il doit pouvoir le justifier. Exécute des routines, mais ne les adaptes pas; répondre au besoin exprimé du client. Demande de l’aide au besoin; 3 La qualité est mobilisée sous la supervision périodique d’un expert, mais avec de l’aide pour des situations nouvelles. Doit faire valider ses choix, mais est capable d’en discerner des nuances ou des ramifications. Saisit les enjeux de la tâche; Maitrise les procédures simples et Reçoit et applique les conseils; Demande de l’aide au besoin; Le résultat doit répondre en grande complexes, sans les adapter; Exécute des routines, mais porte un partie au besoin exprimé du client. jugement critique; 4 5 La qualité est mobilisée sans aide et sans supervision. Ses actions ne requièrent qu’un encadrement léger par un expert pour en assurer la conformité. Doit faire valider ses choix lorsque des impondérables rendent la situation inhabituelle. Saisit les enjeux de la tâche; Maitrise les procédures simples et Ouvert aux conseils; Le résultat doit répondre La qualité est mobilisée sans aide et sans supervision. Ses actions ne requièrent aucun encadrement. Exerce son initiative lors de situations à risque et est capable de prévoir l’impact de ses décisions. Prend le leadership dans le déroulement; Travaille de façon autonome; Pose des questions pertinentes; Adapte ses actions aux contingences; complexes, les adapte au besoin; Exécute des routines, mais porte un jugement critique; Pose des questions pertinentes; entièrement au besoin exprimé du client; Travaille de façon autonome. Peut donner et recevoir des conseils; Le résultat répond et peut même aller au-delà du besoin exprimé par le client. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 15

2. EXEMPLE EN GÉNIE CHIMIQUE Qualités Niveau terminal retenu 1 – Connaissances en génie 2 – Analyse de problèmes 3 3 – Investigation 3 4 – Conception 3 5 – Utilisation d’outils d’ingénierie 3 6 – Travail individuel et en équipe 4 7 – Communication 3 8 – Professionnalisme 2 9 – Impact du génie sur l’environnement et la société 3 10 – Déontologie et équité 2 11 – Économie et gestion de projets 2 12 – Apprentissage continu 2 LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 16

Quelques détails : Le nombre de contrôles des acquis formatifs (CAF) est fonction du niveau choisi dans l’échelle. Nous croyons que le minimum est d’un CAF avant le contrôle des acquis sommatif (CAS). Ces CAF permettront de fournir de la rétroaction aux étudiants afin qu’ils puissent prendre les mesures nécessaires afin de corriger leurs lacunes. Si un étudiant obtient 100% à l’évaluation du CAF, cela ne signifie pas que la qualité est acquise, car le problème n’est pas nécessairement complexe et la situation présente un contexte moins autonome que ce qui est visé par le niveau final de la qualité. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » )

2. PRINCIPES QUI GUIDENT NOTRE APPROCHE L’évaluation des qualités nécessite que des «preuves» de l’apprentissage soient constituées. C’est au programme de déterminer les preuves acceptables. Pour chaque qualité, les preuves de l’apprentissage sont essentiellement un échantillon de « productions » . Tardif, J. (2012). Évaluation des compétences: logique, enjeux, défis. Conférence d’ouverture de la 7 e journée de l’enseignement de Polytechnique. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 18

2. PRINCIPES: EN RÉSUMÉ Alignement constructif 12 Intended qualités du learning BCAPG outcomes Activités appropriées pour favoriser le développement des 12 qualités. Activités d’enseignement et d’apprentissage Ensemble de savoirs, de savoir-faire et de savoir-être que les étudiants doivent posséder. Évaluation des 12 qualités Démonstration par les étudiants du développement des 12 qualités. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 19

12 QUALITÉS = VARIÉTÉ DE TYPES DE SAVOIRS Savoirs • • • Possession d’un corpus de connaissances intellectuelles et savantes Compréhension de concepts théoriques, de principes, de lois, de théorèmes Acquisition et organisation d’informations capitalisées Savoir-faire • • Raisonnement, résolution de problème Processus, praxis, comment faire des choses Habiletés pratiques, mise en application des savoirs Créativité, arrangement original de connaissances et d’habiletés Savoir-être • • • Habiletés personnelles et interpersonnelles, qualités individuelles Attitudes, valeurs, manières de se comporter ou de réagir Production d’actions ou de réactions adaptées à la société humaine et à l’environnement LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 20

COMMENT ÉVALUER LES 12 QUALITÉS ? Mentionnons que… Ø Différents types d’apprentissage nécessitent différentes méthodes d’évaluation. Ø Il y a des compromis à faire entre l’authenticité et l’efficacité, c’est-à-dire que plus la tâche à réaliser se rapproche d’expériences du vrai monde, plus elle requiert de temps et de ressources. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 21

LES MÉCANISMES ADÉQUATS POUR ÉVALUER LES 12 QUALITÉS • 1) Je n'ai aucune idée de ce dont il s’agit. • 2) J'en ai entendu parler, mais je ne sais pas ce dont il s'agit. • 3) J'ai une certaine idée de ce dont il s'agit, mais ce n'est pas clair. • 4) J'ai une idée très claire de ce dont il s'agit et je les utilise déjà. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 22

3. EXEMPLES DE MÉCANISMES POUR ÉVALUER LES QUALITÉS ü ü ü ü Examen écrit, examen oral Inventaire des concepts (force concept inventory) Résolution d’un problème complexe Réalisation d’une carte conceptuelle Résolution d’une étude de cas Réalisation d’une expérience en laboratoire Simulation à l’aide de différents logiciels ou algorithmes Rédaction de rapport Journal de bord Création d’un prototype ou d’un modèle réduit Présentation orale, affiche Entretien ou entrevue Déclaration de l’étudiant (essai, rapport, bilan réflexif) Fiche d’auto-évaluation, fiche d’évaluation par les pairs LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 23

ACTIVITÉ Qualité Types de savoir Moyens d’évaluation 1. Connaissances en génie 2. Analyse de problème 3. Investigation 4. Conception 5. Utilisation d’outils d’ingénierie 6. Travail en équipe 7. Communication 8. Professionnalisme 9. Impact du génie sur société et environnement 10. Déontologie et équité 11. Économie et gestion de projets 12. Apprentissage continu LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 24

3. EXEMPLES DE MÉCANISMES POUR ÉVALUER LES QUALITÉS Pour la majorité des mécanismes d’évaluation retenus pour évaluer les 12 qualités il faudrait avoir recours à des grilles d’évaluation de type descriptif. Une grille d’évaluation descriptive est un instrument où sont précisées les attentes du travail à réaliser. Les grilles divisent le travail en ses composantes et fournissent une description du niveau de performance acceptable et non acceptable pour chacune de ces composantes (Wiggins, 1998 ; Huba & Freed, 2000 ; Stevens & Levi, 2005). LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 25

3. EXEMPLES DE MÉCANISMES POUR ÉVALUER LES QUALITÉS Éléments 1. 2. 3. Formuler des hypothèses testables (1 pt) Clarté des hypothèses formulées. Pertinence des hypothèses formulées. Faire la revue de la documentation existante (3 pts) Pertinence des informations présentées. Qualité des sources d’information utilisées. Clarté des informations présentées. Dépasse le niveau attendu (10 – 9) Conforme au niveau attendu (8 – 7) Presqu’au niveau attendu ( 6 – 5) Clairement sous le niveau attendu (≤ 4 ) Cote Toutes les hypothèses formulées sont très claires et très pertinentes en regard de la problématique. La majorité des hypothèses formulées sont claires et pertinentes en regard de la problématique. Certaines hypothèses formulées pourraient être clarifiées et la pertinence de certaines d’entre elles est à revoir en regard de la problématique. Plusieurs hypothèses formulées sont incompréhensibles et ne sont pas pertinentes en regard de la problématique. 6 Cible 5 Seuil Planifier et préparer des essais (3 pts) Clarté de la description du protocole expérimental. Niveau de détail adéquat du protocole expérimental. Clarté de la planification des expériences en lien avec les hypothèses à vérifier. Pertinence du plan d’expérience. 9 LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 26

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Tableau de bord des qualités Trimestre actuel Trimestres antérieurs LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 27

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Tableau de bord des qualités Q 1 CAF 2 CAF 3 CAS Q 7 CAF 1 CAF 2 CAS Q 2 CAF 1 CAF 2 CAS Q 8 CAF 1 CAF 2 CAS CAF 2 CAF 3 CAS Q 9 CAF 1 CAF 2 CAS Q 10 CAF 1 CAF 2 CAS Q 3 Q 4 CAF 1 CAF 2 CAF 3 Q 5 CAF 1 CAF 2 CAS Q 11 CAF 2 CAS Q 6 CAF 1 CAF 2 CAS Q 12 CAF 1 CAF 2 CAS LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 28

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Tableau de bord des qualités Trimestre actuel Trimestres antérieurs LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 29

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Trimestre actuel Positionnement ING 1000 ING 1001 ING 1023 ING 1135 LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 30

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Activités d’évaluation Positionnement Q 1 Q 7 Q 2 Q 8 Q 3 Q 9 Q 4 Q 10 Q 5 Q 11 Q 6 Q 12 LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 31

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Tableau de bord des qualités Trimestre actuel Trimestres antérieurs LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 32

4. OUTIL TECHNOLOGIQUE EN APPUI Mon portfolio Ing. Mon profil Mes tâches Mes réalisations Mon C. V. Trimestre actuel Positionnement ING 1000 ING 1001 ING 1023 ING 1135 LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 33

ING 1000 HTTP: //WWW. POLYMTL. CA/ETUDES/COURS/DETAILS. PHP? SIGLE=ING 1000 Qualité évaluée: Conception Type de contrôle: CAF (introduction/sensibilisation) Niveau de développement: 3 - La qualité est mobilisée sous la supervision périodique d'un expert, mais avec de l'aide pour des situations nouvelles. Doit faire valider ses choix, mais est capable d'en discerner des nuances ou des ramifications. Évaluation – Description Rapport de laboratoire rédigé individuellement à la suite d’une expérience en laboratoire réalisée à partir d’un protocole fourni. Aucune décision ou initiative à prendre. – Grille d’évaluation – Dépôt du travail corrigé Réflexion – Dépôt de la réflexion LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 34

BILAN DE MI-PARCOURS Formulaire à remplir et à déposer dans le portfolio Plan d’action obligatoire pour les étudiants qui ont du rouge dans leur tableau de bord Plan d’action facultatif pour les étudiants qui ont du jaune dans leur tableau de bord Plan d’action nécessaire pour les autres étudiants Le bilan se fait sur l’ensemble des qualités, il en incombe ainsi au programme d’en prendre acte. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 35

BILAN DE FIN DE PARCOURS Formulaire à remplir et à déposer dans le portfolio Éventuellement… Lien avec les compétences de l’OIQ? Lien avec le portfolio CPPM (Tuan)? LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 36

5. CONCLUSIONS À TIRER Si vous aviez à résumer notre atelier à l’un de vos collègues absents, que diriez-vous ? LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 37

RÉFÉRENCES UTILES Burke, K. (1994). The mindful school: How to assess authentic learning. Palatine, IL: Skylight. Mc. Tighe, J. (1996/1997). What happens between assessments? Educational Leadership, 54(4), 6 -12. Prégent, R. , Bernard, H. et Kozanitis, A. (2009). Enseigner à l’université dans une approche-programme. Un défis à relever. Presses internationales Polytechnique. Stiggins, R. J. (1997). Student-centered classroom assessment, 2 nd ed. Upper Saddle River, NJ: Merrill. Trevisan, M. S. , Davis, D. C. , Calkins, D. E. , Gentili, K. L. (1999). Designing sound scoring criteria for assessing student performance. Journal of Engineering Education, 88(1), 79 -85. Wiggins, G. (1996/1997). Designing authentic assessments. Educational Leadership, 54(4), 18 -25. Wiggins, G. , & Mc. Tighe, J. (1998). Understanding by design. Alexandria, VA: Association for Supervision and Curriculum Development. LE GÉNIE EN PREMIÈRE CLASSE (mais pas servi sur un « plateau d’argent » ) 38