valuer les qualits terminales dans un parcours de

  • Slides: 32
Download presentation
Évaluer les qualités terminales dans un parcours de formation : l’expérience en génie Conférence

Évaluer les qualités terminales dans un parcours de formation : l’expérience en génie Conférence présentée dans le cadre du Mois de la pédagogie universitaire Roch Lefebvre, vice-doyen à la formation, Faculté de génie Catherine Pilon, adjointe au vice-décanat à la formation, Faculté de génie Faculté de médecine et des sciences de la santé – 3 avril 2014 Agora du Carrefour de l’information – 9 avril 2014

Objectifs de la présentation • Vous faire part de notre : – – –

Objectifs de la présentation • Vous faire part de notre : – – – projet d’agrément, changements et vision (horizon 2014, 2020… 2026!) structure organisationnelle pour le mener à bien approche générale pour rendre compte du développement des qualités approche générale pour l’évaluation des qualités chez les étudiants approche générale pour l’amélioration continue des programmes • Recueillir vos commentaires Ultimement, l’objectif est de rendre compte de notre expérience de ce processus à la Faculté de génie 31

Préambule 30

Préambule 30

29

29

Relevé de notes Un programme Une série de cours (activités pédagogiques) Note de l’étudiant

Relevé de notes Un programme Une série de cours (activités pédagogiques) Note de l’étudiant … par rapport à son groupe … dans une activité pédagogique Les objectifs Le contenu La répartition dont on peut aller voir Les productions de l’étudiant avec ses résultats 28

CV « Langages informatiques : C, C++, Java, VB » (connaissances sur certains contenus

CV « Langages informatiques : C, C++, Java, VB » (connaissances sur certains contenus clés) « Environnements de simulation et de développement: Matlab, Solid. Works, Code. Composer » (outils de l’ingénieur) « Langues : français et anglais, parlés et écrits » + forme du CV (communication) 27

CV (suite) « Projets développés et responsabilités » (gestion de projets) (conception) (analyse de

CV (suite) « Projets développés et responsabilités » (gestion de projets) (conception) (analyse de problèmes) (travail en équipe) (communication) « Qualités principales: capacité de synthèse, adaptation à divers contextes de travail, responsable, approche client, … » (professionnalisme) 26

Question Pour un étudiant, pourquoi le relevé de notes et le contenu de ses

Question Pour un étudiant, pourquoi le relevé de notes et le contenu de ses cours ne suffisent pas pour son CV ? 25

La Faculté de génie en quelques chiffres • 4 départements • 6 programmes de

La Faculté de génie en quelques chiffres • 4 départements • 6 programmes de 1 er cycle • 120 crédits par programme génie biotechnologique génie chimique génie civil génie électrique génie informatique génie mécanique • Environ 1 400 étudiants au 1 er cycle 24

Particularités des programmes de 1 er cycle • Programmes fortement orientés sur la pratique

Particularités des programmes de 1 er cycle • Programmes fortement orientés sur la pratique et la conception • Des projets de fin d’études d’envergure pouvant représenter jusqu’à un investissement de plus de 4 000 h de travail pour les étudiants 23

Particularités des programmes de 1 er cycle • Programmes assujettis à un processus d’agrément

Particularités des programmes de 1 er cycle • Programmes assujettis à un processus d’agrément d’Ingénieur Canada, par l’intermédiaire du Bureau canadien d’agrément des programmes de génie (BCAPG) – Durée maximale de l’agrément : 6 ans • Ordre des ingénieurs du Québec : environ 60 000 membres 22

Réforme majeure dans le processus d’agrément des programmes de génie 2014 Historiquement « Vision

Réforme majeure dans le processus d’agrément des programmes de génie 2014 Historiquement « Vision contenu avec unités d’agrément (UA) » Vers l’avenir « Vision qualités terminales et amélioration continue » 21

Nouvelles normes d’agrément • Qualités requises diplômés (graduate attributes) – Interprétées dans le contexte

Nouvelles normes d’agrément • Qualités requises diplômés (graduate attributes) – Interprétées dans le contexte de candidats qui viennent de terminer leurs études – Qualités « techniques » et «non techniques » • Amélioration continue (continual improvement) – Démontrer qu’un processus est en place • Tient compte des résultats (Qualités) • Les résultats sont utilisés pour améliorer le programme. 20

Beaucoup de place à la créativité… • Le BCAPG n’a fourni aucun outil de

Beaucoup de place à la créativité… • Le BCAPG n’a fourni aucun outil de mesure ou de « formule » aux établissements d’enseignement supérieur • Nous avons donc dû : – développer nos outils de mesure – définir une approche pour prendre les mesures souhaitées – déterminer une façon de présenter les résultats obtenus (bien que des exemples à cet effet aient été donnés par le BCAPG à la fin de décembre 2013) 19

–U 02 03 lys na –I blè én ng ro ep ed se an

–U 02 03 lys na –I blè én ng ro ep ed se an ce iss na on –A –C ie es nv me s tili t 0 i g s 4 06 ati –C –T on on on ra d ’ou ce va pti tils il i on nd d’i ivi ng du én el ier et 07 ie en –C éq om 09 uip 08 mu –I e – mp Pr nic et ofe ati l’e act d on s sio nv u iro gé nn n ali n 11 10 nem ie s sm –É e – D en ur la co t é so o no cié mi ntol og té ee ie 12 tg et es –A t ion équ pp re de ité nti pr ss oje ag t ec on tin u 05 01 Les 12 qualités du BCAPG • Choix et définition des 12 qualités requises diplômés 18

Vision de la Faculté à l’égard de ce nouveau processus Vision 2014 -2026 Structure

Vision de la Faculté à l’égard de ce nouveau processus Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue • Au-delà des préoccupations relatives à l’agrément, une occasion pour : – en faire plus qu’un exercice administratif pour répondre la « commande » du BCAPG; – intégrer cette approche dans nos pratiques d’évaluation; – créer outil de pilotage pour permettre aux étudiants de documenter leurs réalisations – Conséquence: être prêts en tout temps pour l’agrément (i. e. démontrer la progression et l’atteinte des qualités pour tous nos étudiants) Des objectifs ambitieux! Rappel : horizon 2014 -2026 17

Structure organisationnelle Vision 2014 -2026 Structure organisationnelle Gd. T-Progr. Développement des qualités Évaluation des

Structure organisationnelle Vision 2014 -2026 Structure organisationnelle Gd. T-Progr. Développement des qualités Évaluation des qualités Gd. T-Progr. + Gd. TFacultaire Directions départementales, secrétaires et autres personnes-ressources Gd. T-Progr. Amélioration continue Gd. T-Progr. 16

Développement des 12 qualités Vision 2014 -2026 • Programmes = logique de progression dans

Développement des 12 qualités Vision 2014 -2026 • Programmes = logique de progression dans les apprentissages des étudiants Structure organisationnelle Développement des qualités Évaluation des qualités S 1 Amélioration continue S 2 S 3 T 1 S 4 T 2 S 5 T 3 S 6 T 4 S 7 S T T 5 S 8 Session Stage 15

Rendre compte de cette progression Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation

Rendre compte de cette progression Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue • Pour chaque activité pédagogique, déterminer : – le coefficient de complexité des qualités développées et/ou évaluées par rapport au programme – l’importance de la ou des qualités développées et évaluées dans l’activité pédagogique ou l’APP • Toutes ces nouvelles informations ont été intégrées dans de nouveaux dossiers de cours harmonisés au niveau facultaire 14

Résultat : cartographie du développement des qualités S 1 S 2 Q 01 ABC

Résultat : cartographie du développement des qualités S 1 S 2 Q 01 ABC 122 ABC 156 Q 02 ABC 101 Q 03 ABC 122 Q 04 ABC 311 Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue S 3 ABC 522 S 4 … S 8 ABC 910 ABC 105 ABC 111 Q 05 … Q 12 13

Évaluation des 12 qualités Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des

Évaluation des 12 qualités Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités • Conception d’échelles descriptives communes aux 6 programmes (échelles basées sur une revue de la littérature et sur l’expertise interne de la Faculté) • Ces outils présentent une description du comportement attendu ou des caractéristiques recherchées chez les étudiants/équipes à l’endroit des 12 qualités du BCAPG Amélioration continue 12

Éléments de nos échelles descriptives Échelle d’appréciation du niveau de maîtrise démontré Niveau 1

Éléments de nos échelles descriptives Échelle d’appréciation du niveau de maîtrise démontré Niveau 1 Niveau 2 Niveau 3 (cible) Niveau 4 R Critère 1 Critère 2 Critères à évaluer Critère 3 … Énoncés décrivant les niveaux d’appréciation (descripteurs) Résultat obtenu 11

Exemples de nos échelles descriptives Q 04 - Conception Niveau 1 Niveau 2 Niveau

Exemples de nos échelles descriptives Q 04 - Conception Niveau 1 Niveau 2 Niveau 3 (cible) Niveau 4 … identifie des informations utiles pour définir le problème. Formule la problématique et les objectifs, mais de manière imprécise. … recherche des informations de sources variées pour définir le problème. Formule la problématique à résoudre et les objectifs à atteindre. … recherche des informations de sources variées et fiables pour définir le problème. Formule clairement la problématique à résoudre et les objectifs à atteindre. R L’étudiante, l’étudiant ou l’équipe… Critère 1 Définir un projet ou un problème d’ingénierie … omet plusieurs informations pertinentes pour bien définir le problème. Formule partiellement la problématique et une partie des objectifs à atteindre. 10

Exemples de nos échelles descriptives Q 070 – Communication orale Niveau 1 Niveau 2

Exemples de nos échelles descriptives Q 070 – Communication orale Niveau 1 Niveau 2 Niveau 3 (cible) Niveau 4 … recourt à un support visuel qui appuie minimalement le contenu de sa présentation. … recourt à un support visuel qui appuie bien le contenu de sa présentation et veille à ce que son support soit sobre, visible et équilibré (pas seulement du texte). … recourt à un support visuel qui appuie efficacement le contenu de sa présentation et veille à ce que son support soit sobre, visible, équilibré (pas seulement du texte) et d’allure professionnelle. R L’étudiante, l’étudiant ou l’équipe… Critère 2 Recourir à un support visuel de qualité … recourt à un support visuel dont l’allure devrait être améliorée, puisqu’elle détourne l’attention. 9

Utilisation de nos échelles descriptives Vision 2014 -2026 Structure organisationnelle • Identification d’un ensemble

Utilisation de nos échelles descriptives Vision 2014 -2026 Structure organisationnelle • Identification d’un ensemble de situations clés par qualité (minimum 3 par qualité), lesquelles sont généralement associées à des modalités d’évaluation sommatives Développement des qualités Évaluation des qualités S 1 S 2 S 3 T 1 S 4 T 2 S 5 T 3 S 6 T 4 S 7 S Amélioration continue T T 5 S 8 (12 Q) Session Stage Échelle descriptive 8

Résultat : cartographie du développement ET de l’évaluation S 1 S 2 Q 01

Résultat : cartographie du développement ET de l’évaluation S 1 S 2 Q 01 ABC 122 ABC 156 Q 02 ABC 101 Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue Q 03 Q 04 S 3 ABC 522 S 4 … S 8 ABC 910 ABC 105 ABC 111 ABC 311 Q 05 … Q 12 7

Analyse des données Exemple du BCAPG 6

Analyse des données Exemple du BCAPG 6

Analyse des données Nos objectifs Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation

Analyse des données Nos objectifs Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue • Donner plus d’informations • Courbes de progression – pour un étudiant – dans une filière/concentration donnée (maths, conception, etc. ) • Poser un diagnostic précis pour l’amélioration continue • pour le programme • pour l’étudiant (outil de pilotage) 5

Amélioration continue (demande du BCAPG) Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation

Amélioration continue (demande du BCAPG) Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités • Discuter des résultats précis des mesures en ce qui concerne les attentes futures du programme. Conclusions sur les données présentées • Intervenants consultés, et types de consultations • Façon dont les résultats et les analyses seront utilisés pour améliorer le programme • Mesures particulières prévues ou mises en œuvre Amélioration continue 4

Conclusions / réflexions Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités

Conclusions / réflexions Vision 2014 -2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue • À la Faculté de génie, nouvelles normes et processus mis en œuvre vus comme étant bien plus qu’un exercice administratif pour obtenir l’agrément • Pourra-t-on vraiment s’affranchir complètement des mesures « contenu » (les U. A. )? • Comment mieux intégrer l’expérience et les apprentissages en stage dans l’appréciation du niveau de maîtrise des étudiants? 3

Conclusions / réflexions Vision 2014 -2026 Structure organisationnelle • Comment assurer la pérennité et

Conclusions / réflexions Vision 2014 -2026 Structure organisationnelle • Comment assurer la pérennité et l’intégration dans la culture facultaire des outils et de la démarche développés aux fins de l’agrément • Objectif est de faire évoluer nos pratiques de formation et d’évaluation Développement des qualités Évaluation des qualités • Quelles sont vos réflexions? Amélioration continue 2

Merci pour votre attention Questions? 1

Merci pour votre attention Questions? 1