Lvaluation de la formation 27112020 JS Conseil 1

L’évaluation de la formation 27/11/2020 © JS Conseil 1

Des questions pour bien poser le problème… Pourquoi évaluer ? Les buts de l’évaluation Pour en faire quoi ? Que mesure-t-on ? La connaissance ou l’action La mesure porte… Sur qui ? L’évalué Sur quoi ? L’objet mesuré Elle est faite. . . Par qui ? L’évaluateur Par quoi ? L’outil Quand ? Avant - Pendant - Après Où ? Lieu de F° - L’atelier - Le bureau Qui en est responsable ? 27/11/2020 © JS Conseil 2

Des questions pour bien poser le problème… Qui veut évaluer ? Nos alliés seront-ils nombreux ? Quelle sera l’attitude des formés ? Quelle sera l’attitude de la ligne hiérarchique ? Le responsable direct La hiérarchie intermédiaire Le commanditaire Quelle sera l’attitude des formateurs ? Et celle du responsable formation ? 27/11/2020 © JS Conseil 3

Prenons l’exemple classique d’une formation managériale « imposée » par la direction, tous les cadres viennent de « passer à la casserole » : • le formé refuse le contrôle de connaissances (il le dit trop scolaire) ; même s’il est d’accord avec les principes enseignés, il dit que ce sont ses chefs qui devraient commencer par les appliquer ; de son côté, il n’a aucune envie de changer, s’il délègue, il n’aura plus rien à faire ou devra prendre en charge de nouvelles tâches qui lui font peur ; • le manager immédiat du formé sait que l’observation risque de mettre en exergue certains dysfonctionnements ; il sait aussi que s’il fait pression sur le collaborateur, ce dernier va être plus exigeant, par exemple, en matière de délégation de pouvoir ; • le formateur n’encourage rien car il sait que, faute d’avoir pu mettre en place un véritable plan de changement, les résultats d’une éventuelle évaluation seraient mauvais et il sait aussi qu’il faudra trouver un bouc émissaire (il est quelquefois payé pour cela ! ; -) ) ; • le responsable formation qui a mis en place une évaluation « à chaud » avec les questions du genre « la soupe était-elle bonne ? » , sait très bien qu’avec ce type d’évaluation, il ne s’attire les foudres de personne ; • seul peut-être (et encore !) le commanditaire regrette cet état de fait ; il aurait bien aimé pouvoir relater au prochain dîner du « … Club » que la venue de son gourou préféré avait déclenché une efficacité accrue dans son entreprise ; mais il a autre chose à faire, il fait confiance à son responsable formation. 27/11/2020 © JS Conseil 4

L’évaluation d’une action de formation De quoi Compétences hôtelières Capacités de l’animateur du stagiaire Quand t Où Compétences Performance du formé d’influence opérationnelle TEMPS t + 3 mois En formation Objectifs Action de pédagogiques formation Sur qui ou quoi Par qui Quelle mesure t + 12 mois Au poste de travail Mise en applicat° sur le terrain Objectifs de formation Situation Animateur Stagiaires Formateur Formés Managers Formés Objectifs finals Résultats du économiques travail ou sociaux « clients » Formés Managers Auditeur des formés Mesure de Mesure sur le Mesure des Mesure de la Mesure d ’un satisfact° comportement effets de la mise en applicat° changement des stagiaires de l’animateur pédagogie des contenus d’opinion 27/11/2020 Performance économique © JS Conseil Mesure sur Mesure des critères économique de production ou sociale 5

ses outils De quoi Compétences hôtelières Capacités de l’animateur du stagiaire Quand t Où Compétences Performance du formé d’influence opérationnelle TEMPS t + 3 mois En formation Objectifs Action de pédagogiques formation Sur qui ou quoi Quelle mesure Stagiaires t + 12 mois Au poste de travail Mise en applicat° sur le terrain Objectifs de formation Situation Animateur Stagiaire Par qui Formés Formateur Managers Formés Évaluation à « chaud » Rapport de stage EA 76 27/11/2020 © JS Conseil Objectifs finals Résultats du économiques travail ou sociaux « clients » Formés Managers des formés Mesure de Mesure sur le Mesure des Mesure de la Mesure d ’un satisfact° comportement effets de la mise en applicat° changement des stagiaires de l’animateur pédagogie des contenus d’opinion COMMENT Performance économique Auditeur Mesure sur Mesure des critères économique de production ou sociale Questionnaires de connaissances Test-retest Questionnaires d’opinion 6

ses outils De quoi Compétences hôtelières Capacités de l’animateur du stagiaire Quand t Où Compétences Performance du formé d’influence opérationnelle TEMPS t + 3 mois En formation Objectifs Action de pédagogiques formation Sur qui ou quoi Quelle mesure Stagiaires t + 12 mois Au poste de travail Mise en applicat° sur le terrain Objectifs de formation Situation Animateur Stagiaire Par qui Formateur Formés Objectifs finals Résultats du économiques travail ou sociaux Managers « clients » Formés Managers des formés Mesure de Mesure sur le Mesure des Mesure de la Mesure d ’un satisfact° comportement effets de la mise en applicat° changement des stagiaires de l’animateur pédagogie des contenus d’opinion COMMENT Performance économique Auditeur Mesure sur Mesure des critères économique de production ou sociale Observation sur le terrain Questionnaires d’opinion Évaluation à « froid » Questionnaires avant-après Audit de climat 27/11/2020 © JS Conseil 7

ses outils De quoi Compétences hôtelières Capacités de l’animateur du stagiaire Quand t Où Compétences Performance du formé d’influence opérationnelle TEMPS t + 3 mois En formation Objectifs Action de pédagogiques formation Sur qui ou quoi Quelle mesure Stagiaires t + 12 mois Au poste de travail Mise en applicat° sur le terrain Objectifs de formation Situation Animateur Stagiaire Par qui Formateur Formés Managers Formés Outils spécifiques Contrat de changement 27/11/2020 Objectifs finals Résultats du économiques travail ou sociaux « clients » Formés Managers Auditeur des formés Mesure de Mesure sur le Mesure des Mesure de la Mesure d ’un satisfact° comportement effets de la mise en applicat° changement des stagiaires de l’animateur pédagogie des contenus d’opinion COMMENT Performance économique Mesure sur Mesure des critères économique de production ou sociale Coûts comparés Absentéisme Retour d’investissement Turn-over Taux d’A. T. © JS Conseil 8

Trois types d’évaluation La pseudo-évaluation L’évaluation par objectifs Les approches complémentaires 27/11/2020 © JS Conseil 9

Trois types d’évaluation La pseudo-évaluation L’évaluation par objectifs Les approches complémentaires L’évaluation « à chaud » Ä orale, collective Ä écrite, individuelle Ä structurée ou non Ä porte ou ne porte pas sur l’animateur Exemples : - voir liste des questions possibles pour Qr à chaud - Qr pour stage Communication - voir liste des questions possibles pour Qr à froid - Questionnaire «avant-après» - rapport de stage - Evaluation d’une action du plan - l ’EA 76 27/11/2020 © JS Conseil L’évaluation « à froid » Ä idem + Ä porte ou ne porte pas sur le suivi du manager 10

Questionnaire d’évaluation «à froid» des journées de l’ingénierie de formation 27/11/2020 © JS Conseil 11

Questionnaire d’évaluation «à froid» des journées de l’ingénierie de formation 27/11/2020 © JS Conseil 12

Trois types d’évaluation La pseudo-évaluation L’évaluation par objectifs Les approches complémentaires Ä l’objectif final Ä l’objectif de formation Ä l’objectif pédagogique 27/11/2020 © JS Conseil 13

L’évaluation par objectifs L’unité de travail Situation de formation Le formé La période de suivi Le formé au poste de travail Objectifs finals Des indicateurs économiques sociaux ou de production 27/11/2020 © JS Conseil Un an après la fin de la formation, nous constaterons une baisse de 50 % des pièces rebutées. 14

L’évaluation par objectifs L’unité de travail Situation de formation La période de suivi Le formé Objectifs finals Objectifs de formation Des comportements ou compétences observables 27/11/2020 Le formé au poste de travail À l’issue de la formation et du suivi, on observera chez le formé l’utilisation systématique des instruments de mesure, pour le contrôle de toutes les pièces usinées. © JS Conseil 15

L’évaluation par objectifs L’unité de travail Situation de formation La période de suivi Le formé Objectifs pédagogiques Objectifs finals Objectifs de formation À l’issue de la formation le formé est capable d’effectuer 20 mesures différentes avec un palmer sans aucune erreur. 27/11/2020 Le formé au poste de travail © JS Conseil Les classiques « être capable de…» 16

L’évaluation des objectifs de formation Vous êtes invité à faire connaître votre opinion à la direction de l’entreprise par voie de questionnaire sur tout ce qui touche à vos conditions d’animation. Le questionnaire est strictement anonyme. Vous pouvez donc franchement donner votre point de vue. Les réponses seront dépouillées par un organisme extérieur. Le but de cette enquête est de permettre d’évaluer les effets d’un plan d’action, construit par tout votre encadrement, et qui vise une amélioration de l’animation du personnel dans l’entreprise. Ne cherchez pas à savoir comment les autres répondent. Il n’y a pas de « bonnes » ou de « mauvaises » réponses. Ce qui compte, c’est ce que vous pensez, compte tenu de votre expérience à vous. FAÎTES VOS RÉPONSES SEUL. Vous posterez votre questionnaire avec l’enveloppe jointe. Les résultats seront communiqués à tout le personnel. Et maintenant, bon courage ! Et merci. 27/11/2020 © JS Conseil 17

L’évaluation des objectifs de formation ++ + - -1 Avez-vous l’impression de faire un travail utile ? r r 12 Êtes-vous encouragé à prendre des initiatives ? r r 21 L’ambiance de travail est-elle bonne dans votre équipe ? r r 25 Pensez-vous être bien informé de la marche générale de l’entreprise ? r r 34 Pensez-vous que votre travail estimé à sa juste valeur ? r r 39 Pouvez-vous discuter librement avec vos responsables ? r r 45 Vos suggestions sont-elles souvent prises en compte ? r r 27/11/2020 © JS Conseil 18

L’évaluation des objectifs de formation ++ + - -47 Êtes-vous informé sur les résultats de votre travail ? r r 52 Votre responsable explique-t-il ses décisions ? r r 54 Votre responsable se fait-il le défenseur de l’équipe ? r r 63 Votre responsable vous laisse-t-il une marge d’autonomie suffisante ? r r 65 Votre travail vous permet-il d’utiliser vos connaissances ? r r 68 Vous dit-on nettement ce qui va bien dans votre travail ? r r 70 Vous sentez-vous trop contrôlé dans votre façon de travailler ? r r 27/11/2020 © JS Conseil 19

L’évaluation des objectifs de formation 27/11/2020 © JS Conseil 20

Rédaction d’un objectif pédagogique L’objectif pédagogique exprime l’état des formés au sortir de la formation : Un verbe d’action (un remettre en état de marche la machine «Démofor» 90 = une norme ou un standard de performance À l’issue de la stagiaires seront Un bon objectif pédagogique : 27/11/2020 re) (un indi cate ur) dans 90% des cas des pannes simulées par le formateur ; formation les capables de. . . critè (les c de r ondition éalis ation s ) 10 pannes différentes, les plus fréquemment constatées sur ce type de machine, seront proposées aux stagiaires. Ä fournit au formateur et au formé la direction à prendre pour l’action ; Ä donne au formateur des éléments pour choisir le contenu, la progression, les méthodes, les techniques et les outils de la formation ; Ä indique les critères de validation de la compétence du formé. © JS Conseil 21

Les plans expérimentaux Magasin A FORMATION coût : 10 000 € Marge supplémentaire par mois : 2 000 € La formation est-elle bien à l’origine de cette augmentation de la marge ? 27/11/2020 © JS Conseil 22

Les plans expérimentaux comparables Magasin B témoin Toutes choses égales par ailleurs Aucune action spéciale Marge supplémentaire par mois : 1 000 € Différence de 1 000 € Magasin A FORMATION coût : 10 000 € Marge supplémentaire par mois : 2 000 € La mesure effectuée n’explique-t-elle pas, à elle seule, l’augmentation de la marge ? (effet Hawthorne) 27/11/2020 © JS Conseil 23

Les plans expérimentaux Pour neutraliser l ’effet « Hawthorne » on introduit un 2 e témoin. FORMATION coût : 10 000 € Magasin A comparables Toutes choses égales par ailleurs Information sur la mesure Marge supplémentaire par mois : 1 000 € Différence de 200 € Aucune action spéciale Magasin B témoin Magasin C témoin Toutes choses égales par ailleurs Marge supplémentaire par mois : 2 000 € Marge supplémentaire par mois : 1 800 € La formation n’explique plus que 200 € d’augmentation de la marge. 27/11/2020 © JS Conseil 24

Trois types d’évaluation La pseudo-évaluation L’évaluation par objectifs Les approches complémentaires Ä le coût comparé avec et sans formation Ä l’étude d’une corrélation résultat global d’audit et F° Ä les comparaisons statistiques Ä les questionnaires d’opinion mesure d’une évolution Ä les questionnaires de climat croisement entre F° et score Ä l’observation de comportement inscription, demande de mutation. . . 27/11/2020 © JS Conseil 25

Ces quelques diapositives sont tirées de notre formation portant sur l’évaluation. Vous trouverez les outils évoqués sur les annexes du livre « Fonction formation » , disponibles également sur ce site. 27/11/2020 © JS Conseil 26