Les tableaux de bord et le learning analytics

Les tableaux de bord fondés sur les learning analytics : quelles possibilités et quels enjeux pour les formateurs et les apprenants ? Bruno Poellhuber Normand Roy

Plan de la présentation Enjeux des traces dans les environnements numériques d’apprentissage Le « learning analytic » Les profils d’utilisateurs et les modèles prédictifs L’analyse des vidéos Atelier en groupe Les pistes futures

Enjeux des traces dans les ENA Abandon en FAD (Bernard et al. , 2004; Paquelin, 2017) • Au « mieux » , le double de l’abandon en présentiel, et dans bien des cas, des situations plus préoccupantes. Taux de succès dans les MOOC : entre 5% et 10% Comment mettre en place des dispositifs qui s’adaptent aux besoins apprenants afin de favoriser la persévérance et la réussite? Comment observer l’engagement chez les étudiants en ligne?

Les principaux défis en FAD Auto-régulation des étudiants – Les étudiants qui abandonnent commencent à s’engager tardivement – Les étudiants qui obtiennent une note inférieure à leurs attentes tendent à se désengager Suivi par les tuteurs – L’identification des étudiants « à risques » est une tâche lourde et fastidieuse pour les tuteurs

Du traditionnel à la FAD

Le « Learning analytic » • Intelligence d’affaires (Business Analytics) • « Academic Analytics » : centrée sur la perspective • institutionnelle (héritier du Business Analytics) Educational Data Mining : « données générées dans des contextes éducationnels et d’apprentissage » . • Conférence annuelle (Montréal 2019), revue • Learning Analytic : dans le but de comprendre et d’améliorer l’apprentissage et l’environnement d’apprentissage

(Prinslo et al. , 2015)

« The areas of learning analytics (LA) and educational data mining (EDM) explore the use of data to increase insight about learning environments and improve the overall quality of experience for students. The focus of both disciplines covers a wide spectrum related to instructional design, tutoring, student engagement, student success, emotional well -being, and so on. » (2017, p. 163).

Usages du « Learning Analytic » Méta-analyse par Ming Wong (2017) § Identifier les étudiants à risques § Introduire des mesures de rétroaction et de remédiation personnalisées § Favoriser la rétention des étudiants et augmenter leurs notes § Prendre des décisions éclairées § Améliorer le rapport coût/efficacité § Comprendre les habitudes d’apprentissage des

Le « Learning Analytic » “The meta-analysis showed an encouraging result for the benefits of LA in aiding institutions to make effective informed decisions to improve students’ learning performance and success. ”

Usages du « Learning Analytic » Selon Peraya (2019) § Élaboration de modèles prédictifs § Mieux comprendre le processus d’apprentissage § Diagnostic et prédiction § Recherches « remédiatives » via les tableaux de bord § Renvoyer aux apprenants une représentation de leur parcours, de leurs forces et de leurs faiblesses § Faciliter le suivi et l’encadrement des étudiants « à risque » auprès de divers acteurs éducatifs (professeurs, tuteurs, API, etc. )

Peraya: quelques enjeux et problèmes potentiels avec le LA Problème de recherche: analyse des données sans modèle préalable Qu’est-ce qu’on mesure exactement avec les traces ? Comment construire et modéliser ces traces ? Que valent les traces sans le contexte social dans lequel l’apprentissage se déroule ? Feedback sur des aspects sur lesquels l'apprenant n'a aucune prise

Quelques références Peraya, D. (2019). Les Learning Analytics en question. Panorama, limites, enjeux et visions d’avenir. Distances et médiations des savoirs. Distance and Mediation of Knowledge, (25). https: //journals. openedition. org/dms/3485 Poellhuber, B. , Roy, N. , & Boucha, I. (2019). Understanding Participant’s Behaviour in Massively Open Online Courses. International Review of Research in Open and Distributed Learning, 20(1). http: //www. irrodl. org/index. php/irrodl/article/download/3709/495 7? inline=1

LES COURS EN LIGNE OUVERTS AUX MASSES (MOOCS)

Les profils des utilisateurs 1. 2. 3. 4. 5. 6. Absent Le navigateur L’évaluateur Le lecteur curieux L’actif indépendant L’actif social

Engagement Cognitif Surligner, se répéter, organiser, réfléchir, prendre connaissance de, etc. Comportemental Arriver à temps, prévoir dans un calendrier, demander de l’aide, texter, etc. Classe d’apprentissage actif - CLAAC Affectif S'amuser, détester, s'ennuyer, etc. 19

Quelles traces ? Que signifient-elles? Les traces

Les traces Traces formatées pour créer des variables ordinales représentant un continuum d’engagement dans chacun des champs d’activités possibles – nb et type d’interventions dans les forums de discussion – téléchargement du chapitre principal de la semaine (lecture obligatoire) – % de visionnement des 6 vidéos de la semaine en streaming • (données non disponibles pour le téléchargement) – % de téléchargement des fichiers. pdf des présentations – Activités dans le module Test & Quiz 21

Persévérance des profils % de survie Total 57% Active-social 93% Active-independent 83% Serious reader 56% 34% Self-assessor Browser 26% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Ø Ø Ø L’actif social L’actif indépendant Le lecteur curieux L’évaluateur Le navigateur

Les modèles prédictifs

Logistical regression model to predict persistence B Sig. S. E. Exp(B) 1, 405 *** 0, 250 4, 075 MSLQ buts intrinsèques -1, 205 ** 0, 380 0, 300 MSLQ buts extrinsèques 0, 535 * 0, 215 1, 707 Résultat au test sem 2 0, 364 *** 0, 056 1, 440 Profils d’engagement Age . 018 18 -23 ans -2, 060 * 0, 949 0, 127 24 -32 ans -1, 110 . 051 0, 570 0, 330 33 -40 ans 0, 193 . 730 0, 561 1, 213 41 -48 ans -0, 476 . 497 0, 700 0, 621 ref ref MSLQ auto-efficacité 0, 698 . 076 0, 393 2, 010 Constante -3, 075 . 035 1, 460 0, 046 49 ans et + 24

Open. EDx sur EDUlib : plateforme Open. EDx https: //edx. readthedocs. io/projects/devdata/e n/latest/internal_data_formats/event_list. html

Analyse des séquences vidéos § § § § § Charger Mettre sur pause Faire jouer Retour en arrière (10 sec) Saut vers l’avant (10 sec) Retour rapide Avance rapide Vitesse au ralenti Arrêt

Analyse de séquences vidéo éclairées par des entrevues 27

Niveau d’engagement Chargeme nt de la vidéo Faire jouer la vidéo Pause Utilisateur peu ou pas engagé 2891 45 0 3 0 0 Utilisateur moyennement engagé 2795 1611 336 41 80 575 Retour Saut Arrêt en vers de la arrière l’avant vidéo Utilisateur 2004 5499 2155 2535 822 engagé Les fonctions d’accélération et de ralentissement de la vidéo sont très peu utilisées

Les tableaux de bord

Pistes de réflexion pour l’élaboration de votre tableau de bord Beaucoup de comportements atypiques Qui est l’étudiant engagé : celui qui termine à temps? Celui qui fait le nécessaire? Celui qui se connecte à tous les jours? Les comportements « numériques » semblent tout de même liés à la persévérance et au rendement dans les cours à distance (MOOC et FAD)

Les défis des tableaux de bord Apprenants – Appropriation et interprétation des résultats – Soutien à la mise en place d'actions régulatrices – Les visualisations présentées ne suffisent pas à changer le comportement des apprenants (Peraya, 2019_ Enseignants – L’adoption des TB par les enseignants est difficile (par ex. Université Laval – Paquelin, 2018) – Identification des besoins individualisés et des étudiants à risque Établissements

Atelier pratique : à quoi ressemble votre tableau de bord idéal? Pour les étudiants / Pour les enseignants

LE PROJET

35

36

37

38

DISCUSSION SUR LES ENJEUX DES TB

Quelques enjeux et problèmes potentiels avec le LA Confidentialité des données et protection des données personnelles à qui et à quoi servent-elles ? – Profils étudiants = risque de reproduction des discriminations – Profils étudiants = risque des prophéties qui s’autoaccomplissent – Droits des apprenants à disposer de leurs données – Réglementation légale (RGPDM en Europe, loi x au Québec) Comment développer une approche utile pour les apprenants, qui ne fait pas "big brother is watching you" ? Feedback sur des aspects sur lesquels l'apprenant

Questions à débattre selon Peraya Quelles méthodes de collecte massive de données personnelles respectent une démarche éthique, alors qu'il n'existe que peu de moyens d'en contrôler l'usage ? Comment les acteurs de l'apprentissage peuvent-ils s'approprier, comprendre, contrôler, adapter les algorithmes de calcul pour en juger la valeur ?