Universit de Perpignan Facult des lettres et sciences

Université de Perpignan Faculté des lettres et sciences humaines 1 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Sous la Direction du Pr. Robert MARTY Soutenance de thèse 24 septembre 2004 « Les objets qui concernent ce dont la pensée s’occupe sont des signes. Essayer de déchiffrer les signes et de descendre jusqu’au sens même, c’est comme essayer de peler un oignon ou de descendre jusqu’à l’oignon même. » Charles Sanders Peirce

Université de Perpignan Faculté des lettres et sciences humaines 2 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FProblématique : Comment donner une dimension cognitive à l’évaluation des ressources multimédias éducatives à partir du fondement scientifique de la sémiotique triadique? Un objectif affiché : dégager un cadre théorique de la sémiotique peircienne en vue de préconisations opératoires

Université de Perpignan Faculté des lettres et sciences humaines 3 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FPréalable : Informatique Sciences cognitives Multimédia éducatif Sciences Info-com Sciences de L’éducation sémiotique

Université de Perpignan Faculté des lettres et sciences humaines 4 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Plan FEvaluation du multimédia : état de l’art FNotions fondamentales de signe FChoix d’un cadre épistémologique FSigne et multimédia éducatif FL’analyse sémio-cognitive FSémiotique et évaluation

Université de Perpignan Faculté des lettres et sciences humaines 5 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Evaluation du multimédia : état de l’art

Université de Perpignan Faculté des lettres et sciences humaines 6 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEvaluation du multimédia : état de l’art Une préoccupation mondiale…

Université de Perpignan Faculté des lettres et sciences humaines 7 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEvaluation du multimédia : état de l’art F de très nombreuses démarches d’évaluation des ressources multimédias ont été recensées à travers le monde, F l’approche est dans la plupart des cas tournée vers l’observation du comportement de l’apprenant, F la démarche est très souvent empirique, F l’architecture des ressources multimédias est rarement analysée, F on fait assez souvent référence à des normes « d’utilisabilité des logiciels » .

Université de Perpignan Faculté des lettres et sciences humaines 8 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEvaluation du multimédia : état de l’art FUn double constat : Fil n’existe pas de démarche d’évaluation prenant en compte les processus cognitifs par une modélisation sémiotique a priori de la ressource multimédia Fles rares modèles utilisés sont exclusivement issus des normes ergonomiques

Université de Perpignan Faculté des lettres et sciences humaines 9 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEvaluation du multimédia : état de l’art FUn enseignement : FNous engageons une démarche innovante avec tous les risques que cela suppose Fdans un champ scientifique où la sémiotique n’est pas spécialement référencée

Université de Perpignan Faculté des lettres et sciences humaines 10 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Notions fondamentales de signe

Université de Perpignan Faculté des lettres et sciences humaines 11 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FNotions fondamentales de signe FLe signe transmet une forme de la chose à signifier jusqu’à l’esprit d’un interprète Chose à signifier Chose qui représente Esprit de l’interprète

Université de Perpignan Faculté des lettres et sciences humaines 12 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FNotions fondamentales de signe FLe signe est mis pour la chose à signifier qui elle, est absente de la situation en cours Chose à signifier La preuve : il n’y a pas de grenouille sur cet écran

Université de Perpignan Faculté des lettres et sciences humaines 13 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Choix d’un cadre épistémologique

Université de Perpignan Faculté des lettres et sciences humaines 14 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FChoix d’un cadre épistémologique Le cadre théorique de la sémiotique peircienne • La phénoménologie • Le signe peircien • La sémiosis Justification du choix du signe triadique Le treillis des classes de signes triadiques : un outil d’analyse élaboré

Université de Perpignan Faculté des lettres et sciences humaines 15 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne La phénoménologie (ou phanéroscopie)

Université de Perpignan Faculté des lettres et sciences humaines 16 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne La phénoménologie (ou phanéroscopie) • Le fondement de la théorie réside dans la nature des relations logiques que les éléments de tout phénomène entretiennent entre eux • Trois catégories sont à la base de cette théorie qui constituent le cadre d’appréhension du phénomène sémiotique

Université de Perpignan Faculté des lettres et sciences humaines 17 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne La priméité • Regroupe tous les éléments qui ne sont en relation logique qu’avec euxmêmes (ce sont des monades) • C’est le domaine de la qualité sui généri, du sentiment • Les éléments de la priméité sont des primans

Université de Perpignan Faculté des lettres et sciences humaines 18 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne La secondéité • Regroupe tous les éléments qui résultent d’une relation dyadique (ce sont des dyades) • C’est le domaine des faits, des existants • Les éléments de la secondéité sont des secondans

Université de Perpignan Faculté des lettres et sciences humaines 19 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne La tiercéité • Regroupe tous les éléments qui résultent d’une relation triadique (ce sont des triades) • C’est le domaine des lois, des concepts, des habitudes • Les éléments de la tiercéité sont des tertians

Université de Perpignan Faculté des lettres et sciences humaines 20 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne • La hiérarchie catégorielle de la phénoménologie Les lois sont régis par Les faits se matérialisent dans Les qualités

Université de Perpignan Faculté des lettres et sciences humaines 21 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne • La hiérarchie catégorielle de la phénoménologie Le phanéron est la totalité de ce qui est présent à l’esprit ici et maintenant 3 présuppose 2 qui présuppose 1

Université de Perpignan Faculté des lettres et sciences humaines 22 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne • Structuration phénoménologique de la totalité de ce qui est présent à l’esprit : la phanéroscopie Tertians Lois Secondans Faits Primans Qualités

Université de Perpignan Faculté des lettres et sciences humaines 23 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien

Université de Perpignan Faculté des lettres et sciences humaines 24 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien • Le signe est général – Il englobe donc l’ensemble des systèmes de représentation sans exception

Université de Perpignan Faculté des lettres et sciences humaines 25 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien « Considérer quels sont les effets pratiques que nous pensons pouvoir être produits par • Le signe est pragmatique l’objet de notre conception. – Il produit des effets dont la nature varie selon l’interprète et la La conception de tous ces effets situation d’interprétation est la conception complète de l’objet. » pragmatisme Maxime du pragmatisme C. S. Peirce - 1879

Université de Perpignan Faculté des lettres et sciences humaines 26 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne Caractéristiques du signe peircien • Le signe est triadique – Il repose sur la coopération de trois instances

Université de Perpignan Faculté des lettres et sciences humaines 27 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne Par extension de sa théorie triadique, Peirce a proposé une architecture du signe basée sur la coopération de six instances ….

Université de Perpignan Faculté des lettres et sciences humaines 28 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne • Le signe hexadique

Université de Perpignan Faculté des lettres et sciences humaines 29 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne La sémiosis

Université de Perpignan Faculté des lettres et sciences humaines 30 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne • La sémiosis – Est le résultat produit par l’effet du signe sur l’interprète. Elle se reproduit à l’infini et enrichit l’interprétant à chaque expérience sémiotique La sémiosis est un processus cognitif global qui s’opère par inférence

Université de Perpignan Faculté des lettres et sciences humaines 31 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FJustification du choix du signe triadique Le signe hexadique est une complexification du signe triadique, ce qui ne rend pas l’analyse sémiotique forcément plus aisée Nous lui préférons le signe triadique car : Nous disposons d’un modèle prédictif du signe triadique directement utilisable pour l’analyse sémio-cognitive : le treillis des classes de signes triadiques

Université de Perpignan Faculté des lettres et sciences humaines 32 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe cadre théorique de la sémiotique peircienne Le treillis des classes de signes triadiques

Université de Perpignan Faculté des lettres et sciences humaines 33 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré Véritable théorème de la signification, il constitue la formalisation algébrique de la théorie de Peirce produite par Robert Marty

Université de Perpignan Faculté des lettres et sciences humaines 34 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré • Une formalisation issue des relations logiques combinatoires

Université de Perpignan Faculté des lettres et sciences humaines 35 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré • Dont les classes de signes sont obtenues en application de la hiérarchie catégorielle

Université de Perpignan Faculté des lettres et sciences humaines 36 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré • 10 classes de signes : » » » » » 3. 3. 3 argument 3. 3. 2 symbole dicent 3. 3. 1 symbole rhématique 3. 2. 2 légisigne indexical dicent 3. 2. 1 légisigne indexical rhématique 3. 1. 1 légisigne iconique 2. 2. 2 sinsigne indexical dicent 2. 2. 1 sinsigne indexical rhématique 2. 1. 1 sinsigne iconique 1. 1. 1 qualisigne

Université de Perpignan Faculté des lettres et sciences humaines 37 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré 10 classes de signes triadiques organisées selon les relations de présupposition représentées par les flèches

Université de Perpignan Faculté des lettres et sciences humaines 38 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré

Université de Perpignan Faculté des lettres et sciences humaines 39 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré Notions de chemins cognitifs • La sémiosis cognitive englobe l’ensemble du processus cognitif : de la perception du signe jusqu’à la présence à l’esprit de l’objet • Les cinq approches inférentielles possibles ressortent logiquement du treillis des classes de signes triadiques

Université de Perpignan Faculté des lettres et sciences humaines 40 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLe treillis des classes de signes triadiques : un outil d’analyse élaboré • Notions de chemins cognitifs 5 et seulement 5 parcours cognitifs sont possibles : 1 - Hypothético-déductif 2 - Hypothético-inductif 3 - Empirico-déductif 4 - Empirico-inductif 5 - Abductif

Université de Perpignan Faculté des lettres et sciences humaines 41 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FL’analyse sémio-cognitive De la phanéroscopie … …aux chemins cognitifs

Université de Perpignan Faculté des lettres et sciences humaines 42 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FL’analyse sémio-cognitive Nous disposons de 3 outils : • La phanéroscopie F permet de dégager les composantes et la structure de la forme mentale produite (le phanéron) • Le treillis des classes de signes F procure l’architectonique du signe (classes et relations) • Les chemins cognitifs F indiquent les modes inférentiels qu’un interprète peut mettre en œuvre (types de raisonnement)

Université de Perpignan Faculté des lettres et sciences humaines 43 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSigne et multimédia éducatif En quoi une ressource multimédia éducative est-elle un signe triadique? 2 principes fondamentaux du multimédia : • La multimodalité : un environnement syncrétique • La volition : le processus fondamental de l’interactivité Modélisation d’une situation d’interactivité multimédiatisée

Université de Perpignan Faculté des lettres et sciences humaines 44 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEn quoi une ressource multimédia éducative est-elle un signe triadique? BC 2 = AB 2 + AC 2

Université de Perpignan Faculté des lettres et sciences humaines 45 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEn quoi une ressource multimédia éducative est-elle un signe triadique? Théorème de Pythagore Objet Signe (objet de connaissance à signifier) (représentation multimédia) Interprétant (habitus de l’apprenant)

Université de Perpignan Faculté des lettres et sciences humaines 46 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FEn quoi une ressource multimédia éducative est-elle un signe triadique ? Objet (théorème) Interprétant (connaissance mathématique instituée antérieurement) Signe (représentation symbolique)

Université de Perpignan Faculté des lettres et sciences humaines 47 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLa multimodalité : un environnement syncrétique Les sémiotiques syncrétiques sont des sémiotiques qui mélangent des phénomènes sémiotiques de nature différente En l’état actuel de la technologie disponible les ressources multimédias éducatives utilisent 2 canaux sensoriels pour la représentation : sonore et visuel Signes sonores Signes visuels Hypersigne bimodal

Université de Perpignan Faculté des lettres et sciences humaines 48 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLa volition : un processus fondamental dans l’interactivité • L’intervention de l’apprenant conditionne le parcours d’apprentissage dans la ressource multimédia • Son action est de l’ordre de la volition : » processus d'origine psychologique dont le dernier instant est d'ordre musculaire

Université de Perpignan Faculté des lettres et sciences humaines 49 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLa volition : un processus fondamental dans l’interactivité Volition vs Volonté FPeirce distingue • Volition active (aboutit à une action désirée) • Volition passive (produit une action subie)

Université de Perpignan Faculté des lettres et sciences humaines 50 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FLa volition : un processus fondamental dans l’interactivité • Une situation triadique décrite par Peirce

Université de Perpignan Faculté des lettres et sciences humaines 51 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FModélisation d’une situation d’interactivité multimédiatisée • Coopération de 3 instances dont deux relèvent du système de représentation Coopération multimodale • Une organisation en réseau

Université de Perpignan Faculté des lettres et sciences humaines 52 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FModélisation d’une situation d’interactivité multimédiatisée • Le treillis syncrétique des classes de signes triadiques Les classes de signes sont multimodales à l’exception de l’argument qui est purement logique

Université de Perpignan Faculté des lettres et sciences humaines 53 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSémiotique et évaluation Ressource multimédia éducative considérée en tant qu’hypersigne Fondement théorique de l’analyse sémio-cognitive Préconisations pour une évaluation sémiotique

Université de Perpignan Faculté des lettres et sciences humaines 54 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSémiotique et évaluation Nous proposons deux méthodologies d’évaluation : • Sémio. Dev pour la conception de ressources multimédias Sémio. Dev • Sémio. Val pour l’évaluation de ressources multimédias existantes Sémio. Val

Université de Perpignan Faculté des lettres et sciences humaines 55 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations F Sémiotique et évaluation Sémio. Dev méthodologie pour la conception de ressources multimédias éducatives

Université de Perpignan Faculté des lettres et sciences humaines 56 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSémiotique et évaluation FSémio. Dev : une méthodologie pour les concepteurs Sémio. Dev

Université de Perpignan Faculté des lettres et sciences humaines 57 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSémiotique et évaluation FSémio. Dev : une méthodologie pour les concepteurs • Objectif : produire les éléments sémiotiques directement utilisables dans UML Diagramme de classes d’objet Sémio. Dev Diagramme de cas d’usage Diagramme de collaboration

Université de Perpignan Faculté des lettres et sciences humaines 58 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations F Sémiotique et évaluation F Sémio. Dev : cinq étapes pour concevoir une ressource multimédia • • • Etape 1 : Prise en compte des objectifs d'apprentissage Etape 2 : Dessin des parcours cognitifs à intégrer Etape 3 : Définition des structures sémiotiques Etape 4 : Elaboration de la charte des concepts de représentation Etape 5 : Architecture de l'interactivité et éléments de scénario

Université de Perpignan Faculté des lettres et sciences humaines 59 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations F Sémiotique et évaluation Sémio. Val méthodologie pour l’évaluation de ressources multimédias éducatives en préalable aux usages

Université de Perpignan Faculté des lettres et sciences humaines 60 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSémiotique et évaluation Sémio. Val : une méthodologie pour les évaluateurs Ressource multimédia éducative existante Sémio. Val Rapport d’évaluation sémio-cognitive Usage

Université de Perpignan Faculté des lettres et sciences humaines 61 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FSémiotique et évaluation Sémio. Val : six étapes pour évaluer une ressource multimédia existante • Etape 1 : Qu’évalue-t-on ? • Etape 2 : Qu’est ce qui est présent à l’esprit lorsqu’on est face au document multimédia ? • Etape 3 : Quels sont les composants sémiotiques qui constituent la représentation multimédia ? • Etape 4 : De quelles classes de signes relèvent les composantes du contexte ? • Etape 5 : Quelle est la nature des relations multimodales ? • Etape 6 : Accède-t-on à la connaissance et selon quels parcours cognitifs?

Université de Perpignan Faculté des lettres et sciences humaines 62 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Perspectives

Université de Perpignan Faculté des lettres et sciences humaines 63 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations FPerspectives • Dans la recherche scientifique – Introduire les hypothèses produites au sein des références habituelles connues * Dans le domaine des Interfaces Homme-Machine (IHM) * Dans le domaine des ontologies » Colloques » Articles » Publications • Dans l’ingénierie – Convaincre les équipes de projets de la nécessité de l’approche sémiotique » Problème des résistances organiques • Applicatives – Faire valider l’applicabilité des méthodologies proposées » Initiation à l’analyse sémio-cognitive des acteurs » Développement d’assistants logiciels pour la mise en oeuvre

Université de Perpignan Faculté des lettres et sciences humaines 64 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations

Université de Perpignan Faculté des lettres et sciences humaines 65 Approche sémiotique des processus cognitifs du multimédia éducatif : évaluation et préconisations Fin de la présentation thèse disponible en ligne: http: //home. tele 2. fr/patrickbenazet/