corps ftal corps mental le corps amoureux la

corps fœtal - corps mental [ le corps amoureux / la poche humaine ] environnement immersif enactif sous membrane anika mignotte cicv pierre schaeffer * enaction (francisco varela) : co-générativité, co-émergence au sein d’un couplage structural organisme / environnement 20 décembre 2001 CICV / FTR&D / anika mignotte

FINALITE : DE L'AUTEUR AU VISITEUR Ö Ö Ö Ö 20 décembre 2001 CICV / FTR&D / anika mignotte synchronisation " au fil du temps présent " des fonctionnalités physiologiques et mentales en relation empathique / enactive avec l'environnement rapport à soi-même. . . à l'autre … naissance de soi à partir de l'autre 2 nde poche foetale pour " états de conscience " … partage de " mondes " écriture 2

FINALITE : DE L'AUTEUR A L'INGENIEUR INTERFACE HOMME-SYSTEME Ö utiliser comme ihs une “ membrane immersive à taille humaine “ Ö permettre au visiteur un suivi en biofeedback des variations physiologiques de sa réactivité corporelle intime " scanner émotionnel " 20 décembre 2001 NEUROINFORMATIQUE AFFECTIVE COMPUTING Ö initier (archaïquement) un système informatique à la détection des " états " de son visiteur Ö en réponse à cette détection envisager la réactivité du système par l'image et le son CICV / FTR&D / anika mignotte 3

DESCRIPTION ET PRINCIPES interface membranaire immersion physique du visiteur à l'intérieur d'une structure membranaire (gonflable) forme torique ou ovoïde Ö interactivité avec l'image et le son par le biais des paramètres physiologiques de son corps et du toucher Ö métaphore de l'interface ~ œuf / matrice - ménage espace intime et protégé ~ poche ovoïde = sphère individuelle (2 m de diamètre) ~ visiteur debout sous la membrane ~ libre interactivité par le toucher à bout de bras Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 4

DESCRIPTION ET PRINCIPES 20 décembre 2001 CICV / FTR&D / anika mignotte 5

DESCRIPTION ET PRINCIPES interactivité par physiologie visiteur équipé de capteurs physiologiques ~ rythme cardiaque, tension artérielle, fréquence respiratoire, réponse électrodermale (sueur de la main), thermovasculaire, … Ö 1 traitement multi-agents ~ en flux continu, imagerie dynamique temps réel des variabilités énergétiques de son corps “ scanner émotionnel “ vidéoprojeté sur les parois Ö 2 analyse combinatoire des mesures ~ en flux continu, traduction de la variabilité des paramètres physiologiques en termes de réactivité émotionnelle (activation / qualité d’état) Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 6

DESCRIPTION ET PRINCIPES interactivité par toucher visiteur environné dans / par une matière de type organique ~ continuum plastique sur métaphore cellulaire ~ “ sensibilité cutanée ” de la membrane Ö toucher de cette peau ~ déclenchement de surgissements visuels et sonores à l'endroit du contact Ö contenus ~ architecturés autour d'une scénarisation de “ mondes ” (univers psychologiques du bardo & bribes sur êtres virtuels) ~ appel des séquences calé sur une conversation avec la détection de réactivité émotionnelle (phase ou anti-phase) Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 7

DESCRIPTION ET PRINCIPES 20 décembre 2001 CICV / FTR&D / anika mignotte 8

ENJEUX SCIENTIFIQUES “ je me représente la perception des émotions à la manière de l'observation, depuis une fenêtre, d'un paysage continuellement changeant, dans lequel figure des objets en mouvement, plus ou moins lumineux et plus ou moins bruyants. ce paysage est, en fait, le corps : il présente une structure, constituée par la distribution dans l'espace de ces objets - qui sont les organes internes : cœur, poumons, intestins, muscles ; et il est caractérisé par un “ état ” : la luminosité et les bruits que ces objets émettent, signaux qui traduisent leur état de fonctionnement à chaque moment. ” antonio damasio – l'erreur de descartes 20 décembre 2001 CICV / FTR&D / anika mignotte 9

ENJEUX SCIENTIFIQUES " scanner émotionnel " correspondance physiologie / émotion enjeu à partir d'une captation physiologique source initier deux types de feedbacks automatisés ~ 1 • " scanner émotionnel " (simulation par multi-agents de représentation) ~ 2 • automation de correspondance physiologie / émotion règles génératives de réactivité du système (affective computing) Ö compétences pluridisciplinaires en sciences cognitives ~ en ia : systèmes multi-agents / réseaux de neurones ~ en neurophysiologie de l'émotion ~ en psychologie (intersubjectivité, empathie, imitation. . . ) Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 10

ENJEUX SCIENTIFIQUES - PHYSIOLOGIE captation physiologique traductibilité émotionnelle que peut-on mesurer ? comment mesurer ? Ö comment interpréter la combinatoire des mesures ? Ö 2 équipes cnrs : lpm - université lyon 1 (10 ans d'expérience) microcapteurs microsystèmes biomédicaux neurophysiologie sensorielle émotion vigilance ~ 1999 correspondances mesures physiologiques / émotions de base ~ prototype semi-automatisé intervention expert pour interprétation finale ~ enjeu projet passer à automation totale (libre interactivité temps réel) Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 11

ENJEUX SCIENTIFIQUES - IA : SCANNER simulation systèmes complexes - agents de représentation adaptation du projet " le jardin des hasards " bernard gortais / guillaume hutzler (lip 6 - ftr&d, 1999) ~ version " physiologie humaine " - sur métaphore cellulaire Ö idem projet (virus 2. 0) stéphane sikora (univ. paris 5) / joseph nechvatal (artiste) ~ sma 1 agent / pixel - propagation sur mode viral Ö projet associé au projet en cours " mises-en-scène " bernard gortais / guillaume hutzler (univ. évry - ftr&d, 2001) ~ interface multimodale dédiée au spectacle vivant ~ co-générativité " grilles " entre elles (captation / interprétation / restitution images et sons / validation auteur) Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 12

ENJEUX SCIENTIFIQUES - IA : AUTOMATION automation de détection physiologie / émotion - réseau de neurones Ö Ö 20 décembre 2001 détection d’émergences de patterns (réactivité physiologique & réactivité émotionnelle) clustering & apprentissage R de passerelles automatisation de correspondance interprétative entre les deux réitération des captations sur des physiologies dirigées (vécus émotionnels dirigés par acteurs - secondés par monitoring visuel) apprentissage " initié / supervisé " ~ à partir consignes préalables d'analyse combinatoire des mesures (lyon 1) ~ par retour d'informations des expérimentateurs - acteurs CICV / FTR&D / anika mignotte 13

CONTEXTE SCIENTIFIQUE recherches • émotion Ö 20 décembre 2001 neurologie / psychologie ä antonio damasio - university of iowa, us self-consciousness ä doctorant david rudrauf (ex-francisco varela) - équipe neurodynamique cnrs paris, france synchronisation neuronale ä joseph ledoux - university of new-york, us emotional brain / memory and emotion ä jean decety - center for mind, brain, & learning, university of washington, seattle, us (ex-inserm lyon) empathie / imitation ä aaron ben-ze'ev - center for the interdisciplinary research of emotions, university of haifa, israël psychology / philosophy CICV / FTR&D / anika mignotte 14

CONTEXTE SCIENTIFIQUE recherches • émotion Ö 20 décembre 2001 psychophysiologie / expressions faciales / voix ä paul ekman - university of california, san francisco, us universalité des émotions de base (joie, surprise, tristesse, dégoût, peur, colère) ä arvid kappas - research group for fundamental processes in cognition and emotion, university of hull, uk ä andré dittmar, évelyne vernet-maury - groupe de neurophysiologistes émotions et vigilance, université lyon 1, france CICV / FTR&D / anika mignotte 15

CONTEXTE SCIENTIFIQUE recherches interdisciplinaires france • cognition compréhension des rapports entre fonctionnement esprit et matière (cerveau, corps, ordinateur) : perception, mémoire, langage, raisonnement, action, émotions, conscience, . . . Ö communauté multiple neurosciences, psychiatrie, psychologie, linguistique, philosophie, anthropologie, informatique, mathématiques, logique, intelligence artificielle, robotique, . . . Ö applications sociales santé, éducation, . . . & technologiques information, communication Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 16

CONTEXTE SCIENTIFIQUE recherches interdisciplinaires france • cognition appels à projets annuels aci cognitique (menrt) ~ favoriser collaborations entre sciences humaines et sociales, sciences de la vie (neurosciences) et sciences de l'information (informatique, robotique) Ö atelier risc " apprentissage développement émotion " ä jacqueline nadel - groupe développement & psychopathologie, hôpital salpétrière cnrs paris ä philippe gaussier - etis groupe neurocybernétique, ensea / université cergy pontoise ä pierre andry - doctorant apprentissage du mouvement chez robot par synchronisation temporelle Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 17

CONTEXTE SCIENTIFIQUE. . . INDUSTRIEL recherches • neuroinformatique programmes CE ~ " initiative proactive neurosciences " commune à : - qualité de la vie : ligne brain theories / computational neurosciences and neuroinformatics - ist : ligne neuroinformatics for living arterfacts Ö recherche de passerelles entre neurophysiologie humaine et neuroinformatique naissante ~ systèmes qui vivent se développent s'auto-adaptent évoluent au -delà de la simple programmation - open-ended evolution & internal goals sur modèle morpho-neuro-genèse du vivant ~ évolution des systèmes informatiques vers conception de machines “ vivantes ” et “ émotionnelles ” Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 18

CONTEXTE SCIENTIFIQUE. . . INDUSTRIEL recherches • affective computing Ö observer et modéliser les comportements humains que l'artefact est lui-même censé reproduire ~ détection / qualification réactivité émotionnelle humaine ~ synthétisation pseudo-émotionnelle dans attributs réactionnels machine ä rosalind picard - affective computing research group, mit media lab, boston, us ä aaron sloman - cognition and affect project, university of birmingham, uk ä klaus scherer - geneva emotion research group, université de genève, suisse 20 décembre 2001 CICV / FTR&D / anika mignotte 19

ENJEUX INDUSTRIELS débouchés industriels / usages interaction homme(s) / machine(s) par l'affect Ö maison du futur, éducation, santé, information, communication, . . . ~ en robotique - communautés mixtes hommes / ordinateurs / robots concept d’interfaces “ sensibles et intelligentes “. . . “ empathiques “ ~ en e-marketing détermination de profils pour accès personnalisés aux contenus de l’internet ~ en conception de jeux vidéo (en réseau) prise en compte de la réactivité neuro-végétative dans stratégie des scénarii et évaluation des performances Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 20

ENJEUX RECHERCHE INTERFACE immersive, membranaire, organique, physiologiquement appareillée, visuelle, sonore, haptique, réactive à l'affect ~ sollicitation des sens et du plaisir (“ ventre de la mère ” contact originel) ~ implication personnelle par processus interactif intime émotionnel introspectif Ö contexte d'étude privilégié en ihs ~ réactions de l'individu à l'appareillage technologique ? à l'immersion aisance à interagir ? ~ importance de la prise en compte de l'affect dans la conception des ihs ? ~ la membrane comme enveloppe sensorielle “ empathique “ pour enfants autistes Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 21

ENJEUX RECHERCHE INTERFACE Ö 20 décembre 2001 … en cognition ~ bouleversements cognitifs liés au couplage ++ “ réactivité physiologique ” / “ imagerie mentale ” ~ rôle de l’émotion dans processus cognitifs impact sur perception, imagerie mentale, mémoire, . . . psychologie cognitive ~ rôle de l’empathie (capacité de partage d’émotions, d’imitation) dans développement cognitif cognition sociale ~ nouveau type d'approche sensorielle et cognitive dans processus de réception de l'œuvre artistique CICV / FTR&D / anika mignotte 22

but de l'architecture que l'émergence cartographique du monitoring informe les principes d'émergence dynamique du système capté = 1 physiologie humaine épousant en continu 1 continuum réactionnel émotionnel un être humain 1 émergence émotionnelle dynamique en perpétuel process corps / cerveau 1) physiologie processus biologiques, neurologiques, . . . => répercussion sur rythme cardiaque, respiration, peau, . . . - données captables avec appareillage externe 2) émotions états réactionnels spontanés, non intentionnels avec effet feed--back sur physiologie et imagerie mentale - favorisées dans contexte artistique 3) cognition imagerie mentale / perceptions / évaluation / décision / action / mémoire i) enjeu automatisation des conditions d'expérimentation " correspondance mesures physiologiques / réactivité émotionnelle " psychophysiologie de l'émotion ii) enjeu • étude sur rôle des émotions dans processus cognitifs : impact sur perception, imagerie mentale, mémoire, . . . psychologie cognitive • étude sur rôle de l’empathie (capacité de partage d'émotions, d’imitation) 20 décembre 2001 dans développement cognitif cognition sociale une ihs un ordinateur réactionnel à l'humain sur le calque d'un comportement d'auteur 1) membrane immersion dans tunnel organique images sons 1) recevoir des signaux, les analyser, les interpréter haptique émergence d'une modélisation de haptique environnement fœtal correspondance émotion / physiologie • un sma 2) dispositif de captation / • un sma cartographie système complexe = interprétation physiologie du corps humain / combinatoire de interprétation physiologie corporelle / affect & toucher paramètres de captation i) enjeu artistique • un système neuronal i) enjeu artistique • un système neuronal clustering / apprentissage à scénographique, visuel et partir des lignes de force dégagées au terme de sonore réitérations sur des physiologies dirigées sonore continuum réitérations sur des physiologies dirigées organique dégager des émergences d'états ? 2) initier une réponse • prédisposer à l'émotion, solliciter 2) initier une réponse émettre image et son comme la plasticité humaine (travail 1 " synthétisation " de réactivité émotionnelle acteur) d'auteur i) enjeu neuro -informatique / " machine vivante " • problématique de réception i) enjeu neuro-informatique / " machine vivante " • problématique de réception de l'oeuvre / posture intime " vivent, se développent, s'auto-adaptent, l'oeuvre / posture intime " évoluent au-delà de la simple programmation spectateur - acteur " évoluent au-delà de la simple programmation open-ended evolution & internal goals sur le open-ended evolution & ii) enjeu lié à l'ihs étude ii) enjeu lié à l'ihs modèle de la morpho--neuro-genèse du vivant comportement de l'être humain en réaction à ii) enjeu affective computing / " machine en réaction à ii) enjeu affective computing émotionnelle " • l'appareillage technologique embarqué • ? un système peut capter et comprendre le monde embarqué aisance à interagir ? (social robots) • un environnement impliquant • l'utiliser pour observer et modéliser les notion de plaisir comportements humains que lui-même est notion de plaisir importance de la prise en compte de censé reproduire l'affect dans la conception des iii) enjeu artistique écriture / pilotage de la ihs scénarisation. . . la membrane comme enveloppe • choix de l'appel des mondes, des séquences, sensorielle " empathique " rythmes de navigation, traitements temps réel, . . . CICV / FTR&D / anika mignotte 23 pour enfants autistes

20 décembre 2001 CICV / FTR&D / anika mignotte 24

POUR L'AUTEUR … POUR LE VISITEUR l’être en contact par le corps … en enaction émotionnelle avec l’environnement continuum organique Ö finalité immersive sensorielle / mentale synchronie avec soi-même - bas niveau " physiologie / imagerie mentale " ~ réactivité corporelle rendue visuelle environnante : " effet miroir " conscience du langage du corps s'oublier donc se rencontrer ~ sensorialité avivée comme dans rêve éveillé surgissement de perceptions formes mentales nouvelles troublantes mystérieuses ? dialogue renouvelé ? Ö pour auteur comme pour visiteur outil = corps / mental contraint au sein de l’environnement que lui-même contraint Ö réception de l’oeuvre dans le champ actif de l’expérience connaître implique l’action montée vers “ la conscience en action “ 20 décembre 2001 CICV / FTR&D / anika mignotte 25

POUR L'AUTEUR … POUR LE VISITEUR renvoie à la " praxis " intime de l'acteur techniques de préparation liées à la relaxation la concentration la mémoire l'imagination … retrouver l'expérience ~ " matière " le réel sensoriel psychologique … l’écosystème du moment ~ à partir de lui possible de sculpter une situation une relation ~ sans anticipation à partir de la seule " disponibilité ". . . à l’émotion ~ rendue vibrante parce qu’incarnée en relation avec le contexte environnant propre à déclencher l'empathie Ö … à " celle " de l'être humain Ö 20 décembre 2001 CICV / FTR&D / anika mignotte 26

POUR L'AUTEUR … POUR LE VISITEUR système nerveux, vidéos & sons Ö finalité conversationnelle visiteur / environnement synchronie avec l’autre ~ de part et d'autre boucles ré-itérées : détection " perception " & stimulation " action " - via " internalisation " å réaction émotionnelle enactive on ne naît qu’avec l’autre ~ le spectateur n'est plus passif rien ne se passe sans lui å qualité de l'expérimentation artistique en prise directe avec générosité de l’implication cognitive donner pour recevoir Ö écrire capacité du système à établir lien tension avec celui qui le visite ~ contenus visuels sonores des " mondes " (6 émotions / 6 couleurs) ~ règles génératives de réponse du système cumul de couches articulation progressive d'1 histoire-témoin (en 1ère personne) " au milieu “ " faire monde " par interpénétration sédimentation d'univers successifs mutuellement éclairés 20 décembre 2001 CICV / FTR&D / anika mignotte 27

TROIS MOTS immersion émotion empathie placer l'acte artistique en un endroit qui associe fonctions biologiques et fonctions cognitives dans un même “ faire monde ” … maternel ou amoureux 20 décembre 2001 CICV / FTR&D / anika mignotte 28

MONDES le corps stade de vie primitive stade de l'énergie poussée originelle sensation d'être présent à la réalité du monde physique qui nous incorpore dedans liberté de prendre en soi de faire grandir en soi cette chose pour se libérer de là faire confiance à cette ébauche pour en contenir d'autres à venir 20 décembre 2001 CICV / FTR&D / anika mignotte 29

éternité pas plus haut pour nous les hommes encore seulement des hommes viable encore point final perte de conscience la mort est claire et mate on devient le vent quelque chose ou rien naissance regarder un bébé dormir être attentif à un souffle quiétude à rêver ce qui est vierge encore qui va durer ce qui a le temps est là lui apprendre à respirer 20 décembre 2001 passé la douleur commence expérience de perdre quelque chose un rêve enfoui fait notre présent dans l'inconscient on est ailleurs un autre temps quand on était enfant ce qui n'a pas duré qu'on nous a volé besoin une raison un nœud réalité de l'autre là sous les doigts plaisir d'embrasser manger sentir concrètement y revenir l'autre la peau l'odeur faire couler téter avaler CICV / FTR&D / anika mignotte 30

chemins monde du genre humain croisements monde de la route les hommes travaillent des lendemains qui tiennent des voyages au sol ferme mise en œuvre de sa liberté ont passé repasseront l'âme dedans ondes dilatation écartèlement poumons vibrations brûlure trop pleinement va-t-on tenir presque mal les muscles raidissent fassent hurler laisser passer ne pas bloquer laisser venir jusqu'à toucher la douleur une extase 20 décembre 2001 sommeil glisser plus loin enfoncer épais tout est velours se dérober se retourner s'isoler capitonné disparaître s'effondrer persévérer on rêve éveillé volet fermé on est là à côté milieu de nulle part intra-soi affaissement le monde dégouline la terre tire des couloirs comme des boyaux des ventres obscènes animaux on y est dedans imbibés flasques et spongieux langues grossies nous somme dans la terre elle est molle CICV / FTR&D / anika mignotte 31

tumultes là où rien ne dure tout jaillit fait gicler urgence densité pression température ne veut pas rester là essayer ailleurs autrement voir sans cesse différemment morceaux de vie seuil de la résistance peurs hantent la maison nos membres nos souvenirs les ancêtres guettent ceux de ma race leurs âmes suspendues dans la mienne mais je danse 20 décembre 2001 ruptures monde de la distance du paradoxe on a perdu moment de silence de deuil pan de falaise arraché on y est comme des réfugiés on attend dans l'atmosphère cristallisée le halo du matin là où les blocs ont catapultés comme des hallucinés le monde s'est refermé délivrance plus violent parce que dans l'action moment inconscient acte définitif coup de fusil attaque à mains armées peur à déformer à cracher sa tétanie mort de concentration les coups sont secs les brouillards raides comme des murs CICV / FTR&D / anika mignotte 32

20 décembre 2001 CICV / FTR&D / anika mignotte 33

ARTICULATION RECHERCHE - PARTENAIRES producteur associé Ö direction artistique pierre bongiovanni - cicv pierre schaeffer ~ conception / montage de projet ~ postproduction images et sons / expertise régie phase 1 - pré-expérimentale Ö marie-claire busnel (psychobiologie du développement) ~ préparation / repérage (avec capteurs physiologiques) phase 2 - supervision informatique Ö ia alexis drogoul - équipe myriad, lip 6, université paris 6 ~ dea iarfa intelligence artificielle distribuée & systèmes multi-agents ~ collaboration (direction de thèses) avec ftr&d studio créatif, i-les-m ~ interaction multimodale avec système multi-agents ~ apprentissage par réseaux de neurones 20 décembre 2001 CICV / FTR&D / anika mignotte 34

ARTICULATION RECHERCHE - PARTENAIRES phase 2 - supervision cognition humaine Ö neurophysiologie émotion évelyne vernet-maury - groupe microcapteurs microsystèmes biomédicaux & neurophysiologie sensorielle émotion vigilance, université lyon 1 ~ matériel captation embarqué ~ traductibilité réactivité physiologique en activation émotionnelle (émotions de base) phase 2 & 3 - ? supervision & protocoles utilisant l'interface Ö neurophysiologie de l'intentionnalité jean decety - social cognitive neuroscience lab, cmbl, university of washington, seattle (contact en cours) ~ neurophysiologie / psychologie développementale ~ empathie - imitation chez l’enfant (enveloppe sensorielle pour enfants autistes) 20 décembre 2001 CICV / FTR&D / anika mignotte 35

20 décembre 2001 CICV / FTR&D / anika mignotte 36