Organiser documenter et protger ses donnes au quotidien

Organiser, documenter et protéger ses données au quotidien Formation doctorale M. Saby mathieu. saby@unice. fr BU UNS 13/05/2019 1/

Objectifs La bonne gestion des données est un impératif commun à tous types de projets, individuels comme collectifs, pour des raisons scientifiques, éthiques ou réglementaires. Afin qu’elles restent exploitables pendant toute la durée d’un projet et si possible plus longtemps, il est nécessaire de les protéger pour faire face aux risques informatiques et humains, mais également de les organiser et de les documenter à différents niveaux. Les actions à mener et les outils à utiliser peuvent différer selon les caractéristiques du projet, la discipline, la nature et le mode de collecte des données, ou les formats de fichiers utilisés. 2/

Objectifs q q Comprendre les enjeux de la gestion des données Connaître les principaux volets Réaliser un diagnostic de ses pratiques Optimiser sa stratégie et ses pratiques Remarque : on n’abordera pas directement le partage et la diffusion des données, la réalisation de plans de gestion de données ni les questions liées à la reproductibilité de la recherche. Contenu largement inspiré de du matériel de la formation "Organiser efficacement ses données" - Urfist de Bordeaux le 2018 -03 -05 et le 2018 -03 -23 par Frédérique Flamerie. https: //github. com/fflamerie/organisation_donnees_2018 3/

PLAN 1. Enjeux 2. Préserver et sécuriser son travail Maîtriser les formats de fichiers Documenter ses données Organiser ses données et sa documentation 3. 4. 5. 4/

1. Enjeux 1. Enjeux 2. Préserver et sécuriser son travail Maîtriser les formats de fichiers Documenter ses données Organiser ses données et sa documentation 3. 4. 5. 5/

1. 1] Quelques histoires d’horreur… Quels dangers pourraient compromettre vos données et donc votre travail ? 6

1. 1] Quelques histoires d’horreur… https: //www. sudouest. fr/2019/04/03/elle-perd-sa-these-dans-un-train-bordeaux-nimes-son-pere-lance-un-appel-59557973755. php? fbclid=Iw. AR 2 r. Rdsiej 6 DCOeo 0 Bhri-GCJW 4 Jlf. Mk 9 vsi 3 yah 6 U 3 Kgoc. NMos. RW 1 Zyc. Nw 7

1. 1] Quelques histoires d’horreur… https: //www. numerama. com/tech/481102 -des-hackeurs-ont-vole-les-codes-dun-technicien-de-microsoft-pour-acceder-a-vos-mails. html 8

1. 1] Quelques histoires d’horreur… https: //www. lemonde. fr/pixels/article/2016/02/24/des-hopitaux-francais-eux-aussi-victimes-de-chantage-informatique_4870885_4408996. html 9

1. 1] Quelques histoires d’horreur… Capture du site http: //www. biblindex. mom. fr/ le 29/12/2016 10

1. 1] Quelques histoires d’horreur… 1999 - Incendie de la bibliothèque de la faculté de Lyon II https: //www. ina. fr/video/CAC 99024650 https: //www. enssib. fr/bibliotheque-numerique/documents/34845 apres-la-catastrophe. pdf 11

1. 2] Prenons du recul Indépendamment de la destruction ou du vol d’autres risques pèsent sur les données : Tout simplement… Ne plus savoir les retrouver Ne plus avoir le logiciel pour les lire Ne plus les comprendre 12

1. 3] De quelles données parle-t-on? « Données de la recherche » ou « données scientifique » Plusieurs définitions Une des plus influente proposée par l’OCDE en 2007 dans les Principes et lignes directrices de l’OCDE pour l’accès aux données de la recherche financée sur fonds publics : les «données de la recherche » sont définies comme des enregistrements factuels (chiffres, textes, images, sons) utilisés comme source principales pour la recherche scientifique et généralement reconnus par la communauté scientifique comme nécessaires pour valider les résultats de la recherche. Donc pas seulement des chiffres, et pas seulement des « bases de données » au sens informatique. 13/

1. 3] De quelles données parle-t-on? Définition bien adapté aux sciences de la nature et certaines sciences humaines et sociales : données nécessaires pour vérifier les théories et en construire de nouvelles, etc. Mais dans la plupart des SHS on ne parle pas de données mais de « matériaux » , « sources » , « enquêtes » , « observations » . Par commodité, nous appellerons « données » tous les matériaux analysés, interprétés ou utilisés lors d'une recherche, quelle que soit leur origine et la méthode utilisée. 14

1. 3] Des données précieuses Les données de recherche ont avant tout une valeur scientifique Pendant le projet : tester des hypothèses, servir de base à des analyses, etc. q Après le projet : peuvent être réutilisées dans un nouveau projet peuvent être demandées pour vérifier la fiabilité des résultats ( par l’établissement, la revue ayant publié les résultats, d’autres chercheurs) q 15/

1. 3] Des données précieuses Un principe général affiché en France et à l’étranger avec plus ou moins de détails : conserver les données et tout ce qui peut permettre de prouver et de reproduire les résultats. Charte nationale de déontologie des métiers de la recherche. [S. l. ]  CNRS, INRA, INSERM, CPU, CIRAD, INRIA, IRD, Institut Curie, 2015. [Consulté le 23 mars 2015]. Disponible à l’adresse  http: //www. cnrs. fr/comets/IMG/pdf/charte_nationale__deontologie_signe_e_janvier 2015. pdf INTERNATIONAL COMMITTEE OF MEDICAL JOURNAL EDITORS. Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals. Décembre 2018. [S. l. ]  ICMJE, [s. d. ]. [Consulté le 12 mai 2019]. Disponible à l’adresse  http: //www. icmje. org/icmje-recommendations. pdf 16/

1. 3] Des données précieuses Leur préservation peut également se justifier par leur valeur q q q Economique Juridique Médicale Sociétale Patrimoniale ou culturelle 17/

1. 4] Mais une valeur variable Toutes les données n’ont pas la même valeur, pour le projet et en dehors. Les plus importantes à préserver sont les données : q Uniques et non reproductibles q Ex: archéologie, ethnologie, environnement… q Couteuses ou longues à reproduire q Ex : accélérateur de particules, dépouillement d’archives… q Étayant des travaux potentiellement controversés q Ayant un fort potentiel de réutilisation scientifique q Ayant une forte utilité sociale q Ex : santé, climatologie, géographie… 18

1. 4] Mais une valeur variable L’analyse doit se faire jeu de données par jeu de données Jeu de données (dataset): ensemble cohérent de données. Peut correspondre à un fichier isolé contenant plusieurs données (ex: classeur Excel), ou à un ensemble de fichiers regroupés en fonction de critères technique et/ou intellectuels (ex: ensemble d’entretiens, avec fichier audio et transcription). Un jeu peut comprendre plusieurs « sous-jeux » de données. 19/

Sondage Quelles données utilisez-vous pour vos recherches ? <lien diffusé en formation> 20

1. 5] Différents modes de création Expérience (en laboratoire, sur le terrain…) Observation de faits naturels ou sociaux (par questionnaire, enquête, mesure, captation, recueil de traces. . . ) Simulation ou modélisation numérique Extraction à partir de documents existants Réutilisation de données déjà structurées (statistique publique, recherche…) 21/

1. 5] Différents types Données tabulées (variables portant sur des observations) Texte non structuré photos Texte semi-structuré cartes Données relationnelles Sons, vidéos 22

1. 6] Différents niveaux d’élaboration Modèles variables selon les disciplines et les projets Ex : Modèle fréquent en SHS : Sources physiques ou numériques q q q Données brutes Données préparées, nettoyées, traitées Données, analysées, visualisées, annotées, interprétées Faudra-t-il garder les versions intermédiaires données ? Chaque étape est-elle reproductible et documentée ? Quels outils et méthodes seront utilisés (logiciels? code informatique? , travail manuel? ) 23

2. Préserver et sécuriser son travail 1. Enjeux 2. Préserver et sécuriser son travail Maîtriser les formats de fichiers Documenter ses données Organiser ses données et sa documentation 3. 4. 5. 24/

2] Préserver et sécuriser son travail Pendant le projet : Impératif de sécurité et d’utilisabilité Après le projet : Impératif de sécurité et de durabilité (plus ou moins longue) 25

2. 1] Des risques à évaluer D'après vous, quels risques pèsent sur les données pendant un projet? 26

2. 1] Des risques à évaluer et maîtriser Niveau de risque = Gravité d’un événement x Probabilité x Irréversibilité des dégâts provoqués La gravité s’évalue en fonction des effets q Pour vous q Pour vos collègues (équipe, membres du projet) q Pour l’établissement q Pour les participants à l’étude q Pour la société ou l’environnement On pourrait raffiner en distinguant plusieurs types de conséquences (scientifiques, économiques, juridiques, sur la réputation…) Ex : risque de divulgation de données de patients atteints de cancer = gravissime. A éviter à tout prix! Risque de perte de votre clé USB contenant des données sur l’économie de la Grèce archaïque = juste grave pour vous 27

2. 1] Des risques à évaluer et maîtriser Perte définitive Indisponibilité temporaire Détérioration Accès non autorisé Modification non autorisée Lecture impossible Compréhension impossible 28

2. 1] Des risques à évaluer et maîtriser Perte définitive (vol, destruction, défaillance matérielle ou logicielle, virus, mauvaise organisation, erreur de manipulation) Indisponibilité temporaire (idem mais avec sauvegarde récupérable) Détérioration (défaillance ou logicielle, virus, erreur humaine) Accès non autorisé* (sécurisation insuffisante, piratage, erreur humaine) Modification non autorisée* (idem) Lecture impossible (obsolescence du format ou du matériel) Compréhension impossible (mauvaise organisation, perte du contexte ou de la documentation associée) * : Accès non autorisé = en fonction du périmètre d’accès défini pour les données : extérieur à l’université, au labo, au projet… 29

2. 1] Des risques à évaluer et maîtriser Exemple de grille (1 = aucune gravité ; 4 = catastrophique) Gravité pour moi Gravité pour les collègues Gravité pour l’établissement Gravité pour les participants Gravité pour la société, l’environnement A : Perte définitive 4 2 1 1 1 B : Indisponibilité temporaire 1 C : Détérioration 2 D : Accès non autorisé 1 E : Modification non autorisée 2 F : Lecture impossible 4 G : Compréhension impossible 4 30

2. 1] Des risques à évaluer et maîtriser Exercice pratique Télécharger la grille et la remplir <lien diffusé en formation> 31

3. 1] Des risques à évaluer Puis faire une grille combinant gravité et probabilité, événement par événement Gravité pour moi Très grave 4 F ; G A 3 E 2 1 B ; D 1 C 2 3 4 Très probable Les risques très probables et très graves doivent être traités en priorité ! Les risques peu graves et peu probables peuvent être laissés de coté… 32

2. 1] Des risques à évaluer et maîtriser Plusieurs pistes • • Réduire la probabilité de l’événement Réduire la vulnérabilité Prévoir une réaction adaptée si l’événement se réalise Ne rien faire 33

2. 2] Choisir le stockage le plus adapté Où stockez-vous vos données? Quels avantages et inconvénients des différentes solutions? 34

2. 2] Choisir le stockage le plus adapté q Aux usages désirés : travail solitaire? partage avec partenaires internes ou externes à l’établissement? travail collaboratif? niveau d’accès aux données différentié selon les personnes? q Aux caractéristiques données : données publiques/confidentielles/secrètes? Quel dommage causerait leur perte ou leur diffusion? 35

2. 2] Choisir le stockage le plus adapté Tableau tiré de http: //doranum. fr/le-stockage-des-donnees/ Pas de données personnelles ou sensibles sur le Cloud ou sur un support externe, sauf précaution spéciale (chiffrement) ! 36

2. 3] Sauvegarder méthodiquement q q Même en cas de stockage adapté, faire des sauvegardes régulières et fréquentes (règles à définir !) Idéalement sauvegarde « incrémentale » (fichiers modifiés) automatique et fréquente et sauvegardes « complète » plus espacées Utile pour se protéger de ses propres erreurs Idéalement 2 sauvegardes, sur supports différents, dont une stockée physiquement à distance (ex: cloud + disque externe) 37

2. 3] Sauvegarder méthodiquement Ex. de guide méthodologique : CESSDA TRAINING WORKING GROUP. 4. Store. Backup. Dans  CESSDA Data Management Expert Guide. [en ligne]. 2018 2017. [Consulté le 13 mai 2019]. Disponible à l’adresse  https: //www. cessda. eu/Training-Resources/Library/Data. Management-Expert-Guide/4. -Store/Backup 38

2. 3] Sauvegarder méthodiquement q Outils d’automatisation de sauvegardes (non testés) Backup complet, outil standard Win 10 : https: //www. windowscentral. com/howbackup-windows-10 -automatically Sync. Toy https: //www. microsoft. com/en-us/download/details. aspx? id=15155 Ease. US Backup Tool https: //www. easeus. com/backup-software/tb-free. html Parangon Backup https: //www. paragon-software. com/free/br-free/ Cobian Backup https: //www. cobiansoft. com/ Apple Time Machine https: //support. apple. com/fr-fr/HT 201250 rsync sous Linux https: //fr. wikipedia. org/wiki/Rsync 39

2. 4] Bien gérer ses mots de passe q Utiliser un mot de passe différent pour chaque service q Utiliser des mots de passe suffisamment longs et complexes Au moins 12 caractères différents q Utiliser des mots de passe impossibles à deviner Méthode phonétique ; méthode des premières lettres d’une citation q Changer de mot passe au moindre soupçon q Ne communiquez jamais son mot de passe à un tiers q N’enregistrez pas un mot de passe sur un ordinateur partagé q Activer la double authentification lorsque c’est possible q Changer les mots de passe par défaut q Choisissez un mot de passe très robuste pour votre messagerie GAVOIS, Sébastien. Choisir un bon mot de passe  les règles à connaître, les pièges à éviter. Dans  Nextimpact [en ligne]. 1 septembre 2016. [Consulté le 11 mai 2019]. Disponible à l’adresse  https: //www. nextinpact. com/news/100871 -choisir-bon-mot-passe-regles-a-connaitre -pieges-a-eviter. htm 40

2. 4] Bien gérer ses mots de passe q Eventuellement utiliser un gestionnaire de mot de passe (Keepass, 1 Password, Last. Pass, Dash. Lane…) (Conseils à actualiser) VINCENT HERMANN. Mots de passe  on vous aide à choisir le gestionnaire qu’il vous faut. Dans  Nextimpact [en ligne]. 6 octobre 2016. [Consulté le 11 mai 2019]. Disponible à l’adresse  https: //www. nextinpact. com/news/101627 mots-passe-on-vous-aide-a-choisir-gestionnaire-quil-vous-faut. htm 41

2. 5] Sécuriser les transferts des données q q Ne jamais transférer de données à risque par courriel sans précautions (facilement piratable) Ne jamais envoyer de mots de passe par courriel Mais q Stocker les données sur un serveur sûr et envoyer des consignes de connexion ou q Chiffrer les données avant de les envoyer 42

2. 6] Chiffrer ses données à risque Wikipedia : « Le chiffrement ( ou "cryptage") est un procédé de cryptographie grâce auquel on souhaite rendre la compréhension d'un document impossible à toute personne qui n'a pas la clé de (dé)chiffrement. » Attention aux effets secondaires : perte définitive des fichiers si vous perdez le mot de passe… ! Plusieurs familles : chiffrement symétrique / asymétrique Une simple protection par mot de passe n’est pas une garantie de chiffrement solide des données ! Plusieurs algorithmes et niveaux de sécurité : privilégier AES 128 au moins (voire AES 256). L’algorithme nécessite une « clé » , qui doit être solide (comme tout mot de passe) et gardée secrète. 43

2. 6] Chiffrer ses données à risque q Options de chiffrement de logiciels bureautiques : suite MS Office et Libreoffice q Option de chiffrement de logiciels de compression : 7 ZIP (choisir l’algorithme AES) 44

2. 6] Chiffrer ses données à risque Liste fournie à titre indicatif, sans garantie! q Logiciels chiffrant un dossier ou un disque complet q File. Vault (Mac, installé par défaut sur les Mac récents) q Veracrypt (Mac et PC, fait partie de la liste de logiciels libres recommandés par l’État) q Crypt. Sync (PC, synchroniser 2 répertoires locaux dont l'un est "en clair" et l'autre est chiffré). q Cryptomator q Cloud chiffré : q q Tresorit Securesafe Synch. com Spideroak 45

2. 7] Conserver les données après le projet ■ Quelles données conserver? Il faut faire un tri ❑ ❑ ■ ■ A minima les données sur lesquelles se fondent les analyses présentées dans les publications ou la thèse Eventuellement d'autres données (non exploitées complètement dans les publications) Dans quelle version (brutes, traitées, analysées, anonymisées…) ? Dans quel format? Pour combien de temps? 5 ans? 10 ans? Qui doit en être responsable? Vous? Le labo? L’université? 46

2. 8] Du stockage à l’archivage pérenne Notions à distinguer: q Stockage sécurisé possible pour un service informatique compétent, des prestataires (Amazon…) ou Huma-Num q Intégrité des fichiers garantie à moyen ou long terme (en les changeant de support régulièrement et en les copiant à plusieurs endroits) q Archivage pérenne ne peut porter que sur certains formats. Mission complexe, assuré par des services experts (mission du CINES) q Intégrité des fichiers garantie long terme (>30 ans) q Lisibilité des fichiers garantie long terme Ø Migrations de formats Ø Émulations q Utilisabilité des fichiers garantie long terme Ø Documentation poussée sur les données et leur contexte 47

3. Maîtriser les formats de fichiers 1. Enjeux 2. Préserver et sécuriser son travail Maîtriser les formats de fichiers Documenter ses données Organiser ses données et sa documentation 3. 4. 5. 48/

3. 1] Question : quels logiciels utilisez-vous ? Pour produire, collecter ou analyser vos données q q q q q Traitement de texte (Ex: Word) Editeur de texte brut (Ex : Notepad++) Tableur (Ex: Excel) Logiciel d’analyse statistique (Ex: SPSS) Logiciel d’analyse de données qualitatives (Ex: NVIVO) Code informatique (Ex : R, Python) Traitement d’image, de sons, de vidéos Cartographie et géomatique Autre ? 49

3. 1] Question : quels logiciels utilisez-vous ? Fonctionnent-ils en ligne ou après installation sur un ordinateur ? Fonctionnent-ils avec un système d’exploitation particulier (Windows, Mac, Linux) ? Sont-ils liés à un type d’ordinateur ou à un instrument particulier (ex : microscope) ? Sont-ils gratuits ou payants ? Qui paye ? S’ils n’existaient plus ou si vous n’y avez plus accès, pourriez-vous continuer à travailler ? 50

3. 2] Type de données, formats et logiciels Données informatiques = suite de bits (0/1) regroupés en octets stockage persistant sur un support (disque, clé USB…) Fichier : suite d’octets dotée d’un nom et stockée de manière persistante sur un support. stockage volatile en mémoire de travail circulation de flux dans des « tuyaux » 51

3. 2] Type de données, formats et logiciels Un type de données (texte, image…) peut être représenté informatiquement par un ou plusieurs formats de données. Ex : texte mis en forme -> format Word, Writer (Libreoffice), RTF… En général un format de données correspond à un format de fichier et peut être déduit de l’extension du fichier. Mais parfois l’extension correspond à plusieurs formats. Ex : format Word -> fichier. DOCX Ex : différents formats vidéo -> fichier. MP 4 En général un format de fichier doit être ouvert avec un ou plusieurs logiciels spécifiques. Il peut parfois être ouvert avec un simple éditeur de texte mais la compréhensibilité des données n’est pas garantie. Ex : fichier. DOCX -> ouverture avec Word mais aussi Writer 52

3. 3] Formats de fichier Parmi tous ces formats, lesquels avez-vous déjà utilisé ? TAR DOC CSV XLS MD PDF SVG HTML ODS PPT TXT RTF ODT DOCX PPTX ZIP GIF MP 3 AVI PNG WAV TEX XML TIFF ODP JSON XLXS MP 4 SHP, PSD Lesquels permettent de stocker : - du texte formaté pour affichage ou impression (gras, taille…) - du texte non formaté - des informations ou du texte structurés sous forme arborescente - des tableaux formatés pour affichage ou impression (gras, bordures…) - des tableaux non formatés - des diaporamas - des images, du son, des vidéos - dessins vectoriels (redimensionnable sans perte) - des données géographiques - des archives regroupant plusieurs fichiers - une page web 53

3. 3] Formats de fichier - du texte formaté : DOC, DOCX, ODT, TEX, MD, PDF - du texte non formaté : TXT - des informations ou du texte structurés sous forme arborescente : XML, JSON - des tableaux formatés : XLS, XLSX, ODS - des tableaux non formatés : CSV - des diaporamas : PPT, PPTX, ODP - des images : JPEG, TIFF, PNG, GIF, PSD - du son : WAV, MP 3 - des vidéos : AVI, MP 4 - dessins vectoriels : SVG - des données géographiques : SHP - des archives regroupant plusieurs fichiers : ZIP, RAR, TAR - une page web : HTML 54

3. 3] Formats de fichier Certains formats sont-ils « préférables » ? Pourquoi ? 55

3. 4] Formats textuels, binaires et archives Deux grandes catégories de formats : textuels et binaires. Enjeu pour la préservation et l’exploitation des données Formats « textuels » - - Suite d’octets représentant des caractères imprimables et affichables à l’écran. Peuvent être lus dans un éditeur de texte Mais souvent besoin d’un logiciel spécifique pour interpréter la structure interne, matérialisée par certains caractères, et en donner une représentation informatique exploitable 56

3. 4] Formats textuels, binaires et archives Ex. de format textuel : HTML Contenu lisible dans un éditeur texte : <html> <head> <body> <p>Bonjour <span style='color: red'>tout le monde</span></p> </body> </html> Mais « interprétable » par un logiciel dédié (navigateur web) : Caractères ordinaires + caractèrs ayant une valeur spéciales : < > /, etc. Mots ayant des valeurs spéciales en HTML ( « balises » ) si encadrés par < > ou </>: <body>, </body>, etc… 57

3. 4] Formats textuels, binaires et archives Ex. de format textuel : RTF (texte structuré) Contenu lisible dans un éditeur texte Mais uniquement interprétable avec Word, Libreoffice ou autre traitement de texte 58

3. 4] Formats textuels, binaires et archives Formats « binaires » - - Suite d’octets non interprétables comme des caractères imprimables ou affichables Structure interne opaque Besoin de logiciel spécifique pour les lire et les interpréter 59

3. 4] Formats textuels, binaires et archives Ex. de format binaire : PNG (image) Contenu illisible dans un éditeur texte (à part «? PNG » au début) Uniquement lisible et interprétable avec une visionneuse d’images. 60

3. 4] Formats textuels, binaires et archives Ex. de format binaire : DOC (ancien format Word, obsolète) Contenu illisible dans un éditeur texte Uniquement lisible et interprétable avec Word ou un logiciel compatible : 61

3. 4] Formats textuels, binaires et archives Formats d’archives : ensemble de fichiers (binaires ou textuels) regroupés dans un fichier unique, compressé (ZIP, 7 Z, RAR, TAR. GZ…) ou non (TAR) Ex : le format DOCX (Word récent) est en fait une archive contenant plusieurs fichiers textuels (XML). Il faut changer l’extension en. ZIP pour lister le contenu. 62

3. 5] Formats ouverts et fermés Définition légale du format ouvert en France (loi no 2004 -575 du 21 juin 2004) : On entend par standard ouvert tout protocole de communication, d’interconnexion ou d’échange et tout format de données interopérable et dont les spécifications techniques sont publiques et sans restriction d’accès ni de mise en œuvre. -> format bien documenté et utilisable sans demander d’autorisation Ex : DOCX, ODT, XLSX, ODS, XML ; DOC et XLS depuis 2006 (Open Specification Promise) Format fermés (ou propriétaires) : format non ou mal documenté et/ou dont l’utilisation est payante ou soumise (au moins en théorie) à autorisation Ex : PSD, JPEG, logiciels SPSS, STATA, SAS, NVIVO, Altas. ti 63

3. 6] Formats standardisés La documentation d’un format peut devenir une norme officielle nationale ou internationale ou un standard de facto. Ex : PDF/A 1 est une version standardisée (ISO 19005) du format PDF. Les autres versions de PDF ne sont pas standardisées Les formats Libreoffice (ODS, ODT…) sont standardisés (ISO/IEC 26300) Les formats bureautique Microsoft (XLSX, DOCX…) sont standardisés (ISO/IEC 29500). Mais les logiciels semblent parfois s’écarter du standard Le format XML est standardisé par une « recommandation » du W 3 C (équivaut à une norme) Le format CSV est décrit dans la RFC 4180 de l’IETF, mais n’est pas réellement standardisé (la RFC est un document indicatif), plusieurs versions existent 64

3. 7] Conclusion sur les formats Pour faciliter la réutilisation, l’archivage, et éviter la dépendance à un logiciel unique, privilégiez si possible les formats textuels ou archivant des fichers textuels, ouverts, et standardisés. Le choix dépendra surtout des traitements envisagés. Ex : pour un traitement informatique automatisé, privilégier les formats sans mise en forme (TXT, CSV…) Mais à l’impossible nul n’est tenu ! En pratique, on peut souvent travailler avec un format fermé populaire et le convertir en format ouvert. Mais il faut vérifier si la conversion altère les informations, et prendre des mesures de compensation si nécessaire. Ex : la conversion XLSX -> CSV perd les mises en forme. Formats conseillés pour l’archivage en France (FACILE - Service de validation de formats du CINES) et en UK (Data Archive) 65

3. Documenter ses données 1. Enjeux 2. Préserver et sécuriser son travail Maîtriser les formats de fichiers Documenter ses données Organiser ses données et sa documentation 3. 4. 5. 66/

4. 1] Pourquoi et comment documenter ? Documentation nécessaire pour q q q Retrouver des données Citer des données et créditer leurs auteurs Utiliser, exploiter Gérer techniquement Partager, collaborer Préserver Donc informations de différentes nature : q q q contenu informationnel (titre, date, auteurs, résumé, sujet…) dimension informatique (format, nom, taille, date des fichiers…) structure (liens entre fichiers…) identification provenance et contexte (projet, matériel utilisé…) statut légal (droits d’auteurs, licence…) 67

4. 1] Pourquoi et comment documenter ? Documentation plus ou moins détaillée selon la nature du projet (discipline, caractère collectif, durée, complexité, volonté de préservation…) Porte idéalement sur tous les niveaux du projet : le projet dans son ensemble, chaque fichier, les éléments des fichiers (observations, variables…) 68

4. 1] Pourquoi et comment documenter ? Elle peut être formelle ou non. Ex : Documentation formelle : Date : 2016 -03 -23 Lieu : Paris Espèce : apis mellifera Documentation informelle : La collecte d’abeilles a eu lieu le 23 janvier 2018 à Paris 69

4. 2] Les métadonnées La documentation la plus « formelle » est constituée de « métadonnées » . Métadonnée : information structurée et lisible informatiquement, portant sur une ressource quelconque (numérique ou physique) Les métadonnées associent des « champs » (obligatoires ou non, répétables ou non) à des valeurs. Ex : champ « auteur » -> « Marcel Proust » Elles ont parfois une structure hiérarchique : Ex : champ « auteur » -> (champ « nom » -> « Proust » ) + (champ « prénom » -> « Marcel » ) La liste des champs, les valeurs autorisées et la structure générale sont définis dans un « schéma » 70

4. 2] Les métadonnées Les champs peuvent être q Tirés ou inspirés d’un schéma existant (conseillé!) q Libres (peut nuire à l’interopérabilité) Les valeurs des champs peut être q Totalement libre (risqué) q Limité à certains types de données (texte pour le titre, nombres pour l’année ou la latitude…) q Limité à certaines valeurs appartenant à un « vocabulaire contrôlé » (liste d’espèces, de maladies, de pays, de sujets…) ou à des codes (codes postaux…) 71

4. 2] Les métadonnées Ex : Le schéma le plus utilisé : Dublin Core (15 éléments) Title Titre du jeu de données Creator Créateur Subject Mots-clés Description Résumé Publisher Editeur ou responsable de la diffusion des données Contributor Contributeur Date de production ou de diffusion Type de données Format de fichier Identifiant unique Sources utilisées Language Langue Relation Lien à d’autres données ou à une publication Coverage Couverture chronologique ou géographique Rights Droits 72

4. 2] Les métadonnées Problème : le schéma Dublin Core est souvent trop simple! Par exemple comment q q q distinguer la date de production et la date de mise en ligne ? distinguer la couverture géographique et spatiale? indiquer des coordonnées géographiques? indiquer le nom d’une espèce végétale? indiquer le nombre de personnes interrogées pour une enquête? 73

4. 2] Les métadonnées On peut utiliser d’autres schémas en complément ou à la place du Dublin Core, propres à un type de document (images, sons, vidéos, données géographiques) ou une discipline, etc. Ex: ❑ ❑ ❑ Version enrichie du Dublin Core Data Documentation Initiative (DDI) : surtout en sciences sociales Ecological Metadata Language : environnement ISO 19115 : données géographiques EXIF : photos Répertoires de schémas de métadonnées pour la recherche - - Metadata Standards Catalog. [S. l. ]  Research Data Alliance, 2019 2017. [Consulté le 13 mai 2019]. Disponible à l’adresse  https: //rdamsc. bath. ac. uk/ Standards. Dans  FAIRsharing [en ligne]. [s. d. ]. [Consulté le 13 mai 2019]. Disponible à l’adresse  https: //fairsharing. org/standards/ 74

4. 2] Les métadonnées Voir vidéo pédagogique sur le site Doranum http: //doranum. fr/les-schemas-de-metadonnees/ 75

4. 2] Les métadonnées Peuvent porter sur q Le projet Titre Mon beau projet Date 2015 -2019 q Un fichier Titre Collecte d’abeilles Date 23/03/2016 Lieu Paris Espèce apis mellifera q Un élément ou une variable dans un fichier Variable poids Unité grammes 76

4. 2] Les métadonnées Peuvent être créées q Automatiquement par le système d’exploitation q Automatiquement par un logiciel q Manuellement par le chercheur ou un documentaliste Peuvent être q Intégrées automatiquement dans le fichier de données (fréquent pour les images et les documents bureautiques) q Intégrées manuellement dans le fichier de données q Gérées séparément 77

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées créées par le système d’exploitation Attention, peut induire en erreur : date « technique » du fichier n’est pas la date des données 78

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées créées par Excel et stockées dans des champs invisibles (Fichier > Propriétés > Synthèse) Vides par défaut sauf l’auteur (utilisateur du logiciel) mais peuvent être modifiées Titre Objet Auteur Responsable Société Catégorie Mots-clés Commentaires Répertoire web 79

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées créées par Excel et stockées dans des champs invisibles Des champs personnalisés peuvent être définis 80

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées créées par Excel et stockées dans des champs invisibles Word et Powerpoint offrent la même possibilité, et Libreoffice avec des variantes. Elles sont exportés dans le PDF si un PDF est créé à partir du fichier source. Peut être dangereux : - on ne pense pas forcément à les consulter ni à les modifier si on modifie le fichier de quelqu’un d’autre ! - difficilement exportables - perdues si le fichier est converti en CSV 81

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées concernant le fichier créées par à la main dans l’onglet intro 82

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées sur les variables créées par à la main dans l’onglet dico Solution acceptable mais tout dépend du contexte d’utilisation ! Si les métadonnées doivent être utilisées indépendamment des données il faut les copier dans un fichier séparé. 83

4. 2] Les métadonnées Exemple (fichier Excel fictif) q Métadonnées sur le fichier et sur les variables créées par à la main dans 2 fichiers séparés : abeilles_intro. csv abeilles_dico. csv Même contenu que les 2 onglets du fichier Excel, mais en éliminant les lignes et colonnes vides avant les données, et en exportant en CSV, lisible dans un éditeur de texte et dans Excel. 84

4. 3] Documentation complémentaire Variable selon les disciplines. Tout ce qui est nécessaire pour comprendre les données et reconstituer les traitements. • • Protocoles, méthodes Code informatique Carnets de laboratoire, carnets de terrain Modèle de formulaire de consentement des participants Questionnaire, grille d’entretien Instructions de codage des réponses (codebook) Dictionnaires de données 85

4. 4] Fichier README Bonne pratique simple à mettre en œuvre : Rédiger un fichier texte "README. txt" ❑ Pour l'ensemble du projet ❑ Pour chaque fichier ou ensemble de fichiers Sert surtout pour faciliter le partage et la réutilisation des données, mais utile également pendant le projet ! Contient des informations sur ❑ les règles de nommage et d'organisation ❑ le contenu d'un ensemble de fichiers ❑ le contenu d'un fichier (entêtes des colonnes…) ❑ les logiciels ou codes informatiques nécessaires pour les lire ❑ précautions à prendre pour la réutilisation ❑ la personne à contacter pour plus d'informations 86

4. 4] Fichier README Modèle très détaillé de Cornell : KOZLOWSKI, Wendy. Guidelines for writing “readme” style metadata [en ligne]. 30 mai 2014. Disponible à l’adresse  http: //data. research. cornell. edu/sites/default/files/Sci. MD_Read. Me_Guidelines_v 4_ 1_0. pdf Modèle plus simple aux Pays-Bas : 4 TU CENTRE FOR RESEARCH DATA. Guidelines for creating a README file [en ligne]. décembre 2017. [Consulté le 13 mai 2019]. Disponible à l’adresse  https: //researchdata. 4 tu. nl/fileadmin/user_upload/Documenten/Guidelines_for_cre ating_a_README_file. pdf 87

4. 4] Fichier README Modèle des Pays-Bas (en gras : infos obligatoires) 1. Informations introductives 1. 2. Titre du jeu de données 3. 4. 5. 6. Convention de nommage des fichiers si pertinent Description du contenu de chaque fichier ou groupe de fichiers Format des fichiers, si non déductible de l’extension Relation entre les fichiers si pertinent Personne à contacter pour toute question sur les données 88

4. 4] Fichier README Modèle des Pays-Bas (en gras : infos obligatoires) 2. Informations méthodologiques 1. Méthode utilisée pour la collecte ou la création des données et leur traitement 2. Informations spécifiques à un instrument nécessaires pour comprendre ou interpréter les données 3. Logiciel utilisé pour produire, préparer, analyser, représenter les données, ou nécessaire pour les lire 4. 5. 6. Standards et informations de calibrage Procédure d’assurance qualité Codes et symboles utilisés pour signaler les données anormales, douteuses ou de faible qualité 89

4. 4] Fichier README Modèle des Pays-Bas (en gras : infos obligatoires) 3. Informations spécifiques aux données [-> cf. dictionnaire de données ] 1. Noms complets et définitions des entêtes des tableaux de données 2. 3. Unités de mesure 4. Formats spécialisés ou abréviations Définition des codes ou symboles utilisés pour enregistrer les données manquantes 4. Informations sur le partage et l’accès aux données 1. Licences ou restrictions sur les données 90

4. 4] Fichier README Exemple selon le modèle des Pays-Bas 91

4. 4] Fichier README Exemple selon le modèle des Pays-Bas 92

4. 4] Fichier README Autre ex réel : https: //zenodo. org/record/49583 93

4. 5] Dictionnaire de données Une bonne pratique simple à mettre en œuvre : Rédiger un dictionnaire de données pour chaque fichier de données tabulées (variables portant sur des observations) Pour chaque variable indiquer obligatoirement q Son nom exact (peut être codé) dans le fichier de données q Son nom en clair q L’unité de mesure Et si possible q Le type d’information (texte, nombre entier ou décimal, date et format de date, code, texte libre…) q Une explication sur sa signification ou sa mesure q Le nombre de chiffres ou de lettres possibles q Les valeurs minimales et maximales attendues q L’autorisation de laisser le champ vide (déconseillé…) q Le codage des valeurs manquantes (ex : NA) q Le recours à un vocabulaire contrôlé 94

4. 5] Dictionnaire de données Références utiles : How to Make a Data Dictionary [en ligne]. 2 octobre 2018. [Consulté le 11 mai 2019]. Disponible à l’adresse  http: //help. osf. io/m/bestpractices/l/618767 -how-to-make-a-data-dictionary Data Dictionaries. Dans  USCG [en ligne]. [s. d. ]. [Consulté le 13 mai 2019]. Disponible à l’adresse  https: //www. usgs. gov/products/data-and-tools/datamanagement/data-dictionaries Data Dictionaries. Dans  UW Libraries [en ligne]. [s. d. ]. [Consulté le 13 mai 2019]. Disponible à l’adresse  http: //www. lib. washington. edu/msd/pubcat/mig/datadicts (nombreux exemples réels ; modèle : http: //www. lib. washington. edu/msd/pubcat/mig/datadicts/datatemplate ) 95

4. 5] Dictionnaire de données Guide produit par l’INIST-CNRS : ARNOULD, Pierre-Yves et JACQUEMOT, Marie-Christine, 2017. Guide de bonnes pratiques: Gestion et valorisation des données de la recherche [en ligne]. 1. 1. OTELo  INIST-CNRS. [Consulté le 11 mars 2016]. Disponible à l’adresse : https: //doi. org/10. 24396/ORDAR-1 96

4. 5] Dictionnaire de données Exemples https: //deepseacoraldata. noaa. gov/internal-documents/program-guidance/science-team-guidance -for-data-management/20170707. xlsx/view 97

5. Organiser ses données et sa documentation 1. Enjeux 2. Préserver et sécuriser son travail Maîtriser les formats de fichiers Documenter ses données Organiser ses données et sa documentation 3. 4. 5. 98/

5. 1] Deux types de logiques ■ Organisation hiérarchique de l’information Ex : classement des fichiers sur un disque dans une arborescence de dossiers, sous-sous-dossiers… Classement d’un document dans Zotero dans une arborescence définie dans le logiciel ■ Organisation par mots clés Avantage : souplesse Inconvénient : lié à un logiciel ou un système d’exploitation Ex : ajouts de mots clés à un fichier ou un dossier sur un Mac Ajouts de mots clés à des documents dans Zotero 99

5. 2] Organiser sa documentation Utiliser Zotero ou un autre un gestionnaire de références, pour sa bibliographie et ses sources Ex: http: //www. boiteaoutils. info/2012/11/gerer-ladocumentation-ii-une-approcha/ 100

5. 2] Organiser ses photos Utiliser un logiciel spécialisé. Ex : Tropy pour la gestion de photos d’archives (gratuit) https: //tropy. org/ 101

5. 2] Organiser ses dossiers q q q Organisation hiérarchique Ne pas créer une arborescence trop profonde Isoler les données et le code informatique Isoler les données brutes données traitées. Ne jamais retoucher aux données brutes ! Pour faciliter ❑ ❑ L'exploitation des informations Les sauvegardes Le partage L'archivage après le projet 102

5. 2] Organiser ses dossiers q Plusieurs critères possibles pour la hiérarchie : ❑ ❑ ❑ Type de contenu (données, publications, documents administratifs, gestion de projet…) Phase ou activité du projet (état de l’art, enquête, questionnaire…) Différents jeux de données Étapes de traitement des données Chronologie Géographie 103

5. 2] Organiser ses dossiers q Nommage ❑ ❑ Mêmes règles techniques que pour les fichiers Ajouter au besoin des chiffres devant les noms (01_PUBLICATION ; 02_DONNEES) pour utiliser un tri non alphabétique 104

5. 2] Organiser ses dossiers Exemple réel https: //www. wur. nl/upload_mm/d/4/9/fec 82 c 96 -d 901 -49 c 2 -8205 c 40 a 2 e 819 ee 7_Data_Management_Plan_Lucie_Vermeulen. pdf 105

5. 2] Organiser ses dossiers Exemple fictif Projet 01 Administratif Ethique_Droit Planification CNIL Subventions Consentements Methodes Etat_de_l_art Enquetes Donnees Publications Experiences Communications Articles These Donnees. Brutes 2015 -Art 01 Ch 1 Reunions Analyse 2016 -Art 02 Ch 2 Budget Resultats Rapports 106

5. 3] Bien nommer ses fichiers Un bon nommage permet q q q q De distinguer les fichiers les uns des autres, indépendamment de leur dossier De localiser plus facilement les fichiers De trier les fichiers selon un ordre logique De ne pas écraser ou supprimer par erreur un fichier D’identifier les différentes versions d’un même fichier De faciliter le travail collaboratif De faciliter le déplacement sur une autre plateforme de stockage Traduit et adapté de : The University of Edinburgh. (n. d. ). Organising data. _MANTRA Research Data Management Training_. Repéré à http: //mantra. edina. ac. uk/organisingdata/ 107

5. 3] Bien nommer ses fichiers Objectif : Garantir la lecture par des humains et par des machines, y compris dans un contexte inconnu Lisibilité par les machines : ❑ ❑ Noms relativement brefs Pas de caractères spéciaux ni accentués Pas d’espaces ni de ponctuation Utiliser: az. A-Z 0 -9_- 108

5. 3] Bien nommer ses fichiers Lisibilité par des humains : Noms uniques, cohérents, composés de différents segments donnant des informations utiles ❑ ❑ ❑ Unicité au niveau global du projet Cohérence dans la structure : pas de Jean_Jaures. docx + Blum_Leon. docx Cohérence dans la forme : pas de Pierre_Martin. docx + Jean-Martin. docx + Luc. Martin. docx 109

5. 3] Bien nommer ses fichiers Exemple: ensembles de fichiers fictifs ❑ ❑ ❑ ❑ ❑ 2012 -03 -07_Sujet. A_Audio. mp 3 2012 -03 -07_Sujet. A_Transcription-brut. docx 2012 -03 -07_Sujet. A_Transcription-relu. docx 2012 -03 -07_Sujet. A_Transcription-anonyme. docx 2012 -04 -22_Sujet. B_Audio. mp 3 2012 -04 -22_Sujet. B_Transcription-brut. docx Grille-entretien. docx Analyse_v 01. docx Analyse_v 02. docx Readme. txt 110

5. 3] Bien nommer ses fichiers Ex. d’éléments pouvant être intégrés ❑ ❑ ❑ ❑ ❑ Date (format AAAA-MM-JJ) Heure Sujet Type de données (questionnaire, test…) Variable mesurée Numérotation (saisir des 0 initiaux pour les tris) Etat de traitement des données Numéro ou nom d’instrument Versions (v 01, v 03 -4… et « FINAL » pour le document validé pour diffusion) 111

5. 3] Bien nommer ses fichiers Exemples Wageningen University & Research. (2015, 9 février). Organising files and folders. _Wageningen University & Research_. Repéré à https: //www. wur. nl/en/Expertise. Services/Data-Management-Support-Hub/Browse-by-Subject/Organising-files-andfolders. htm Division of Technology, Information and Library Services - Queensland University of Technology. (2015). TILS Document Naming Convention. _Queensland University of Technology_. Repéré à https: //www. library. qut. edu. au/about/management/documents/QUTTILSDoc. Naming. Conventi on. pdf Malinowski, C. (2017, 18 janvier). Data Management: File Organization. MIT Libraries. Repéré à https: //libraries. mit. edu/datamanagement/files/2014/05/File. Org. Slides_20170118 sm. pdf 112

5. 3] Bien nommer ses fichiers ■ Renommer en masse des fichiers: Bulk Rename Utility (Windows), ■ Advanced Renamer (Windows), ■ Automator (Mac) ■ Renamer (Mac) ■ namechanger (Mac) Ex: http: //data. blogspot. fr/2016/02/using-bulk-rename-utility-in-digital. html ■ ■ Comparer des fichiers: Win. Merge Ex: http: //data. blogspot. fr/2016/02/using-winmerge-to-manage-files-and. html 113

5. 4] Versionner ses fichiers ■ ■ ■ distinguer les différentes versions des fichiers de façon cohérente identifier le statut de chaque version (final, brouillon, en relecture…) identifier les modifications effectuées entre plusieurs versions Nécessaire pour limiter les erreurs et les accidents, garantir la traçabilité, faciliter l’élimination des fichiers inutiles. 114

5. 4] Versionner ses fichiers Stratégie à élaborer en fonction du nombre d’utilisateurs, des supports de stockage utilisés, de la nature des fichiers… Voir Version control and authenticity, [sans date]. UK Data Service [en ligne]. [Consulté le 13 mai 2019]. Disponible à l’adresse : https: //www. ukdataservice. ac. uk/manage-data/format/versioning Et University of Leicester Good Practice and Guidance –Document Version Control Chart (Draft) https: //www 2. le. ac. uk/services/researchdata/documents/Uo. L_Version. Control. Chart_d 0 -1. pdf 115

5. 4] Versionner ses fichiers Moyen classique : recourir à une numérotation, précédée de V, et intégrant le cas échéant une numérotation secondaire pour les modifications mineurs (dans ce cas utiliser - pour séparer les niveaux de numérotation) Autre possibilité : indiquer le statut (brouillon, final…) Ex : Smith_interview_July 2010_V 0 -1 -> version 0. 1 Smith_interview_July 2010_V 1 -> version 1 2001_01_28_ILB_CS 3_V 6_AB_edited Conseil : réserver les numéros entiers (1, 2) à des versions « approuvées » qui pourront être distingués plus facilement des étapes préliminaires (0. 1 ; 1. 2 etc) 116

5. 4] Versionner ses fichiers Pour aller plus loin : ajout d’informations détaillées dans le fichier lui-même sous forme de tableau (avec au moins : numéro de version, personne qui a effectué le changement, objet de la modification, date de la modification) https: //www 2. le. ac. uk/services/research-data/organisedata/version-control 117

5. 5] Versionner ses fichiers automatiquement Pour gérer des fichiers nombreux modifiés fréquemment dans un contexte collaboratif, il est utile d’utiliser un outil de contrôle de version. Le plus connu est l’outil libre git https: //git-scm. com/ Git. Hub, Git. Lab, Framagit, Bitbucket sont des services construits autour de git et proposant des fonctionnalités supplémentaires ou plus simples à utiliser. Système conçu pour le code informatique mais utilisé dans des projets de recherche ou pédagogique : https: //github. com/Ponte. Ineptique/canonical-greek. Lit https: //github. com/medialab/toflit 18 https: //github. com/steeve/france. code-civil - - - De très nombreux cours et tutoriels en ligne : https: //git-scm. com/book/fr/v 2 ; https: //swcarpentry. github. io/git-novice/ ; https: //github. com/Ponte. Ineptique/cours-git ; https: //github. com/coateshl/project-mgmt ; https: //programminghistorian. org/en/lessons/gettingstarted-with-github-desktop 118

5. 6] Organiser les données au sein d’un fichier Quel sont les problèmes dans ce fichier Excel? Ex de conseils détaillés : http: //data. research. cornell. edu/content/tabulardata 119

5. 6] Organiser les données au sein d’un fichier Créer des données « rectangulaires » : X lignes / Y colonnes, 1 seule information par cellule Adopter pour toutes les données * La même structure * Les mêmes unités * Les mêmes conventions de codage Et s’aligner sur les pratiques de sa discipline 120

5. 6] Exercice Télécharger le fichier rongeurs. xlsx <lien fourni en formation> et ouvrez le dans Excel Quels sont les problèmes ? Réorganisez les données au mieux 121

Références et contacts Quelques sites et services français : Formations de premier niveau : http: //doranum. fr Site d’information : http: //www. donneesdelarecherche. fr/ Huma-Num : https: //www. huma-num. fr/ Guides Formadoct : http: //guides-formadoct. u-bretagneloire. fr/donnees_recherche CIRAD : https: //coop-ist. cirad. fr/gestion-de-l-information/gerer-les-donnees-de-la-recherche INRA: https: //www 6. inra. fr/datapartage/ IRSTEA : https: //donnees-recherche. irstea. fr/ Quelques sites et services étrangers : CESSDA Data Management Expert Guide https: //www. cessda. eu/DMGuide MANTRA  Research Data Management Training. https: //mantra. edina. ac. uk/ JISC Research Data Management Toolkit. https: //rdmtoolkit. jisc. ac. uk/ Conseils et accompagnement à l’UNS : Bibliothèque universitaire (donnees-scd@unice. fr) Données personnelles : Délégué à la protection des données UNS/UCA (dpo@unice. fr ) 122