Le document sonore numrique et sa gestion Reprsentation

Le document sonore numérique et sa gestion Représentation et analyse du son Troisième partie 11, 25 mai, 1 er et 8 juin 2012 HEG – I+D février-juin 2012

Plan du cours • Objectif : gestion professionnelle • L’environnement sonore numérique: production, marché, distribution • Notions techniques • Essence et métadonnées : principes • Gestion intégrée en réseau • Numérisation des documents existants • Métadonnées : schémas, profils, ontologies • Vers de nouvelles solutions d’accès au contenu HEG – I+D février-juin 2012

Enregistrement sonore : hier HEG – I+D février-juin 2012

Enregistrement sonore : aujourd’hui HEG – I+D février-juin 2012

Généralisation du document sonore numérique • Principe de base : PCM • Au début, le CD (encore un support…) • Le son sur internet : la problématique des formats, de la compression, de la distribution • Commercialisation en ligne : – – mesures techniques de protection, Digital Rights Management (DRM), compatibilité, tarifs… • Notre point de vue : celui de l’utilisation professionnelle, dans un environnement intégré. HEG – I+D février-juin 2012

Le grand public… Voit les choses sous l’angle de la distribution : • Omniprésence de l’informatique • Équipements : ordinateur, réseau, baladeur, PDA, smartphone, … • Nouvelles formes d’accès au son et à l’image • Diversification de l’offre : musique, vidéo, multimédia, podcasting, réseaux sociaux… • Bande passante et qualité croissantes HEG – I+D février-juin 2012

Le professionnel… Prend en compte la production et la mise à disposition : • Évolution naturelle des techniques, convergence multimédia (texte, son, image. . . ) : les sont désormais « born digital » • Équipements informatiques standards • Coûts décroissants du stockage • Recherche de rationalisation des processus • Intégration des sons ( « essences » ) et des données les concernant ( « métadonnées » ) • Reproduction sans perte : un des (seuls ? ) moyens de lutter contre l’obsolescence des supports analogiques HEG – I+D février-juin 2012

Notions techniques • • Stockage de fichiers Codage numérique Compression, réduction de débit Formats, normes – essence – métadonnées • Transfert et distribution de fichiers HEG – I+D février-juin 2012

RAPPEL : Fréquence d’échantillonnage : une fréquence trop basse peut conduire à des aberrations dans le un rendu du son Fréquence adaptée : Fréquence insuffisante : HEG – I+D février-juin 2012

RAPPEL : Quantification: le nombre de bits utilisé pour exprimer chaque échantillon influence le rendu qualitatif du son HEG – I+D février-juin 2012

Compression par un algorithme psycho-acoustique : adapter le signal numérisé au seuil de sensibilité de l’oreille humaine (éliminer les sons de fréquence/intensité inaudibles HEG – I+D février-juin 2012

Masquage : les sons les plus forts modifient la courbe de sensibilité dans leur voisinage en temps et en fréquence HEG – I+D février-juin 2012

Formats numériques • Fréquence d’échantillonnage (= nombre d’échantillons par seconde, par exemple 44'100 pour le CD, 48'000 dans les normes radiophoniques UER / AES), • Nombre de bits par échantillon (quantification ) : 8, 16, 20, 24. . . , 16 pour le CD. De cette valeur dépend la dynamique de l’enregistrement (rapport entre le signal sonore et le bruit de fond • Nombre de canaux (2 pour la stéréo, jusqu’à 5 + 1 pour le « surround » = Home Cinema, et davantage en utilisation prof. ) • Codage : deux types de codages principaux : – linéaire (= l’information produite lors de l’enregistrement, au niveau de chaque échantillon, est stockée telle quelle, en totalité, comme c’est le cas dans un CD) – compressé (= on traite le flux binaire à travers un algorithme psycho-acoustique, pour ne retenir que les informations jugées significatives. Cela équivaut à une perte d’information, mais réduit sensiblement la masse à stocker ou à transmettre). NB : les normes définissent les processus de décompression, et non de compression. – NB : il existe des systèmes de compression sans perte, p. ex. FLAC HEG – I+D février-juin 2012

Les principaux formats Format Dénomination Application Extension de fichjer Remarque WAV Waveform Audio Format Son linéaire . wav Format créé par Microsoft. Différents niveaux de qualité linéaires BWF Broadcast Wave Format Production, stockage professional . wav, . bwf Format défini par l’EBU / UER sur la base du WAV. Peut contenir PCM ou Mpeg 1, 2, 3 AIFF Audio Interchange Fichier d’échange . aiff Format pour plateformes informatiques Mac et PC Format linéaire développé par Apple MPEG 1 layer 1, 2, 3 Musicam (layer 1, 2), MP 3 (layer 3) Son compressé mpg, . mpe, professionnel . mpeg, . mp 3 ou graqnd public Compression avec perte MP 3 MPEG 1 L 3 Son compressé grand public Très bon rapport qualité / débit. Compression env. 1 : 10. Gère les tags ID 3 AAC Audio Advanced Coding Diffusion . mp 3 HEG – I+D février-juin 2012 Fait partie de la norme Mpeg 4 (utilisation propriétaire par Apple)

Les principaux formats (2) WMA Windows Media Audio Webcast Streaming et download . wm Format de Microsoft (Windows Media). Intègre une gestion de DRM Real audio Real Media Webcast Streaming et download . rm Format de Real Network Apple Quick Time Webcast Streaming et download . mov Format Apple Mpeg 2 layer 1, 2, 3 Musicam Médias video . mpg, . mpeg DVD, DVB, DAB? , audio multichannel AC 3 Dolby Digital ASF Advanced Streaming Format Webcast Streaming . asf Format de Microsoft DSD Direct Stream Digital Diffusion . dsd Format du Super Audio CD (Sa. CD) OGG Ogg Vorbis Webcast streaming ou download . ogg Compression de bonne qualité, Open source FLAC Free Lossless Audio Codec Algorithme de . flac compression sans perte DVD, audio multichannel HEG – I+D février-juin 2012 Permet de réduire la taille des fichiers de 30 à 70%. Open source

Distribution du son numérique • Deux modes différents : – Flux continu, « streaming » (p. ex. Real. Audio) – Téléchargement de fichier • • Mesures techniques de protection DRM, Digital Rights Management Problèmes de compatibilité Accès aux métadonnées HEG – I+D février-juin 2012

Essence et métadonnées HEG – I+D février-juin 2012

Producteur Titre Ce que serait un monde sans métadonnées… Date Genre HEG – I+D février-juin 2012

Essence et métadonnées HEG – I+D février-juin 2012

Les métadonnées dans la gestion d’actifs numériques Actif numérique ( « Asset » ) Contenu Essence Droits Métadonnées HEG – I+D février-juin 2012

Essence et Métadonnées Variantes d’intégration Utilisateur humain ou autre système Système source Essence 1 Fichier Essence Métadonnées 2 Fichier Essence Fichier Métadonnées Requête Base de données Fichier Essence Clé Métadonnées 3 HEG – I+D février-juin 2012

A. HEG – I+D février-juin 2012

B. Conception intégrée en réseau Acquisition E Distribution E M Content repository M M E E = Essence Production M = Métadonnées HEG – I+D février-juin 2012

Les problèmes à résoudre • Moyens d’enregistrement (notamment conversion Analogique / Numérique =A / D) • Normalisation, stabilité des formats, • Sécurisation des accès, • Protection des droits (DRM = Digital Rights Management), • Authenticité de l’information, marquage ( « Watermarking» ), • Modalités de commercialisation : détermination des prix, facturation, • Identification et description des contenus (métadonnées), • Pérennité à long terme de l’information, • Intégration des anciens contenus analogiques (numérisation) HEG – I+D février-juin 2012

Des archives analogiques au Media Asset Management L’enrichissement des métadonnées Etapes 1 Acquisition 2 3 Production Diffusion 4 Archivage Essence Métadonnées Acteurs journalistes réalisateurs preneurs de présentateurs son producteurs documentalistes HEG – I+D février-juin 2012

Exemple : BWF (Broadcast Wave Format) • Origine UER / EBU • Base : Microsoft RIFF WAVE (. wav) • Utilisation : archivage / échange des enregistrements radiophoniques • Essence audio (linéaire ou compressée) + métadonnées • http: //tech. ebu. ch/publications/tech 3285 HEG – I+D février-juin 2012

HEG – I+D février-juin 2012

HEG – I+D février-juin 2012

Exemple d’un système d’archivage audio : SIRANAU (Système Intégré Radio pour l’Archivage Numérique AUdio) «Base de données multimédia » • Recherche unique Ø Reprise des données PHONO, CAPRI (Basis) Ø Reprise des bases internes : Bruitages, Inventaires archives, Photos (Access) • Synchronisation des bases Phono et Capri (phase intermédiaire) • Conversion des notices • Conversion des thésaurus • Utilisation des notices pour listes de diffusion : STRIP « système de traitement informatique de la programmation » HEG – I+D février-juin 2012

Base de données multimédia (BDDM) PHONO SUPPORTS ANALOGIQUES BDDM CAPRI BRUITAGES ARCHIVES PHOTOS HEG – I+D février-juin 2012 STOCKAGE (fichiers numériques)

SIRANAU - Modèle documentaire simplifié Relations hiérarchiques entre documents Support CONT Support Physique C_MAT Document DOC Fichiers de référence Personne PE Document sonore DOC_S Support Numérique C_NUM Fichiers numériques Document Image Œuvre OEU DOC_I Document Texte DOC_T Associations avec autres doc. Relations hiérarchiques entre documents HEG – I+D février-juin 2012 Evénement EV

Structuration hiérarchique Son Photos / images Vidéeo Musique classique / autres Musiques Parlé Bruitages 1. Niveau générique Album Concert Enregistrement Album Enregistrement Emission Enregistrement Dossier photo Album Reportage Album 2. Regroupe ment intermédiaire Oeuvre 3. Unité logique élémentaire Morceau Mouvement Sujet Bruitage Vidéo 4. Extrait Image HEG – I+D février-juin 2012 Extrait Texte

Intégration : exemple RSR HEG – I+D février-juin 2012

Intégration : exemple TSR HEG – I+D février-juin 2012

Infrastructure Technique Serveurs de Production Plusieurs Serveurs d’Application Système de Stockage Serveur de Base de Données en Cluster Serveur de fichiers WWW Serveur d’Application dédié HEG – I+D février-juin 2012

STOCKAGE DE MASSE Internet Système de production Rechargement Diffusion Web + acquisition sons Déchargement Recherche et Préécoute Système de stockage numérique Numérisation Réseau bureautique Archives analogiques Stockage HEG – I+D février-juin 2012 multimédia

La numérisation des documents existants Étapes de l’opération : 1. Analyse de la collection et la définition de priorités (selon état de conservation, contenu, demandes, etc. ) 2. Financement ? 3. Capacité en personnel ? 4. Travail en interne ou prestataire externe ? 5. Définition des critères et de procédures de sélection, 6. Préparation et éventuelle restauration des supports avant numérisation, 7. Données documentaires informatisées : - sont-elles disponibles ? - doivent-elles être élaborées en parallèle avec la numérisation? HEG – I+D février-juin 2012

La numérisation des documents existants (2) Étapes de l’opération (technique) 8. Définition de normes techniques 9. Choix des équipements 10. Choix d’un support intermédiaire (ou) 11. Disponibilité d’un système de stockage numérique avec les capacités nécessaires, en liaison avec une base documentaire 12. Organisation des processus de travail, 13. Contrôle de la qualité 14. les modalités de la consultation ou de la distribution 15. Devenir des originaux HEG – I+D février-juin 2012

HEG – I+D février-juin 2012 CDP Digital Audio Working Group Digital Audio Best Practices Version 2. 0 November 2005

Numérisation : lecture et logiciel Quadriga HEG – I+D février-juin 2012

Les schémas de métadonnées Rappel : Acquisition E Distribution E M Content repository M M E E = Essence Production M = Métadonnées HEG – I+D février-juin 2012

Exemple tiré de SIRANAU <? xml version="1. 0" ? > - <Title. Content> <DTD_DALET_XML>1. 2</DTD_DALET_XML> - <title type. Name="Audio" interface. Name="Standard"> <name>TQC 13. 09. 04 KAESER</name> <author>LENOIRPA</author> <record. Date>2004 -09 -10</record. Date> <start. Date>2004 -09 -10</start. Date> <end. Date>2004 -09 -14</end. Date> <kill. Date>2004 -09 -15</kill. Date> <last. Modif. Time>2004 -09 -17 16: 46: 18. 403</last. Modif. Time> <year>1900</year> <item. Code>07023</item. Code> <reference /> <comment 1>FP 26'</comment 1> <comment 2>EDOUARD DESOR, UN KALEIDOSCOPE AU XIXe SIECLE AVEC MARC-ANTOINE KAESER, PROFESSEUR DE PREHISTOIRE A L'UNIVERSITE DE FRIBOURG, CONSERVATOIEEUR AU MUSEE NATIONAL SUISSE A ZURICH, AUTEUR DE "L'UNIVERS DU PREHISTORIEN" EDOUARD DESOR (18111882), ED. L'HARMATTAN, 2004 PAR CHRISTIAN CIOCCA REAL: PATRICK LENOIR FIGURE SECONDAIRE DU XIXE SIECLE, E. DESOR FUT POURTANT UN REMARQUABLE MEDIATEUR DE SON TEMPS EN SUISSE ET AU PLAN INTERNATIONAL. ETABLI A NEUCHATEL APRES UNE VIE MOUVEMENTEE A PARIS ET AUX ETATS-UNIS, IL VIVIFIA LA VIE SCIENTIFIQUE EUROPENNE EN MELANT LES CONNAISSANCES ANTIQUAIRES, C'EST-A-DIRE L'ARCHEOLOGIE PREHISTORIQUE. EGALEMENT ENGAGE A TOUS LES ECHELONS POLITIQUES SUISSES, IL DEVINT PRESIDENT DU CONSEIL NATIONAL DANS LES RANG RADICAUX ET SOUTINT EFFIACEMENT LA HEG – I+D février-juin 2012 CARRIERE DU CONSEILLER FEDERAL NEUCHATELOIS NUMA DROZ. CETTE

Les schémas de métadonnées • • • Gestion du son numérique en réseau dans un environnement complexe : Intégration Enrichissement progressif Transfert essence / métadonnées entre des applications différentes Compatibilité, interopérabilité Possibilités d’échange avec l’extérieur NE DEFINISSENT PAS une base de données ! HEG – I+D février-juin 2012

Caractéristiques d’un schéma de métadonnées • • Basé sur une norme reconnue Adapté à la source des métadonnées Définit la syntaxe et les « refinements » Problèmes à résoudre : – Langues – Vocabulaires HEG – I+D février-juin 2012

Dublin Core : 15 éléments de base Contenu Propriété intellectuelle Matérialisation Titre Créateur Date Sujet Editeur Type Description Contributeur Format Source Droits Identifiant Langage Relation Couverture NB. Ce regroupement en trois catégories est purement indicatif ! HEG – I+D février-juin 2012

EBU Core : basé sur le DC Core Metadata Set Elements : • Title • Creator • Subject • Description • Publisher • Contributor • Date • Type • Format • Identifier • Source • • Language Relation Coverage Rights • • • Version Publication History Part Metadata Provider Entity (Contact Details, Organisation Details, Role), Note • Type, Status, Format and Date attribute groups HEG – I+D février-juin 2012

"If you can't find it, you don't have it!", this should not happen in modern IT-based production environments. Metadata is the glue between production operations. Documenting audiovisual resources with EBUCore information is a minimum requirement corresponding to fundamental investment with guaranteed return. HEG – I+D février-juin 2012

Références et exemples • Un schéma universel : Dublin Core (Dublin Core Metadata Initiative DCMI) : http: //dublincore. org/documents/dces/ http: //www. bibl. ulaval. ca/Dublin. Core/usageguide-20000716 fr. htm • Adaptation pour les archives radio : EBU Core Metadata Set for Radio Archives) http: //tech. ebu. ch/docs/tech 3293 v 1_3. pdf • Et encore : PBCore (Radios +TV publiques US) http: //www. pbcore. org/ Voir notamment : http: //pbcore. org/wp-content/uploads/PBCore. Diagram-v 2. jpg HEG – I+D février-juin 2012

Exemple de base de données utilisant Dublin Core : MEMOBASE (base de données de documents audiovisuels traités dans le cadre des projets de MEMORIAV) : http: //www. memobase. ch HEG – I+D février-juin 2012

METS Metadata Encoding & Transmission Standard • Norme définissant un schéma d’encodage pour les métadonnées descriptives, administratives et structurelles se rapportant aux objets placés dans une bibliothèque numérique. • Les métadonnées sont exprimées en XML • METS est né de « Making of America » , projet de bibliothèque numérique de sciences sociales • La norme est maintenue par la Bibliothèque du Congrès • Voir : http: //www. loc. gov/standards/metshome. html HEG – I+D février-juin 2012

METS Metadata Encoding & Transmission Standard 7 sections: – En-tête METS : identification du document – MD descriptives : externes ou internes – MD administratives : source, droits – Section des fichiers : composant l’objet numérique – Carte structurelle : structure hiérarchique – Liens structurels : hyperliens hiérarchiques – Comportement : exécutables avec le contenu Exemple : METSsample 7. xml HEG – I+D février-juin 2012

Structuration de METS Un fichier, répondant au modèle OAIS, contenant: - les métadonnées d’un document. - des pointeurs vers des métadonnées stockées ailleurs. - éventuellement, les fichiers qui composent le document. Sept sections • METS Header : En-tête. Métadonnées concernant le document METS lui-même. • Descriptive Metadata : Métadonnées descriptives, externes avec des liens ou encapsulées dans le document. • Administrative Metadata : Métadonnées administratives, externes ou encapsulées. Technique, gestion des droits, source et provenance. Métadonnées essentielles pour la conservation à long terme du document numérique. • File Section : Liste des fichiers (noms et localisations) composant l’objet. • Structural Map : Carte de structure. Hiérarchie physique ou logique d'objets. La carte de structure comprend la description du plan du document. Permet de reconstruire la navigation dans le document. • Structural Links : Liens hypertextes entre les objets. • Behavior : Association d’exécutables. Traitement / exécution d'objets permettant le fonctionnement de l’objet complexe. HEG – I+D février-juin 2012

Pérennité : OAIS Voir : ISO 14721: 2003 ‘Reference Model for an Open Archival Information System (OAIS) http: //public. ccsds. org/publications/archive/650 x 0 b 1(F). pdf HEG – I+D février-juin 2012

EBU Class Conceptual Data Model (CCDM) Editorial audio-visual classes HEG – I+D février-juin 2012

EBU Class Conceptual Data Model (CCDM): Additional non audiovisual classes HEG – I+D février-juin 2012

MXF Material Exchange Format • Format surtout destiné à la vidéo professionnelle • Peut contenir : – de la vidéo – du son – des métadonnées • Peut être adapté au streaming • Structure du fichier basée sur KLV (=Key, Length, Value) • En cours d’introduction • Divers niveaux de complexité • Nombreux problèmes de compatibilité ! HEG – I+D février-juin 2012

Schéma de métadonnées DMS-1 (utilisé notamment dans MXF) (schéma conceptuel, extrait) DMS-1 Dictionn. HEG – I+D février-juin 2012

MXF, organisation du fichier Système KLV = Key, Length, Value HEG – I+D février-juin 2012

MXF : variantes (operational patterns) HEG – I+D février-juin 2012

MXF : insertion des métadonnées HEG – I+D février-juin 2012

MXF : structure des métadonnées HEG – I+D février-juin 2012

Méthodes avancées d’accès au contenu • Problème : le document sonore nécessite une écoute en temps réel. Comment peut-on en faciliter le traitement documentaire ? • Segmentation • Identification de plages • Reconnaissance automatique des locuteurs • Reconnaissance de morceaux de musique • Reconnaissance des instruments de musique • Séparation des sources audio simultanées (parlé / musique / mixte) • « Speech to text » • « Music to score » • Analyse statistique, etc. HEG – I+D février-juin 2012

Un exemple : le projet européen MEMORIES • Objectif : développer des méthodes innovantes pour : – décrire – analyser – gérer – recher les documents sonores • Voir : www. memories-project. eu HEG – I+D février-juin 2012

MEMORIES : description • Les documents sonores sont décrits dans un Profile , grâce à une approche ontologique • Des outils permettent d’enrichir la description : – « Single Sensor Source Separation » : séparation des sources mono (voix, instruments, bruits, – Segmentation : reconnaissance des plages parlées, musicales, etc – « Speech to Text » : transcription (semi-) automatique • Les éléments sémantiques obtenus sont intégrés dans les métadonnées HEG – I+D février-juin 2012

MEMORIES : Profile « Interview » • Contribution de la RSR : matériel audio • Principe : définir un profile spécifique pour les interviews • Développement d’une ontologie spécifique • Autres profiles : – Musique classique (NIRS) – Documents ethnographiques (UNESCO) HEG – I+D février-juin 2012

Ontologies Définition : • Représentation conceptualisée d’un champ de connaissances • Modèle intégrant les concepts et les relations entre ces concepts • Permettent à un système de raisonner à propos des objets du domaine concerné • Sont très utilisées dans la description des objets du web ( « web sémantique » ) HEG – I+D février-juin 2012

Ontologies Éléments constitutifs des ontologies : • Classes (concepts, objets, entités) • Instances (individus) • Attributs (propriétés) • Relations (hiérarchie, etc. ) Les ontologies s’approchent des « bases de connaissances » HEG – I+D février-juin 2012

Ontologies • Un exemple : Music Ontology http: //musicontology. com http: //wiki. musicontology. com/index. php/Cl asses_Schemas • Démonstration d’un éditeur d’ontologies : Protégé http: //protege. stanford. edu/ HEG – I+D février-juin 2012

HEG – I+D février-juin 2012

HEG – I+D février-juin 2012

[Orgnaization] Corporate Body Programme Schedule Channel Audio File Physical Carrier Programme Producer Source Agent Audio Recording Diffusion Interviewer Time. Line Segment Content Interviewee Person Profile “Interview” : Structuration des concepts HEG – I+D février-juin 2012 Music Content Spoken Content

Date of transmission Time of transmission Channel is part of Programme Production company Document is a recording of Producer is responsible of Audio recording Speech Jingle Moral person Archive document Music opus is an agent of Audio component Begins at Ends at Announcement is a recording of Interview recording Physical person Radio agent Journalist Interviewer is part of Interviewee Interviewer Technical agent produces Cue line is a transcription of Begins at Transcription Interviewee Date Place Ends at Document Event Annotation produces HEG – I+D février-juin 2012 Recording condition

INTERVIEW EVENT Examples of the INSTANCES of the RICH SEMANTIC MODELS Interview of Otto PREMINGER’ Instance of Interview. Event produce Speech. Program of of interview of ‘Otto Preminger’ has. Part Instance of Speech media of the interview of ‘Otto Preminger’ Instance of RICH SEMANTIC MODELS produce Specialisation Event Specialisation Broadcast. Event Speech. Program Is used by has. Part Specialisation OPUS HEG – I+D février-juin 2012 Clip has. Part

MEMORIES : gestion • Développement d’un outil basé sur les standards, orienté vers la pérennité des contenus • Conformité avec OAIS (Open Archive Information System), ISO 14721: 2003 • Recherche : système testé dans la recherche en génétique et génomique HEG – I+D février-juin 2012

Outil de segmentation enrichissement des métadonnées Introducti Project explorer Segmentation editor Task list Metadata HEG – I+D février-juin 2012

HEG – I+D février-juin 2012