Projet Sample Orchestrator Runion plnire 10 octobre 2007

Projet Sample Orchestrator Réunion plénière, 10 octobre 2007 SP 2 - Indexation audio et navigation par le contenu Equipe Perception et Design Sonores A. Minard, N. Misdariis, O. Houix, P. Susini

Bilan des travaux effectués n SP 2 -4 Description des sons environnementaux n n n SP 2 -5 Classification des sons environnementaux n n n D-SP 2 -4 -1 Validation de descripteurs audio pour les sons environnementaux D-SP 2 -4 -2 descripteurs audio de type morphologique D-SP 2 -5 -1 Définition d’un corpus représentatif et sélection des classes pertinentes D-SP 2 -5 -2 Organisation des classes pertinentes SP 2 -6 Caractérisation sémantique des sons environnementaux n n D-SP 2 -6 -1 Description sémantique des sons D-SP 2 -6 -2 Description sémantique des classes

Bilan des travaux effectués n SP 2 -4 Description des sons environnementaux n n n SP 2 -5 Classification des sons environnementaux n n n D-SP 2 -4 -1 Validation de descripteurs audio pour les sons environnementaux D-SP 2 -4 -2 descripteurs audio de type morphologique D-SP 2 -5 -1 Définition d’un corpus représentatif et sélection des classes pertinentes D-SP 2 -5 -2 Organisation des classes pertinentes SP 2 -6 Caractérisation sémantique des sons environnementaux n n D-SP 2 -6 -1 Description sémantique des sons D-SP 2 -6 -2 Description sémantique des classes

Bilan des travaux effectués n SP 2 -4 Description des sons environnementaux n n n SP 2 -5 Classification des sons environnementaux n n n D-SP 2 -4 -1 Validation de descripteurs audio pour les sons environnementaux D-SP 2 -4 -2 descripteurs audio de type morphologique D-SP 2 -5 -1 Définition d’un corpus représentatif et sélection des classes pertinentes D-SP 2 -5 -2 Organisation des classes pertinentes SP 2 -6 Caractérisation sémantique des sons environnementaux n n D-SP 2 -6 -1 Description sémantique des sons D-SP 2 -6 -2 Description sémantique des classes

Bilan des travaux effectués n SP 2 -4 Description des sons environnementaux n n n SP 2 -5 Classification des sons environnementaux n n n D-SP 2 -4 -1 Validation de descripteurs audio pour les sons environnementaux D-SP 2 -4 -2 descripteurs audio de type morphologique D-SP 2 -5 -1 Définition d’un corpus représentatif et sélection des classes pertinentes D-SP 2 -5 -2 Organisation des classes pertinentes SP 2 -6 Caractérisation sémantique des sons environnementaux n n D-SP 2 -6 -1 Description sémantique des sons D-SP 2 -6 -2 Description sémantique des classes

Bilan SP 2 -4 n Méta-analyse du timbre des sons environnementaux: comparaison de 4 études du timbre. n n habitacles automobiles: 16 + 14 sons unités de climatisation: 19 sons klaxons: 22 sons claquements de portières automobiles: 12 sons => Proposition d'une organisation des sons à 2 niveaux: n n Discret: classes d’événement Continu: espace multidimensionnel de timbre pour chaque classe.

Bilan SP 2 -4 n Niveau discret: classes d’évènements n n n Sons d'impact: courtes impulsions ou séries d'impulsions Sons de moteur: mélange harmonique/bruit Sons pseudo-instrumentaux: production similaire à celle des instruments de musique, une ou plusieurs notes. => Prédiction des classes par un modèle de régression sur deux descripteurs => Validation sur un corpus élargi de 183 sons: 5% d’erreurs en moyenne

Bilan SP 2 -4 Niveau continu: espace de timbre Etablir l'espace de timbre correspondant à chaque classe d’évènements. n n Trouver descripteurs communs aux sons d’une même classe. Attribut commun à toutes les classes: la brillance. Attributs propres à chaque classe: attributs liés à une spécificité acoustique des sons. • Sons d'impacts: la netteté. • Sons de moteurs: l’émergence harmonique. • Sons pseudo-instrumentaux: la rugosité et la richesse spectrale.

Délivrable D-SP 2 -4 -1 Validation de descripteurs audio pour les sons environnementaux n Implémentation: Matlab n Résultats: n • Prédiction de classes d’évènements sonores à 5% d’erreurs • un espace de timbre pour chaque classe d’évènements

Bilan SP 2 -6 n n Description et organisation perceptive des sons: Description Organisation Acoustique Timbre, morphologie Espace multidimensionnel de timbre Evènementielle Cause et matériau Structure hiérarchique (squelette) Sémantique Objet, lieu, fonction… Réseau sémantique (hiérarchie + lien transversaux) Important: un son suivant sa description appartient à plusieurs types d’organisation

Bilan SP 2 -6 n Organisation acoustique cf. SP 2 -4

Bilan SP 2 -6 n Organisation évènementielle (issu du projet CLOSED)

Bilan SP 2 -6 n Organisation sémantique n n n Vise à refléter la mémoire sémantique: la connaissance que nous avons sur le monde Basée sur le réseau sémantique Wordnet Principe: 1 concept est vu comme: • 1 ensemble de synonymes et d'antonymes (relations lexicales) • 1 ensemble d'hyponymes/hyperonymes et de méronymes/holonymes (relations sémantiques)

Délivrable D-SP 2 -6 -1 Description sémantique des sons n Implémentation: n Résultats: n • Formalisme d’organisation: 3 types de descriptions pertinentes => acoustique, évènementielle et sémantique • Pour chaque description: un type bien défini de structure

Bilan SP 2 -5 n Exemple de navigation inter-organisation dans le corpus sonore livré par Univers Sons Acoustique Evènements Sémantique

Bilan SP 2 -5 n Exemple de navigation inter-organisationdans le corpus sonore livré par Univers Sons Evènement: « impact » step Sémantique: « corridor » Acoustique: « low/blunt » , « repetition (constant) »

Délivrable D-SP 2 -5 -1 Définition d’un corpus représentatif et sélection des classes pertinentes n Implémentation: n Résultats: n • Application du formalisme introduit dans le SP 2 -6 à un corpus et à ses classes pertinentes pour les utilisateurs

Planning prévisionnel n Janvier 2008: n n D-SP 2 -5 -2: Organisation des classes pertinentes Juillet 2008: n n D-SP 2 -4 -2: Descripteurs audio de type morphologique pour les sons environnementaux D-SP 2 -6 -2: Description sémantique des classes