High Order Ambisonics HOA une approche complte de
High Order Ambisonics (HOA), une approche complète de la spatialisation sonore Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12 r&d legal direction
High Order Ambisonix, tous les bons côtés d'Ambisonix et les pouvoirs d'un super-Panoramix (sonore) Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12 r&d legal direction
sommaire 1 n quelques généralités 2 n concepts généraux (higher order ambisonics) n encodage spatial et décodage spatial, format HOA 3 n bénéfices en termes de restitution n restitution: holophonique, binaurale, de groupe, dispositifs surround 4 n principe des microphones 3 D HOA n approche progressive et rationalisation 5 n récapitulatif et discussion Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
1 introduction / généralités Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
High Order Ambisonics (HOA): un système en 3 points clés un format audio 3 D générique and flexible basé sur un modèle pertinent de représentation du champ acoustique n une technologie rationnelle et efficace pour une "vraie" captation audio 3 D n une technologie de reproduction sonore 3 D adaptable à une large variété de dispositifs de haut-parleurs (et au casque) n Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
Ambisonics et HOA: quelques jalons n naissance en Angleterre dans les années 70 [M. Gerzon] n n ambisonics: captation et reproduction 3 D (résolution spatiale minimale) extension à des résolutions spatiales élevées ("higher order") n 1996 -2000: développement des bases théoriques [Bamford, Poletti] [Ph. D Daniel] HOA, [Ph. D Nicol] liens avec WFS n 2003: améliorations… vers l'holophonie / Wave Field Synthesis [Daniel, Nicol, Ph. D Moreau] n depuis 2004 -2005: développement, validation et démonstration du premier microphone HOA [Ph. D Moreau, Daniel, Ph. D Bertet] n n reproduction binaurale dynamique (avec head-tracker) développement et utilisation d'une suite de plugins VST Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
une approche aux points d'entrée multiples [angles d'éclairage utilisés dans cette présentation] n ingénieur du son / outils d'enregistrement, microphones, panning n mathématicien / concepts communs avec le traitement du signal n [trait. signal + acousticien / antennes, beamforming] n acousticien / propriétés du champ acoustique n psycho-acousticien / sensations spatiales auditives & localisation Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
2 principaux concepts liés à higher order ambisonics (d'abord illustrés en 2 D) Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
ambisonics (ordre 1): encodage spatial Front (X) n enregistrement sonore panoramique n n n Left (Y) Right Back W + Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p X + - B-Format microphones coïncidents omni (W) et bidirectifs (X, Y) séparation AV-AR, G-D informations sur la propagation des ondes format d'encodage = B-Format [Gerzon] indépendant de tout dispositif de HP Y +- France Telecom Group
décodage spatial pour la reproduction Front (X) n reproduction sur haut-parleurs n n n Left (Y) "reconstituer" un microphone par HP recombiner les directivités du B-Format opération de décodage: matricer W, X, Y. . . autant de HP qu'on veut, mais. . . … le flou d'image sonore ne diminue pas Right = Back W + + - = + Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p X Y + + - + +- B-Format France Telecom Group
ambisonics d'ordre 1: avantages et limites n avantages n n n n format multicanal compact homogénéité spatiale fidélité acoustique (pour les propriétés de propagation) facilement extensible à la 3 D (composante additionnelle Z) flexibilité: transformation de champ acoustique; dispositifs de reproduction microphones B-Format commercialisés (eg Sound. Field™) limites n n images sonores floues et instables (sweet spot très réduit) mal adapté aux arrangements de HP irréguliers/déséquilibrés (notamment config ITU 5. 1) séparation spatiale limitée car faible directivité des micros (surtout en BF). . . voilà peut-être pourquoi une partie des ingés son préfèrent les approches non-coïncidentes (compte-tenu des technos traditionnelles de microphone) Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
Higher Order Ambisonics (HOA) Front (X) n augmenter la discrimination angulaire grâce à des directivités supplémentaires n n Right Left (Y) n encodage spatial Transf. de Fourier circulaire spectre spatial = {composantes ambisoniques} largeur de bande = fréquence angulaire max Back 0 th order spectre spatial enrichi 1 st order Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p 2 nd order 3 rd order 4 th order France Telecom Group
Higher Order Ambisonics (HOA) Front (X) n augmenter la discrimination angulaire grâce à des directivités supplémentaires n n Right Left (Y) n n encodage spatial Transf. de Fourier circulaire spectre spatial = {composantes ambisoniques} largeur de bande = fréquence angulaire max améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs n n synthétiser des directivités plus fines décodage spatial beamforming multidirectionnel Back + + = + = = directivité accrue Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
Higher Order Ambisonics (HOA) Front (X) n augmenter la discrimination angulaire grâce à des directivités supplémentaires n n Right Left (Y) n n améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs n n n Back 1 st order 2 nd order Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p encodage spatial Transf. de Fourier circulaire spectre spatial = {composantes ambisoniques} largeur de bande = fréquence angulaire max synthétiser des directivités plus fines décodage spatial beamforming multidirectionnel Transf. Fourier inverse à support discret images sonores plus précises (étalement angulaire réduit) 3 rd order 4 th order France Telecom Group
scalabilité spatiale du format HOA st order rd th 1 nd 23 4 W Front (X) X Y Left (Y) Right Decodage : matrice (+ filtres) Back plus ou moins de composantes utilisées selon les contraintes de transmission et/ou reproduction Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
3 bénéfices de HOA sur le plan de la restitution Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
reconstruction acoustique élargie ordre 1 ordre 2 ordre 3 ordre 4 fréquence angulaire croissante (spectre spatial + riche) expansion radiale de la reconstruction acoustique (prop. longueur d'onde) 1 st order 2 nd order Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p 5 th order 10 th order France Telecom Group
reconstruction "holophonique" reconstruction en fonction de la fréquence (zone cible donnée) n f=125 Hz, 2 nd order n f=300 Hz, 5 th order f=450 Hz, 8 th order f=600 Hz, 10 th order là où la reconstruction est correcte ITD et ILD corrects bonne localisation, stable avec le déplacement nici: hypothèse d'ondes planes (HPs "à l'infini")! or, HPs à distance finie front d'onde "infléchi" Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
synthèse de front d'onde avec NFC-HOA compenser le champ proche des HPs (bass-boost et déphasage) n et modéliser celui de la source virtuelle contrôle de la courbure du front d'onde (Near Field Compensated HOA) n [Daniel, 2003] n sources "extérieures" et "intérieures" Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
et en dehors des conditions de reconstruction "exacte"? n ordre modérément élevé ; gamme MF/HF ; écoute excentrée n étalement/ponctualité des contributions de HP • dégradation/préservation des indices de localisation (ITD, ILD, IS) n n qualité décrite par le vecteur énergie décodage optimisable ponctualité n étalement impact sur la robustesse en écoute de groupe Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
de la reconstruction holophonique à la reconstruction binaurale n reconstruction ciblée sur une zone englobant un auditeur centré meilleure préservation des indices de localisation ordre M 1 2 3 4 flim 700 Hz 1300 Hz 1900 Hz 2500 Hz a. E 45° 30° 22. 5° 18° n bonne reconstruction jusqu'à flim ( bon ITD voire ILD selon fq) "angle de flou", compte-tenu seulement des indices de loc. HF (ILD&ITD), altérés au-delà de flim évaluation subjective pour un auditeur centré [Bertet] n précise le gain en "qualité" en fonction des ordres croissants Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
extension à l'encodage et la reproduction 3 D reproduction sur config 3 D encodage vers Format HOA 3 D décodage spatial (idem 2 D) N signaux HP K K signaux HOA rotation du champ sonore “virtualisation”: filtrage HRTF encodage et décodage 3 D n reproduction binaural dynamique n n head-tracker approche de base: "virtualisation" binaurale des HPs décodage optimisé: [Faure, Daniel, Emerit] rotations de champ sonore piloté par head-tracker reproduction sur casque Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
compatibilité avec des dispositifs nonréguliers configurations ITU standard and enrichies (5. 0, 7. 0, 8. 0, etc. ) n synthétiser des directivités adaptées aux angles inter-HP (couverture optimale) n (exemple: décodage d'ordre 4) ◊ = " vecteur énergie" (* = cible, i. e. image sonore idéale) = limite physique (cas extrême=pan-pot par paire de HP) Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
4 principe des microphones 3 D HOA Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
captation directive: approche progressive n approximation du gradient (cas "unidimensionnel") n n [ex. fonction sinusoïdale: "onde pour une fréquence donnée"] dérivée = pente, estimée entre deux points "proches" • assez rapprochés // longueur d'onde • pas trop proches non plus, car… • la différence doit se détacher du bruit de mesure! (dans la "vraie vie") n cas de la prise de son par omnis [hors capteurs de vélocité] n n fonction = champ de pression points de mesure = lieux des capteurs omni… mêmes positions quelle que soit la longueur d'onde!! e trop petit Bruit de mesure e OK e trop grand Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
captation HOA: approche progressive capteur de pression n + gain positif - gain négatif + compromis sur l'espacement d des capteurs • • p 0 n BF (différences noyées dans bruit) HF (aliasing spatial) théoriquement, EQ BF de –m x 6 d. B/oct !!! en pratique, effort relâché en BF baisse de directivité et/ou de réponse [id pour cardio et bi] réseau microphonique global • ici, 9 capteurs rassemblés pour 5 composantes 5 capteurs devraient suffire pour 5 composantes!? + p 1 - p 3 + p 2 bass-boost=6 d. B/oct Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p - p 4 p 1 + p 3 - - p 4 + p 2 bass-boost=12 d. B/oct p 5 + - - + p 7 p 8 p 6 France Telecom Group
rationalisation: sphère microphonique HOA n Q capsules réparties sur une sphère n n n échantillonnage du champ sonore Q=32 ordre 4, K=25 composantes HOA traitement = matrice + égalisation n N signaux captés Q signaux ambisoniques égalisation: • théoriquement -mx 6 d. B / oct ! • on relâche l’effort en BF Matrice Nx. K Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
microphone HOA: limites et compromis estimation correcte aliasing spatial bande spatiale réduite estimation error (d. B) 7 cm, 32 capteurs 25 comp. (ordre 4) décalé vers BF quand diamètre décalé vers HF quand diamètre ↓ Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
sphères microphoniques HOA ou assimilables prototypes de laboratoire [Moreau, Daniel, Bertet], [Meyer, Elko] [Rafaely][Farina] FTR&D Univ. Maryland 32 caps ordre 4 12 caps ordre 2 20 caps ordre 3 [Lee, Duraiswami] 64 caps ordre 6 produits commercialisés (sans label "HOA") Eigen. Mike™ (mh-acoustics) 32 caps ordre 4 B&K (orientée mesure et imagerie acoustique) 36/50 caps. ordre 5 -6 perspectives d'amélioration [Epain 2008] n"multi-sphère" [Parthy et al] nstructures particulièrement diffractantes résoudre le compromis LF/HF Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
5 récapitulatif et discussion Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
récapitulatif n points forts (au moins les mêmes qu'à l'ordre 1, plus…) n n n n format multicanal scalable (hiérarchique) homogénéité spatiale fidélité acoustique + "haute définition spatiale" reconstruction "holophonique" extension à la 3 D - spatialisation binaurale efficace encore plus de flexibilité: transformations spatiales; config de reproduction, y compris irrégulières (surround ITU) microphones HOA (à « haute résolution spatiale » ) points faibles n n aucun? . . . vraiment? peut-être les "défauts de ses qualités" !? marge d'amélioration sur les outils (microphones, etc. ) Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
contextes d'usage n contextes n n d'utilisation potentiels prise de son artistique (musicale, théâtrale…), documentaire… partage d'ambiances sonores 3 D • captation / reproduction sonore immersive pour des "proches à distance" n amélioration de l'audioconférence • gain en intelligibilité et confort n nouvelles perspectives de création et de "consommation" de contenu audio 3 D • … un contenu pour une reproduction 2 D ou 3 D, statique ou interactive, de haute ou basse résolution, selon les contraintes Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
pour discussion… n HOA par rapport à des approches plus traditionnelles n famille "coïncidente" / panning d'amplitude (car DT=0) • … mais captation par micros non-coïncidents séparation spatiale n approche rationnelle qui tente d'exploiter au mieux les informations spatiales captées • mais comme pour toutes les techniques, pas exempte d'artefact ! • … certains artefacts sont-ils préférables à d'autres ? n un parti-pris: une certaine "fidélité" acoustique (effets de propagation / localisation) ≠ approche purement artistique • privilégie l'immersion, homogénéité • outils à mettre aux mains des ingés sons • approche artistique: "trahir" éventuellement la réalité acoustique (pour l'embellir ou la corriger) mais bénéficier de la solidité des infos spatiales n marges d'amélioration • éléments technologiques perfectibles (microphones, etc. ) • outils de post-prod, mixage 3 D, retouches spatiales Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
6 système mis en œuvre pour "ears wide open" Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
le microphone HOA n n n 20 DPA 4060 arrangés suivant les sommets d'un dodécaèdre sur une boule de 7, 5 cm de diamètre ordre 3 (16 composantes 3 D) effort modéré en BF (+6 d. B de bruit) (éléments défectueux dans la chaîne d'acquisition) Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
la restitution HOA (2 D) configurations ITU 5. 0 et "enrichie" 8. 0 n suite de plugins VST HOA de FTR&D n démonstration de "recadrage" par rotations, etc. n appoints non exploités n Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
merci pour votre attention Ears Wide Open HOA/2008 -03 -12/Jérôme Daniel – p France Telecom Group
- Slides: 37