Traitement de la parole Introduction TSI Tlcommunications services

Traitement de la parole -Introduction- TSI Télécommunications, services & usages Jean-Marie Gorce

Codage Restauration -quantification -codage par modèles -transmission -analyse SNR -filtrage Analyse-synthèse Com. Multimodale -multimédia -son-image -les 5 sens -modélisation physique -modélisation électrique -analyse spectrale -prédiction linéaire Compréhension -base de données -grammaire, analyse sémantique TSI Télécommunications, services & usages Reconnaissance -modélisation du langage -théorie de la décision -intelligence artificielle Identification ‘speaker specific’ Jean-Marie Gorce

Locuteur idée, niveau cognitif, pensée. Auditeur La parole ? ? ? ? ? compréhension objectif : la communication traitement cognitif construction grammaticale. commande musculaire. système phonatoire signal acoustique = vecteur de la parole TSI Télécommunications, services & usages prétraitement sensoriel système auditif Jean-Marie Gorce

‘la parole aux télécoms’ problème : limité dans l’espace Locuteur signal acoustique microphone signal électrique Auditeur écouteur transmission électromagnétique CAN signal numérique câble hertzien TSI Télécommunications, services & usages signal électrique CNA signal numérique Jean-Marie Gorce

Le codage de la parole degré de complexité -analogique E R E -numérique quantification échantillonnage CAN CNA R -codage modélisation compression CAN codeur décod. CNA R E Normes de communication TSI Télécommunications, services & usages Jean-Marie Gorce

Aspects abordés dans ce cours • • modélisation du signal de parole le codage direct (PCM, DPCM, ADPCM) la prédiction linéaire (APC, LPC, RPE-LTP) la quantification vectorielle (VSELP, CELP, ACELP) • transformée en sous-bande (MBE, MELP) • signal audio musical : HD, (MPEG, MIDI) TSI Télécommunications, services & usages Jean-Marie Gorce

Traitement de la parole -Etude du signal de parole- TSI Télécommunications, services & usages Jean-Marie Gorce

Plan Ü production naturelle de la parole Ü modélisation physique Ü modélisation spectrale, analyse de Fourier Ü modélisation paramétrique autorégressive TSI Télécommunications, services & usages Jean-Marie Gorce

I-Production naturelle de la parole 1) un peu de physiologie narines ph ar yn x Cavité nasale C. buccale langue lèvres oesophage glotte larynx Trachée artère TSI Télécommunications, services & usages Jean-Marie Gorce

Cordes vocales Le larynx : - voisé ou non voisé - fréquence fondamentale (pitch) épiglotte muqueuse glotte TSI Télécommunications, services & usages Jean-Marie Gorce

2) Le rôle des cordes vocales : sons voisés Un son voisé est défini par : - sa fréquence fondamentale (=hauteur) - son timbre = rapport entre fondamental et harmonique 0. 4 amplitude 0. 3 ‘e’ 0. 2 0. 1 0 -0. 1 -0. 2 -0. 30 0. 05 0. 15 0. 2 temps TSI Télécommunications, services & usages 0. 25 0. 3 Jean-Marie Gorce 0. 35

3) Représentation simplifiée : souffle Pharynx cordes vocales b on j ou TSI Télécommunications, services & usages Cavité buccale E Cavité nasale E r Jean-Marie Gorce

4) Les différents types de sons (phonèmes) Les voyelles (voisées) Orales [A, E, I, O, U, OU. . . ] souffle cordes vocales Pharynx Cavité buccale E Nasales souffle cordes vocales [IN, UN, AN, ON] TSI Télécommunications, services & usages Pharynx Cavité buccale E Cavité nasale E Jean-Marie Gorce

0. 4 [e] PSD [e] 50 40 (d. B) 0. 2 0 30 20 10 -0. 2 0 0. 4 50 t (ms) [on] 0 0 100 1 2 3 f (k. Hz) PSD [on] 4 5 1 2 3 f (k. Hz) 4 5 50 40 (d. B) 0. 2 0 30 20 10 -0. 2 0 50 t (ms) Télécommunications, services & usages 0 0 100 TSI Jean-Marie Gorce

Les consonnes Liquides souffle cordes vocales [R, L] Pharynx Cavité buccale E Nasales souffle cordes vocales [M, N, GN] TSI Télécommunications, services & usages Pharynx Cavité buccale E Cavité nasale E Jean-Marie Gorce

Fricatives non voisées [F, S, CH] souffle Pharynx Cavité buccale E Fricatives voisées [V, Z, J] souffle Pharynx Cavité buccale cordes vocales TSI Télécommunications, services & usages Jean-Marie Gorce E

[ch] 0. 1 0. 05 0 -0. 05 -0. 1 0 10 20 30 40 50 t (ms) 60 70 80 90 100 6 7 8 9 10 PSD [ch] 30 (d. B) 20 10 0 -10 -20 0 1 2 3 4 5 f (k. Hz) TSI Télécommunications, services & usages Jean-Marie Gorce

Occlusives non voisées [P, T, K] souffle Pharynx Cavité buccale E Occlusives voisées [B, D, G] souffle Pharynx cordes vocales TSI Télécommunications, services & usages Cavité buccale E Cavité nasale E Jean-Marie Gorce

[bon] 1 0. 5 0 -0. 5 -1 0 [b] [on] 50 100 150 t (ms) [par] 0. 1 0. 05 0 -0. 05 [p] -0. 1 0 [a] 50 [r] 100 150 t (ms) TSI Télécommunications, services & usages Jean-Marie Gorce

II-Modélisation physique TSI Télécommunications, services & usages Jean-Marie Gorce

III-Modélisation harmonique Modèle de Dudley (VOCODER) également développé en 1930 Bandpass filter 1 Nonlinearity Lowpass filter Sampling rate reduction Amplitude Compression Bandpass filter Q Nonlinearity Lowpass filter Sampling rate reduction Amplitude Compression speech TSI Télécommunications, services & usages Jean-Marie Gorce

[e] 0. 4 PSD [e] 50 40 (d. B) 0. 2 0 30 20 10 -0. 2 0 50 t (ms) 0 0 100 1 2 3 f (k. Hz) DFT Transformée de Fourier = décomposition spectrale TSI Télécommunications, services & usages Jean-Marie Gorce 4 5

Quelques propriétés spectrales • Sons voisés Fondamental (pitch) Harmoniques Formants PSD [e] 50 (d. B) 40 30 20 10 0 f (k. Hz) 0 1 2 TSI Télécommunications, services & usages 3 4 Jean-Marie Gorce 5

• Sons non voisés Bruit blanc (souffle) PSD [ch] 30 (d. B) 20 10 0 -10 -20 0 1 2 3 4 5 f (k. Hz) TSI Télécommunications, services & usages 6 7 8 9 Jean-Marie Gorce 10

Non stationnarité : le spectrogramme bonjour 0. 6 0. 4 0. 2 0 -0. 2 -0. 4 0 0. 1 0. 2 0. 3 0. 4 0. 5 t (s) 0. 6 0. 7 0. 8 0. 9 1 f (MHz) 2 1. 5 1 0. 5 0 0 TSI Télécommunications, services & usages Jean-Marie Gorce

sachez parler 0. 1 0. 05 0 -0. 05 -0. 1 0. 2 0. 3 0. 4 0. 5 0. 6 t (s) 0. 7 0. 8 0. 9 1 f (MHz) 4 3 2 1 0 0 TSI Télécommunications, services & usages Jean-Marie Gorce

Signal aléatoire : Transformée de Fourier Signal Densité spectrale de puissance Processus stationnaire, ergodique Plusieurs réalisations, Energie finie DSP=mean(TSF) TSI Télécommunications, services & usages Jean-Marie Gorce

Processus gaussien non corrélé Signal Fourier DSP 0 TSI Télécommunications, services & usages Jean-Marie Gorce

IV-Modélisation paramétrique La modélisation paramétrique présentée repose sur les propriétés de la transformée en z et de la modélisation ARMA (filtres IIR; FIR). Quelques rappels : - transformée en z -modélisation ARMA -les différentes représentations des modèles AR TSI Télécommunications, services & usages Jean-Marie Gorce

1) La transformée en z la transformée en Z est aux signaux échantillonnés ce que la transformée de Laplace est aux signaux continus (automatisme) X(z) est définie comme la somme d’une série relative aux échantillons temporels x[k] • déf. étude du domaine de convergence en fonction de z • prop. linéarité décalage temporel convolution temporelle TSI Télécommunications, services & usages cf. cours TSI Jean-Marie Gorce

• liens avec la transformée de Fourier discrète si on restreint l’espace de z au cercle unité, z=e(jw) , on retrouve la transformée de Fourier : Im(z) la périodicité du spectre apparaît naturellement, en fonction de la fréquence d’échantillonnage f=0 |z|<1 Re(z) f=fe TSI Télécommunications, services & usages Jean-Marie Gorce

• Fonction de transfert numérique H(z) x[k] y[k]=(x*h)|k h[k] H(z) X(z) Y(z)=X(z). H(z) z=exp(j 2 pf) Xd(f) z=exp(j 2 pf) Yd(f) Hd(f) Comme pour la TFD, le passage dans le domaine des z, permet de remplacer l’opération de convolution par une opération de multiplication => mathématiquement très intéressant TSI Télécommunications, services & usages Jean-Marie Gorce

• cas spécifique où H(z) est un polynôme du type Tous les pôles dans le cercle unité => stabilité du filtre Tous les zéros dans le cercle unité =>phase minimale remarques : a 0=1 pour unicité du modèle ai, bi réels si signal réel factorisation numérateur => q zéros factorisation dénominateur => p pôles TSI Télécommunications, services & usages Jean-Marie Gorce

• intérêt de cette structure expression dans le domaine temporel Y(z)=X(z). H(z) expression dans le domaine spectral TSI Télécommunications, services & usages Jean-Marie Gorce

2) Modélisation ARMA def. d’un gabarit • problème de filtrage : x[k] y[k] H (z) x[k] • problème de modélisation: u[k] H (z) TSI Télécommunications, services & usages y[k] - + Jean-Marie Gorce e[k]

• modélisation ARMA (moving average autoregressive) - les zéros caractérisent la partie ‘moyenne ajustée’. - les pôles caractérisent la partie ‘autorégressive’. • modélisation MA (moyenne ajustée) - modèle ’tout zéros ’ spectres doux • modélisation AR (autorégressive) - modèle ’tout pôles’ - algorithmes d’estimation très rapides. - spectres présentant des pics. MA AR ordre infini TSI Télécommunications, services & usages Jean-Marie Gorce

p=0. 85 p=0. 6 p=0. 3 • Exemple de modèles AR, 1 pôle réel réponse impulsionnelle réponse spectrale 20 1 position des pôles 0. 9 0. 25 15 0. 8 0. 7 (d. B) 0. 6 0. 5 0. 4 10 0. 5 -0. 5 0. 3 0. 2 -0. 25 0 0. 1 0 0 n 50 Télécommunications, services & usages -5 -0. 5 0 TSI fr 0. 5 Jean-Marie Gorce

p=0. 85; 0. 3 p=0. 85 exp(jp/4) p=0. 3 exp(jp/2) • Exemple de modèles AR, 2 pôles conjugués réponse impulsionnelle 1 réponse spectrale position des pôles 20 0. 25 15 (d. B) 0. 5 -0. 5 10 0 0 5 -0. 25 0 -1 -5 0 50 -0. 5 Télécommunications, services & usages n TSI 0 fr 0. 5 Jean-Marie Gorce

3) Modélisation ARMA de la parole • représentation shématique du signal de parole : source Canal n Canal 1 E la source peut être un bruit blanc (sons non voisés ou chuchotés) ou 1 train périodique pour les sons voisés. le conduit vocal peut être représenté par une succession de tubes acoustiques, (pharynx, cavité buccale, nasale) modélisés par des résonateurs. l’émetteur, lèvres ou narines, représente une charge acoustique pour l’onde sonore qui y arrive. TSI Télécommunications, services & usages Jean-Marie Gorce

• source pour les sons voisés xv(k) G(z) réponse spectrale 60 réponse impulsionnelle 10 50 a=0. 97, b=0. 85, f. E=44 k. Hz (d. B) 40 5 30 20 10 00 00 100 200 300 400 500 n TSI Télécommunications, services & usages 1 2 f (k. Hz) Jean-Marie Gorce 3 4

Source (sortie de G(z) ) pour les sons voisés 5 4 3 2 1 0 0 500 1000 1500 2000 n f. E=44 k. Hz TSI Télécommunications, services & usages Jean-Marie Gorce 2500

• source pour les sons non voisés TSI Télécommunications, services & usages Jean-Marie Gorce

• canal ou tube acoustique La réponse acoustique d’un tube est caractérisée par un résonateur. La réponse d’un résonateur est donnée par modèle AR d’ordre 2 Chaque résonateur est un ‘formant’ dont la fréquence centrale est : Le conduit vocal est donc bien modélisé par un modèle AR, ordre 2 n TSI Télécommunications, services & usages Jean-Marie Gorce

réponse spectrale réponse impulsionnelle 1. 5 4 position des pôles 2 1 11 k. Hz (d. B) 0 0. 5 -2 -4 22 k. Hz -6 0 -8 0 -11 k. Hz -10 -12 -0. 5 -14 -1 0 50 n 100 0 5 f (k. Hz) TSI Télécommunications, services & usages Jean-Marie Gorce

• L’émetteur (lèvres ou narines) La pression observée à une certaine distance des lèvres est proportionnelle à la dérivée du volume des lèvres : modèle MA d’ordre 1 TSI Télécommunications, services & usages Jean-Marie Gorce

• Son voisé G(z) Vn(z) V 1(z) R(z) V(z) qui tend vers 1 modèle AR d’ordre 2 n+1, si un des pôles de G(z) est proche de l’unité TSI Télécommunications, services & usages Jean-Marie Gorce

• Son nasalisé les sons nasalisés font intervenir simultanément les cavités nasale et bucale. G(z) V 1(z) Vn(z) R(z) V’ (z) R’(z) modèle ARMA TSI Télécommunications, services & usages Jean-Marie Gorce

4) En résumé • complexité de la production de la parole (sons voisés, occlusifs etc. . . ). • principales propriétés spectrales du signal de parole (électrique ou acoustique) : fondamentale, harmonique, formants, bande passante vocale, non stationnarité, stationnarité locale (20 ms), signal stochastique • modèles ARMA d’un processus physique (intérêt pour le codage) • un modèle AR pouvait suffire dans certains cas. TSI Télécommunications, services & usages Jean-Marie Gorce

Traitement de la parole -Le codage de la parole- TSI Télécommunications, services & usages Jean-Marie Gorce

Problématique du codage qualité débit complexité coût Compression TSI Télécommunications, services & usages Jean-Marie Gorce

Exemple : norme CCITT G. 711 Échantillonnage : 8 k. Hz Quantification : non uniforme (A-law ou µ-law) sur 8 bits Débit : 64 kb/s TSI Télécommunications, services & usages Jean-Marie Gorce

A-La quantification scalaire (quantization) Ü L’échantillonnage Ü La quantification uniforme Ü La quantification non uniforme Ü La quantification différentielle Ü La quantification adaptative TSI Télécommunications, services & usages Jean-Marie Gorce

I-L’échantillonnage (sampling) Fréquence d ’échantillonnage ? ? ? TSI Télécommunications, services & usages Jean-Marie Gorce

Recouvrement spectral PSD [ch] 30 (d. B) 20 10 0 -10 -20 0 1 2 3 4 5 6 f (k. Hz) 7 8 Théorème de Shannon : fmax=Fe/2 • filtre anti-repliement (anti-aliasing) Initial aliased TSI Télécommunications, services & usages prefiltered Jean-Marie Gorce 9 10

II-La quantification Exemple : quantification sur 3 bits TSI Télécommunications, services & usages Jean-Marie Gorce

1° quelques définitions • La quantification Q(x) - L : nombre de valeurs quantifiées - b : nombre de bits de codage; L = 2 b - x(0). . . x(L) : niveaux de décision - x(0), x(L) : seuils - d(i)=x(i)-x(i-1) : pas de quantification - y(1). . . y(L) : valeurs quantifiées TSI Télécommunications, services & usages Jean-Marie Gorce

• L’erreur de quantification : q(x)=Q(x)-x - granulation : erreur liée au nombre de valeurs choisies (se 2) - saturation : erreur liée au dépassement des seuils (sd 2). q(n) x(n) + q(n) + y(n) • signaux aléatoires le signal de parole est considéré comme un signal aléatoire à moyenne nulle et variance sx 2. l’erreur de quantification sera donc appelée bruit de quantification, en général à moyenne nulle (0, se 2). TSI Télécommunications, services & usages Jean-Marie Gorce

VS ? ? ? [sachez parler] histogramme -0. 1 TSI Télécommunications, services & usages 0 0. 1 Jean-Marie Gorce

• facteur de charge G G=xs/sx • Rapport Signal-Bruit (RSB ou SNR) [d. B] TSI Télécommunications, services & usages Jean-Marie Gorce

2° la quantification uniforme définition : - y(i)=1/2 ( x(i-1)+x(i) ) -d(i)= d qlqsoit i -valeurs seuils : -xs, xs propriétés : - d=2 xs /L - erreur de granulation |e|< d/2 TSI Télécommunications, services & usages Jean-Marie Gorce

TSI Télécommunications, services & usages Jean-Marie Gorce

TSI Télécommunications, services & usages Jean-Marie Gorce

3° la quantification non-uniforme TSI Télécommunications, services & usages Jean-Marie Gorce

Transformation non-linéaire préalable q(n) x(n) + Compression des amplitudes Dilatation des amplitudes y(n) Signal de distribution uniforme TSI Télécommunications, services & usages Jean-Marie Gorce

Norme: Modulation par Impulsions Codées (MIC, 64 kbits/s) (Pulse Code Modulation, PCM) Filtre 100 -3400 Hz Éch. f. E=8 k. Hz Compression d ’amplitude Quantification 8 bits Norme européenne TSI Télécommunications, services & usages Jean-Marie Gorce

Représentation de la loi de compression TSI Télécommunications, services & usages Jean-Marie Gorce

TSI Télécommunications, services & usages Jean-Marie Gorce

TSI Télécommunications, services & usages Jean-Marie Gorce

III-La quantification différentielle (differential quantization) 1° Principe q(n) x(n) + r(n) z-1 y(n) x(n-1) Décorrélation >>> TSI Télécommunications, services & usages Jean-Marie Gorce

2° Gain RSB Si rx(1)>0. 5, sr 2 < sx 2, A nombre de niveaux constant, on peut réduire le pas de quantification et améliorer le RSB dans un rapport sr 2/sx 2 TSI Télécommunications, services & usages Jean-Marie Gorce

3° Mise en œuvre codage-décodage q(n) x(n) r(n) z-1 + t(n) y(n) + y(n-1) x(n-1) y(n)=x(n)+e(n); z-1 e(n)=q(n)+e(n-1) Intégration de l ’erreur !!!! TSI Télécommunications, services & usages Jean-Marie Gorce

Idée : coder la différence par rapport à la sortie q(n) x(n) r(n) - + t(n) y(n) + y(n-1) z-1 Remarque : OK si le signal est correctement codé ; quantification suffisante TSI Télécommunications, services & usages Jean-Marie Gorce

Délocalisation du décodage q(n) x(n) r(n) - + t(n) y(n) + y(n-1) z-1 + TSI Télécommunications, services & usages Jean-Marie Gorce

4° Prédiction linéaire r(n)=x(n)-x(n-1) r(n)=x(n)-a 1. x(n-1) - a 2. x(n-2) - … - ap. x(n-p) • Variance de l ’erreur faible. • Erreur = bruit blanc • Justification de ce modèle d’après la théorie de la parole • Quel ordre p ? • Quels paramètres AR ? • Quel gain ? TSI Télécommunications, services & usages Jean-Marie Gorce

Modélisation AR q(n) x(n) r(n) - + t(n) y(n) + y(n-1) P(z) + P(z)=a 1 z-1 + a 2 z-2 +. . . + apz-p TSI Télécommunications, services & usages Jean-Marie Gorce

2° Système DPCM (MICD) 0. 1 0. 05 0 -0. 05 -0. 1 20 ms (160 ech); 8 k. Hz ARMA(6, 2); 2 -5 bits/ech. (16 -64 kb/s) TSI Télécommunications, services & usages Jean-Marie Gorce

IV-La quantification adaptative (adaptive quantization) 1° Principe : adapter au fur et à mesure les paramètres (AR, gain) du signal de parole couplée avec la quantification différentielle Modulation par Impulsions Codées Différentielle Adaptative (MICDA) Adaptive Differential Pulse Code Modulation (ADPCM) TSI Télécommunications, services & usages Jean-Marie Gorce

Disponible sur le site Texas Instrument http: //www. ti. com/sc/docs/psheets/abstract/apps/bpra 053. htm TSI Télécommunications, services & usages Jean-Marie Gorce

4) En résumé • système PCM : fe=8 k. Hz, 8 pts/ech. 64 kb/sec, • Système ADPCM : fe=8 k. Hz, 4<. <8 pts/ech. 16 -64 kb/sec Objectif : <16 kb/sec Moins de 2 bits/point !!!! TSI Télécommunications, services & usages Jean-Marie Gorce

B-La quantification vectorielle Ü Principe de la quantification vectorielle Ü Quantification vectorielle prédictive (CELP). Ü 1 exemple de codeur utilisé en téléphonie cellulaire : GSM. TSI Télécommunications, services & usages Jean-Marie Gorce

I-La quantification vectorielle (vectorial quantization) 1° Principe : Regrouper les échantillons pour les transmettre. Mieux rentabiliser chaque bit utilisé. V(m) Règle du plus proche voisin i(m) V’ 1…V’ L TSI Télécommunications, services & usages Inspection V’(m) dans une table Jean-Marie Gorce

Exemple pour M=2 : le codage vectoriel permet d ’adapter la répartition des codes. TSI Télécommunications, services & usages Jean-Marie Gorce

2° Algorithmie : Comment choisir le dicitonnaire ? ? algorithme de Lloyd-Max 1 - Initialiser le ‘dictionnaire’ >> niveaux 2 - Appliquer la règle du plus proche voisin (minimiser l’erreur de codage) >> seuils implicites 3 - Appliquer la règle du centroïde (minimiser l’erreur de décodage) >> niveaux 4 - Refaire 2 et 3 jusqu’à convergence. . . TSI Télécommunications, services & usages Jean-Marie Gorce

II-LPC (linear predictive coding) 1° Principe : Minimiser la corrélation entre échantillons codés simultanément pour simplifier le travail du ‘ dictionnaire ’. V(m) A(z) R(m) - Optimisation des paramètres AR pour chaque vecteur Règle du plus proche voisin i(m) R’ 1…R’ L V’(m) Inspection R’(m) 1/A(z) dans une table R’ 1…R’ L Coder l ’erreur après modélisation AR V(z) = Bruit(z)/A(z) TSI Télécommunications, services & usages Jean-Marie Gorce

2° Codeur prédictif excité par des codes (Code Excited Linear Predictive Coding, CELP) : Minimiser les distorsions en minimisant l ’erreur relative au signal initial. V(m) Règle du plus proche voisin i(m) Inspection dans une table V’ 1…V’ L 1/A(z) V’M AR(m) 1/A(z) R’ 1…R’ L TSI Télécommunications, services & usages Jean-Marie Gorce V’(m)

3° Prédiction long terme (long terme prediction, LTP) : Ajouter un 2 ième étage de prédiction pour prendre en compte la périodicité des sons voisés. . 4° Introduction d ’un facteur perceptuel (préfiltrage W(z)) : Utiliser les principes de ‘masquage du son’ pour concentrer l ’erreur dans les zones non perceptuelles (cf. cours sons audio). TSI Télécommunications, services & usages Jean-Marie Gorce

III-Codeurs GSM passe-haut (>80 Hz) Estimation AR Prédiction à long terme Modélisation du bruit Paramètres AR Paramètres b, Q Index du dictionnaire TSI Télécommunications, services & usages Jean-Marie Gorce

Norme GSM, FR (Full Rate) (RPE-LTP, Regular Pulse Excitation with Long Term Prediction) 1 - Pré-accentuation H(z)=(1 -0. 86 z-1 ) 2 - LPC ordre 8, algorithme de Schur sur N=160échantillons. Codage des coefficients sur 36 bits/fen 160 ech 1. 8 kbit/s 3 - Prédiction à long terme (2 coefs b et Q) sur fenêtres N=40éch. Codage des coefficients (7+2)bits/fen 40 ech 1. 8 kbit/s 4 - Sous échantillonnage par 3 =>4 signaux de 13 éch. On garde seulement le plus énergétique (2 bits). Quantification non uniforme sur 3 bits des 13 éch. Quantification non uniforme du facteur d’échelle sur 6 bits. Codage (2+3*13+6)bits /fen 40 ech 9. 4 kbit/s 13 kbit/s TSI Télécommunications, services & usages Jean-Marie Gorce

Norme GSM, EFR (Enhanced Full Rate) (CELP Code Excited Linear Prediction) (GSM 06. 60 version 6. 0. 1, release 1997) http: //www. etsi. org/ P: /gorce. GSM_juillet 2000 1 - Pré-filtrage (passe-haut, 80 Hz) 2 - LPC ordre 10, par fenêtres pondérées, N=160 échantillons Codage des coefficients sur 38 bits/fen 160 ech 1. 9 kbit/s 3 - Prédiction à long terme (2 coefs b et Q) sur fenêtres N=40éch. Codage des coefficients (9; 6 +4)bits/fen 40 ech 2. 3 kbit/s 4 - Dictionnaire à structure algébrique. Codage des coefficients 35 bits/fen 40 ech Codage du gain statique 5 bits/fen 40 ech 7 kbit/s 12. 2 kbit/s TSI Télécommunications, services & usages Jean-Marie Gorce

2 - LPC ordre 10, par fenêtres pondérées, N=160 échantillons f 1 f 2 f 3 f 4 Estimation d ’un modèle AR ordre 10 après fenêtrage WI(n) et WII(n) : - directement modèles pour les sous-fenêtres f 2 et f 4. - par interpolation modèles pour les sous-fenêtres f 1 et f 3. TSI Télécommunications, services & usages Jean-Marie Gorce

Codage des coefficients AR (2 vecteurs) sous forme d ’une matrice, pour les 2 fenêtres. (on code ensemble les modèles des 4 sous fenêtres d ’un ‘ frame ’ Rem : on ne code pas directement les coefficients AR, mais des coefficients équivalents dans un espace fréquentiel équivalent. (LSF, linear spectral frequencies) On obtient en sortie un bruit Filtre de blanchiment Filtre de synthèse quantifié TSI Télécommunications, services & usages Jean-Marie Gorce

2 b- filtrage ‘perceptuel’ Limiter le bruit de quantification dans les zones fréquentielles à haute énergie (formants) s(t) |S(z)| |W(z)| TSI Télécommunications, services & usages Jean-Marie Gorce

Résumé de la phase de prédiction linéaire s(n) (z) w(n) w’(n) A(z)/A(z/g) 160 éch. Paramètres AR définis pour des fenêtres de 40 éch. (5 ms) (z)=1+ a 1. z-1 + a 2. z-2 + …+a 10. z-10 Transmission et codage des paramètres d ’une fenêtre sur 2 regroupement par 2 : codage sur 38 bits pour 160 échantillons (20 ms), de la différence avec les vecteurs précédents. TSI Télécommunications, services & usages Jean-Marie Gorce

s(n) w’(n) Reste une certaine périodicité >>> Prédiction long terme TSI Télécommunications, services & usages Jean-Marie Gorce

3 - Prédiction à long terme « pitch synthesis filter » y(n)=e(n)+b. y(n-Q) i. e. périodicité de période Q. Filtrage w’(n) B(z) w’’(n) 160 éch. Paramètres b, Q définis pour des fenêtres de 40 éch. B(z)=1 -bz-Q TSI Télécommunications, services & usages Pour b : 4 bits / sous-fenêtre Pour Q, codage sur les sous-fenêtres - codage f 1 et f 3 (9 bits x 2) - codage de la différence pour f 2 et f 4 (6 bits x 2). Jean-Marie Gorce

4 - Codage Par dictionnaire algébrique Dans une fenêtre, codage des 10 / 40 échantillons les plus forts 10 ech = 5 mots de 2 impulsions TSI Télécommunications, services & usages Jean-Marie Gorce

Codage de l ’erreur W’’(n) par mots codes : c 1+c 2+c 3+c 4+c 5 Minimisation de l ’erreur de synthèse Mot Code i : 2 impulsions => - position de chaque impulsion (8 positions) sur 3 bits. - signe de la première sur 1 bit (l ’autre signe est déduit). code Gray 000 001 010 111 100 Code à transmettre : 1 101 011 7 bits par mot code => 35 bits / ssfen Codage d ’un coefficient de gain statique : Conservation de l ’énergie du signal TSI Télécommunications, services & usages 5 bits /ssfen Jean-Marie Gorce

En résumé • Codage de base (PCM) 64 kbit/s. qualité téléphonique (pas audio). • Codage adaptatif différentiel (ADPCM), même qualité à 32 kbit/s. Acceptable jusqu’à 16 kbit/s. • Codage vectoriel : regrouper les valeurs à coder pour diminuer la redondance. Autour de 10 kbit/s. (militaire : 4. kbit/s). • Complexité des méthodes hybrides. Augmentation des performances. Codage en sous-bandes? ? ? TSI Télécommunications, services & usages Jean-Marie Gorce

Traitement de la parole -Le codage du son- TSI Télécommunications, services & usages Jean-Marie Gorce

Problématique du codage qualité débit complexité coût Compression TSI Télécommunications, services & usages Jean-Marie Gorce

A-Qu ’est-ce qu ’un son ? Ü La parole (cf. cours précédent) Ü La musique Ü Les autres sons TSI Télécommunications, services & usages Jean-Marie Gorce

I-La parole (résumé) Propriétés connues : - fmax=3, 4 k. Hz (=> Fe=8 k. Hz) - Processus de formation (formants, pitch, harmoniques) - Modélisation AR performante. - Loi de distribution ~ Laplace (=>A-law, µ-law) Objectif : transmission d ’un message compréhensible et reconnaissance du locuteur Mise en œuvre de codeurs spécifiques très performants TSI Télécommunications, services & usages Jean-Marie Gorce

II-La musique (naturelle ou synthétique) 1° Les notes pitch, fondamental, tonalité…do, re…. même note, octave différente 0 La La 110 Hz 220 Hz La 440 Hz TSI Télécommunications, services & usages f 1 octave = x 2 Jean-Marie Gorce

2° Les harmoniques 1 0 -1 0 5 10 15 TSI Télécommunications, services & usages 20 Jean-Marie Gorce 25

3° Le timbre (forme d ’onde; waveform) TSI Télécommunications, services & usages Jean-Marie Gorce

4° Musique : - Somme de plusieurs notes (pitch) - Différentes formes d ’ondes (les instruments) + chant =parole modulée. IL FAUT COUVRIR TOUT LE SPECTRE AUDIBLE TSI Télécommunications, services & usages Jean-Marie Gorce

III-Les autres sons Applications : TVHD, Vidéo, Multimédia …. Les bruits ambiants, les onomatopées, etc…. Bruits sourds (chute d ’eau…) Bruits brusques (bris de glace…) = transmettre tout ce qui est susceptible d ’être perçu par l ’auditeur. TSI Télécommunications, services & usages Jean-Marie Gorce

B-Codage ‘ Audio ’ ? codeur décodeur Émetteur Récepteur N ’autoriser que les pertes non perceptibles TSI Télécommunications, services & usages Jean-Marie Gorce

I-Modèle psychoacoustique 1° Bande passante : Seuil d’audibilité d’une sinusoïde BP=[20 Hz ; 20 k. Hz] TSI Télécommunications, services & usages f. E>40 k. Hz Jean-Marie Gorce

3° Masquage fréquentiel (f 1, P 1=80 d. B) : sinusoïde masquante (f 2, P 2) : P 2 à émettre pour entendre f 2 TSI Télécommunications, services & usages Jean-Marie Gorce

2° Bandes critiques fréquentielles (critical bands) Détection de f+df ? ? Passage des Hertz au Bark 10 Bark 1 10 100 f(Hz) TSI Télécommunications, services & usages 1 k 10 k Jean-Marie Gorce

Courbes de masquage >> segments de droite indépendante de f 1 TSI Télécommunications, services & usages Jean-Marie Gorce

Exemple de bande critique en BF (120 Hz) 2 1. 8 1. 6 1. 4 1. 2 1 0. 8 0. 6 0. 4 0. 2 0 1 bark Df 20 40 60 80 100 120 140 160 180 200 32 bandes critiques de 20 Hz à 20 k. Hz, Df : 80 -3500 Hz TSI Télécommunications, services & usages Jean-Marie Gorce

4° Masquage temporel Après un son relativement fort, masquage de la bande critique (et voisines…) pendant un certain délai. TSI Télécommunications, services & usages Jean-Marie Gorce

4° Masquage fréquentiel et temporel TSI Télécommunications, services & usages Jean-Marie Gorce

5° Nouvelle approche de compression : utilisée dans MPEG Principe : utiliser les propriétés de masquage de certaines zones de fréquence pour réduire le débit nécessaire. Pertes non perceptibles Passage dans le domaine de Fourier nécessaire Codage en sous-bandes TSI Télécommunications, services & usages Jean-Marie Gorce

II-norme MPEG Audio 1°) Etat des lieux Qualité Audio Numérique 44. 1 k. Hz 16 bit (96 d. B relativement au seuil d ’audibilité) loi de distribution inconnue (pas de A-law) stéréo Débit de 1, 4 Mbit/s TSI Télécommunications, services & usages Jean-Marie Gorce

2°) Objectifs • Stockage (CD) : morceau de musique de 50 ’ 1. 4 Mbit/s*50*60=5. 05 Gbit=630 MO • Transmission (TVHD, multimedia) : temps réel diminuer le débit pour améliorer les capacités de transmission. Compression sans pertes audibles Normalisation nécessaire TSI Télécommunications, services & usages Jean-Marie Gorce

3°) MPEG Audio Moving Pictures Coding Experts Group http: //drogo. cselt. it/mpeg/ Janvier 1988 : naissance, groupe mandaté par ISO/EIC MPEG = normalisation vidéo / audio / system MPEG-1 : qualité VHS sur CD-rom (352 x 288 + CD audio @ 1. 5 Mbit/s) MPEG-2 : TVHS, multimedia ==>TV numérique AAC (fin Avril 97) Advanced Audio Coding MPEG-4 : diminuer le débit; coder infos complémentaires ==>Multimédia TSI Télécommunications, services & usages Jean-Marie Gorce

4°) MPEG-1 audio 3 couches définies (qualité/complexité du codage) pour qualité audio : layer 1 : 384 kb/s layer 2 : 256… 192 kb/s layer 3 : 128… 112 kb/s Tx de réduction 1/4 1/6. . 1/8 1/10. . 1/12 Mais différentes fréquences d ’échantillonnage et débits autorisés (32 k. Hz, 44. 1 k. Hz, 48 k. Hz) TSI Télécommunications, services & usages Jean-Marie Gorce

Qualité de compression, couche 3 sound quality telephone sound better than shortwave better than AM radio similar to FM radio near-CD CD bandwidth mode bitrate reduction ratio 2. 5 k. Hz mono 4. 5 k. Hz mono 16 kbps 48: 1 7. 5 k. Hz mono 32 kbps 24: 1 11 k. Hz 15 k. Hz >15 k. Hz stereo 56. . . 64 kbps 26. . . 24: 1 stereo 96 kbps 16: 1 stereo 112. . 128 kbps 14. . 12: 1 8 kbps * 96: 1 *) Fraunhofer uses a non-ISO extension of MPEG Layer-3 for enhanced performance ("MPEG 2. 5") From the Fraunhofer Institute for Integrated Circuits, Applied Electronics Center, IIS-A, http: //www. iis. fhg. de/about/index. html TSI Télécommunications, services & usages Jean-Marie Gorce

Principe général de MPEG-1 (et suivants) in Filtres Décomposition en bandes critiques Allocation des bits (f(s²)) Quantification +Codage Exploitation masquage TSI Télécommunications, services & usages Jean-Marie Gorce

384 ech. Layer 1 : Masquage fréquentiel + QScal Layer 2 : + Masquage temporel Layer 3 : + Redondance stéréo + Huffman TSI Télécommunications, services & usages Jean-Marie Gorce

III-Codage en sous-bandes 1°) Sous-échantillonnage TSI Télécommunications, services & usages Jean-Marie Gorce

Spectre d ’un signal échantillonné A -f. E/2 f 0 f. E/2 f. E Composante continue ? ? Constante, Sinusoïde f 0=f. E, ou f 0=2. f. E TSI Télécommunications, services & usages Jean-Marie Gorce

Recouvrement spectral A -f. E/2 f 0 f. E/2 f. E Sous-échantillonnage A/2 -f. E/2 f 0 f. E/2 TSI Télécommunications, services & usages f. E Jean-Marie Gorce

Filtre anti-repliement A/2 -f. E/2 f 0 f. E/2 f. E/4 A/2 -f. E/2 f 0 f. E/2 TSI Télécommunications, services & usages f. E Jean-Marie Gorce

2°) Décomposition en 2 sous-bandes A -f. E/2 f 0 f. E/2 f. E Périodicité!!! A -f. E/2 f 0 TSI Télécommunications, services & usages Jean-Marie Gorce

Représentation des 2 sous-bandes A -f. E/2 f 0 f. E/2 f. E A -f. E/2 f 0 f. E/2 TSI Télécommunications, services & usages f. E Jean-Marie Gorce

Sous-échantillonnage des 2 sous-bandes A/2 -f. E/2 f 0 f. E/2 f. E A/2 -f. E/2 f 0 f. E/2 TSI Télécommunications, services & usages f. E Jean-Marie Gorce

3°) Sur-échantillonnage A -f. E/2 f 0 f. E/2 f. E A -2. f. E -f. E/2 f 0 f. E/2 f. E TSI Télécommunications, services & usages 2. f. E Jean-Marie Gorce

dans le domaine temporel TSI Télécommunications, services & usages Jean-Marie Gorce

Filtre passe-bas=interpolateur A -2. f. E -f. E/2 f 0 f. E/2 f. E TSI Télécommunications, services & usages 2. f. E Jean-Marie Gorce

4°) Sous / Sur-échantillonnage d ’un facteur m perte d ’information x(n) x. SE(n) H(z) m m F(z) TSI Télécommunications, services & usages x. SE(n) x’(n) Jean-Marie Gorce

Schéma de principe de la décomposition en 2 sous-bandes x(n) H 0(z) 2 N points 2 H 1(z) x 0(n) N/2 points x 1(n) N/2 points H 0 : filtre réel [0; fe/4] H 1 : filtre réel [fe/4; fe/2] TSI Télécommunications, services & usages Jean-Marie Gorce

5°) Généralisation en N sous-bandes N/m points x(n) N points H 0(z) m H 1(z) m Hm(z) m x 0(n) m F 0(z) x 1(n) m F 1(z) xm(n) m Fm(z) TSI Télécommunications, services & usages Jean-Marie Gorce

TSI Télécommunications, services & usages Jean-Marie Gorce

6°) Les problèmes techniques 1) Le choix des filtres H : parfaits => IIR 2) Approximation => choix des filtres F adaptés (transformée en Cosinus) 3) Sélectionner la bonne longueur de vecteur initial 4) Nombre de bandes de fréquences TSI Télécommunications, services & usages Jean-Marie Gorce

7°) Les progrès MPEG-2, 4 Utiliser le modèle psycho-acoustique pour choisir le nombre de bits par bande de fréquence. Utiliser une répartition non homogène de l’ échelle des fréquences. Utiliser la redondance entre voies stéréo (ou 5 voies, surround). Intégration du codage vectoriel / prédiction linéaire sur les bandes de fréquences. TSI Télécommunications, services & usages Jean-Marie Gorce

IV-Conclusion Codage parole (téléphonie) full-duplex Codage audio (musique) Un bon codeur = répondre à des contraintes spécifiques au plus près. Interactions entre vectoriel / sous-bandes TSI Télécommunications, services & usages Jean-Marie Gorce