IV Compression 1 Introduction 2 Approches directes 3

IV. Compression • 1. Introduction • 2. Approches directes • 3. Approches par transformation • 4. Compression de séquences d'images Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 78

IV. 1 Introduction 3 Objectifs Réduction du volume occupé par les images numériques pour faciliter leur transfert et/ou leur stockage 3 Historique • 1952 : Codeur entropique (Huffman) • 1978 : DCT (Pratt) • 1980 : Vectoriel (Linde-Buzo-Gray) • 1986 : Sous-bandes (Woods) • 1986 : Vectoriel sur treillis (Fisher) • 1989 : JPEG • 1989 : MPEG-2 Dpt. Télécommunications, Services & Usages • 1989 : Ondelettes (Mallat, Daubechies) • 1990 : Fractales (Jacquin) • 1996 : SPIHT • 1996 : MPEG-4 • 1997 : MPEG-7 • 1998 : JPEG 2000 Traitement d'images H. Benoit-Cattin 79

3 Applications • Imagerie médicale Télémédecine • Imagerie spatiale • Imagerie sous-marine • Archivage divers (Musée, BNF, Empreintes. . . ) • Vidéo conférence / visiophone (64 kb/s) • Télésurveillance • Video On Demand • Télévision numérique (150 Mb/s). . . Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 80

3 Classification des méthodes de compression Sans pertes / avec pertes contrôlées q Sans pertes (Huffman, Quadtree) • image originale = image comprimée TC limité (#3) q Avec pertes contrôlées • On perd l'information qui se voit peu TC augmente • Recherche d'un compromis Tc / Qualité Directe / Transformation q Directe Quantification & codage des pixels de l'image q Transformation Quantification & codage des coeff. transformés Fonction de la zone élémentaire de traitement q Pixel, ligne, bloc, image entière. . . Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 81

3 Evaluation d'une méthode compression Dépend de l'application • Taux de compression (Tc) Ex : image (512 x 8 bpp) avec Tc=10 512 x 8/10=26215 bits 0. 8 bpp • Qualité • Critère mathématique (RSB) Avec • Critères subjectifs - Courbes ROC (médecine) - Notations subjectives (TV) Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 82

• Autres critères • Vitesse d'exécution : codeur /décodeur • Complexité - Additions / multiplications - Soft / Hard • Résistance au bruit de transmission • Intégration de post-traitements - Prise en compte du récepteur (homme / machine) • Coût financier • Scalability Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 83

IV. 2 Approches directes 3 Codage Huffman 3 Codage arithmétique 3 Codage par longueur de plage 3 Codage type dictionnaire Codeurs de source (Th. Information) 3 Quantification scalaire 3 Quantification vectorielle 3 Méthodes prédictives 3 Approche quadtree 3 Codage fractale Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 84

3 Codage Huffman (1952) • Algorithme Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 85

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 86

3 Codage Arithmétique (1976) u JBIG Codage des Fax type IV Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 87

• Exemple Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 88

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 89

3 Codage par longueur de plage (Run length coding) • CCITT, Fax groupe III • JPEG Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 90

3 Codage de type dictionnaire (1977) Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 91

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 92

3 Quantification scalaire • Traitement pixel à pixel Diminuer le nombre de niveaux de gris utilisés : Nnq < Nnp • Problèmes - Comment choisir les seuils de quantification (si) ? - Comment choisir les niveaux de quantification (qi) ? Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 93

3 Quantification scalaire uniforme linéaire • Seuils répartis de façon uniforme • Niveaux = milieux des seuils • C'est un quantificateur linéaire avec Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 94

3 Quantification scalaire uniforme optimale • Seuils répartis de façon uniforme • Niveaux = Barycentre (histogramme) 3 Quantification optimale (Loyd-Max : 1960) • Minimise l'erreur de quantification • Algorithme itératif très long pour des distributions inconnues • Tables pour des dist. gaussiennes, laplaciennes, . . . • Fait le travail du codeur ! Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 95

3 Exemple de comparaison (peppers : 512 x 8 bpp) 3 Remarque Efficacité variable du codeur entropique ! Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 96

Image originale Q. uni. lin. : RSB 22, 5 d. B Q. uni. opt. : RSB 23, 8 d. B Q. Max : RSB 24, 2 d. B Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 97

3 Quantification vectorielle • Extension de la quantification scalaire Pixel Vecteur = bloc de pixels contigus • Vecteur de taille et forme variable 3 Approche optimale : Linde Buzo Gray (1980) • Phase d'apprentissage : dictionnaire de vecteurs • Vecteur = représentant d'une région de Voronoï de taille variable • Dictionnaire connu du codeur /décodeur Phase d'apprentissage délicate Temps de recherche dans le dictionnaire Approche treillis Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 98

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 99

3 Approche Treillis : Fisher, Conway, Sloane (1986) • Extension de la quantification linéaire uniforme • Treillis = vecteurs régulièrement répartis dans Rn Dictionnaire pré-défini Pas d'apprentissage Algorithme de quantification rapide • Algorithme de quantification vectorielle sur treillis - Choix de la norme : L 1 Laplacien Pyramide L 2 Gaussien Sphère - Choix de la taille des vecteurs - Choix du treillis : Zn, An, Dn (4), En(8), n(16) Taux (B) K rayon du dictionnaire contenant 2 n. B vecteurs Procédure de dénombrement Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 100

Bornage des vecteurs par le facteur d'échelle A = Es/K Ramène les vecteurs à l'intérieur du dictionnaire - Traitement spécial pour les vecteurs d'énergie > Es Quantification - Vecteur vecteur du dictionnaire le plus proche Codage des vecteurs : code produit - Rayon : code Huffman - Index : code de longueur fixe Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 101

Illustration de la quantification vectorielle sur treillis Vecteurs 2 x 1 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 102

Structure de fichier codé Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 103

3 Méthodes prédictives (1974) Exploitent la corrélation entre pixel voisin Modulation par Impulsions Codées Différentielles (MICD) DPCM – Propagation des erreurs – Prédicteurs non optimaux Adaptation aux statistiques locales Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 104

3 Approche Quadtree • Découpage récursif en carrés homogènes Critère de split : variance, . . . Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 105

• Codage de l'arbre : règle de parcours (Peano) • Codage des régions homogènes : moyenne, interpolation. . . Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 106

3 Compression par fractale • Les Fractales (B. Mandelbrott) - Observations naturelles : nuages, plantes. . . - Auto-similarité à toutes les échelles redondance dans l'image • Les 'Iterated Functions Systems' (IFS) - Wi : Transformation affine contractante rotations, réflexions position déplacement scaling variance Dpt. Télécommunications, Services & Usages Traitement d'images niveau de gris offset moyenne H. Benoit-Cattin 107

• Recherche d'un IFS pour générer une image très fort taux de compression mais image spéciale • Approche directe Transformation de l'image = morceau de l'image # w 1(image) w 2 (image) . . . wn (image) Fougère : 4 transformations = 192 bits 512² : Tc = 1365 • Utilisation de bibliothèque d'IFS image segmentée en un ensemble d'IFS connus Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 108

• Compression par IFS local (Jacquin 1990) - Approche valable sur des images quelconques 3 Codage Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 109

Mettre les Dj à la taille de R : Sous-échantillonnage +- moyennage Définir la zone de recherche - toute l'image - limitée (ei, fi) Recherche du (Wi. Dj) le plus proche de Ri - Mesure de distance L 1, L 2, L Ex : pour L 2 - ai, bi, ci, di = (0, -1, 1) 4 rotations (-90, 180, 0) 4 réflexions(_ | / ) Codage de longueur fixe ou variable code = Swi Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 110

3 Variantes Codage très long Décodage instantané Dpt. Télécommunications, Services & Usages - formes des blocs - recherche des wi - codage des wi Traitement d'images H. Benoit-Cattin 111

Point de départ It n° 1 RSB = 23, 8 d. B It n° 2 RSB = 27, 33 d. B Dpt. Télécommunications, Services & Usages It n° 3 RSB = 32, 16 d. B Tc = 10 Traitement d'images H. Benoit-Cattin 112

IV. 3 Approches par transformation Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 113

Représentation différente de l'image Décorrélation Gain en performances Temps de calcul supplémentaire • Une Transformation Réversible (sans perte) Orthogonale (énergie conservée) Rapide 3 DCT JPEG 3 Ondelettes SPIHT, JPEG 2000 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 114

3 Compression DCT bloc : JPEG (1989) • DCT bloc 8 x 8 homogénéité locale de l'image l'erreur de quantification est localisée au bloc Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 115

• Schéma général Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 116

• Matrice de normalisation allocation des bits aux coeffs avant quantification par arrondi Matrice chrominance Matrice luminance Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 117

• Lecture zig-zag prise en compte de la répartition spatiale de l'énergie pour faire apparaître de longues plages de coeffs nuls • Codage du coeff DC DPCM d'ordre 1 + Huffman Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 118

• Codage des coeffs AC Codage hybride : runlength +. . . + Huffman - Huffman = Code (plage de 0 + catégorie) 162 codes : 10 catx 16 lp+2(EOB+16) Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 119

• Exemple 0 -2 -1 046 111001 0 0 / 00 0 / 11011 0 / 1010 • Extrait de la table d'Huffman des AC Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 120

• Remarques JPEG = méthode générale à adapter. . . Très performant à taux faibles (#10) Effets de blocs à taux élevés Tc = 10 / RSB = 30. 1 d. B Dpt. Télécommunications, Services & Usages Traitement d'images Tc = 20 / RSB = 28. 7 d. B H. Benoit-Cattin 121

3 Compression sous-bandes / ondelettes Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 122

• Décomposition pyramidale en sous-bandes banc de filtres FIR 1 D : bi-orthogonaux 9 -7 - phase linéaire, rec. parfaite, pas orthogonaux, réguliers Concentration d'énergie dans la BB Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 123

• Quantification séparée des sous-bandes (Woods 86) Sous-bande BF : histogramme - DPCM + scalaire + codeur entropique Sous-bandes HF : histogramme laplacien - QV treillis, . . . Allocation des bits aux sous bandes par modèle - Min(D) avec B<Bf Optimisation - Théorie de la distorsion : bruit de quantification D=f(B) - très rapide sous-optimal (modèle réalité) Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 124

• Exemples Originale Dpt. Télécommunications, Services & Usages Sous-bandes Tc=32 Traitement d'images H. Benoit-Cattin 125

Sous-bandes Tc=32 RSB = 30. 1 d. B Dpt. Télécommunications, Services & Usages JPEG Tc=32 RSB -3% Traitement d'images H. Benoit-Cattin 126

Originale Dpt. Télécommunications, Services & Usages Sous-bandes Tc=60 !! Traitement d'images H. Benoit-Cattin 127

• Quantification globale des sous-bandes (shapiro 93) SPIHT Algorithme très rapide, RSB élevé, 'embedded' Basé sur : - Transmission progressive par plan de bits = Q. scalaire - Exploite l'auto-similarité inter-sous-bandes : arbres de coeffs http: \ipl. rpi. edu/research/SPIHT Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 128

3 SPIHT (Set Partitionning In Hierarchical Trees) Said & Pearlman 96 • Décomposition en ondelettes (9 -7) • Partition des coeffs en arbres signifiants • Transmission progressive par plan de bits • +- Codeur arithmétique Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 129

• Transmission progressive par plan de bits Minimiser l'erreur de quantification D Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 130

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 131

• Partitionning Tree 3 Relation de parenté inter sous-bandes Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 132

3 Règles de signification |ci, j| 2 n 3 Définition des ensembles Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 133

3 Règles de division 3 Listes de signifiants ! SPIHT ne fait que de la gestion de liste de coordonnées et du masquage binaire Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 134

3 Algorithme de codage Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 135

La stratégie de parcourt est connue du décodeur les coordonnées ne sont plus codées ! Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 136

• Exemples JPEG Tc=32 RSB : 30. 25 Dpt. Télécommunications, Services & Usages SPIHT Tc=32 RSB : 32. 45 Traitement d'images H. Benoit-Cattin 137

SPIHT , TC=30 Dpt. Télécommunications, Services & Usages SPIHT , TC=240 ! Traitement d'images H. Benoit-Cattin 138

3 JPEG 2000 (96 -Fin 99) Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 139

IV. 4 Compression de séquences d'images 3 Supprimer la redondance spatiale ou intra-image approches 2 D 3 Supprimer la redondance temporelle ou inter-image utiliser le déjà vu et le mouvement Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 140

3 Les normes MPEG Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 141

3 Les bases de H 261 à MPEG 2 33 types d'images : 3 codages Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 142

• Images I (intra) - Codées JPEG' - Point d'accès séquence (0. 5 s) - Tc faible • Images P (Prédites) - Prédites à partir de I ou P - Codage DPCM des vecteurs mvt - Codage JPEG* de l'erreur de prédiction - Tc élevé - Propagation de l'erreur • Images B (Bidirectionnelles) - Interpolées à partir des I P - Tc le plus élevé Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 143

• 2 paramètres de réglage - N : distance inter-I (#12) - M : distance inter-P (#3) GOP Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 144

3 Estimation du mouvement par block matching - Blocs 16 x 16 - Compromis simplicité / efficacité - Rapide : algorithme logarithmique Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 145

3 Le codage des images P 1 - Calcul des Vj entre 2 - Synthèse de Ip(n) : 3 - Calcul de l'erreur : E(n) = Ip(n) - I(n) 4 - Codage JPEG* de E(n) 4 bis- Mémorisation de 5 - Codage DPCM des Vj Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 146

3 Codeur MPEG 2 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 147

3 Décodeur MPEG 2 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 148

3 Codage et TVnum • Numérisation brute : 200 Mb/s • DVB # DVD = MPEG 2 MP@ML - 720 x 480/576 (30/25 Hz) avec IPB - 4 Mb/s (PAL/SECAM) à 9 Mb/s (studio) - Tc de 40 à 18 Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 149

3 MPEG 4 : caisse à outil multimédia ! MPEG 4 = beaucoup + que de la compression TV Num Appli. graph. interactives WWW MPEG 4 Eléments technologiques standardisés Auteurs - Fournisseurs de services - Utilisateurs Production - Distribution - Accès Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 150

3 Auteurs - Rendre faisable et flexible la production d'objets intégrant des technos TV, Web, VRML. . . - Protéger leur droit 3 Fournisseurs de service - Fournir une info transparente, auto-adaptable aux réseaux - Gestion de la Qualité de service (Qo. S) 3 Utilisateurs - Bénéficier de nouveaux produits avec une forte interactivité Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 151

3 Les AVO de MPEG 4 • Données = Audio Visual Objects Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 152

• Scène = S(AVO's) • Interactivité pour les utilisateurs - Changement de point de vue - Navigation dans la scène - Interaction avec la scène - Modification de la scène Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 153

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 154

3 La compression d'images dans MPEG 4 • Boite à outils adaptée aux AVO - JPEG, MPEG 2 - Ondelettes, Zerotree - Méthodes de 2ème génération Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 155

3 La compression par maillage actif • Objectif Déformer un maillage pour l'adapter à l'image : - Noeuds sur les contours & Cellules homogènes • Stratégie de déformation - Modèle mécanique avec minimisation d'énergie • Stratégies de codage - Codage de la structure : position des noeuds - DPCM + Codeur entropique - Codage de la texture : intérieur des cellules - Interpolation - Wharping + méthodes par transformation Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 156

Maîtriser le temps de déformation Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 157

3 La compression par modèle • Principe - Déformer le modèle pour le faire coller à l'image - Coder la déformation au cours du temps - Coder l'intérieur des mailles Spécifique à des modalités d'images Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 158

3 La compression par approche Objets • Principe - Segmenter ( ) l'image en régions homogènes : les objets - Coder la carte des objets ( ) : 'chain coding' - Coder l'intérieur des Objets : shape DCT • Chain coding Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 159

Plan • I. Introduction • II. Représentations & Acquisition • III. Pré-traitement & Amélioration • IV. Compression • V. Segmentation • VI. Introduction à l'indexation • VII. Introduction au tatouage • VIII. Conclusion Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 160