Soutenance de thse ANALYSE EN COMPOSANTES INDPENDANTES ACI

Soutenance de thèse ANALYSE EN COMPOSANTES INDÉPENDANTES (ACI) ET COMPRESSION DE DONNÉES Michel Narozny Équipe Systèmes de Traitement des Signaux, Supélec, campus de Metz 12 décembre 2005 Soutenance de thèse de Michel Narozny 1

Deux domaines de recherche… q Un sujet de thèse à la charnière entre deux domaines de recherche: Analyse en composantes indépendantes ØSéparation aveugle de sources, ØAnalyse de données (images, bourses), Mon sujet de thèse Compression de données ØPhotos numériques, ØVidéos, ØImages médicales, ØModélisation du cortex visuel, ØMusique, … ØAstronomie, … 12 décembre 2005 Soutenance de thèse de Michel Narozny 2

Pourquoi associer ACI et compression? BUT: réduire la complexité des codeurs Réduction de redondance dans les données Compression de données: ACI: outil pour réduire la redondance dans les données on cherche à réduire/éliminer la redondance dans les données 12 décembre 2005 Soutenance de thèse de Michel Narozny 3

Redondance résiduelle exploitée par les codeurs ● SPIHT ● Exploite la redondance entre des coefficients d’ondelettes situés au même endroit dans des sous-bandes différentes ●●● EBCOT (JPEG 2000) Exploite la redondance entre des coefficients d’ondelettes situés dans une même sous-bande 12 décembre 2005 Soutenance de thèse de Michel Narozny 4

L’ACI diminue la redondance q Images de la galaxie 3 C 120 prises avec 4 filtres différents q Images obtenues après ACI (algorithme Fast. ICA) Référence: D. Nuzillard and A. Bijaoui. Blind source separation and analysis of multispectral astronomical images. Astron. Astrophys. Suppl. Ser. 147, 129 -138 12 décembre 2005 Soutenance de thèse de Michel Narozny 5

Travaux précédents (1/2) q. Principe de réduction de redondance pour expliquer la stratégie de codage de l’information visuelle dans le cortex visuel primaire (V 1) q L’ACI modélise bien les champs récepteurs des cellules simples de V 1 Localisation dans l’espace et en fréquence + orientation Olshausen BA. Principles of Image Representation in Visual Cortex. In: The Visual Neurosciences, L. M. Chalupa, J. S. Werner, Eds. MIT Press, pp. 1603 -15, 2003 12 décembre 2005 Soutenance de thèse de Michel Narozny 6

Travaux précédents (2/2) q. Codage par transformée classique 1 (Puga et Alves, 98) Øl’ACI est moins performante que la transformée de Karhunen-Loève en codage à bas débit d’images en niveaux de gris q. Codage prédictif 2 (Marusic et Deng, 99) ØLes performances de l’ACI varient selon la méthode de quantification utilisée q. Matching pursuit 3 (Ferreira et Figueiredo, 03) ØPublié au milieu de ma thèse ØGain de la méthode par rapport à JPEG de 2, 3 d. B à 0. 62 bpp 1) A. T. Puga and A. P. Alves. An experiment on comparing PCA and ICA in classical transform image coding. ICA’ 98 2) S. Marusic and G. Deng. ICA-FIR based image redundancy reduction. ICA’ 99 3) A. J. Ferreira and M. A. T. Figueiredo. Class-adapted image compression using independent component analysis. ICIP’ 03 12 décembre 2005 Soutenance de thèse de Michel Narozny 7

Objectif et contributions q Objectif: ØComprendre le lien qui existe entre les performances en compression et la réduction de redondance dans les données q Contributions ØÉvaluation des performances de l’ACI “standard” en codage par transformée (codage par blocs) ØNouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié Ø Proposition de deux nouveaux algorithmes d’ACI modifiés: §GCGsup: calcul de la transformation linéaire optimale §ICAorth: calcul de la transformation orthogonale optimale 12 décembre 2005 Soutenance de thèse de Michel Narozny 8

Plan de la présentation q Introduction q Présentation du schéma de codage étudié q Évaluation des performances de l’ACI en compression q Proposition de transformations optimales obtenues à partir d’algorithmes d’ACI modifiés q Conclusion et perspectives 12 décembre 2005 Soutenance de thèse de Michel Narozny 9

Présentation du schéma de codage étudié Plan q Introduction q Choix du type de transformation q Présentation du schéma de codage étudié q Choix des quantificateurs q Performances de l’ACI en compression q Choix du codeur entropique q Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés q Conclusion et perspectives 12 décembre 2005 q Choix des mesures de distorsion et de débit q Choix de la méthode d’allocation de débit Soutenance de thèse de Michel Narozny 10

Structure d’un codeur par transformée 12 décembre 2005 Soutenance de thèse de Michel Narozny 11

Structure d’un décodeur Inverse mathématique 12 décembre 2005 Soutenance de thèse de Michel Narozny 12

Choix du type de transformation Q 1 Transformation linéaire Q 2 (matrice de dimension 64× 64) Découpage de Balayage de chaque l’image en blocs de bloc de haut en bas 8× 8 pixels et de gauche à droite 12 décembre 2005 Q 64 Vecteur de 64 composantes Soutenance de thèse de Michel Narozny Quantification 13

Choix des quantificateurs q. Différents types de quantificateurs: scalaires, vectoriels q. Notre choix: quantificateur scalaire uniforme infini Ø simplicité, souvent utilisé, Øcaractérisé seulement par son pas de quantification: q Ø optimal pour une source sans mémoire, sous l’hypothèse haute résolution et à condition d’être suivi par un codeur entropique q. Rappel: hypothèse haute résolution ØLe nombre de niveaux de quantification est élevé ØLa ddp des données à quantifier est constante dans chaque intervalle de quantification ØLes représentants sont pris au milieu des intervalles 12 décembre 2005 Soutenance de thèse de Michel Narozny 14

Choix du codeur entropique q. Dernière étape de la chaîne de codage (sans perte) q. But: exploiter la redondance résiduelle présente dans les coefficients après quantification q. Idée: représenter un coefficient quantifié (ou un ensemble de coefficients quantifiés) à l’aide d’un mot de code dont la longueur dépend de sa probabilité d’occurrence q. Exemples: codeurs de huffman, arithmétique, mais aussi… EBCOT q. Notre choix: ne pas utiliser de codeur entropique 12 décembre 2005 Soutenance de thèse de Michel Narozny 15

Choix des mesures de distorsion et de débit q. Mesure de distorsion ØErreur quadratique moyenne (EQM) entre le signal d’entrée et le signal reconstruit ØPic du rapport signal sur bruit en compression d’images (PRSB) dyn = 8 pour une image codée sur 8 bits q. Mesure de débit ØDébit de compression (bpp) ØRi = débit de la ième composante §Compression à haut et moyen débits: entropie d’ordre 1 des coefficients quantifiés lorsque l’hypothèse haute résolution est vérifiée §Compression à bas débit: entropies d’ordres 2, 4 et 9 12 décembre 2005 Soutenance de thèse de Michel Narozny 16

L’allocation de débit (1/2) q. Présentation du problème ØTrouver les pas de quantification des N quantificateurs qui minimisent la distorsion D sous la contrainte d’un débit cible Rcible Øou, d’une manière équivalente, qui minimisent le débit R sous la contrainte d’une distorsion cible Dcible q Approximation de la distorsion wi: carré de la norme de la ième colonne de la transformation inverse q. Validité de l’approximation (1) Ølorsque l’hypothèse haute résolution est bien vérifiée Øou, lorsque les vecteurs colonnes de la transformation inverse sont orthogonaux ou quasi-orthogonaux Øou, lorsque les composantes transformées sont deux à deux indépendantes 12 décembre 2005 Soutenance de thèse de Michel Narozny 17

L’allocation de débit (2/2) q. Méthode analytique Øoptimale lorsque l’hypothèse haute résolution est bien vérifiée (compression à haut et moyen débits) ØFormule d’allocation de débit: (1) où et q. Algorithme de Shoham et Gersho Ø Méthode d’optimisation numérique utilisant des couples débits-distorsions obtenus expérimentalement (voir rapport de thèse) Øoptimal quelque soit le débit, utilisé à bas débit dans nos tests 12 décembre 2005 Soutenance de thèse de Michel Narozny 18

Conclusion de la première partie q. Proposition d’un dispositif expérimental simple pour évaluer les performances d’une transformation linéaire à haut, moyen et bas débits q. Partie suivante: évaluation des performances de l’ACI 12 décembre 2005 Soutenance de thèse de Michel Narozny 19

Performances de l’ACI en compression Plan q Introduction q Algorithmes d’ACI testés q Présentation du schéma de codage étudié q Signaux testés q Performances de l’ACI en compression q Réduction de redondance obtenue avec l’ACI q Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés q Performances à haut, moyen et bas débits q Conclusion et perspectives 12 décembre 2005 Soutenance de thèse de Michel Narozny 20

Définition du modèle d’ACI S 1 S 2 Mélange linéaire instantané: S 3 S 4 X = AS Sources indépendantes (au plus une source gaussienne) Observations X 1 X 2 X 3 X 4 Séparation Y=BS, B=DPA-1 Sources estimées Y 1 12 décembre 2005 Y 2 Y 3 Soutenance de thèse de Michel Narozny Y 4 21

Trois approches théoriques célèbres q. Approche du maximum de vraisemblance ØLes ddp des sources sont supposées a priori connues ØOn peut relâcher cette hypothèse en choisissant des ddp a priori quelconques (on ne recouvre pas toujours les sources d’origine) q. Minimisation de l’information mutuelle ØConnaissance a priori des ddp des sources n’est pas nécessaire ØLes algorithmes sont plus lourds à mettre en œuvre q. Infomax (approche de type réseaux de neurones) ØÉquivalent au maximum de vraisemblance 12 décembre 2005 Soutenance de thèse de Michel Narozny 22

Algorithmes d’ACI testés q. Minimisation d’une approximation de l’information mutuelle Ø ACI, Fast. ICA, jade. R, SANG q. Minimisation directe de l’information mutuelle Ø ICAinf q. Exploitation des statistiques d’ordres 2 et 4 des données ØEVD 24 q. Algorithmes de séparation aveugle de sources qui exploitent les statistiques d’ordre 2 des données Ø SOBI, AMUSE, EVD 2 12 décembre 2005 Soutenance de thèse de Michel Narozny 23

Signaux testés q Image Lena (composante rouge), image médicale, signal musical q. Résolution et taille des signaux testés 12 décembre 2005 Soutenance de thèse de Michel Narozny 24

Réduction de redondance obtenue avec l’ACI üCoefficient de corrélation üInformation mutuelle 12 décembre 2005 Soutenance de thèse de Michel Narozny 25

Coefficients de corrélation avant transformation q Les valeurs des coefficients de corrélation sont élevées avant transformation (ex: Identité, image médicale, N = 64) 12 décembre 2005 Soutenance de thèse de Michel Narozny 26

Coefficients de corrélation après transformation q. Hormis ICAinf, tous les autres algorithmes d’ACI testés décorrèlent les composantes (exemple: jade. R, image médicale, N = 64) Coefficient de corrélation 12 décembre 2005 Soutenance de thèse de Michel Narozny 27

Coefficients de corrélation après transformation q. ICAinf, image médicale, N = 64 12 décembre 2005 Soutenance de thèse de Michel Narozny 28

Réduction d’information mutuelle q. Définition de la réduction d’information mutuelle (bpp) q. Exemple: image médicale, N = 64 Précision: ± 0, 01 bpp I (bpp) 12 décembre 2005 Soutenance de thèse de Michel Narozny 29

Performances à haut, moyen et bas débits 12 décembre 2005 Soutenance de thèse de Michel Narozny 30

Performances à haut et moyen débits q Pour l’image médicale et N=64, les performances de la TKL sont meilleures d’environ 1, 5 d. B par rapport à celles de la meilleure transformation d’ACI (sur cet exemple, ICAinf) ICAinf TKL 12 décembre 2005 Soutenance de thèse de Michel Narozny 31

Performances à bas débit q. Image médicale, N=64, débit = entropie d’ordre 4 12 décembre 2005 Soutenance de thèse de Michel Narozny 32

Performances à haut et moyen débits (signaux synthétiques) q Signaux synthétiques Gain(ICAinf/TKL) 2, 72 d. B 12 décembre 2005 Soutenance de thèse de Michel Narozny 33

Conclusion de la deuxième partie q. Les performances de la TKL sont meilleures que celles de l’ACI sur des signaux réels q. Cependant il existe des signaux synthétiques (non gaussiens) pour lesquels les performances de l’ACI sont meilleures que celles de la TKL q. Par conséquent, ni l’ACI ni la TKL ne sont optimales pour compresser des signaux non gaussiens q. Les critères d’optimalité de l’ACI et de la TKL ne sont pas adaptés au problème de la compression il faut reformuler le problème 12 décembre 2005 Soutenance de thèse de Michel Narozny 34

Transformations optimales obtenues à partir d’algorithmes d’ACI modifiés Plan q Introduction q Présentation du schéma de codage étudié q Performances de l’ACI en compression q Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés q Présentation du problème d’optimisation q Lien avec l’ACI q Algorithmes GCGsup et ICAorth q Résultats expérimentaux q Conclusion et perspectives 12 décembre 2005 Soutenance de thèse de Michel Narozny 35

Hypothèses q Cadre de l’étude Ø Aucune hypothèse sur le caractère gaussien ou non des signaux Ø L’hypothèse haute résolution est vérifiée Ø Allocation de débit optimale entre les composantes q Distorsion asymptotique en fonction du débit cible: (1) q Débit asymptotique en fonction de la distorsion cible: 12 décembre 2005 Soutenance de thèse de Michel Narozny (2) 36

Gain de codage généralisé q Gain de codage généralisé (1) q. Réduction de débit généralisée (2) (3) 12 décembre 2005 Soutenance de thèse de Michel Narozny 37

Transformation optimale q Critère d’optimisation proposé Critère utilisé en ACI Mesure de distance à l’orthogonalité de A Nouveau point de vue: Le problème de la recherche de la transformation linéaire optimale en codage par transformée peut se ramener à un problème d’ACI modifié 12 décembre 2005 Soutenance de thèse de Michel Narozny 38

Algorithme GCGsup q Version modifiée de l’algorithme ICAinf de D. -T. Pham pour calculer la transformation linéaire A qui minimise C(A) q L’algorithme (de type quasi-Newton) consiste à calculer à chaque itération une matrice ε par la résolution de (M = A-t. A-1): (i, j=1, …, N), puis à déplacer le point courant en A+εA. q. Hypothèses simplificatrices: ØLes composantes transformées sont proches de l’indépendance ØLa solution du problème est une matrice proche d’une matrice dont les colonnes sont deux à deux orthogonales 12 décembre 2005 Soutenance de thèse de Michel Narozny 39

Algorithme ICAorth q Autre version modifiée de l’algorithme ICAinf de D. -T. Pham pour calculer la transformation orthogonale A qui minimise C(A) q L’algorithme (de type quasi-Newton) consiste à calculer les éléments de la matrice ε de la manière suivante: (i, j=1, …, N), puis à déplacer le point courant en A+ε A. q lorsque ε est antisymmétrique A+ε A coïncide au second ordre avec la matrice eεA qui est orthogonale. 12 décembre 2005 Soutenance de thèse de Michel Narozny 40

Réduction de redondance obtenue avec GCGsup et ICAorth ü Coefficient de corrélation ü Réduction d’information mutuelle 12 décembre 2005 Soutenance de thèse de Michel Narozny 41

Coefficients de corrélation après transformation q Les nouvelles transformations décorrèlent moins bien que la TKL (ex: GCGsup, image médicale, N=64) Corrélations résiduelles 12 décembre 2005 Soutenance de thèse de Michel Narozny 42

Réduction d’information mutuelle q GCGsup et ICAorth permettent d’obtenir des composantes transformées plus indépendantes que celles obtenues avec la TKL Lena Image médicale Résultats proches de ceux obtenus avec ICAinf 12 décembre 2005 Soutenance de thèse de Michel Narozny 43

Performances à haut, moyen et bas débits 12 décembre 2005 Soutenance de thèse de Michel Narozny 44

Performances à haut et moyen débits Lena Image médicale Gain (GCGsup/TKL) 0, 43 d. B Gain (GCGsup/TKL) 0, 8 d. B Gain (ICAorth/TKL) 0, 37 d. B Gain (ICAorth/TKL) 0, 9 d. B 12 décembre 2005 Soutenance de thèse de Michel Narozny 45

Performances à bas débit PRSB = PRSB(GCGsup/ICAorth) – PRSB TKL Lena Image médicale 12 décembre 2005 Soutenance de thèse de Michel Narozny 46

Lien entre indépendance, orthogonalité et performances en compression 12 décembre 2005 Soutenance de thèse de Michel Narozny 47

Rappel: réduction de débit généralisée Réduction de débit généralisée 12 décembre 2005 Réduction d’information mutuelle Soutenance de thèse de Michel Narozny Distance à l’orthogonalité 48

Indépendance et orthogonalité TKL 12 décembre 2005 Soutenance de thèse de Michel Narozny 49

Vecteurs de base (Lena, N=64) TKL 12 décembre 2005 GCGsup Soutenance de thèse de Michel Narozny 50

Conclusion qÉtude située à la charnière entre deux domaines de recherche: l’ACI et la compression de données q La TKL offre de meilleures performances que l’ACI standard en compression à haut, moyen et bas débits q. Nouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié q Deux nouveaux algorithmes: GCGsup et ICAorth q Gain de codage des nouvelles transformations par rapport à la TKL 12 décembre 2005 Soutenance de thèse de Michel Narozny 51

Perspectives qÉtude comparative des performances de la TKL et des nouvelles transformations sur un échantillon statistiquement représentatif d’images q. Utilisation d’un vrai codeur entropique q. Codage d’images multicomposantes ØSchéma de codage associant des transformées en ondelettes et les transformations retournées par GCGsup et ICAorth ØCritère multicomposante = somme pondérée des critères monocomposantes 12 décembre 2005 Soutenance de thèse de Michel Narozny 52

Merci de votre attention! 12 décembre 2005 Soutenance de thèse de Michel Narozny 53