Techniques biomdicales Le traitement dimages mdicales Caroline Petitjean

Techniques biomédicales Le traitement d’images médicales Caroline Petitjean Université de Rouen caroline. petitjean@univ-rouen. fr Caroline Petitjean Techniques biomédicales

Traitement d’images Résultat : visualisation améliorée Résultat : mesure de la surface de la tumeur Résultat : identification des cellules malades et saines Prétraitement Traitement Reconnaissance des formes Techniques biomédicales saine malade Caroline Petitjean

Objectifs en TIM Amélioration d’image Extraction d’information dans l’image Segmentation Comparer 2 images Reconstruction 3 D Recalage & fusion Techniques biomédicales Caroline Petitjean

Plan n Exemples d’applications n Spécificités des méthodes de TIM n Segmentation n Recalage et fusion d’images n En pratique Techniques biomédicales Caroline Petitjean

Exemples Amélioration du contraste de l’image Image acquise Contraste amélioré Radio Source : Synarc Techniques biomédicales Fond d’œil Caroline Petitjean

Exemples Quantification de la densité capillaire Segmentation de la surface du réseau capillaire Densité capillaire Source : [1] Techniques biomédicales Caroline Petitjean

Exemples Segmentation de tumeurs Source : Cours Devaux PCEM Techniques biomédicales Caroline Petitjean

Exemples Estimation de la contractilité des ventricules cardiaques en IRM radial Source : Thèse CP Quantification Estimation de mouvement circulaire Techniques biomédicales Caroline Petitjean

Exemples Scanner seul • Utilisation de l’imagerie fonctionnelle TEP pour le contourage en radiothérapie ü Meilleure détection/discrimination des tissus tumoraux Scanner + TEP ü Modification de la forme/volume du volume tumoral comparé aux images scanner seules. Source : S. Hapdey, CHB, Rouen Techniques biomédicales Caroline Petitjean

Exemples Comparaison d’images avant/après Source : Université Louis Pasteur, Strasbourg Techniques biomédicales Caroline Petitjean

Exemples Comparaison d’images complémentaires IRM Scanner Source : EPFL Techniques biomédicales Caroline Petitjean

Exemples Comparaison d’images complémentaires Scanner TEP Source : EPFL Techniques biomédicales Caroline Petitjean

Exemples Atlas d’organes Source : INRIA http: //www. imaios. com/fr/e-Anatomy/Genou-IRM Techniques biomédicales Caroline Petitjean

Pourquoi faire un traitement par ordinateur ? Les logiciels d’aide au diagnostic permettent de : - diminuer la variabilité intra- et inter-expert - réduire le temps passé à des tâches fastidieuses - estimer de nouveaux paramètres Techniques biomédicales Caroline Petitjean

Plan n Exemples d’applications n Spécificités des méthodes de TIM n Segmentation n Recalage et fusion d’images n En pratique Techniques biomédicales Caroline Petitjean

Spécificités des méthodes de TIM Prise en compte des caractéristiques des images médicales Robuste Rapide (pratique clinique) (Semi-)Automatique Validée Techniques biomédicales Caroline Petitjean

Spécificités des méthodes de TIM Effet de volume partiel dans les modalités tomographiques • Chaque coupe a une épaisseur non nulle Source : [2] Techniques biomédicales Caroline Petitjean

Spécificités des méthodes de TIM Rappel : différents types de bruits en vision par ordinateur : Original Salt and pepper (noir et blanc, aléatoire) Gaussien (additif) Techniques biomédicales Speckle (multiplicatif) Caroline Petitjean

Spécificités des méthodes de TIM Images échographiques (US) : bruit “speckle” (multiplicatif) Images IRM : bruit gaussien Techniques biomédicales Caroline Petitjean

Spécificités des méthodes de TIM En IRM : intensité non uniforme (INU) Source : [2] B. Dawant and A. Zijdenbos. Chapter 2: Image Segmentation. Handbook of Medical Imaging. Volume 2: Medical Image Processing and Analysis, SPIE Press: p. 71 -127, 2000. Techniques biomédicales Caroline Petitjean

Source : [2] Correction de INU en IRM Techniques biomédicales Caroline Petitjean

Spécificités des méthodes de TIM Images scanner (CT) : unités Hounsfield Caroline Petitjean http: //www. med. univ-angers. fr/discipline/radiologie/PDFs/DC 1_IPDM/Dias_IPDM_TDM. pdf Techniques biomédicales

Plan n Exemples d’applications n Spécificités des méthodes de TIM n Segmentation n Recalage et fusion d’images n En pratique Techniques biomédicales Caroline Petitjean

Segmentation : objectifs Extraction de points, lignes ou régions Calcul de paramètres régionaux (surfaces. . . ) Peut être effectuée avant ou après recalage Source : [1] Techniques biomédicales Caroline Petitjean

Segmentation Recherche de frontières (approches « contours » ) filtrage linéaire, graph, contours actifs… Recherche de régions (approches « régions » ) seuillage, region growing… + Segmentation par techniques de classification (clustering) Techniques biomédicales Source : LIRMM Caroline Petitjean

Segmentation : approches régions But : Segmenter l’image en se basant sur des propriétés intrinsèques des régions • Seuillage • Croissance de régions Techniques biomédicales Caroline Petitjean

Seuillage Très simple au niveau algorithme très utilisé en routine clinique Seuillage global Originale Histogramme Seuillée Laplacien Source : [3] J. Rogowska. Overview and fundamentals of medical image segmentation. Handbook of medical imaging, Academic Press, p. 69 – 85, 2000. Techniques biomédicales Caroline Petitjean

Seuillage Techniques biomédicales Caroline Petitjean

Approches régions Croissance de régions (Region growing) § choix d'un germe § propagation selon un certain critère Accumulation des voisins vérifiant la propriété Source : LIRMM Techniques biomédicales Caroline Petitjean

Approches régions : application Segmentation de la graisse sous-cutanée et viscérale sur des images scanner acquises chez des patients atteints du VIH Source : [1] Techniques biomédicales Caroline Petitjean

Approches régions : application Segmentation par croissance de région selon un critère de seuillage Choix du seuil : § Codage sur 12 bits 4096 valeurs § Image CT en unités Hounsfield : [-1024 ; 3071] • • Air : -1024 HU Eau : 0 HU Graisse : -120 à – 60 HU Os : 1000 HU Techniques biomédicales Caroline Petitjean

Approches régions : application Segmentation par croissance de région selon un critère de seuillage A partir du germe : pixel région si son intensité [-120, -60] Source : [1] Techniques biomédicales Caroline Petitjean

Segmentation : approches "contours" Approche par filtrage linéaire Technique de graph searching Contours actifs & modèles déformables Techniques biomédicales Caroline Petitjean

Approches contours Utilisation du gradient de l’image Exemple : angiographie Image originale Masque Sobel 3 x 3 Seuillage Seuil bas (600) Seuillage Seuil haut (1000) Source : [3] Techniques biomédicales Caroline Petitjean

Approches contours Laplacien de l’image Nécessité de post-traitement très important ! Zero crossings Source : [3] Techniques biomédicales Caroline Petitjean

Approches contours • Le laplacien est sensible au bruit Techniques biomédicales Caroline Petitjean

Approches contours Laplacian of Gaussian (Lo. G) Laplacien de l’image Laplacien +gaussien Zero crossings Source : [3] Techniques biomédicales Caroline Petitjean

Approches contours • Laplacien surtout utilisé pour rehausser les contours Techniques biomédicales Caroline Petitjean

Approches contours • Autre possibilité pour rehausser les contours (a) Profil idéal (b) Profil observé (flou) (c) Filtré par une gaussienne (encore plus flou) (d) Mise en évidence des contours Techniques biomédicales Caroline Petitjean

Approches contours • Différences de gaussiennes (Do. G) Techniques biomédicales Caroline Petitjean

Approches contours • Utilisation de masques gradient ou laplacien – Sensibles au bruit – Nécessité de post-traitement + Calcul rapide Techniques biomédicales Caroline Petitjean

Approches contours Technique de “Graph searching” A utiliser lorsqu’on a de la connaissance a priori sur le contour. Ex : Point de début, de fin, connus Ex : Propriétés relatives à la forme du contours Contour non lisse Contour lisse (smooth) Courbure faible Courbure élevée Techniques biomédicales Caroline Petitjean

Approches contours A partir de l’image, on fabrique une matrice de coût, pour passer d’un pixel à l’autre Si zone uniforme : coût élevé Si zone de contour : coût faible Le coût dépend du gradient de l’image et de connaissance a priori sur le contour Un graph : ensemble de points ensemble de liens Segmenter l’image consiste à trouver le chemin de coût minimal dans le graphe Techniques biomédicales Caroline Petitjean

Approches contours Exemple Nd. G C(p q)=M-[I(p)-I(q)] Source : Gonzalez & Wood Graph searching : Problème très général Techniques biomédicales Caroline Petitjean

Approches contours IRM cardiaque Transformation en coordonnées polaires Source : Techniques biomédicales Lalande et al. 1999 Caroline Petitjean

Approches contours Image originale (coord. polaires) Source : Matrice de coût Segmentation finale Lalande et al. 1999 Techniques biomédicales Caroline Petitjean

Approches contours Source : Lalande et al. 1999 Techniques biomédicales Caroline Petitjean

Contours actifs Définition d’un snake P P 8 9 P 10 P 7 P 11 P 6 P 3 P 1 P 2 • Propriétés intrinsèques • Longueur, courbure… P 4 P 5 • Propriétés locales de l’image autour du snake Techniques biomédicales Caroline Petitjean

Exemple IRM cardiaque Source : A. Yezzi, Georgia Tech Univ. • Initialisation : • courbe assez proche du contour extraire Optimisation itérative : déformations du contour actif de façon ce qu’il atteigne une position d’énergie minimum. Techniques biomédicales Caroline Petitjean

Exemple snake 3 D Techniques biomédicales Caroline Petitjean

Energie d’un snake • Formulation paramétrique du contour Energie totale(C) = Eint(C) +Eext(C) • Energie interne : mesure la régularité de la courbe Elasticité Rigidité Techniques biomédicales Caroline Petitjean

Energie interne d’un snake Energie élastique Energie de courbure Techniques biomédicales Caroline Petitjean

Energie externe d’un snake • Energie externe : reliée au contenu de l’image Avec g fonction généralement décroissante de gradient de l’image • Si contour : gradient élevé g ≈ 0 • Si zone homogène : gradient faible g élevé Techniques biomédicales Caroline Petitjean

Energie externe d’un snake Zones brillantes ou sombres: Contours en tant que maxima de la norme du gradient: Répulsion d’une zone: Techniques biomédicales Caroline Petitjean

Résolution • Comment trouver C qui minimise E = Eint + Eext ? • Par l’équation d’Euler Lagrange Soit E la fonctionnelle d’énergie Dans notre cas : Pour que E atteigne un extremum, il faut que v(s) vérifie Equation d’évolution du snake Techniques biomédicales Caroline Petitjean

Conclusions sur les snakes • Avantage : calculs numériques rapides • Inconvénients – Segmentation multi-objets impossible – Phase d’initialisation sensible – Approche non intrinsèque Contours actifs géodésiques Techniques biomédicales Caroline Petitjean

Résultats de CAG • Source : Yezzi et al Techniques biomédicales Caroline Petitjean

Segmentation avec a priori de forme Quand la forme de l’objet à segmenter est connue et ne varie pas (trop) ASM Techniques biomédicales Caroline Petitjean

ASM appliqué en échocardio Contours de 96 points tracés manuellement sur 66 images par des cardiologues Techniques biomédicales Caroline Petitjean

ASM appliqué en échocardio • Variation sur les premiers vecteurs propres Variation de la largeur Variation du septum Variation de l’oreillette Variation du VGTechniques biomédicales Caroline Petitjean

ASM appliqué en échocardio • Utilisation à des fins de segmentation Techniques biomédicales Caroline Petitjean

ASM appliqué en échocardio • Utilisation à des fins de segmentation Initialisation du modèle Techniques biomédicales Caroline Petitjean

ASM appliqué en échocardio • Utilisation à des fins de segmentation Techniques biomédicales Caroline Petitjean

ASM appliqué en échocardio • Utilisation à des fins de segmentation Techniques biomédicales Caroline Petitjean

ASM : segmentation IRM 114 points, 8 images Techniques biomédicales Caroline Petitjean

Active Appearance Model personalpages. manchester. ac. uk/staff/timothy. f. cootes/ Techniques biomédicales Caroline Petitjean

Segmentation par classification La segmentation peut être vue comme un problème de classification : Les régions sont étiquettées Comment trouver l’étiquette d’un pixel ? Différentes techniques : Sans apprentissage : k-means Avec apprentissage : kppv, réseau de neurones… Application : segmentation multimodale Techniques biomédicales Caroline Petitjean

Clustering (k-moyennes) • K = nombre de régions (cluster) à trouver – Ici K = 2 (Fond + chromosomes) 1) On clique dans l’image pour avoir un représentant de chaque région (=centre de cluster = CC) Pf = 32, Pc = 217 2) Pour chaque pixel de l’image, calcul de sa distance à chaque CC : |Nd. G - Pi| on lui attribue la région de distance minimum 3) Pour chaque cluster, on calcule le Nd. G moyen = nouveaux CC. Sont-ils différents des anciens CC ? Si oui, retour à 2) Si non, stop Techniques biomédicales Caroline Petitjean

• Exemple : segmentation de la tumeur IRM cérébrale à 2 instants différents (recalage préalable supposé) Techniques biomédicales Caroline Petitjean

Clustering • Segmentation en 3 classes • Résultat après convergence Techniques biomédicales Caroline Petitjean

Segmentation multimodale Principe : utilisation de plusieurs images de la même scène physique pour la segmentation Hypothèse de recalage préalable Spatiale (classification) : utilisation d’images de différentes modalités à même instant Temporelle : utilisation d’images de la même modalité à des instants différents Techniques biomédicales Caroline Petitjean

Segmentation multimodale Techniques de classification Axial Sagittal Coronal Techniques biomédicales Caroline Petitjean T 1 IRM cérébrale T 2 Chaque pixel possède 3 valeurs (T 1, T 2, PD) PD Source : [2]

Segmentation multimodale Distribution des pixels en T 1 et T 2 Source : [2] Techniques biomédicales Caroline Petitjean

Segmentation multimodale Classification en 4 classes • • fond (noir), matière blanche (blanc), matière grise (gris clair), liquide céphalo-rachidien (gris foncé) Techniques biomédicales Source : [2] Caroline Petitjean