Organisation perceptuelle de structures curvilignes Laurent Alquier Directeur

Organisation perceptuelle de structures curvilignes Laurent Alquier Directeur de thèse : Chabane Oussalah Professeur Responsable : Philippe Montesinos Maître assistant - UNIVERSITE MONTPELLIER II - Thèse menée au Laboratoire de Génie Informatique et d ’Ingénierie de Production, Nîmes 30 Septembre 1998 Laurent ALQUIER - - 30 Septembre 1998 -

Analyse d ’images Construction d ’une représentation symbolique Image Intensité Détection d ’indices visuels Image Contours Laurent ALQUIER - 30 Septembre 1998

Perception visuelle r Théories de la perception visuelle åFlot d ’informations visuelles important åNécessité de guider la perception Laurent ALQUIER - 30 Septembre 1998

Groupement perceptuel r Principes åPhénomène d ’organisation pré-attentive 4 Propriétés globales émergentes : Saillance 4 S ’impose à la perception avant interprétation 4 Groupements élémentaires åPrincipe de « bonne forme » 4 Simplicité, fermeture, familiarité : Stabilité åPropriétés intéressantes 4 Généricité, robustesse - Organisation qualitative Références Théorie Gestaltiste : Wertheimer, Koffka - 1923 Laurent ALQUIER - 30 Septembre 1998

Plan de l’exposé ¬ Introduction. · Présentation globale. ® Groupement par réseaux de saillance. ¯ Niveaux supérieurs de groupement. ° Contributions et perspectives. Laurent ALQUIER - 30 Septembre 1998

Objectifs r Système complet d ’analyse d ’images åSegmentation - hypothèses - interprétation åApplication de principes de psycho-vision r Organisation perceptuelle de scènes complexes åRestriction aux structures issues des contours åValidation sur des images synthétiques åApplication à des images de scènes réelles r But : åExtraire un ensemble d’éléments de représentation åRester ouvert aux besoins spécifiques d’applications futures Laurent ALQUIER - 30 Septembre 1998

Vue d’ensemble du système r Détection de contours r Trois niveaux de groupement åSélection des structures saillantes åExtraction d’hypothèses intermédiaires åOrganisation d’hypothèses complexes r Relations hiérarchiques entre hypothèses r Application åDétection de jonctions åMise en correspondance Laurent ALQUIER - 30 Septembre 1998

Plan de l’exposé ¬ Introduction. Présentation globale. ¸ Groupement par réseaux de saillance. ¯ Niveaux supérieurs de groupement. ° Contributions et perspectives. Laurent ALQUIER - 30 Septembre 1998

Recherche de structures curvilignes r But : åIsoler les contours les plus réguliers åCompléter les discontinuités åExtraire des structures stables Laurent ALQUIER - 30 Septembre 1998

Groupement par saillance r Principes åEvaluer la qualité d ’un groupement éventuel åOptimiser de cette fonction de qualité r Mesure directe åChamps d ’extension (Guy et Medioni, 1996) åChamps stochastiques de fermeture (Williams et Jacobs, 1994) r Approches par optimisation åRéseaux de neurones (F. Mangin, 1994) åOptimisation par recuit simulé (L. Hérault, 1991) åRéseaux de saillance (Shashua et Ullman, 1989) Laurent ALQUIER - 30 Septembre 1998

Réseaux de saillance Laurent ALQUIER - 30 Septembre 1998

Réseaux de saillance (2) r Choix d’une primitive de groupement åDéfinition de ses attributs r Définition d’un voisinage local åRéseau de primitives localement connectées r Fonction de qualité pour un groupement åEvaluation de la compatibilité entre primitives åFonctions « extensibles » r Mesure de saillance åQualité du meilleur groupement Laurent ALQUIER - 30 Septembre 1998

Définition du voisinage r Relations entre primitives. åPrimitives reliées entre elles par un élément de connexion åCritères de proximité et compatibilité åMéthode adaptée à des structures curvilignes r Importance du voisinage. åInitialise l’optimisation du réseau åDétermine la taille du réseau åInfluence sur la qualité des groupements Laurent ALQUIER - 30 Septembre 1998

Fonction de qualité r Critères de régularité åProximité, continuité, similarité r Formalisme åCombinaison linéaire de contraintes antagonistes åRelations « internes » 4 Propres aux groupement recherchés åRelations « externes » 4 Imposées par l ’image de contours Laurent ALQUIER - 30 Septembre 1998

Mesure de saillance r Ecriture récursive åOn suppose que la fonction F est « extensible » r Définition formelle de la saillance åMeilleure somme des fonctions de qualité d ’un groupement selon deux directions. Laurent ALQUIER - 30 Septembre 1998

Mesure de saillance (2) r Exemple d ’écriture récursive åTerme local åContributions des voisins r Optimisation itérative åRecherche des meilleurs voisins åMise à jour des contributions Laurent ALQUIER - 30 Septembre 1998

Mesure de saillance (2) r Propriétés åMesures locales - Optimisation globale åElimination des discontinuités åCarte de saillance åGroupement possible par suivi des connexions 4 Un seul groupement optimal par primitive Laurent ALQUIER - 30 Septembre 1998

Mesure de saillance (3) r Application åGroupement de pixels 4 Voisinage fixe 4 Calculs lourds 4 Optimisation lente åGroupement de chaînes de pixels 4 Voisinage adaptatif 4 Complexité réduite 4 Optimisation rapide Laurent ALQUIER - 30 Septembre 1998

Intérêt du groupement Groupement de chaînes Chaînage classique Laurent ALQUIER - 30 Septembre 1998

Détection de groupes saillants Laurent ALQUIER - 30 Septembre 1998

Groupements élémentaires r Classes de groupements åPoint de départ le long d ’une même structure åPhénomène « d ’attraction » r Critères d’évaluation åSaillance locale åSaillance globale ( somme des saillances des primitives ) åAccumulation de votes r Sélection åSeuillage par rapport aux critères Laurent ALQUIER - 30 Septembre 1998

Groupements élémentaires (2) Laurent ALQUIER - 30 Septembre 1998

Plan de l’exposé ¬ Introduction. Présentation globale. ® Groupement par réseaux de saillance. ¹ Niveaux supérieurs de groupement. 4 Groupements intermédiaires 4 Groupements complexes et application ° Contributions et perspectives. Laurent ALQUIER - 30 Septembre 1998

Groupements intermédiaires r Hypothèses structurelles åParties rectilignes : Segments åParties courbes : Arcs åPoints particuliers : Jonctions, points d’inflexion, coins r Principes d ’extraction åDétection à partir de chaque groupement élémentaire 4 Paramètre d ’échelle, sensibilité åAgglomération des hypothèses primaires 4 Critère de similarité - élimination des redondances Laurent ALQUIER - 30 Septembre 1998

Groupements intermédiaires (2) r Eléments de représentation symboliques de la scène. r Ensemble d’hypothèses åPart d'ambiguïtés et d’erreurs åRedondances tolérées r Problèmes à résoudre åDiscrétisation åStructures de taille différentes dans une même scène åConséquence des groupements élémentaires 4 Superposition de groupements semblables 4 Critères de régularité insuffisants (occlusions et jonctions) Laurent ALQUIER - 30 Septembre 1998

Hypothèses de segments Groupements saillants Découpage récursif (écart Es) Segments élémentaires Fusion de segments similaires (longueur, orientation) Segments groupés Points d ’intérêt Laurent ALQUIER - 30 Septembre 1998

Segments (avant groupement) Laurent ALQUIER - 30 Septembre 1998

Segments ( après groupement ) Laurent ALQUIER - 30 Septembre 1998

Hypothèses d ’arcs Groupements saillants Découpage selon extrema de courbure (échelle Ea) Classes d ’arcs élémentaires Fusion d ’arcs similaires (classe, superposition) Arcs groupés Points d ’intérêt Laurent ALQUIER - 30 Septembre 1998

Arcs ( après groupement ) Laurent ALQUIER - 30 Septembre 1998

Points d ’intérêt Laurent ALQUIER - 30 Septembre 1998

Plan de l’exposé ¬ Introduction. Présentation globale ® Groupement par réseaux de saillance. ¹ Niveaux supérieurs de groupement. 4 Groupements intermédiaires 4 Groupements complexes et application ° Contributions et perspectives. Laurent ALQUIER - 30 Septembre 1998

Groupements complexes r Exemple d’application åExtraction de jonctions multiples åMise en correspondance de jonctions r Intérêt des jonctions åInformation structurelle riche 4 Position du centre, orientation des branches 4 Mise en correspondance robuste 4 Localisation précise a posteriori åDifficiles à obtenir 4 Altérations dues au détecteur de contours åPeu de travaux sur le groupement de jonctions Laurent ALQUIER - 30 Septembre 1998

Groupement de jonctions Segments Points Intersections deux à deux Détection de jonctions doubles Confirmation du centre Groupement de jonctions doubles (proximité des centres, branches similaires) Jonctions multiples Laurent ALQUIER - 30 Septembre 1998

Détection de jonctions doubles Laurent ALQUIER - 30 Septembre 1998

Groupement de jonctions multiples Laurent ALQUIER - 30 Septembre 1998

Mise en correspondance r Principe åEtiquetage cohérent entre deux ensembles de jonctions r Nécessite åMesure de comparaison directe entre jonctions åMesure de déplacement (transformation) 4 Entre deux images 4 Dans une même image åComparaison conditionnelle Laurent ALQUIER - 30 Septembre 1998

Mise en correspondance (2) r Méthode en deux étapes åAppariement temporel 4 Elimination des appariements improbables åAppariement spatial 4 Elimination des groupements improbables r Propriétés åAppariement en tant que groupement perceptuel åAdmet des écarts importants entre images åRenforcement mutuel de deux types de groupements Laurent ALQUIER - 30 Septembre 1998

Mise en correspondance (3) Laurent ALQUIER - 30 Septembre 1998

Mise en correspondance (4) Laurent ALQUIER - 30 Septembre 1998

Plan de l’exposé ¬ Introduction. Présentation globale. ® Groupement par réseaux de saillance. ¯ Niveaux supérieurs de groupement. º Contributions et perspectives. Laurent ALQUIER - 30 Septembre 1998

Contributions r Réseaux de saillance åFormalisme générique 4 Généralisation au groupement de chaînes åFonction de qualité plus souple åOptimisation plus stable 4 Choix des meilleures connexions åCritères de groupement 4 Sélection des structures les plus saillantes Références Shashua et Ullman, 1991 - Alter et Basri, 1997 Laurent ALQUIER - 30 Septembre 1998

Contributions (2) r Groupement d’hypothèses åSegments åArcs åPoints d’intérêt r Approche modulaire åStratégie de groupement générique åModules spécialisés r Hypothèses selon une échelle donnée r Utilisation de nombreuses images réelles Références Mohan et Nevatia, 1992 - Sarkar et Boyer, 1993 - Gao et Wong, 1993 Laurent ALQUIER - 30 Septembre 1998

Contributions (3) r Organisation perceptuelle de jonctions åDétection de jonctions élémentaires åGroupement en jonctions multiples r Mise en correspondance structurelle åCouplage entre groupement perceptuel et appariement Références Matas and Kittler, 1993 - Chang and Aggarwal, 1997 Laurent ALQUIER - 30 Septembre 1998

Résultats r Résultats stables åParamètres génériques pour des classes d’images åRobuste en cas de perturbations r Temps raisonnables sur systèmes usuels åExemple typique (ordres de grandeur) 4 PC - Pentium 100 - 65 Mo RAM 4 Image 800 x 600 pixels 4500 chaînes environ 4 Etape de groupement par saillance : 30 s 4 Temps de calcul global : 5 min Laurent ALQUIER - 30 Septembre 1998

Application : Scènes d ’extérieur Laurent ALQUIER - 30 Septembre 1998

Application : Imagerie satellitaire Laurent ALQUIER - 30 Septembre 1998

Mise en correspondance Laurent ALQUIER - 30 Septembre 1998

Mise en correspondance Laurent ALQUIER - 30 Septembre 1998

Prolongements à court terme r Groupement d’objets génériques r Evaluation quantitative des résultats åRésultats qualitatifs uniquement r Nombreux paramètres à régler åDéfinition empirique pour l’instant r Validation automatique des hypothèses r Détection multi-échelle r Mise en correspondance hiérarchique åApproche descendante Laurent ALQUIER - 30 Septembre 1998

Perspectives r Intégration avec d ’autres indices visuels åAttention visuelle et suivi Références Laurent Iti, 1997 Caltech - Roch et Ullman, 1985 Laurent ALQUIER - 30 Septembre 1998

Perspectives (2) r Aide à l ’indexation automatique de modèles åGraphes d ’aspect - Pope et Lowe, 1996 Laurent ALQUIER - 30 Septembre 1998