Estimation de mouvement Niveau image cas dun mouvement

Estimation de mouvement • Niveau image : cas d’un mouvement rigide, • Niveau objet : mouvement rigide par bloc, • Flot optique.

Mouvements/déplacement de la scène/d’objets Quel a priori rajouter pour guider la solution ? 1. Transformation globale : Affectant TOUS les pixels de l’image : translation, rotation, homothétie, affinité Tous les pixels de la scène ont subit le même mouvement modèle rigide (ici seult cas des transformations 2 D) 2. Transformation niveau objet : Appli : recalage d’images, compensat° mvt global caméra, etc. Tous les pixels d’un objet ont subit le même mouvement modèle rigide par bloc (ici seult cas des transformations 2 D) Appli: vidéosurveillance, suivi d’objets (personnes, véhicules, etc. ) 3. Champ de déplacements : Appli : estimat° mvt caméra, segmentation mvt Les pixels de la scène peuvent avoir des mouvements indépendants modèle non rigide, mais les déplacements varient lentement régularisation

Transformations 2 D rigides : Translation+rotation+homothétie • Translation (vecteur t 0=(x 0, y 0) ) M’=M+t 0 • Rotation (centre 0, angle j) M’=(s. eij). M • Homothétie (centre 0, rapport s) coordonnées polaires M(r, q)=r. eiq coordonnées log-polaires M(r, q)=logr+iq M’=s. rei(q +j) M’= logr+logs+i(q+j) 2 combinaisons de transformations élémentaires : • translation t 0 puis r, rotation+homothétie, M’=(M+t 0). r =M. r+t 0. r • rotation+homothétie puis translation M’=M. r +t 0=(M+t 0. r-1). r On peut toujours appliquer (corriger) d’abord la rotation+homothétie puis la translation

Rappel : TF d’ 1 image

Corrélation de phase Estimation d’une translation entre 2 images Soit f 1 et f 2 deux images égales à une translation (dx, dy) près : f 2(x, y) =f 1(x−dx, y−dy) Soit F 1 et F 2 leurs transformées de Fourier respectives : ‘spectre de puissance croisé normalisé’ (SPCN) Alors : Réduction des effets de bords en filtrant (e. g. Hamming) les images préalablement En prenant la transformée de Fourier inverse, on obtient un pic de dirac en (dx, dy), correspondant aux paramètres de translation. Ex. : (252, 133) (177, 133) Pic en (377, 0) Validation : 377 -452=-75 (400, 307) Images 452 : image 2 = image 1 translatée de (-75, 0) (325, 307) TF inverse du SPCN

Corrélation de phase : ex. Différence Ima. corrigée et Ima. d’origine Différence Ima. translatée et Ima. d’origine Pic dans la TF-1 du spectre de puissance croisé normalisé Image d’origine filtrée Image translatée ( -10, 20) Image translatée filtrée TF-1 du spectre de puissance croisé normalisé Image corrigée (+10, -20)

Corrélation de phase : ex. Différence Ima. corrigée et Ima. d’origine Différence Ima. translatée et Ima. d’origine Image d’origine filtrée Image translatée (50, -25) Image translatée filtrée Pic dans la TF-1 du spectre de puissance croisé normalisé Image corrigée ( -50, 25)

Fourier-Mellin Estimation d’une rotation+homothétie entre 2 images Invariant de Fourier-Mellin = extension de la corrélation de phase pour obtenir les paramètres de rotation et changement d’échelle. Soit g 1 et g 2 deux images égales à une rotation d’angle j et un changement d’échelle de s près et G 1 et G 2 leurs TF respectives : g 2(x, y) =g 1(s(x. cosj +y. sinj), s(−x. sinj +y. cosj)) Propriétés Transfo. de Fourier : • rotation rot. de même angle • homothétie de rapport s-1 Passage en coordonnées log-polaires u=rcosq, v=rsinq la rotation+changement d’échelle devient 1 translation Estimable par corrélation de phase :

Estimation d’une transformation rigide 2 D entre 2 images 1. 2. 3. 4. 5. 6. Calcul des TF des images g 1 et g 2 G 1(u, v) et G 2(u, v) 7. 8. 9. 10. 11. Transformation de g 2 par rotation d’angle -j et homothétie de rapport s-1 h 2 Passage en coordonnées log-polaires pour les TF G 1(log r, q) et G 2(log r, q) Calcul des TF de G 1(log r, q) et G 2(log r, q) TF[G 1(log r, q)] et TF[G 2(log r, q)] Calcul du SPCN de TF[G 1(log r, q)] et TF[G 2(log r, q)] SPCNTFlogpol Calcul de la TF inverse du SPCNTFlogpol TF-1(SPCNTFlogpol) Estimation des paramètres de la rotation-homothétie comme les coordonnées du pic de TF-1(SPCNTFlogpol) (logs, j) Calcul de la TF de h 2 H 2(u, v) Calcul du SPCN de G 1(u, v) et H 2(u, v) SPCN 2 Calcul de la TF inverse du SPCN 2 TF-1(SPCN 2) Estimation des paramètres de la translation comme les coordonnées du pic de TF-1(SPCN 2) (tx, ty) 12. Transformation de h 2 par translation (-tx, -ty) h 1 g 1

Fourier-Mellin : ex. (153, 212) TF inverse du SPCNTFlogpol (387, 298) Pic en (482, 86) Images 512 (305, 183) (194, 305) Validation : rotation d’angle 60° 86/512 360 facteur d’échelle = 0. 7

Fourier-Mellin : ex. Pic dans la TF-1 du spectre de puissance croisé normalisé Image de référence TF en log polaire de l’image de référence TF-1 du spectre de puissance croisé normalisé Image à recaler Différence Ima. corrigée et Ima. de référence Image corrigée itération 1 TF en log polaire de l’image de référence Image corrigée itération 4 Image corrigée itération 3 Image corrigée itération 2

Fourier-Mellin : ex. Image corrigée itération 1 Image de référence Image corrigée itération 2 Image à recaler Différence Ima. corrigée et Ima. de référence Image corrigée itération 4 Image corrigée itération 3

Transformations d’ordre supérieur • Sélection de points d’amer : Couples de points se correspondant dans les 2 im. Manuellement (identification de points homologues dans les deux images) Automatiquement (cf. slides suivants) • Estimation de la transformation Système d’équations linéaires à résoudre Critère des moindres carrés : Solution donnée par la matrice pseudo-inverse : Symétrique positive & définie si inversible

Projection d’ 1 image vers l’autre : stratégie I I 1 2 Projection I 1 2 de l’image 1 I 1 dans la géométrie de l’image 2 I 2 : • Soit T la transformation de l’image 1 vers l’image 2, et T-1 celle de l’image 2 vers l’image 1 ; • Pour chaque pixel (i 2, j 2) de l’image 2, – Calculer ses coordonnées antécédentes sur le pavé correspondant à l’image 1 : (x, y) = T-1(i 2, j 2) – En déduire les coordonnées des pixels antécédents dans l’image 1 : {(i 1, k, j 1, k)/ dist 2 D((x, y), (i 1, k, j 1, k))<s} ; e. g. pour s=1, 4 voisins : – Calculer le niveau de gris du pixel (i 2, j 2) selon l’interpolation à l’ordre choisi

Projection d’ 1 image vers l’autre : interpolation 4 voisins du pixel rétro projeté : • Interpolations : – Ordre 0 plus proche voisin – Ordre 1 bilinéaire 2 interpolations linéaires successives : – Ordre 6 bicubique (en ) surface encore plus lisse…

Ré-échantillonnage d’image : exemple plus proche voisin bilinéaire

Problème des outliers • RANSAC (RANdom SAmpling Consensus) principe : Réitération tant que critère de consensus non satisfait : - sélection aléatoire d’ 1 sous-ensemble de points ; - calcul de la solution pour ce sous-ensemble ; - calcul du critère de consensus (e. g. nombre de points dans l’ens. complet à une distance inférieure à un seuil) • Ex : estimation de droite : données avec bruit + outliers (50%) Tirage d’une paire de points estimation de la droite passant par ces points et calcul du nombre de points ‘consensuels’ (erreur 5) 1 er tirage : 6 points, 2ème tirage : 4 points, 3ème tirage : 10 points Le 3ème tirage est le bon

Mise en correspondance par blocs • Bloc matching Ex. d’application : codage vidéo Principe : trouver un bloc de l’image 2 (à mettre en correspondance) qui soit similaire à un bloc donné dans l’image 1 (de référence) Critères : Norme L 2 - Sum/Mean of Squared Error : Norme L 1 - Sum/Mean of the Absolute Differences : - Sum of Absolute Transformed Differences, etc. . Algorithmes de recherche - recherche exhaustive, - Three step search, - Two dimensional logarithmic search - etc.

Block-matching : Exemple • Critère SAD + 3 -step search 7 8 9 10 11 • 0 1 2 3 4 5 7 8 9 10 11 12 13 14 15 1 2 3 4 5 6 8 9 10 11 12 13 14 15 16 2 3 4 5 6 7 9 10 11 12 13 14 15 16 17 3 4 5 6 7 8 10 11 12 13 14 15 16 17 18 4 5 6 7 8 9 11 12 13 14 15 16 17 18 19 5 6 7 8 9 10 12 13 14 15 16 17 18 19 20 6 7 8 9 10 11 13 14 15 16 17 18 19 20 21 7 8 9 10 11 12 14 15 16 17 18 19 20 21 22 6 7 10 11 12 13 15 16 17 18 19 20 21 22 23 5 6 11 12 13 14 16 17 18 19 20 21 22 23 24 4 5 12 13 14 15 17 18 19 20 21 22 23 24 25 3 4 13 14 15 16 18 19 20 21 22 23 24 25 26 2 3 14 15 16 17 19 20 21 22 23 24 25 26 27 1 2 15 16 17 18 20 21 22 23 24 25 26 27 28 0 1 16 17 18 19 21 22 23 24 25 26 27 28 29 216 166 27 27 18 9 9 0 12 9 0 9 13 21 9 27 30 48 45 18 54 90 126 Critère SAD + 2 D logarithmic search 24 25 26 27 28 0 1 2 3 4 5 6 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 7 6 5 4 3 2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 8 9 10 11 12 13 14 16 17 18 19 20 21 22 23 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 153 97 99 45 180 42 18 0 0 9

Propriétés et limites • Localité capture un mouvement particulier, robuste aux occlusions partielles • Caractère discriminant distingue les différents mouvements des sous-parties de l’image • Invariance en translation MAIS • Pas invariance d’échelle ni en rotation inefficace pour certains mouvements (et en reconnaissance d’objet) • Pas robuste aux changements d’illumination inefficace sous conditions variables Utiliser des points d’intérêt avec descripteur

Invariance et répétabilité Types d’invariance : • aux rotations • aux changements d’échelle • aux transformations affines • aux changements photométriques Critère dévaluation de l’invariance : • Répétabilité :

1ère approche : détecteur de Harris & Stephens: principe • En chaque pixel s, calcul de la matrice d’autocorrélation Avec I l’image d’origine, Ix et Iy ses dérivées resp. selon les dir. x et y G(s) le filtre passe-bas gaussien de paramètre s • Les valeurs propres l 1 et l 2 de Ms caractérisent le pixel s l 2 Contour Coin l 1 et l 2 grands Région homogène Contour l 1

Détecteur de Harris&Stephens : calcul • Eviter le calcul des valeurs propres en calculant la trace et le déterminant de Ms : - Trace(Ms)= l 1 + l 2 = M 1, 1 +M 2, 2 Déterminant(Ms)= l 1 l 2 = M 1, 1 M 2, 2 -M 1, 2 M 2, 1 • Le paramètre R permet l’identification des coins - Mc=Déterminant(Ms)-k[Trace(Ms)]2 Mc max local les coins correspondent à Mc >t k et t paramètres : k=0. 04 (par défaut) et t relié à la ‘taille’ du coin • Algo § Filtrage linéaire gaussien de l’image d’origine § Calcul des images Ix et Iy des gradients selon les directions x et y respectivement, p. e. par différences finies § Calcul des images des termes de la matrice de covariance Ix 2, Iy 2 et Ix. Iy § Filtrer les images Ix 2, Iy 2 et Ix. Iy par filtrage linéaire Gaussien § Calcul de l’image du critère Mc: en chaque pixel § Création de l’image des points d’intérêt = maxima locaux de Mc supérieur au seuil t , et

Détecteur de Harris : exemples Points sur ‘imagetest_synthetic’ tournée de + 30 degrés Autres exemples Points détectés sur ‘imagetest_synthetic’ Points détectés aux échelles s=5 (R), s=1 (V), s=3 (B)

Changements d’échelle Limite du détecteur de Harris : non invariant aux changement d’échelle extensions : e. g. Harris-Laplace Invariance SI fonction dont la réponse soit la même pour des images à différentes échelles fct = max. d’intensité moyenne sur 1 région versus rayon de la région <I> Image 1 Rayon région <I> Image 2 Facteur d’échelle = 1/2 Rayon région

Invariance en échelle Intensité moyenne sur la région obtenue par filtrage linéaire par filtre de noyau K : Choix du noyau : laplacien : différence de gaussiennes KL et KDo. G sont des détecteurs de ‘blobs’.

2ème approche : Scale Invariant Feature Transform (Lowe, 2004) Points ‘clés’ orientés associés à leur descripteur (vecteur des caractéristiques) - Analyse multi-échelle (sélection des maxima dans l’espace d’échelles Do. G) invariance aux changements d’échelle - Points orientés (calcul de l’orientation sur voisinage du point) invariance aux rotations - Descripteur de type gradient (histogrammes des gradients locaux dans voisinage du point) invariance aux changements d’illumination

SIFT : Espace d’échelles • Espace 3 D (x, y, s), s paramètre d’échelle Pyramide d’images convoluées par filtre gaussien G(x, y, s) avec paramètre s croissant (selon suite géométrique de paramètre k) : (I(x, y) : image d’origine) Rq: rééchantillonnage des images à chaque fois que : Max. du Laplacian of Gaussians (Lo. G) donne l’échelle (en théorie) Approximation par du Lo. G par Do. G ‘Tamissage’ des éléments de taille s par différence entre les résultats à deux échelles successives :

SIFT : Détection et localisation des points clés Extrema (maxima et minima) des images Do. G, voisinage 26 connexité dans l’espace des échelles Localisation des points peu précise (notamment aux échelles grossières) interpolation avec l’approximation de Taylor Pour 1 extremum Matrice la dérivée /x est nulle 3 3 estimée par différences finies : termes diagonaux etc. termes non diagonaux Vecteur 3 1 estimé par différences finies : termes etc.

SIFT : Filtrage des points clés Elimination des points de faible contraste Calcul de Points clés détectés avec Et élimination des points de valeur inférieure au seuil (e. g. 0. 03 pour I à valeurs dans [0, 1]) Elimination des points de contours Point stable Pb : points sur contours non stables, e. g. Calcul de la matrice Hessienne Point glissant sur contour Comme pour le critère de Harris, seuillage sur valeur de qui vaut avec et lmax et lmin valeurs propres (e. g. rth = 10 seuil à 12. 1) Points clés détectés filtrés

SIFT : Calcul de l’orientation Histogramme des orientations dans un voisinage V(xk, yk) du point clé à l’échelle s où il est détecté, i. e. Construction de l’histogramme : Chaque pixel (x, y) de V(xk, yk), - vote pour orientation (Orientation du gradient) - avec poids les pixels distants ou de faible gradient ne ‘comptent’ pas vraiment (Norme du gradient) (Pondération gaussienne 1. 5 s) Estimation de ou des orientation(s) : Argument(s) du pic de l’histogramme et des pics sup. à 80% du pic principal Histogramme sur 36 bin orientations à 5 deg.

SIFT : Calcul du descripteur Descripteur discriminant ensemble de valeurs dans voisinage point clé préservation de l’info. spatiale : distinction de sous-blocs intravoisinage robustesse aux changements d’illumination : valeurs d’orientation du gradient Robustesse / homothéties Descripteur calculé à l’échelle s du point clé Robustesse / rotations duplication des points clés (x, y, s, q) si plusieurs orientations q rotation locale du voisinage du point clé l’image ( correction des orientations de q)

SIFT : Calcul du descripteur Solution D. Lowe : • Voisinage 16 16 pixels autour du point clé, divisé en sous-blocs 4 4 • Calcul des histogrammes (sur 8 bins, chaque échantillon étant pondéré par la norme du gradient et la fonction gaussienne) d’orientation sur chacun des sous-voisinages Descriteur contient 16 histogrammes de 8 bins dimension = 128 © J. Hurrelmann Rq : Normalisation du vecteur (norme = 1) + seuillage des composantes de valeur inférieure à 0. 2 + renormalisation

Application : recalage d’images • Matching (mise en correspondance) des points clés selon minimum de distance euclidienne (norme L 2) entre les descripteurs des points clés • Robustesse par rapport aux solutions multiples (texture etc. ) contrainte ajoutée : le ratio entre les distances min et le 2 nd min <0. 8

Applications : suivi d’objets, détection de mouvement, etc… Flot optique • Pb: Soit 2 images acquises à t et t+1. Quel est le champ des vitesses associé à l’image ? Sous-pb : Quel est le champ des vecteurs de déplacement apparent de chaque objet de l’image entre t et t+1 ? Définitions : • • Mouvement apparent local : s=(x, y) S, t, (vxt, vyt) représente la vitesse apparente de s à t. Flot optique = champ de mouvement apparent Idéalement, le vecteur (vxt, vyt) représente la projection sur le plan image du vecteur vitesse 3 D (VXt, VYt , VZt) des points de la scène. Mvt apparent : vecteur selon Z Mvt réel : rotation autour de Z

Flot optique : formulation (I) • Soit f(x, y, t) l’image vue comme une fct donnant la ‘brillance’ (niv. de gris) d’un objet en (x(t), y(t)) à t • Hypothèse de base = conservation de la ‘brillance’ des objets au cours du temps • En pratique, – minimisation de la norme (L 1) : avec – régularisation du champ des vitesses Éviter ces solutions !

Flot optique : formulation (II) • Ajout d’ 1 terme de régularisation énergie à minimiser : (*) avec – Horn & Schunk (1981) : – Weickert & Schnörr (2000) : avec Y(z 2) et l’énergie est intégrée sur 1 domaine spatio-temporel W W [0, T] dans (*) 2500 epsilon=0, lamda=10 2000 epsilon=0, 05, lamda=1 1500 epsilon=0, 1, lamda=0, 1 1000 500 0 -50 50 150 z

Flot optique : résolution (I) • Rappel : soit 1 fct J dépendant d’ 1 fct f et de sa dérivée première : alors 1 extremum de J (s’ ) est la fct f(x) qui satisfait l’équation ou (cas f(x, y)) d’Euler-Lagrange pose. Horn f=f 0+ef& f 1 quelconque nulle sur les bords de W. Alors si f 0 est 1 minimum, la On. Cas Schunck 1, avec dérivée de J par rapport à e est nulle en e=0 : d’où et (**) . Or :

Flot optique : résolution (II) • Approximation du Laplacien et des dérivées 1ères par filtrage linéaire : avec et • En remplaçant dans le système (**) • Que l’on résout de façon itérative (n numéro d’itération):

Flot optique : analyse de résultats • Principalement valeurs à 0 (noir) • Valeurs non nulles ( 2) au niveau de la carrosserie Image des valeurs de u • Principalement valeurs à 0 (gris) • Quelques valeurs non nulles au niveau des roues Image des valeurs de v

Flot optique : exemples de résultats Différence signée u v Alpha=5

Flot optique : exemples de résultats Différence signée u v Alpha=10

Flot optique : approche hiérarchique • Dérivées (1ères et 2 ndes) estimées sur des fenêtres de taille 3 3 ou 2 2 2 estimation du flot valide que pour des déplacements ‘petits’. Image • approche hiérarchique : principe : 1 2 Sous échantillonnage N-1 Sous échantillonnage N-2 u=u(N-1) Calcul de u&v v=v(N-1) compensation du mouvement u=2 u(N-1)+u(N-2) Calcul(N-1) de+vu&v v=2 v N-1 N-2 Compensation du mouvement Niveau 0 u=2 u(1)+u(0) (1)+v(0) v=2 vde Calcul u&v Niveau 0

Flot optique : analyse de résultats (204, 277) (212, 286) v 6 u 7 Image des valeurs de u Image des valeurs de v

Flot optique : informations dérivées • Cas d’une caméra statique : flot permet d’estimer les mouvements des objets de la scène segmentation de la scène par le mouvement suivi (tracking) des objets • Cas d’une caméra embarquée : flot permet d’estimer le mouvement dominant de la scène foyer d’expansion ego-mouvement de la caméra les objets de la scène non statiques trajectoires des objets non statiques

Modèle d’acquisition de scène • Modèle sténopé = pin-hole projection perspective Y y f Z f : distance focale de la caméra En coordonnées homogènes : Rq : Modèle sténopé complet : kx, ky facteurs d’agrandissement des pixels, cx, cy coord. du la projection du centre optique de la caméra sur l’image Projection sur le plan image Matrice de passage du repère 3 D de la scène à celui 3 D de la caméra (translation+rotation 3 D)

Foyer d’expansion Définition : FOE = point ( S) de convergence des directions des mouvements apparents locaux lors d’un déplacement de la caméra dans une scène statique. FOE Si la caméra se déplace à la vitesse (-d. X/dt, -d. Y/dt, -d. Z/dt)= (-X’, -Y’, -Z’), alors tous les points de la scène sont à la même vitesse (X’, Y’, Z’) Cas centre optique caméra se projette au centre de l’image Modèle Pin-hole expression du flot (u, v) en un pixel (x, y) Norme des vecteurs déplacement inversement proportionnelle à Z

Points d’intérêt et flot optique Finalement le calcul du flot optique revient à : identifier les couples de pixels susceptibles d’appartenir à un même objet dans les 2 images à t et à t+1 définir 1 critère d’association des pixels sélectionner la ‘bonne’ sol. parmi des sol. multiples définir un critère de régularisation du champ des déplacements Il existe une approche duale de l’approche variationnelle présentée, à savoir une approche locale (Lucas&Kanade 1981 approches par corrélation) Principe : flot estimé aux points où il estimable a priori non dense • Hyp. : Champ de mouvement est constant sur une petite région • Mesure de confiance basée sur la texture de l’image Complémentarité par rapport à l’approche variationnelle dense vision humaine : • petits mouvements analyse flot optique dense • grands mouvements mise en correspondance de points caractéristiques