Vision algorithmique Robotvis 2007 2002 Modliser pour Trouver
Vision algorithmique Robotvis 2007 2002 • Modéliser pour – Trouver des solutions pour résoudre de nouvelles problématiques dans un contexte applicatif ou industriel • Méthodologie – Approches continues variationnelles et par EDP – Systèmes d’EDO • Critère de qualité – Amélioration qualitative ou quantitative des résultats ou performances Vision biologique Odyssée • Modéliser pour – Reproduire la biologie – Comprendre les performances du système visuel • Méthodologie – Approches continues variationnelles et par EDP? – Réseaux de neurones analogiques et impulsionnels • Critère de qualité – Se confronter aux expérimentations biologiques – Se confronter à la vision algorithmique
La vision biologique • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
La vision biologique Van Essen, Gallant (1994) • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
La vision biologique Tootell etal (1988) • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
La vision biologique CNS 1 m Systems 10 cm Maps 1 cm Networks 1 mm Neurons 100 m Synapses 1 m Molecules 1 A [Churland, Sejnowski, 1992] • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
La vision biologique • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
La vision biologique • Taux de décharge moyen • Temps de latences par rapport à un temps de référence • Mesures de synchronisation ou de corrélations • Distributions des intervalles de temps entre impulsions • Répétition de certains motifs spatio-temporels • Différences de phases en régime oscillatoire • … • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
La vision biologique • L'information visuelle est traitée par plusieurs aires corticales • Une hiérarchie élaborée hautement connectée • Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) • De nombreuses échelles d’observation • Une transmission de l’information par des impulsions (spikes) • Le code neural? • Un percept
Au cœur des neurosciences • Comprendre l’anatomie et le fonctionnement du système nerveux… Mais comment? – Des outils d’imagerie: IRMf, IRM de diffusion – Des outils de mesure de l’activité électrique: MEG, EEG – Mais aussi optical imaging, mesures cellulaires etc. – La psychophysique
Deux grands types de besoins • Des besoins de formalisation, en fonction de l’échelle – Approches variationnelles – EDP stochastiques – Comment « décoder » le code neural? • Des besoins de modélisation: La vision bioinspirée saura-t’elle concurrencer la vision algorithmique?
Projet Européen SEARISE (Smart Eyes: Attending and Recognizing Instances of Salient Events) Estimation du mouvement Psychophysique: Les préceptes du percept Thèse d’Emilien Tlapale (2007 -2010) co-encadrement: Guillaume Masson • Problématique – Entrée: Une vidéo – Sortie: Une « probabilité » d’une vitesse donnée (en tt point) • Une approche bio-inspirée – Dans l’architecture (V 1 -MT et V 2) – Dans la présence de rétroactions MT V 1 – Un modèle phénoménologique • Validation des résultats – Se confronter avec la psychophysique
Mouvement et problème d’ouverture Intégrer l’information non ambiguë Wallach (1935) • En vision par ordinateur: Ajouter de la régularité • Dans le système visuel: Intégration par la diffusion – La diffusion engendre la perception – La forme contrôle la diffusion – La diffusion s’opère principalement par la rétroaction • La preuve en image!
La diffusion engendre la perception Notre percept change en fonction du masquage Exemple de du multistabilite barberpole
La diffusion engendre la perception Explications • Importance des mouvements non ambigus (fins de lignes, jonctions) • Le nombre fait la force? Pas seulement
La forme contrôle la diffusion Notre percept change en fonction du masquage Illusion du Chopstick Anstis (1990)
La forme contrôle la diffusion Explications • Le percept naît de la scène globale • La notion de jonctions extrinsèque ou intrinsèque est globale
La diffusion s’opère principalement par la rétroaction • Des vitesses de propagation très différentes – Horizontales (0, 1 à 0, 2 m/s) – Feedbacks (2 à 6 m/s) • Rétroactions vers V 1 très importantes Angelucci, Bullier (2003) – Quantité – Fonction: La diffusion longue distance provient de la rétroaction
Des modèles bio-inspirés existent • Modèles sans rétroaction – Simoncelli, Heeger (1998): linéaire/non-linéaire • Modèles avec rétroaction et intervention de la forme – Grossberg etal (2007): 15 équations, grand nombre de paramètres, des images binaires en entrée – Bayerl, Neumann (2007): Détecteurs de jonctions qui inhibent toute diffusion – Tlapale, Masson, Kornprobst (2007): Utiliser la forme et les jonctions pour mieux diffuser, des cas réels
Modèle proposé unités • « Probabilité » d’avoir la vitesse v à la position x au temps t • Activité du neurone sensible à la vitesse v à la position x au temps t Tlapale, Masson, Kornprobst RR (2007)
Modèle proposé Normalisations Intégration dépendant de la forme Normalisations Prise en compte du feedback Normalisations A priori sur les petites vitesses Détecteur de mouvement local Tlapale, Masson, Kornprobst RR (2007)
Points clés • Diffusion par feedbacks • Diffusion par la forme – Corrélation de luminosité en chaque point pour chaque direction – Intégration dépendant du contraste • Normalisations Tlapale, Masson, Kornprobst RR (2007)
Résultats La diffusion engendre la perception Séquence V 1 Tlapale, Masson, Kornprobst RR (2007) MT
Résultats La forme contrôle la diffusion Séquence Tlapale, Masson, Kornprobst RR (2007) V 1 MT
Résultats Séquences réelles Séquence V 1 Tlapale, Masson, Kornprobst RR (2007) MT
Un travail en cours • Une implémentation très efficace en GPGPU • Amélioration du modèle – Intégration, diffusion? – Prédiction? – Effets de l’attention? • Validation avec un readout Masson et al
En conclusion
Vision algorithmique Vision biologique • Modéliser de façon bio-inspirée – Reproduire une architecture et une variabilité – Reproduire la façon dont le système nerveux communique – Reproduire des fonctions, des mécanismes • Mais reproduire n’est pas expliquer – Tout modèle reste une abstraction et repose sur des hypothèses – Difficulté de l’éventail des échelles – Si on ne peut pas toujours expliquer… on peut quand même… • Confronter ses prédictions à la biologie – Mesures de cellules – Percept
Vision algorithmique Vision biologique • Comprendre le code neural – – Un problème ouvert Quel(s) critère(s) considérer? Comment mesurer des distances entre trains d’impulsions? Comment étudier ses distributions? • Vers de nouvelles applications informatiques ? – Les impulsions comme nouveau paradigme? • Nécessité d’un travail multidisciplinaire – Neurosciences et neurosciences computationnelles – Psychophysique – Mathématiques
Vision algorithmique Vision biologique Pour en savoir plus pierre. kornprobst@inria. fr Odyssée Lab
- Slides: 29
