Atelier FrancoMarocain STIC 28 29 Mai 2001 Problmatiques

Atelier Franco-Marocain STIC - 28 -29 Mai 2001 Problématiques liées à la communication vidéo sur réseaux INRIA-Rennes projet TEMICS Stéphane Pateux http: //www. irisa. fr/temics/ 13/06/2021

Contexte général • Communication vidéo – bande passante limitée : compression • contexte MPEG 4: codage orienté-objets • analyse de la vidéo: segmentation, modélisation d ’objets • nouvelles approches innovantes – édition vidéo • post-production – transmission sur réseau à Qo. S non garantie • codage conjoint source canal – protection de documents • tatouage de flux multimédia z

Plan • Contexte général • Analyse, segmentation, suivi temporel d ’objets vidéo • Manipulation vidéo • Codage conjoint source canal • Tatouage • Quelques sujets ouverts et autres labos en France travaillant sur ces sujets

Analyse, segmentation, suivi temporel • Problématique – segmentation pour le codage • amélioration globale de la compression • compression avec régions d ’intérêts – suivi d ’objets vidéos – modélisation d ’objets vidéos • représentation par maillages actifs • reconstruction 3 D

Analyse, segmentation, suivi temporel Codage basé régions í Segmentation basée mouvement avec modèles de mouvement affines í Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

Analyse, segmentation, suivi temporel Objectifs: í Segmentation avec bonne localisation spatiale + suivi temporel í Gestion objets multiples et déformables í Représentation compacte et scalable Première approche: Suivi temporel basé-contours í Utilisation de contours actifs dans un cadre multi-objets í Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires Contours actifs Attache aux données Terme de régularisation Minimisation de:

Analyse, segmentation, suivi temporel Seconde approche: Approche orientée-régions í Segmentation spatiale d ’images basée sur des outils de morphologie math. í Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions í Interface Graphique pour le suivi interactif

Représentation par maillages Objectifs • Suivi des déformations par maillage actif • Maillage propre à un objet vidéo • Modélisation hiérarchique adaptative Résultats • Concept de lignes de ruptures • Schéma de codage vidéo basé maillage • Optimisation R-D des maillages

Représentation par maillages et segmentation Mesh tracking Mosaick Evolution Reconsctruction Codage 100 Kbit/s CIF@15 hz

Représentation/compression basées modèles 3 D Objectifs: íObjectifs de compression et de navigation dans de grandes scènes í Modélisation 3 D à partir de séquences monoculaires géométrie projective, auto-calibration) í Représentation compacte et scalable des modèles et attributs. Approche: íEstimation de mouvement par maillage í Critères mixtes compression-qualité rendu í Suite modèles 3 D + images clés texture + position caméra; schéma IPP H 263 R=117 kb/s, format CIF, fr=25 Hz Rec 3 D

Edition de vidéos • Problématique: – mixage de scène • téléconférence virtuelle – ajout/suppression d ’objets vidéos – gestion des problèmes d ’illuminations

Edition de séquences Objectifs: í Manipulation d ’objets dans une séquence í Mélange réaliste d ’objets synthétiques et d ’objets naturels Analyse du mouvement + segmentation Reconstruction d’images panoramiques Analyse des conditions d ’éclairement Synthèse Création de nouvelles trajectoires Harmonisation conditions d ’éclairement

Edition de séquences Détermination de la direction d ’éclairement Détection des variations d ’éclairement Segmentation de l ’ombre

Codage conjoint source-canal (IP+sans fil) í Optimiser la Qo. S en prenant en compte les modèles de la source et du canal í Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils) í Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal å Equilibre approches compatibles et non compatibles

Codage conjoint compatible: redondance temporelle Objectif: transmission robuste aux pertes Métriques de performance débit-distorsion Estimation compensée en mvt de la propagation des pertes taux de pertes=10% Modèle de test H 263 Optimisation R-D avec prise en compte du canal

Codage conjoint compatible: contrôle de congestion Objectif: Adaptation à la bande passante í Modèles de prédiction de bande passante í Régulation de débit en point-à-point t +d n feed B e ( t )+ R e( t ) dt n ò 5% pertes, Rennes-Stuttgart £ +d t +d n feed buff ~ R ( t ) dt N t n ò

Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint Objectif: Adaptation à la bande passante en multi-point í Algorithme de clustering et d’agrégation (Planète) í Représentation scalable í Modèles et régulation par niveau de scalabilité Récepteur 1 (50 Kbit/S) Récepteur 2 (100 Kbit/s) Récepteur 3 (100 Kbit/s)

(Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils) Objectif: Exploiter la corrélation résiduelle ou introduite íModélisation des dépendances entre processus de la chaîne de codage d et de codage de canal, formalisme réseau Bayésien (collaboration SIGM åDécodage souple de VLCs, basé sur estimateur de type MAP å Turbo décodage source-canal å Synchronisation “douce” de VLCS Réseau Bayésien aléatoire

Codage conjoint non compatible Transformations redondantes Objectif: Introduire de la corrélation au niveau de la représentation de source ñ Introduire de la redondance dans la représentation compressée du signal ñ Exploiter la diversité dans un contexte de transmission multi-canal Codeur de source codeur de canal Expansion du signal sur des bases de fonctions ( « frames » ) redondantes (ou sur-échantillonnées) (n, 1) (n, n)(n, k) (k, 1) F « Bonnes » bases de décomposition? Mise en forme du bruit de quantification Décodeur de source décodage syndrôme Décodage basé syndrôme Projec tion

Protection de documents multimédias • Problématique – limiter le risque de piratage de contenu numérique – insertion d ’une marque invisible dans l ’image – résistance à différentes manipulations • non-intentionnelles – compression, filtrage, cropping, retaille • intentionnelles

Tatouage d ’images fixes et animées • Objectifs – Insertion de marque robuste – Invisibilité de la marque (masquage psychovisuel) – Résistance aux attaques – Analogie avec le codage canal originale • Approche étudiée – Modélisation des attaques – Analogie codage canal • technique d ’étalement de spectre • utilisation de correcteurs • définition de la capacité d ’insertion et/ou taux d ’erreurs Image P tatouée Transformat ion Insertion Clef K Choix de sites Coefficie nts V Messa ge M Mise en forme Marque W Transfo. -1 Image tatouée

Quelques sujets • Analyse automatique ou pseudo-automatique • Compression vidéo – intérêt codage orienté objets? – développement de schémas vraiment scalable – convergence 2 D-3 D? • Codage conjoint – diffusion multicast – gestion des nouveaux réseaux (sans fils) • Tatouage – tatouage assymétrique – résistance accrue face aux attaques – formalisation du problème

Quelques équipes travaillant sur ces sujets • GDR ISIS: http: //www-isis. enst. fr/ – groupement de recherche CNRS sur les activités traitement du signal et de l ’image • Analyse d ’image - compression – SEI - Ecole polytechnique Nantes (D. Barba) – LIS - Grenoble (JM Chassery) – I 3 S-CRe. ATIVe - Sophia Antipolis (M. Barlaud) – LIGIV - Lyon (A. Baskurt) – CREATIS - INSA Lyon (R. Prost, I. Magnin)

Quelques équipes travaillant sur ces sujets • Codage conjoint source canal – LIP 6 (K. Salamatian) – Planete - INRIA Sophia-Antipolis (T. Turletti) – SEI - Nantes (JP Guédon) • Tatouage – UTC (F. Davoine) – LIS (JM Chassery) – Eurecom (JL. Dugelay) – Supelec (P. Duhamel) – SIC - Poitiers (C. Fernandez)