Complexit Naturelle et Synthse dImages Fabrice Neyret i

Complexité Naturelle et Synthèse d’Images Fabrice Neyret i. MAGIS* - GRAVIR / IMAG - INRIA http: //www-imagis. imag. fr/ * i. MAGIS est un projet commun CNRS, INRIA, INPG et UJF.

Simuler les Scènes Naturelles Cadre : l l effets spéciaux (réalisme) réalité virtuelle (temps réel) Paradigme classique : équations physique + données + gros ordinateur Ù simulation réaliste Problème : ne marche pas si bien ! i. MAGIS-GRAVIR / IMAG

Les scènes naturelles sont complexes i. MAGIS-GRAVIR / IMAG

Elles contiennent énormément de détails : i. MAGIS-GRAVIR / IMAG

Le détail des mouvements est complexe : i. MAGIS-GRAVIR / IMAG

Scènes Naturelles en Synthèse d’Images Gardner 84 Reeves 85 Fournier & Reeves 86 i. MAGIS-GRAVIR / IMAG

Deussen, Hanrahan, Lintermann, Mech, Pharr, Prusinkiewicz 98 AMAP Xfrog+Povray i. MAGIS-GRAVIR / IMAG

Lee & Musgrave Nishita, Nakamae, Dobashi 96 Areté Foster & Fedkiw 01 i. MAGIS-GRAVIR / IMAG

Problèmes techniques rencontrés l travail de modélisation (de la scène) � l stockage Pour le rendu : l temps de calcul l aliasing Pour l’animation : l résolution en temps et en espace l stabilité, convergence i. MAGIS-GRAVIR / IMAG

Problèmes plus fondamentaux l Les modèles physiques sont-ils complets ? l Les paramètres sont-ils disponibles ? l A-t-on besoin de cette mer de chiffres ? (on remarque surtout les effets émergents) l Quel contrôle du résultat global ? (même remarque) i. MAGIS-GRAVIR / IMAG

Et pourtant… les peintres y arrivent ! i. MAGIS-GRAVIR / IMAG

Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, +? i. MAGIS-GRAVIR / IMAG

Exploite-t-on toute la connaissance disponible ? Il y a de grandes régularités dans les scènes naturelles ! i. MAGIS-GRAVIR / IMAG

Mon approche pour traiter ces scènes Complexité spatiale Ù Représentations impressionnistes (i. e. alternatives aux polygones) Complexité d’échelles Ù Hiérarchie de modèles Complexité du mouvement Ù Modèles phénoménologiques Outils de description et construction i. MAGIS-GRAVIR / IMAG

Mon approche pour traiter ces scènes 1 Représentations impressionnistes (i. e. alternatives aux polygones) 2 Hiérarchie de modèles 3 Modèles phénoménologiques 4 Outils de description et construction i. MAGIS-GRAVIR / IMAG

1. Représentations: l quelques ingrédients Codage direct du comportement lumineux Ù champ de réflectance sur la surface e. g. : BRDF, distribution de normales (NDF) l Codage volumique (e. g. pour pseudo-surfaces) Ù champ de densité très efficace à cette échelle l Codage texturel (plaquage de motifs) Ù champ de pixels coût de rendu indépendant du motif revient à factoriser / quantifier la géométrie ( existants: IBR, lightfields, shaders, cartes de Z, surfels. . . ) i. MAGIS-GRAVIR / IMAG

Les bonnes propriétés Ces représentations sont compactes l pas plus que l'information visible (impressionisme) l moins de travail inutile pour le graphiste Elles sont structurantes, ce qui permet l l'optimisation du temps de rendu l l'anti-aliasing (e. g. : MIP-mapping) i. MAGIS-GRAVIR / IMAG

Exemple 1: les textures volumiques l cube de texture Ù volume (voxels) Ù comportement lumineux l surface à texturer l mapping Kajiya & Kay 89 i. MAGIS-GRAVIR / IMAG

Exemple 1: les textures volumiques l cube de texture Ù volume (voxels) Ù comportement lumineux l surface à texturer l mapping i. MAGIS-GRAVIR / IMAG

Exemple 1: les textures volumiques i. MAGIS-GRAVIR / IMAG

Textures volumiques en temps-réel A. Meyer [EWR’ 98] i. MAGIS-GRAVIR / IMAG

F. Sénégas i. MAGIS-GRAVIR / IMAG

Exemple 2: les shaders hiérarchiques A. Meyer pixel [GI’ 00] Formule analytique de la reflectance totale dans le pixel i. MAGIS-GRAVIR / IMAG

Exemple 2: les shaders hiérarchiques pixel i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

Exemple 3: les textures bidirectionnelles A. Meyer P. Poulin [EWR’ 01] v i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

2. Hiérarchie de modèles Habiller un modèle global avec un modèle local: l l l modèle physique de fluide à grande échelle et faible resolution + croute de lave détails qualitatifs à haute résolution hiérarchie de motifs animés caractéristiques de chaque échelle pour les nuages convectifs / la fumée surface d’organe interactive + détails 3 D déformables pour la simulation chirurgicale (bronches, intestins) i. MAGIS-GRAVIR / IMAG

Exemple: coulée de lave D. Stora, P. -O. Agliati, M-P. Cani [GI’ 99] Modèle de mouvement l l l physique (approché) large domaine basse résolution Simulation à base de particules i. MAGIS-GRAVIR / IMAG

Exemple: coulée de lave Construction d’une surface l peau implicite l voisinages i. MAGIS-GRAVIR / IMAG

Exemple: coulée de lave habillage i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

3. Modèles phénoménologiques Caractériser les formes et leurs intéractions à grande échelle: Ù Modéliser directement les phénomènes émergents i. MAGIS-GRAVIR / IMAG

Exemple 1: Simulation des ruisseaux phénomènes émergents: ici, ridules et ondes de choc N. Praizelin [EWAS’ 01] i. MAGIS-GRAVIR / IMAG

Typologie des vagues stationnaires cw ondes de gravité (dispersives) cg cw ondes capillaires créées par une onde de choc l Cas non dispersif: cg = cw = c onde de choc c v c ondes capillaires g cw cg v c i. MAGIS-GRAVIR / IMAG

Construction géométrique des ondes i. MAGIS-GRAVIR / IMAG

3. Add field perturbations i. MAGIS-GRAVIR / IMAG

Exemple 2: animation de nuages convectifs Modéliser directement les instabilités caractéristiques [EWAS’ 97] i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

Exemple 3: rendu de cumulus Caractéristiques lumineuses prévisibles i. MAGIS-GRAVIR / IMAG

(travaux préliminaires) i. MAGIS-GRAVIR / IMAG

4. Outils de description et construction Pour l’habillage (détails, état de surface) l Assez haut niveau l Largement contrôlable (pas trop automatique) l Interactif è Formes issues du mouvement è Textures (mapping, procédurales, animées…) i. MAGIS-GRAVIR / IMAG

Exemple 1: textures de dilatation Jean Combaz i. MAGIS-GRAVIR / IMAG

Exemple 2: Synthèse de déchirures S. Lefebvre i. MAGIS-GRAVIR / IMAG

Construction de l’habillage i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

Exemple 3: plaquage de textures & M-P. Cani [SIG’ 99] Problèmes: distortion, discontinuité, périodicité i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

Exemple 4: flownoise & K. Perlin [SIGsketch’ 01] i. MAGIS-GRAVIR / IMAG

5. Temps réel A. Miné R. Heiss F. Sénégas Lombardo & Cani [CA’ 99] [TVC’ 01] i. MAGIS-GRAVIR / IMAG

Animation adaptative de l’océan D. Hinsinger, M-P. Cani [soumis] Résolution 50 x 50, 15 fps 300 x 300, 10 s de calcul i. MAGIS-GRAVIR / IMAG

Conclusions l il y a une vie en dehors des polygones, et de Navier-Stokes ! l ne pas cher un modèle universel l aucun modèle n’est bon à toutes les échelles Ù il y a un espoir pour le rendu réaliste rapide des scènes naturelles (eau, fumée, nuages, cheveux, fourrure…) i. MAGIS-GRAVIR / IMAG

Complexité Naturelle et Synthèse d’Images Fabrice Neyret i. MAGIS* - GRAVIR / IMAG - INRIA http: //www-imagis. imag. fr/ * i. MAGIS est un projet commun CNRS, INRIA, INPG et UJF.

i. MAGIS-GRAVIR / IMAG

Hydraulique et ressauts C. Dodard i. MAGIS-GRAVIR / IMAG

i. MAGIS-GRAVIR / IMAG

Mon approche pour traiter ces scènes 1 Complexité spatiale Ù représentations impressionnistes (i. e. alternatives aux polygones) 2 Complexité d’échelles Ù hiérarchie de modèles 3 Complexité du mouvement Ù modèles phénoménologiques 4 Outils de description et construction i. MAGIS-GRAVIR / IMAG