Dynamic Aspects of Character Rendering in the Context

Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems Yvonne Jung 22. 02. 2010

Outline n Motivation n Problemstellung n Anforderungen n Research Focus n Related Work n Contribution n Benefit n Conclusions n Anhang © 2010 Fraunhofer IGD 2

Motivation n Virtuelle Charaktere geeignet als intuitive Mensch-Maschine. Schnittstelle durch Simulation von auch nonverbalem kommunikativem Verhalten n z. B. Assistenzsysteme oder Info-/ Edutainmentanwendungen n Dazu Einbindung in Dialogsystem (DS) nötig, das neben auditiver mindestens auch graphische Komponente aufweist n Multimodale Dialogsysteme erweitern Sprach-DS um weitere Modalitäten (Dialogmanagement erzeugt nicht nur Sprache) n Nicht nur Dialogverhalten selbst, sondern auch Rendering wichtig für Glaubwürdigkeit und Konsistenz In diesem Buch… © 2010 Fraunhofer IGD 3

Problemstellung n Derzeit nicht möglich, alle relevanten Teilbereiche so zu integrieren, dass plausibel reagierende Charaktere in dynam. Umgebungen handhabbar zur Verfügung stehen n Schlecht integrierbare Teilkomponenten, unterschiedliche Algorithmen passen nicht zusammen n Fehlende Content Pipelines, teure und proprietäre Insellösungen n Schwerpunkt aktueller Dialogsysteme (z. B. Real. Actor, EMBR, ECA Max) liegt auf Gestik, Mimik, Sprache bzw. Teilaspekten n Rendering/ psycho-physiologische Prozesse etc. weitgehend vernachlässigt n Einbettung in komplexere Anwendungen, insbes. bei Mixed Reality, kaum möglich n Bsp. Char. Actor System: umfangreich durch Animationsbibliotheken, aber proprietär und andere 3 D-Objekte nicht integrierbar n Mangelnde kontextuelle Relevanz, Interaktion mit Character/ ECA wirkt artifiziell n Animation/ Game Engines (z. B. Emotion. FX, Endorphin, Granny 3 D, Unreal) n …beinhalten meist State-of-the-Art Rendering- und Animationstechniken, aber Middleware mit typischer C++ API ohne Geräteabstraktion u. ä. n Keine Berücksichtigung komplexerer Beleuchtungssituationen, wie in MR gegeben n Cartoonhafte Charaktere im Kontext von MR nicht immer angemessen © 2010 Fraunhofer IGD 4

Anforderungen n Animationskontrolle incl. Motion Blending u. Lip-Sync n Interaktiv in Echtzeit über deklarative Kontrollschicht n Neben Motor Control auch psychophysiologische Prozesse n Nicht nur Overlay sondern Einbettung in komplexere Anwendungen wie Mixed Reality Wartungsszenarien n Interaktion zwischen User, Avatar und 3 D-Szene n Benötigt multimodale Ein-/ Ausgabeschnittstellen n Erfordert geeignete Echtzeit-Renderingverfahren n Beleuchtungsrekonstruktion/-simulation n Nutzbarkeit erfordert überschaubare Abstraktion n Verfügbarkeit durch Einbettung in Standards n Erweiterung von Content Pipelines © 2010 Fraunhofer IGD 5

Research Focus n Generisches System für Visualisierungskomponente multimodaler Dialogsysteme definieren und entwickeln, welches relevante Funktionalitäten integriert und in entsprechender Form handhabbar bereitstellt n Muss Einbettung in komplexere 3 D-Umgebungen erlauben n …einschließlich der Interaktion des Users mit Avatar und Szene n IR als Plattform für größere Anwendungsbandbreite § Besitzt Vielzahl an multimodalen Ein-/ Ausgabeschnittstellen n Verfügbarkeit und Effizienz durch Integration in (X 3 D) Standard n Dabei Berücksichtigung damit zusammenhängender Teilfragestellungen n z. B. Kamera- und Animationskontrolle usw. n Entwicklung von Renderingverfahren, die Anwendung um weitere dynamische Faktoren ergänzen n Einbezug unbewusst ablaufender (oft emotionaler) Prozesse § Konsistent/ synchron mit Voice/ Motor Response § Wo nötig, deklarativ kontrollierbar n Konsistentes (Echtzeit-) Rendering mit restlicher Szene insbes. bei Mixed Reality © 2010 Fraunhofer IGD 6

Research Focus – Teilbereiche n Kontrollschicht n Abstraktion für Verhaltensbeschreibung und Scripting n Einfache Integration in Modulpipelines über deklarativen Ansatz n Ausführungsschicht n Nachhaltigkeit durch Aufsetzen auf offenen Standard n Wichtige Bausteine wie Sprache u. weitere dynamische Faktoren n Character Dynamics und Haare n Haut Rendering und Emotionen n Kamera und Lighting/ Mixed Reality n Unterteilung in „bewusst“ u. „unbewusst“ ablaufende Phänomene n Gestik, Mimik etc. sind normalerweise bewusst steuerbar, “Seiteneffekte” und physiologische Prozesse jedoch nicht n Fokus auf graph. Repräsentation virtueller Charaktere © 2010 Fraunhofer IGD 7

Related Work © 2010 Fraunhofer IGD 8

“Unbewusst” “Bewusst” steuerbar Related Work – Abdeckung d. Bereiche d. verknüpfte Komponenten (a) Deklarative Kontrolle von Charakteren u. interakt. Szene [3, 5, 9, 11, 17, 21] (e) Fokus auf interaktiven Content [20, 21, 24, 25] (f) Robuste Schatten, GPUbasierte SHs, verwendbar in beliebig. Szenen [7, 10, 16, 19] (b) Integration von dynam. Motor Control in Standard sowie in Content Pipeline [3, 5, 9, 11, 17, 21] (c) Robuste, performante, einfach parametrier- und einbindbare Haare [1, 2, 9, 11] (d) Klassifizierung u. Modell für dynam. Farbveränderungen und Tropfenfluss; GPU-basierte Impl. [4, 18, 23, 26, 27] © 2010 Fraunhofer IGD 9

Contribution n Grobe Zuordnung von Veröffentlichungen zu Forschungsfeldern a) Rahmensystem/ Kontrollschicht (vgl. [3, 5, 9, 11, 17, 21]) b) Character Dynamics/ Sprache (vgl. ebd. ) c) Haarsimulation und Rendering (vgl. [1, 2, 9, 11]) d) Skin Rendering u. Emotionen (vgl. [4, 18, 23, 26, 27]) Ausführungsschicht e) Virtuelle Kamera (vgl. [20, 21, 24, 25]) f) Beleuchtung/ Mixed Reality (vgl. [7, 10, 16, 19]) © 2010 Fraunhofer IGD 10

Contrib. a) – Rahmensystem n n Kontrollschicht § Koordination u. Synchronisierung von Abläufen § Über Scripting- u. Interfacesprache PML zur Animations-/ Eventkontrolle § vgl. [3, 5, 9, 11, 17, 21] Ausführungsschicht § „Bewusst“ gesteuertes Verhalten § Pose, Gestik § Mimik, Sprache § „Unbewusst“ ablaufende Phänomene § Weinen, Erröten § Haarbewegungen § … § Umgebungsszene § … Geste 1 Mimik/Audio 1 Objekt an Geste 2 Mimik/Audio 2 Emotion Emotion Zeit © 2010 Fraunhofer IGD 11

Contrib. b) – Character Dynamics n s. Rahmensystem: [3, 5, 9, 11, 17, 21] n (X 3 D) Behavior. Controller Komponente für Synchronisation u. Blending n Grundlage: geskinnte X 3 D-/ H-Anim-Figur mit Keyframe-Animationen n Problem: nur Struktur standardisiert, Rest rudimentär u. zu elementar n Erweiterung um Blendingmechanismen (folgt aus „höheren“ Schichten) n Um z. B. gleichzeitig verschiedene Gesten abzuspielen n (Prozedurale) Generierung verschiedener Bewegungsmuster zur Laufzeit n IK-Subsystem u. parametrisierbares Laufen (Proof-of-Concept Impl. ) n Morphing inklusive Online-TTS, Phonem-Visem-Mapping und Lip-Sync © 2010 Fraunhofer IGD 12

Contrib. c) – Simulation und Rendering von Haaren n vgl. [1, 2, 9, 11] n Simulation: Kinematische Kette, verankert an Haarwurzel (Wuchsrichtung T) n Transformation von Anker zieht Kette (Längskante) bei Längenerhalt nach n Vorteil: sehr robust, performant, einfach parametrier- und einbindbar n Rendering: Quadstrips (Sortieren wegen Blending); zwei spekulare Highlights © 2010 Fraunhofer IGD 13

Contrib. d) – Skin and Emotions n vgl. [4, 18, 23, 26, 27] n Extrinsische Faktoren n Zusammensetzung von Haut, Reflexionseigenschaften, Scattering n Intrinsische Faktoren/ Emotionen n Neben Gesichtsanimation bei starken Emotionen auch Hautveränderungen wesentlich n Studie: insbes. Trauer und Wut werden dadurch besser erkannt n Emotionsmodell zur Parametrisierung dynamischer Hautveränderungen (inkl. Weinen) n Erröten, Blasswerden (3 D-Texturstack, State über Interpolation) n Weinen, Schweiß über GPU-basierte Tröpfchenfluss-Simulation © 2010 Fraunhofer IGD 14

Contrib. e) – Camera § vgl. [20, 21, 24, 25] § Declarative/ cinematographic approach to camera placement § Based on well-established techniques from the film area § Intuitive framing of objects, useful e. g. for dialog systems § Camera model additionally includes special visual effects © 2010 Fraunhofer IGD 15

Contrib. f) – Mixed Reality and Lighting n vgl. [7, 10, 16, 19] n AR/ MR basics (integration of data streams, …) n Lighting reconstruction and simulation for seamless integration n Recover light sources, lighting with real illumination n Differential rendering and Shadow mapping n Extensions for advanced rendering techniques in X 3 D Links: Für [7] implementierte Schattenverfahren, Bild auch abgedruckt in Akenine-Möller et al. , 2008, Real-Time Rendering, Seite 368. © 2010 Fraunhofer IGD 16

Benefits n Virtual characters as personal dialog partners – multimodal dialogs with regard to affective components (Virtual Human project) n Reliable and consistent motion and dialog behavior; efficiency for realization of applications by non-programmers n Automotive assistant acts as dialog interface (Virtual Car Assistant) n Virtual Learning Environments (cf. [12]): embed learning experience into story to provide context, structure and background information n Interactive elements for “grasping” the learning matter © 2010 Fraunhofer IGD 17 17

Benefits n Storyboarding and early pre-visualization n Other context, same techniques (ANSWER project) n Requires flexible animation control via declarative XML Interface n Camera and lighting essential for perception of scenario n Enables comparison of pre-vis and real footage in post-production © 2010 Fraunhofer IGD 18

Conclusions n System für Visualisierungskomponente multimodaler Dialogsysteme wurde vorgestellt § Integriert wesentliche Funktionalitäten und stellt diese handhabbar bereit § Verbindet dabei wichtige Bausteine und deklarative Kontrollschicht § Ermöglicht plausibel reagierende Charaktere in dynamischen Umgebungen n Damit zusammenhängende Teilfragestellungen wurden ausgearbeitet § Animations-/ Kamerakontrolle, Haarsimulation, Emotionsvisualisierung, MR Aspekte § Verfahren für konsistentes Rendering mit restlicher Szene bei Mixed Reality § Integration in Instant Reality Framework für größere Anwendungsbandbreite § Verfügbarkeit und Effizienz durch Integration in X 3 D-Standard § Bausteine skalierbar und generisch genug, um in anderem Kontext nutzbar zu sein n Einbezug der Darstellung psycho-physiologischer/ unbewusst ablaufender Prozesse § Ausdrucksstarke virtuelle Charaktere bieten neue Evaluationsmöglichkeiten n Nutzen des Systems konnte in verschiedenen Anwendungsfeldern gezeigt werden © 2010 Fraunhofer IGD 19

Possible Future Work n Autorensystem zur graphisch-interaktiven Entwicklung von X 3 D-/PML-basierten Anwendungen § Anlegen einer Objekt-/Animationsbibliothek usw. n Weiterentwicklung der prozeduralen Animationen (derzeit Proof-of-Concept Implementierung) n Differenziertere Koartikulation bei Lip-Sync via Online-TTS n Erweiterung der Haarsimulation z. B. um andere Frisur- und Haartypen n Beleuchtungsmodell wegen SH ungeeignet für hohe Frequenzen, Transferfkt. zu einfach § Materialrekonstruktion zur Vermeidung von Fehlern beim Relighting n Einbezug abstrakterer kinematographischer Konzepte (vgl. z. B. Weekley and Brutzman 09) n Verknüpfung der Avatar-/Objekt-Geometrie mit Semantik (intelligente Objekte z. B. als Trigger) n Zusammenarbeit mit Medizinern/ Psychologen, um vorgestelltes Modell zur Klassifizierung und Parametrisierung emotional verursachter Hautveränderungen zu evaluieren n… © 2010 Fraunhofer IGD 20

Publications [1] Jung, Y. , Rettig, A. , Klar, O. , and Lehr, T. Realistic real-time hair simulation and rendering. In Eurographics: Vision, Video, and Graphics. Proceedings 2005 (Aire-la-Ville, 2005), E. Trucco and M. Chantler, Eds. , Eurographics Association, pp. 229– 236. [2] Jung, Y. , and Knöpfle, C. Styling and real-time simulation of human hair. In Intelligent Technologies for Interactive Entertainment. Proceedings: First International Conference, INTETAIN 2005 (Heidelberg, 2005), M. Maybury, O. Stock, and W. Wahlster, Eds. , vol. 3814 of Lecture Notes in Artificial Intelligence, Springer, pp. 240– 245. [3] Knöpfle, C. , and Jung, Y. The virtual human platform: Simplifying the use of virtual characters. The International Journal of Virtual Reality (IJVR) 5, 2 (2006), pp. 25– 30. [4] Jung, Y. , and Knöpfle, C. Dynamic aspects of real-time face-rendering. In VRST Cyprus 2006. Proceedings of the ACM symposium on Virtual Reality software and technology (New York, USA, 2006), ACM, pp. 193– 196. [5] Behr, J. , Dähne, P. , Jung, Y. , and Webel, S. Beyond the web browser – X 3 D and immersive VR. In IEEE VR 2007: VR Tutorial and Workshop Proceedings: IEEE Symposium on 3 D UI (Piscataway, USA, 2007), IEEE. 5 p. [6] Behr, J. , Dähne, P. , and Jung, Y. Avalon – advanced mixed reality technology at your fingertips. Computer Graphics topics 19, 1 (2007), pp. 31– 32. [7] Jung, Y. , Franke, T. , Dähne, P. , and Behr, J. Enhancing X 3 D for advanced MR appliances. In Web 3 D ’ 07: Proceedings of the twelfth international conference on 3 D web technology (New York, NY, USA, 2007), ACM Press, pp. 27– 36. (2 nd Price Best Paper Award INI-Graphics. Net 2008) © 2010 Fraunhofer IGD 21

Publications [8] Jung, Y. , Weber, C. , Webel, S. , and Knöpfle, C. Exploration einer virtuellen Stratigraphie mit Hilfe von Verfahren des interaktiven Designreviews. In GI-Fachgruppe VR/AR: 4. Workshop der GI-Fachgruppe VR/AR (Aachen, 2007), M. E. Latoschik and B. Fröhlich, Eds. , Shaker, pp. 47– 54. [9] Jung, Y. , and Knöpfle, C. Real-time rendering and animation of virtual characters. The International Journal of Virtual Reality (IJVR) 6, 4 (2007), pp. 55– 66. [10] Franke, T. , and Jung, Y. Real-time mixed reality with GPU techniques. In INSTICC: GRAPP 2008: Proceedings of the Third International Conference on Computer Graphics Theory and Applications (Setubal, 2008), INSTICC Press, pp. 249– 252. [11] Jung, Y. Animating and rendering virtual humans – Extending X 3 D for real-time rendering and animation of virtual characters. In INSTICC: GRAPP 2008: Proceedings of the Third International Conference on Computer Graphics Theory and Applications (Setubal, 2008), INSTICC Press, pp. 387– 394. [12] Jung, Y. Building blocks for virtual learning environments. In Eurographics: WSCG 2008. Communications Papers (Plzen, 2008), S. Cunningham and V. Skala, Eds. , Eurographics Association, pp. 137– 143. [13] Bockholt, U. , Jung, Y. , Recker, R. , and Olbrich, M. Visuelles und haptisches Volumenrendering von medizinischen Bilddaten in Virtual Reality-Simulationen. In 11. IFF-Wissenschaftstage 2008. Tagungsband (Magdeburg, 2008), M. Schenk, Ed. , Fraunhofer IFF, pp. 31– 37. [14] Jung, Y. , Recker, R. , Olbrich, M. , and Bockholt, U. Using X 3 D for medical training simulations. In Proceedings Web 3 D 2008: 13 th International Conference on 3 D Web Technology (New York, USA, 2008), S. Spencer, Ed. , ACM Press, pp. 43– 51. © 2010 Fraunhofer IGD 22

Publications [15] Jung, Y. , Keil, J. , Behr, J. , Webel, S. , Zöllner, M. , Engelke, T. , Wuest, H. , and Becker, M. Adapting X 3 D for multi-touch environments. In Proceedings Web 3 D 2008: 13 th International Conference on 3 D Web Technology (New York, USA, 2008), S. Spencer, Ed. , ACM Press, pp. 27– 30. [16] Franke, T. , and Jung, Y. Precomputed radiance transfer for X 3 D based mixed reality applications. In Proceedings Web 3 D 2008: 13 th International Conference on 3 D Web Technology (New York, USA, 2008), S. Spencer, Ed. , ACM Press, pp. 7– 10. [17] Jung, Y. , and Behr, J. Extending H-Anim and X 3 D for advanced animation control. In Proceedings Web 3 D 2008: 13 th International Conference on 3 D Web Technology (New York, USA, 2008), S. Spencer, Ed. , ACM Press, pp. 57– 65. [18] Kölzer, K. , Jung, Y. , Nagl, F. , Birnbach, B. , and Grimm, P. Grafikkartenbasierte Simulation von tröpfchenförmigen Flüssigkeiten auf Oberflächen. In Schumann, Marco (Hrsg. ) u. a. ; Ges. für Informatik, GI-Fachgruppe VR/AR: 5. Workshop der GI-Fachgruppe VR/AR (Aachen, 2008), Shaker, pp. 149– 156. [19] Riess, P. , and Jung, Y. Module- and chain-based architecture for creating virtual and augmented reality manuals. In Schumann, Marco (Hrsg. ) u. a. ; Gesellschaft für Informatik, GI-Fachgruppe Virtuelle Realität und Augmented Reality: 5. Workshop der GI-Fachgruppe VR/AR (Aachen, 2008), Shaker, pp. 197– 208. [20] Jung, Y. , Keil, J. , Wuest, H. , Engelke, T. , Riess, P. , and Behr, J. Knowledge at your fingertips – Multitouch interaction for GIS and architectural design review applications. In GRAPP 2009: Proc. of the 4 th Int. Conference on Computer Graphics Theory and Applications (2009), INSTICC Press, pp. 387– 392. [21] Jung, Y. , and Behr, J. Simplifying the integration of virtual humans into dialog-like VR systems. In Proceedings of IEEE Virtual Reality 2009 Workshop: 2 nd Workshop on Software Engineering and Architectures for Realtime Interactive Systems (2009), Shaker, pp. 41– 50. © 2010 Fraunhofer IGD 23

Publications [22] Behr, J. , Eschler, P. , Jung, Y. , and Zöllner, M. X 3 DOM – a DOM-based HTML 5/ X 3 D integration model. In Proceedings Web 3 D 2009: 14 th International Conference on 3 D Web Technology (New York, USA, 2009), S. Spencer, Ed. , ACM Press, pp. 127– 135. [23] Jung, Y. , and Behr, J. GPU-based real-time on-surface droplet flow in X 3 D. In Proceedings Web 3 D 2009: 14 th International Conference on 3 D Web Technology (New York, USA, 2009), S. Spencer, Ed. , ACM Press, pp. 51– 54. [24] Jung, Y. , and Behr, J. Towards a new camera model for X 3 D. In Proceedings Web 3 D 2009: 14 th International Conference on 3 D Web Technology (New York, USA, 2009), S. Spencer, Ed. , ACM Press, pp. 79– 82. [25] Beales, R. M. , Chakravarthy, A. , Hedtke, R. , Huther, W. , Jung, C. , Jung, Y. , Koutsoutos, S. , and Yannopoulos, A. Automated 3 d pre-vis for modern production. In International Broadcasting Convention (IBC) 2009. Conference Publication: Technical Papers. (London, 2009). 8 p. [26] Jung, Y. , Weber, C. , Keil, J. , and Franke, T. Real-time rendering of skin changes caused by emotions. In Intelligent Virtual Agents, 9 th International Conference, IVA 2009, Amsterdam, The Netherlands, Proceedings (Heidelberg, 2009), Z. Ruttkay, M. Kipp, A. Nijholt, and H. H. Vilhjálmsson, Eds. , vol. 5773 of Lecture Notes in Artificial Intelligence, Springer, pp. 504– 505. [27] Weber, C. , and Jung, Y. Entwurf und Evaluation eines Modells zur Darstellung emotional verursachter Hautveränderungen. In Gerndt, Andreas (Hrsg. ) u. a. ; Gesellschaft für Informatik, GI-Fachgruppe Virtuelle und Erweiterte Realität: 6. Workshop der GI-Fachgruppe VR/AR (Aachen, 2009), Shaker, pp. 245– 256. © 2010 Fraunhofer IGD 24

Anhang © 2010 Fraunhofer IGD 25

Character Animation with X 3 D n ISO standard X 3 D provides format & runtime for developing interactive 3 D applications n Open instead of proprietary n With H-Anim X 3 D has character support n n n Portable, data exchange H-Anim defines skeleton setup n Joint hierarchy extends scene-graph n Skins & bones system n Animation via Interpolator nodes n Displacer for modifying mesh Example shows animation of one joint n Key-frame animations too fine-grained n No animation synchronization etc. n Existing X 3 D concepts not sufficient DEF HUMANOID HAnim. Humanoid {. . . DEF l_hip HAnim. Joint { name "l_hip" skin. Coord. Index [] skin. Coord. Weight [] children [] }. . . } DEF TIMER Time. Sensor {} DEF L_HIP_ANIM Orientation. Interpolator {} ROUTE TO TIMER. fraction_changed L_HIP_ANIM. set_fraction L_HIP_ANIM. value_changed l_hip. set_rotation © 2010 Fraunhofer IGD 26

Player Markup Language (PML) n Domain specific language for behavior scripting § Describes scene act, relates to virtual object § Independent from concrete realization § Dictionary of behavior descriptions n Elements: messages, definitions & actions scripts § Definitions scripts define scene elements, animations, phoneme-viseme mapping, … § Actions script schedules and synchronizes movements etc. via <seq> and <par> § Processing of scripts controlled via messages § Including feedback from interactions n PML as abstraction for controlling behavior § n Editor Scene Data Mapping: XML/ PML X 3 D Implementation of story-lines at higher level X 3 D animation control component as interpreter § Nodes for extending X 3 D by means for scheduling and high-level animation control § Communication with controller via PML § Scripting (internally) § SAI (externally) © 2010 Fraunhofer IGD 27

Schematic of Module Pipeline and System Architecture External view: A typical DS module pipeline Internal view: Interface and system architecture © 2010 Fraunhofer IGD 28

Gliederungsentwurf © 2010 Fraunhofer IGD 29

Gliederungsentwurf © 2010 Fraunhofer IGD 30