DETECCIN Y REGULACIN INTELIGENTE DE EMOCIONES EN ANCIANOS

DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación en Discapacidades Neurológicas (IDINE) Universidad de Castilla-La Mancha

1. ESQUEMA GENERAL DEL PROYECTO ¿Qué objetivos pretendemos alcanzar?

¿Qué pretendemos alcanzar? • PRIMERO • Desarrollar un sistema capaz de detectar emociones a través de la expresión facial y la respuesta fisiológica. • Adaptar el sistema para su uso con ancianos. • SEGUNDO • Desarrollar un sistema de regulación de las emociones, mediante el uso de estímulos como color, iluminación, paisaje sonoros, música o recuerdos autobiográficos, entre otros. • Adaptar el sistema para su uso con ancianos.

EMOTION REGULATION Emotion Interpretation and Regulation Emotion-tailored music / sounds, colors and lightning conditions. Emotions & brain electrical and spatial activity data fusion. Data mining techniques for emotion regulation. Data Fusion and Mining RECOGNIZED EMOTIONS Ground truth data

AMBIENT ADAPTATION System tuned to regulate specific emotions in the ambience. Smart Ambient Assessment An intelligent system is in charge of adapting the ambience towards regulating emotions. No private information is sent outside the system. Ambient Intelligence EMOTION-TAILORED MUSIC/SOUNDS, COLORS AND LIGHTS; ROBOT BEHAVIORS

2. DETECCIÓN DE EMOCIONES Procedimientos para la inducción y detección de emociones

Activación fisiológica Conducta expresiva: comportamiento Experiencia subjetiva: sentimientos Emoción

Detección de emociones a través de la expresión facial • Reconocimiento de emociones a través de la expresión facial en tiempo real • Análisis de la Expresión Facial • Detección de emociones a través de la Expresión Facial

Facial Expression Analysis 1. Detection of facial points • Active shape models are used for the detection of facial points • ASM are statistics models about the possible shapes of an object • • • Several models Databases: • IMM: 37 images, 58 points • Bio. ID: 1521 images, 20 points • XM 2 VTS: 2360 images, 68 points XM 2 VTS generates the most suitable model

Facial Expression Analysis • Eyebrow Features Mouth-Nose Features Eye Features 2. Feature extraction

Data and Results: Emotion Detection in Images Hits • Fear Disgust Surprise Neutral Happiness Sadness Anger 4. Detection of emotions

Data and Results: Emotion Detection in Video Wrong Predictions Emotion: Happiness Predicted: Disgust Emotion: Anger Predicted: Disgust Emotion: Disgust Predicted: Anger Emotion: Fear Predicted: Sadness Emotion: Surprise Predicted: Fear Emotion: Sadness Predicted: Fear

Detección de emociones a través de la respuesta fisiológica • Respuesta electrodermal • Pulso • Temperatura corporal • Electromiograma (EMG)

Diseño de hardware Prototype Hardware scheme

Sensor de la actividad electro-dermal • Basis: Sweat increases as arousal level grows. • Constant voltage circuit measure skin conductance. • 1. 5 Hz low-pass filter and 0. 05 Hz high-pass filter were used • These signals were sampled at 20 Hz.

Technician monitor Patient monitor

Procesamiento de la señal • Once the EDA signals were recorded, they were post- processed by following the methodology described in [2]. 1) Signals were filter again with a 1. 5 Low-pass filter to decrease the noise. [2] Wearable and Automotive Systems for Affect Recognition from Physiology, Jennifer A. Healey. Phd dissertation. 2000.

Procesamiento de la señal 2) First forward difference was computed 3) Positive events were discriminated as those exceeding a threshold.

Detección de emociones en ancianos • Experimentos con jóvenes/ancianos • Cambios en la expresión facial con la edad • Cambios en la respuesta fisiológica con la edad

3. REGULACIÓN DE EMOCIONES Procedimientos para el cambio del estado emocional a través de distintos estímulos ambientales

Description of the Experiment

First Musical Test: The Beat • The piece is titled “Walking on the Street”, • • framed in a suite called “Three Little Bar Songs Suite” The different melodies combine both classical and contemporary elements of music The only requirement is that both music pieces share a tonal harmonic language, with a harmonic rhythm of classical music and repetitive rhythmic parameters This enables to highlight each of the auditions to categorize them correctly So, in this way, we have a piece which rhythm uses constantly alternating dotted notes (providing a touch of swing) and syncopated notes in prominent places • Then, changes are provided to the harmonic rhythm used.

Uso de técnicas de recuerdo autobiográfico • Después de realizar una Revisión de Vida estructurada se implementaría un sistema integrado de recuerdos personales, incluyendo: • Fotografías • Vídeos • Música • Paisajes sonoros • …

4. INTERACCIÓN SISTEMA-USUARIO ¿Cómo percibe e interactúa el usuario con tecnología desarrollada?

Participantes: • Antonio Fernández- Caballero • José M. Latorre • María T. López • Elena Lozano-Monasor • Francisco Vigo-Bustos • Marina V. Sokolova • Alicia Fernández-Sotos • Pablo Olivos Jara • Arturo Martínez- Rodrigo • Roberto Zangróniz • José Manuel Pastor • César Sánchez Melendez • Laura Ros • Juan Pedro Serrano • Jorge Ricarte • Luz Fernández-Aguilar

MUCHAS GRACIAS POR SU ATENCIÓN Jose. Latorre@uclm. es This work was partially supported by Spanish Ministerio de Economía y Competitividad / FEDER under TIN 2013 -47074 -C 2 -1 -R grant.