MODELING HUMANS IN HUMAN COMPUTER INTERACTION CONOCIMIENTO BASICO

MODELING HUMANS IN HUMAN COMPUTER INTERACTION

CONOCIMIENTO BASICO PARA EL MODELADO l Tres aspectos a considerar: l l Cognitivo Físico Afectivo Modelado de errores humanos

SISTEMA DE MEMORIA HUMANA l l Memoria a corto plazo (STM) o Working Memory (WM) Memoria a largo plazo (LTM) l l Estructuras o esquemas. Frames Scripts Redes semánticas

Modelo de procesamiento de Información l El conocimiento entra a través de los sentidos, de la parte consciente a la inconsciente, y las acciones de la parte inconsciente a la consciente, después de cierto procesamiento

MODELO DE PROCESAMIENTO DE INFORMACIÓN (Card et. al. ) Long Term Memory Indefinido Working Memory 7 +/- 2 Almacén de imágenes visuales auditivas Procesador cognitivo Procesador perceptual Procesador del sistema motor

Modelo de Control de Procesamiento de Información Symptomathic Rule S-Rule Topographic Rule T-Rule Attentional mode Schematic mode Procesamiento serial Consciente Inconsciente Consume tiempo y requiere esfuerzo mental Rápida respuesta, esfuerzo mínimo Solución de problemas en nuevas situaciones Excelente en situaciones conocidas, no efectivo en situaciones inesperadas

MULTIADDER MODEL Psychological aspect l Comportamiento humano en la solución de Upper problemas level l Orientado a metas Lower level Processing aspect

Sistema cognitivo en 2 capas Aspecto de procesamiento Procesadores a alto nivel Aspecto psicológico Amplio rango de tiempo Control sobre procesos mas bajos Monitorea el progreso Atención consciente sobre proceso de planeación y monitoreo Ofrece formas de llegar a la meta Selección restrictiva en la STM Procesadores a bajo nivel Funciones de proceso de conocimiento automáticas Ejecución automática de esquemas apropiados de AI Corto plazo respondiendo a un conjunto de datos específico Recuperación por similitud o frecuencia

Recepción visual de la interfaz l l Una misma entrada cambiará de significado dependiendo del enfoque del usuario o el contexto de la tarea Señales Signos Símbolos

Modos Cognitivos a nivel Interfaz Respuesta inconsciente, comportamiento reflejo Señal Respuesta consciente basada en reglas Signo Respuesta basada en conocimiento, después de un proceso de pensamiento abstracto Símbolo

COMPORTAMIENTO J. Ramussen

Prediciendo errores humanos l l Familiarización – Falta de atención (Strong-butwrong error) Selección – No identificar los datos generales o importantes (Cognitive overload) Información estructurada de manera teórica – Problemas al aplicar el conocimiento debido a la distorsión (Confirmation bias) Recuperación de contenido – Aplicar lo que se conoce y que falle en el caso particular (Availability, Matching bias)

Sistema de Modelado Genérico de Errores (GEMS) -- Modelado Dinámico l Errores desde la Psicología Cognitiva l l l Error por omisión Error por comisión Modelado de errores en GEMS l l l En el comportamiento basado en habilidades En el comportamiento basado en reglas En el comportamiento basado en conocimiento

Sistema de Modelado Genérico de Errores (GEMS) -- Modelado Dinámico l Falla de monitoreo l l l Siempre que se hace una tarea repetitiva, hay una revisión intermitente Availability - Activación de memoria errónea Strong-but-wrong error – La revisión no está sincronizada con la acción

Sistema de Modelado Genérico de Errores (GEMS) -- Modelado Dinámico l Falla en la solución de problemas l l l La información se toma como entrada para resolver el problema Availability Defecto en la base de conocimiento Matching bias Cognitive overload

Sistema de Modelado Genérico de Errores (GEMS) -- Modelado Dinámico l Problemas en el comportamiento basado en el conocimiento l Errores en el sistema l l l A priori. Deficiencia de conocimiento en las características del sistema A posteriori. Adaptación inicial, pero el sistema falla y su estado se vuelve inestable, de manera que el operador no puede continuar trabajando con él Deterioro en las habilidades del usuario bajo condiciones de stress

ESQUEMA DE ERRORES HUMANOS EN LA INTERFAZ

Marco Conceptual de Comportamiento Humano 1. 2. Rendimiento correcto y predicción de errores humanos Simulación del comportamiento humano a través de la Inteligencia Artificial

MARCO CONCEPTUAL DEL MODELO COGNITIVO HUMANO

Métodos de modelado humano por simulación computacional l Un modelo humano es cualitativo en la naturaleza. l Para el propósito de una aplicación ingenieril es necesario modificar este modelo de una manera mas sistemática que pueda de funcionar en una computadora.

Process model ● Observe – Percepción selectiva de los objetos ● Interpret – Diagnosticar el estado del sistema Plan – Proponer una meta y procedimiento para alcanzarla ● Execute – Es la realización de los pasos necesarios para alcanzar la meta antes propuesta ● Memory – Es el almacenamiento y reutilización de experiencias anteriores ●

Knowledge model l Configuration Space – Descripción estática de forma, interconexión y otros atributos de entidades físicas que componen el sistema. l Cause-Consecuence Relation Space – Describe el mecanismo físico del sistema y su comportamiento. l Sate Space – Describe el estado del espacio mediante la observación de variables dinámicas en el sistema. l Goal Space – Describe el funcionamiento del sistema y la relación entre objetivo y medios para alcanzarlo.

Control model l Scrambled Control – Human behavior in panic l Opportunistic Control – Human behavior in a hurried situation l Tactical Control – Conservative state of human behavior l Strategic Control – Proactive state of human behavior

Modelo humano Knowledge model Control Model Strategic Cause-Consequence Relationship Tactical Opportunist ic Scramble d Goal State Configuration Process model Interpret Plan Memory Observe Execute Por: Furuta and Kondo (1993)

Implementación de modelado humano en computadoras l Observación y reconocimiento de estado – Modelos computarizados del proceso cognitivo humano. l Conversión a información cualitativa – Clasificar la información por categorías y ajustarlas mediante la interrogación del usuario. l Identificación de estado – Suponer y mostrar un estado al usuario y luego intentar reducir lo síntomas.

Implementación del modelo de control l Usar una técnica que permita modificar flexiblemente los métodos de inferencia l Simular diferentes comportamientos para usuarios de diferentes personalidades

Blackboard System Engelmore and Morgan (1988) Knowlwdge source Blackboard Knowlwdge source

Aplicación de modelos humanos para IHC

Configuración del sistema SEAMAID l l Desarrollado para hacer simulaciones en tiempo real de interacciones de humanos-computadoras en varios casos de emergencia de planta nuclear Dividido en dos partes: l Simulación Humano-Computadora: 3 simuladores en tiempo real l Simulador de planta: Simula el reactor de agua presurizada l Simulador de interfaz Humano-Computadora l Simulador de modelo humano Operaciones Manuales Documentos de Diseño de interfaz Hombre – Máquina Simulador de Modelo Humano Resultados de Simulación de Interacción Hombre - Máquina Interfaz Simuladora Hombre - Máquina Simulador de la Planta Analizador de interacción Hombre. Máquina Parte de simulación Hombre – Máquina del sistema Parte de evaluación de interfaz Hombre Máquina (En línea) (Fuera de línea) Resultados de Evaluación

Simulador de interfaz Humano-Computadora: Configuración del simulador de interfaz humanocomputadora basado en iconos, orientados a objetos l l El equipo de HW en el cuarto de control puede ser entendido como la interrelación de hojas e iconos usando el marco teórico de la IA Tiene una clase de modelo de base de datos on-line que describe la estructura jerárquica del equipo humano-computadora

Simulador de interfaz Humano-Computadora: Implementación a computadora de un ambiente de interacción en SEAMAID l l El método de representación de un sistema de simulación en tiemporeal con el simulador dentro de todo el sistema. Realiza la separación de la interacción del modelo del ambiente mediante dos memorias compartidas para juntar el simulador de la interfaz hombre-máquina con el simulador humano computadora para evitar el cuello de botella de transferencia de datos entre ellos: l l Memoria 2: información de la posición del operador y la operación del actuador dados por el simulador humano-computadora según estos datos se calcula posicíones. Memoria 1: Guarda los resultados obtenidos para el uso de alarmas y lectura de metros

Simulador de modelo humano: Marco conceptual de modelo operador en SEAMAID l Dos modelos para describir 3 modos de el conocimiento cognitivo del operador: l l Habilidades y comportamiento basado en reglas para manejar cambios en la planta según los procedimientos estándares Comportamiento basado en conocimiento para diagnosticar anomalías por inferencia con la combinación de señales de instrumentación monitoreada y conocimiento preadquirido para la instrumentación del control de la planta y comportamiento de sistemas de control

Configuración de un sistema asistido por computadora de experiencias por realidad virtual l Modelos Humanos: l l Modelo del estudiante: Conocimientos y habilidades profundas Modelo del estudiante: Debe ser construido para adquirir conocimientos y habilidades. Interfaz VR: El estudiante real aprende en este ambiente ITS: Educa al estudiante de la mejor forma, comparando su desempeño con el modelo del maestro

Resultados de simulación del comportamiento del operador en cuarto de control virtual

Comunicación mutua entre el colaborador virtual y el operador humano

Comunicación mutua entre humano-máquina en la era de tecnologías de la información en siglo XXI

Conversational Interface Technologies

l. La meta de las tecnologías de conversación es cerrar el espacio entre la interacción humanocomputadora y la interacción humano-humano. l. Los principios básicos de la interacción humanocomputadora son: l. Características de los usuarios. l. Tareas dentro de la conversación. l. Contextos de uso para aplicaciones que emplean estas tecnologías.

Características del usuario l l l Hablantes nativos o nonativos. Usuario experto vs. Casual. Edad. Estado físico (cansancio, humor, etc. ). Educación.

Tareas dentro de la conversación l l Composición (creación de documento). Trascripción (registro textual de la conversación). Transacción (Más popular, completar una o más transacciones). Colaboración (comunicación síncrona y asíncrona).

Contexto de uso (físico y social) l Características del canal de audio y de dispositivos. l Contexto físico de interacción. Contexto social. l

Diseño centrado en el usuario l Fuertemente recomendado. l Empieza con una definición clara del perfil del usuario meta, porque la sintaxis y el léxico puede variar tremendamente entre poblaciones de usuario diferentes. l El diseñador del sistema lleva a cabo el análisis de una tarea para entender como el usuario realiza diferentes tareas que el sistema soporta.

Diseño centrado en el usuario l Como parte del esfuerzo inicial de colección de datos, el diseñador trabaja con usuarios representativos para l l l identificar núcleos de escenarios de tareas de usuario definir pasos, tipos de interacción y palabras que los usuarios emplean para completar un conjunto de tareas. Colección de datos se refiere al proceso de l l obtener ejemplos de conversaciones en las cuales un usuario se compromete a cumplir una tarea con el sistema. Su objetivo es definir léxicos, sintaxis, funcionalidad y rango conceptual del sistema a diseñar.

Algunas tecnologías conversacionales l l Automatic Speech Recognition (ASR) Speech Synthesis Natural Language Processing (NLP) y Natural Language Understanding (NLU). Speaker Recognition: Verification, Identification, and Classification.

Automatic Speech Recognition (ASR) l ¿Cómo funciona? l Analiza la señal acústica recibida a través de un micrófono conectado a la computadora. El usuario dicta algún texto y el micrófono capta la señal acústica como datos digitales y luego es analizado por un modelo acústico y un modelo de lenguaje. Puede ser otro dispositivo. l Existen dos clasificaciones: l Speaker-dependent. l Speaker-independent.

ASR (cont…)

ASR (cont…) l Capacidades y Limitaciones l Depende de las cualidades del micrófono o dispositivo. l Es mejor cuando depende de un modelo de voz del usuario. l Corrección de errores (directos, indirectos e intención). l l Directos: tartamudeo, presionar la tecla incorrecta, misspeak. Intención: cuando el usuario reformula una oración. Indirectos: el sistema no reconoce lo que el usuario dice. Ruido del contexto físico afecta.

ASR (cont…) l Algunos lineamientos para el diseño de interfaces de aplicaciones ASR l l l La palabra say debe ser pronunciada para que el usuario empiece a hablar. Si se requiere un proceso de entrenamiento debe ser hecho en el mismo contexto en donde va ser usado el sistema. El usuario debe ser capaz de interrumpir al sistema en cualquier momento. El sistema debe permitir al usuario que este brinde información sin ser interrumpido. Ejemplos l l Dominios como la medicina, leyes, finanzas, negocios y computación, que tiene un vocabulario restringido. Para personas con limitaciones físicas, que no puede usar sus manos, para dictado. Sistemas telefónicos de conversación que incluyen IVR conversaciones directas con los usuarios. Finanzas, reservaciones aéreas, transacciones bancarias, etc.

Speech Synthesis l ¿Cómo trabaja? l l Permite a dispositivos electrónicos simular el habla humano. Se busca lograr que: l l l Sea entendible por los seres humanos, que suene natural y que sea personalizado al usuario es decir, con cierta entonación, etc.

Speech Synthesis

Speech Synthesis (cont. . ) l Capacidades y limitaciones. l l l El resultado es entendible pero no suena natural. La complejidad de las reglas lingüísticas requeridas para producir una salida precisa es una limitante. Algunos lineamientos para diseño de interfaces de usuario. l l l El usuario debe tener cierto nivel de educación. No deben tener impedimentos auditivos y tener habilidad física para acceder al dispositivo del sistema. Para que el sistema sea útil el contexto debe ser apropiado.

Speech Synthesis (cont. . ) l Ejemplos l Acceso a información (acceso de voz a e-mail), l orden de clientes (catálogos de ventas, productos y servicios telefónicos), l información para dispositivos e interfaces para discapacitados. l Interfaces para impedidos incluyen dos tipos de soluciones. l l Puede ser una “voz” para aquellos que no pueden hablar. Puede ser unos “ojos” para aquellos que no pueden ver y les lea información textual (e-mail para ciegos).

NLP y NLU l ¿Cómo funcionan? l NLP se refiere a un amplio número de técnicas de procesamiento para representar, extraer, responder a y entender la semántica de textos. l NLU es un área de NLP enfocada a el entendimiento del lenguaje natural en textos. NLU es el proceso de analizar textos y tomar algunas acciones basadas en el significado del texto.

NLP y NLU (cont. . )

NLP y NLU (cont. . ) Existen tres clasificaciones de las tecnologías de diálogo: user-initiated, system-initiated y mixed-initiate. La más popular es: l Mixed Initiative Dialogue: El inicio de partes de la conversación cambia de un participante a otro. Ejemplo: Conversación humano a humano. Mixed Initiative dialogue es más eficiente que systeminitiative dialoge. Sin embargo, la satisfacción del usuario es mayor con el system-initiative dialogue se especula que es debido a que es más predecible y fácil de aprender.

NLP y NLU (cont. . ) l Capacidades y limitaciones l La mayoría de las aplicaciones NLU se pueden corren fácilmente en una computadora de escritorio y laptops. l Se ha popularizado su uso con tecnologías de manos libres. l El diseño de sistemas que usan técnicas de interacción natural le permite a los usuarios liberarse de aprender lenguajes formales de un sistema. l Las aspectos prometedores de estos sistemas menos entrenamiento para el usuario, mejor recuperación de errores, etc. Lenguaje formal: Incluimos en esta frase lenguajes como SQL, línea de comandos de UNIX, lenguajes de programación y GUIs.

NLP y NLU (cont. . ) l l Voice XML: Es un estándar emergente para interfaces distribuidas de conversación basadas en Web. Simplifica el desarrollo de aplicaciones de voz interactivas. Lineamientos para diseño de interfaces para aplicaciones NLU l l l Los principios básicos de interacción humanocomputadora deben estar presentes. Población homogénea vs. heterogénea (respecto al uso del lenguaje). Adaptación del lenguaje y retroalimentación.

NLP y NLU (cont. . ) • Ejemplos l La búsqueda de información en el Internet tiene características de NLU. l l Ask Jeeves usa técnicas de question-answering. Para interpretar las consultas usa tecnología para hacer parsers además usa minería de datos y una base de conocimiento. Uno de las áreas comerciales más prometedoras es el desarrollo de sistemas NLU en telefonía. E-mail routing. Acceso a base de datos e información

NLP y NLU (cont. . )

Speaker Recognition l Speaker Verification – Binary decision l Speaker Identification – From a list of enrolled speakers l Speaker classification – Open-set of speakers

Basic capabilities l l l Estado físico, psicológico, emocional. Variaciones en el canal de audio (micrófonos, cableado, compresión, etc. . ) Ruido del ambiente Falsos positivos / Falsos Negativos State of the art performance ~95% para poblaciones pequeñas (100 usuarios)

User Interface Guidelines l Técnicas no intrusivas l Apropiado manejo de errores considerando la experiencia del usuario l Combinación con otros tipos de biometría (p. e. Face recognition) l Identificar la mejor combinación de cada técnica