Seminari di Interazione Avanzata Metodi formali per la

Seminari di Interazione Avanzata Metodi formali per la definizione di modelli di utente Paolo Bottoni bottoni@di. uniroma 1. it Pictorial Computing Laboratory Dipartimento di Informatica Modelli Utente

Argomenti • • • Utenti e Sistemi Componenti della modellazione Strutture dati per la modellazione Il processo di classificazione dell’utente Applicazione al caso di studio Modelli Utente 1/17/2022 2

Utenti e sistemi • User model – Modello utilizzato dal sistema per caratterizzare l’utente corrente • User’s model (o user mental model) – Modello cognitivo utilizzato / supposto dall’utente Modelli Utente 1/17/2022 3

Architettura di riferimento H. Bunt, M. Kipp, M. T. Maybury, W. Wahlster, FUSION AND COORDINATION FOR MULTIMODAL INTERACTIVE INFORMATION PRESENTATION. In Stock, O. , Zancanaro, M. (eds. ): Multimodal Intelligent Information Presentation. Kluwer, pp. 325 -340 Modelli Utente 1/17/2022 4

Definizioni dei comportamenti • • Basate sui task Basate sui linguaggi Basate sulle interazioni ammesse Modello del dialogo – Macchine a stati finiti – Strutture a eventi Modelli Utente 1/17/2022 5

Problema generale della modellazione dell’utente • Comportamento umano non strettamente dettato da leggi logiche. • Assunzione di comportamento razionale degli utenti: – obiettivi da realizzare – utilizzano conoscenza per raggiungerli • Possibile genericità degli obiettivi – Creazione artistica, esplorazione di possibilità – Supporto all’handicap, sostegno ad attività quotidiane Modelli Utente 1/17/2022 6

Adattamento fra utenti e sistemi • Adeguamento – L’utente adatta le proprie modalità di lavoro alle caratteristiche del sistema • Miglioramento – Diverse versioni del sistema vengono generate a seguito di studi sull’utenza • Adattabilità – L’utente modifica esplicitamente caratteristiche del sistema interattivo • Adattività – Il sistema modifica alcune proprie caratteristiche in base all’osservazione delle azioni dell’utente Modelli Utente 1/17/2022 7

Modificabilità del sistema • • Modulazione del contenuto Disponibilità di accesso alle azioni Layout Organizzazione delle strategie di completamento Modelli Utente 1/17/2022 8

Localizzazione del modello • Assente – L’applicazione incorpora un modello di utente come definito dal progettista • Separata – – File di configurazione Collezione statica di dati sull’utente Base di dati aggiornabile Base di dati deduttiva Modelli Utente 1/17/2022 9

Approccio di metamodello per gestione adattamento • Basato sulla nozione di Property • Informazioni di diversa natura strutturate in package • Definiscono interfaccia fra implementazioni specifiche e modello generale Modelli Utente 1/17/2022 10

Struttura del metamodello Selection Adaptation. Model Client. Model <<derive>> Description MMContent. Model Domain. Model Control Dialog. Modelli Utente UM User. Model Resources Context. Model 1/17/2022 Formalism Task. Model Reference Location. Model 11

Model Package Constraints. Update. Event 1. . * Update. Action Property. Update 1 Constraints 1 constrained {set} 1 constraining {set} 1. . * 1 1 Property 1. . * Value. Update 1 Type 1 Relationship 1 Expression 1. . * 1 Value. Specification 1 Modelli Utente 1/17/2022 12

Property User. Model Package Demographic. Property Interaction. Property Application. Specific. Property Individual. Property UM User Modelli Utente Mapping Category. Property * * 1/17/2022 Category 13

Location. Model Package (riferimento legato a NMEA) Property NMEA Location. Property Movement. Property start. Time: Time end. Time: Time is. Moving: boolean end Add. Info. Property Position. Property coordinates[]: Number * start Thematic. Property 1 1 Reference. System Modelli Utente support 1 * 1/17/2022 Thematic. Mapping 14

Modellazione di utenti • Livelli di competenza • Definizione da teorie cognitive generali – Belief, Desire, Intention • Uso di data mining – Cluster mining – Association rule mining – Sequential pattern mining Modelli Utente 1/17/2022 15

Definizione di classi di utente • Definizione di criteri da parte di esperti • Apprendimento automatico – Supervisionato (classi identificate a priori) – Non supervisionato • Vincolo su numero di classi • Vincolo su criteri di raggruppamento Modelli Utente 1/17/2022 16

Componenti della modellazione • Domini • • • Dati, Relazioni Rappresentazioni • Elementi, Layout Task • Generici, strutturati Categorie • Accesso, Esperienza, Profili sociologici Individui • Preferenze, Similarità, Comunità Modelli Utente 1/17/2022 17

Descrittori per profilazione utenti • Dati personali (e. g. età, genere, posizione, professione) • Preferenze e interessi • Conoscenze e interessi • Pattern di comportamento Modelli Utente 1/17/2022 18

Profilazione utente • Raccolta dati interazione (non intrusiva) – Log client – Log server – Valori introdotti durante sessione • Preferenze esplicite (diversi livelli di intrusività) – Raccolta di questionari – Scelte – Configurazioni Modelli Utente 1/17/2022 19

Fasi nell’uso dei dati estratti da: M. Koutri, N. Avouris, S. Daskalaki. “A survey on web usage mining techniques for web-based adaptive hypermedia systems”. Modelli Utente 1/17/2022 20

Problemi del data mining su Web • Dati di navigazione non numerici • Rumore e incompletezza dei dati • Necessità di integrare i dati grezzi con altri, e. g. informazione lato client, dati di registrazione, eventi legati al prodotto specifico • Misure convenzionali troppo semplici Modelli Utente 1/17/2022 21

Variabili osservabili • Web usage mining – Tecniche relative a dati grezzi di accesso per rivelare pattern di uso. • Structure mining – Analisi della struttura del sistema ipermediale. • Content mining – Analsii del contenuto del sistema ipermediale. Modelli Utente 1/17/2022 22

Esempio di campo di log (IIS) Modelli Utente 1/17/2022 23

Limitazioni del logging • Riferimenti a documenti mancanti (e caching) • Identificazione dell’IP reale in caso di proxy • Povertà dei dati di solo accesso Modelli Utente 1/17/2022 24

Forme di adattamento sul Web • Content selection – Selezione automatica e prioritizzazione degli elementi più rilevanti • Navigation support – Manipolazione di hyperlink, e. g. hiding, sorting, annotating. • Presentation – Variazione forme di presentazione del contenuto di un documento web. Brusilovsky, P. , Maybury, M. T. (2002). From adaptive hypermedia to the adaptive web. Communications of the ACM 45, 5, 30 -33. Modelli Utente 1/17/2022 25

Tecniche di clustering • Clustering di riferimenti a documenti – Identifica collezioni di documenti legate al loro uso • Clustering di visite – Identifica sequenze tipiche di di riferimenti, pattern navigazionali • Informazioni addizionali – Tempo di permanenza Modelli Utente 1/17/2022 26

Tipi di clustering • hard clusters – Ogni oggetto appartiene a uno e un solo cluster • overlapping clusters – Un oggetto può appartenere a diversi cluster. Possono indicare interessi comuni a utenti diversi, o identificare documenti contenuto non univoco. • probabilistic clusters – Ogni oggetto appartiene a ogni cluster con una probabilità ( pi(o) = 1) • fuzzy clusters – Ogni oggetto appartiene a ogni cluster con un grado di appartenenza (max(pi(o)) = 1) Modelli Utente 1/17/2022 27

Estrazione di regole di associazione • Identificazione delle associazioni fra elementi. – La presenza di un sottoinsieme di elementi implica la presenza anche di altri • Regola di associazione: – (A B, c, s) A B = , 0 c, s 1 – c: confidence, c(A B) = P(B | A)). – s: support (support(A B)=P(A B)) (e-class/asp_fundamentals. html e_class/asp_examples. html, 0. 7, 0. 05) Modelli Utente 1/17/2022 28

Sequential pattern mining • Istanza: • Problema: trovare tutti i pattern sequenziali con un supporto minimo specificato – Supporto = numero di sequenze di dati che contengono il pattern 30% of users who placed an online order in book_store/book 1. html have also placed an order in book_store/book 5. html within 20 days Modelli Utente 1/17/2022 29

Conseguenze della profilazione • personal recommendation • dynamic adjustment – Highlighting, creazione di nuovi link • static page/site adjustment – in genere eseguito off-line Modelli Utente 1/17/2022 30

Modelli cognitivi computazionali • Long-term episodic memory. – Memoria stabile di eventi significativi. – Indirizzabile per contenuti. Episodi ritrovati da vari indizi, e. g. persona, posto, azione. • Affective reflexive memory – Associazioni istantanee e istintive. – Formata filtrando esposizione ripetuta. Modelli Utente 1/17/2022 31

Strutture di memorizzazione per LTEM e ARM Modelli Utente 1/17/2022 32

Valutazione di valenza affettiva Dimensioni affettive • Pleasure-Displeasure, e. g. , feeling happy or un-happy; • Arousal-Nonarousal, i. e. , heightening one’s feelings; • Dominance-Submissiveness, H. Liu P. Maes, What Would They Think? A Computational Model of Attitudes, Intelligent User Interfaces, 2004 Modelli Utente 1/17/2022 33

Agenti personali • Imparano preferenze del loro proprietario – Acquisti on line, classificazione di email, links seguiti – Ricevono feedback su proposte fatte • Possono scambiare informazioni con altri agenti • Possono usare decisioni di agenti di utenti con profili simili a quelli del proprietario • Predizioni su prossime mosse – Presentazione di link correlati, suggerimenti di acquisti, azioni su email Modelli Utente 1/17/2022 34

Assistenti personali Modelli Utente 1/17/2022 35

Modi di apprendimento Modelli Utente 1/17/2022 36

Agenti che raccomandano modifiche all’interfaccia Agent mental state History of suggestions Domain ontology Effectiveness of the agent Negotiation set: cambi proposti al modello Utility function per correzioni di agente ai Protocol function Negotiation strategies Requirement metrics Modelli Utente 1/17/2022 37

Modelli BDI • • Rappresentano agenti o modelli di utente Belief: conoscenza dell’agente sullo stato del mondo – Insiemi di letterali • Desire: obiettivi di lungo periodo, stati del mondo da fare diventare veri – Piani per raggiungerli. Descritti da body, precondition, e invocation condition (trigger) • Intention: impegno a portare avanti un’azione che trasforma lo stato del mondo – Organizzati in stack, possibilmente paralleli Modelli Utente 1/17/2022 38

Sistemi logici per BDI • • • Semantica in termini di mondi accessibili Time tree indicano diramazioni del comportamento. Due mondi M 1 e M 2, possono essere uno sottoinsieme dell’altro e viceversa, essere identici o non confrontabili. Realismo: se un agente crede a una proposizione, desidererà che diventi vera Realismo forte: se un agente desidera ottenere una proposizione, crederà che essa sia una possibile scelta Realismo debole: se un agente desidera ottenere una proposizione non crederà che la sua negazione sia inevitabile. Modelli Utente 1/17/2022 39

Requisiti di razionalità • Mantenimento di coerenza fra credenze, desideri e intenzioni, ma non completezza. • Credenze, desideri e intenzioni non devono essere chiusi sotto le implicazioni di ognuno degli altri. Modelli Utente 1/17/2022 40

Esempi di time tree Modelli Utente 1/17/2022 41

Assiomatizzazione Inizializzazione: Differenze fra stato obiettivo e belief adottate come goal Terminazione: Comportamento agente indeterminato quando tutti obiettivi raggiunti Obbligazione: Agente deve impegnarsi a portare avanti un obiettivo Impegno comporta realizzare precondizioni per operatori adottati Goal adottati rimossi da quelli in attesa Modelli Utente 1/17/2022 42

Mantenimento del belief Agente crede all’effetto degli operatori applicati Agente crede a osservazioni dello stato del mondo Modelli Utente 1/17/2022 43

Coevoluzione di modelli di utente e sistema Modelli Utente 1/17/2022 44

Specifica del sistema Modelli Utente 1/17/2022 45

Specifica dell’utente • Espressa in termini di belief • Informazioni legate allo stato del sistema • Definizione delle azioni possibili Modelli Utente 1/17/2022 46

Conseguenze sul progetto • Modellazione di comportamenti utente – Es. esplorazione casuale, ordine stretto • Identificazione di comportamenti ottimali • Definizione dell’interfaccia in modo da supportare comportamenti ottimali • Rimozione di cause di errore – Es. mantenere informazioni su link ancora da esplorare. Modelli Utente 1/17/2022 47

Modelli in Higher Order Logic • Architettura cognitiva – Modelli di utente e di sistema • Funzioni di history – Permettono di accedere a informazioni sugli stati passati dell’utente o del sistema Modelli Utente 1/17/2022 48

Notazione per Higher Order Logic Modelli Utente 1/17/2022 49

Relazioni per USER Modelli Utente 1/17/2022 50

Relazioni per USER Modelli Utente 1/17/2022 51

Modelli per verifica comportamenti • Proprietà di correttezza 1. Per ogni possibile comportamento del sistema interattivo l’utente è in grado di raggiungere l’obiettivo principale associato allo stato 2. L’utente deve essere in grado di completare tutti i task sussidiari generati nel raggiungimento dell’obiettivo Modelli Utente 1/17/2022 52

Post-completion error Utente naive Al termine dell’interazione l’utente non recupera la carta Modelli Utente 1/17/2022 53

Identificazione di errori e revisione Revisione Problema se utente seleziona servizio prima di inserire la carta Modelli Utente 1/17/2022 54

Revisione dei modelli di utente • Architettura cognitiva per utente sofisticato (uso di conoscenza sul task) Modelli Utente 1/17/2022 55

Possibilità di design più flessibili Modelli Utente 1/17/2022 56

Applicazione al caso di studio • Categorizzazione dell’utente – Turista, studioso, curatore • Rappresentazione esplicita dei task – Guide interattive • Utilizzo di agenti – Elicitazione di interessi, suggerimenti • Adattamento al contesto – Localizzazione, capacità dei dispositivi, contesto affettivo (? ) Modelli Utente 1/17/2022 57

Riferimenti • • • H. Bunt, M. Kipp, M. T. Maybury, W. Wahlster, “Fusion and coordination for multimodal interactive information presentation”, in O. Stock, M. Zancanaro, (eds. ): Multimodal Intelligent Information Presentation, Kluwer, 325 -340, 2005. M. Koutri, N. Avouris, S. Daskalaki. “A survey on web usage mining techniques for web-based adaptive hypermedia systems”. P. Brusilovsky, M. T. Maybury, “From adaptive hypermedia to the adaptive web”, Communications of the ACM 45(5): 30 -33, 2002. H. Liu P. Maes, “What Would They Think? A Computational Model of Attitudes”, Intelligent User Interfaces, 2004 P. Curzon, R. Rukšėnas, A. Blandford, “Formal Verification In Human Error Modelling” R. H. Guttman, A. G. Moukas, P. Maes, “Agent-mediated Electronic Commerce: A Survey” S. M. Brown, E Santos Jr. , S. B. Banks, M. E. Oxley, “Using Explicit Requirements and Metrics for Interface Agent User Model Correction”, P. Maes, “Agents that reduce work and information overload”, Communications of the ACM, 37(7): 811821, 1994. Y. Shoham Agent-oriented programming Articial Intelligence Modelli Utente 1/17/2022 58