Modelarea dialogului om calculator Dialog structura general Dialog

  • Slides: 31
Download presentation
Modelarea dialogului om – calculator

Modelarea dialogului om – calculator

Dialog, structura generală

Dialog, structura generală

Dialog, structura generală

Dialog, structura generală

Exemplu de dialog - Nu va suparati, pot sa va intreb cat este ora?

Exemplu de dialog - Nu va suparati, pot sa va intreb cat este ora? - De suparat nu ma supar, dar nu am de unde sa stiu daca POTI sa intrebi cat este ora sau daca POTI altceva, ca nu te cunosc.

Dialog, structura generală • • • S: Hello and welcome to Limsi’s Ritel service.

Dialog, structura generală • • • S: Hello and welcome to Limsi’s Ritel service. Do you want the help message? U: err no thanks I’d like the capital of France please S: The capital of France is Paris.

Dialog, structura generală Clasificarea exprimărilor în dialog DAMSL: Dialog Act Markup in Several Layers

Dialog, structura generală Clasificarea exprimărilor în dialog DAMSL: Dialog Act Markup in Several Layers Niveluri de marcare: • Communicative Status – se verifică dacă a fost pronunțată o frază completă. • Information Level – caracterizează conținutul semantic al enunțului (sensul). • the Forward Looking Function – cum enunțul curent afectează acțiunile ce urmează în dialog. • the Backward Looking Function - cum enunțul curent este legat cu cele precedente în dialog. https: //www. cs. rochester. edu/research/speech/damsl/Revised. Manual/

Clasificarea exprimărilor în dialog Forward Looking Functions Azi e 7 martie, marți. • Statement

Clasificarea exprimărilor în dialog Forward Looking Functions Azi e 7 martie, marți. • Statement Sunt două avioane pe zi la Paris • Influencing-addresseefuture-action Vorbiți mai clar • Info-request La ce oră doriți să plecați? • Committing-speaker-future- Puteți să plecați cu Turkish action Airlines • Conventional Opening Cu ce vă pot ajuta? Closing La revedere. • Explicit-performative Fraze de politețe (Mulțumesc) • Exclamation DAMSL: Dialog Act Markup in Several Layers https: //www. cs. rochester. edu/research/speech/damsl/Revised. Manual/

Clasificarea exprimărilor în dialog • • Backward Looking Functions Agreement Understanding Answer Antecedents OK

Clasificarea exprimărilor în dialog • • Backward Looking Functions Agreement Understanding Answer Antecedents OK Aşa, doriți un bilet la Paris Nu puteți zbura vineri. Răspuns la un enunț distanțat: - Vreau sa plec la Paris. - Doriți să zburați? Da. Direct din Chișinău? Da. Puteți pleca miercuri la ora 7. DAMSL: Dialog Act Markup in Several Layers https: //www. cs. rochester. edu/research/speech/damsl/Revised. Manual/

Exemplu sistemulează profesorul în procesul studierii limbajului Java Classifying Student Dialogue Acts with Multimodal

Exemplu sistemulează profesorul în procesul studierii limbajului Java Classifying Student Dialogue Acts with Multimodal Learning Analytics

Exemplu de dialog cu tipuri de enunțuri indicate • Student modifies code. • Student

Exemplu de dialog cu tipuri de enunțuri indicate • Student modifies code. • Student receives a compile error. • One-hand-to-face gesture recognized. • Student: which do i put first? [Question] • Tutor: try it. [Statement] • Change in head depth detected. • Student receives a compile error. • Tutor: what you had was close. [Statement] • Tutor: go back to that [Statement] • Student modfiies code. • Student compiles code successfully. • Student: is the order wrong? [Question] • Tutor: no, the literal is just [Statement] • • • Tutor: Player's name is [Statement] Student modifies code. Tutor: dont put your name [Hint] Student runs the code successfully. Tutor: that is excellent. [Positive Feedback] Tutor: i could tell a lot of learning was going on [Statement] Change in mid-depth detected. Student: it's very interesting to me [Statement] Tutor: good. you are good at it. [Statement] Tutor: try things. make mistakes. learn. [Statement] Tutor: one more screen. [Statement]

Clasificarea enunțurilor studenților 1443 enunțuri dintr-un corpus de dialoguri cu profesorii în procesul studierii

Clasificarea enunțurilor studenților 1443 enunțuri dintr-un corpus de dialoguri cu profesorii în procesul studierii limbajului Java înregistrate și prelucrate

Sistemulează profesorul în procesul studierii limbajului Java. Urmărește poza studentului. Classifying Student Dialogue Acts

Sistemulează profesorul în procesul studierii limbajului Java. Urmărește poza studentului. Classifying Student Dialogue Acts with Multimodal Learning Analytics

Clasificarea automată a tipului enunțului studentului. Classifying Student Dialogue Acts with Multimodal Learning Analytics

Clasificarea automată a tipului enunțului studentului. Classifying Student Dialogue Acts with Multimodal Learning Analytics

Clasificarea exprimărilor în dialog Switchboard database of telephone conversations; 205000 enunțuri

Clasificarea exprimărilor în dialog Switchboard database of telephone conversations; 205000 enunțuri

Clasificarea exprimărilor în dialog Switchboard database of telephone conversations; 205000 enunțuri

Clasificarea exprimărilor în dialog Switchboard database of telephone conversations; 205000 enunțuri

Legăturile între enunțuri în dialog DA – Dialogue Act Switchboard database of telephone conversations;

Legăturile între enunțuri în dialog DA – Dialogue Act Switchboard database of telephone conversations; 205000 enunțuri

Legăturile între enunțuri în dialog Analiza dialogurilor în Wikipedia Exemplu (Agreement) A: There is

Legăturile între enunțuri în dialog Analiza dialogurilor în Wikipedia Exemplu (Agreement) A: There is no official language of the United States. The correct answer to the question "What is the official language of the United States? " is "none". B : I agree with A. Towards Representation of the Discourse Structure Leading to Consensus

Urmărirea stărilor în dialog Dialoguri cu turiști despre restaurante The Dialog State Tracking Challenge.

Urmărirea stărilor în dialog Dialoguri cu turiști despre restaurante The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog The Dialog State Tracking Challenge. Sig. Dial 2013

Urmărirea stărilor în dialog Exemple de codificare a întrebării în Json și răspunsuri corespunzătoare

Urmărirea stărilor în dialog Exemple de codificare a întrebării în Json și răspunsuri corespunzătoare The Dialog State Tracking Challenge. Sig. Dial 2013

Sistem de dialog bazat pe reguli Ca regulă, este un dialog cu un scop

Sistem de dialog bazat pe reguli Ca regulă, este un dialog cu un scop concret, astfel, enunțurile sistemului și a utilizatorului sunt predefinite. Gramatica formării dialogului: • information_dialogue = beginning main_part ending • beginning = INTRODUCTION GREETING • ending = THANKING GOODBYE • main_part = (ordering_information giving_information)* giving_information)+

Sistem de dialog bazat pe reguli exemplu:

Sistem de dialog bazat pe reguli exemplu:

Sistem de dialog bazat pe reguli exemple de enunțuri:

Sistem de dialog bazat pe reguli exemple de enunțuri:

Sistem de dialog bazat pe statistică are nevoie de DATA: Este nevoie de multe

Sistem de dialog bazat pe statistică are nevoie de DATA: Este nevoie de multe (>500 k) dialoguri înregistrate De exemplu, ~1 million tech support dialogues (Ubuntu IRC channel) Sau Movie Dialog Dataset, 1 million Reddit dialogues Serban, Lowe, Charlin, Pineau. “A Survey of Available Corpora for Building Data-Driven Dialogue Systems. ”

Sistem de dialog bazat pe statistică are nevoie de DATA: exemplu

Sistem de dialog bazat pe statistică are nevoie de DATA: exemplu

Sistem de dialog bazat pe statistică estimează care enunț ete mai probabil în contextul

Sistem de dialog bazat pe statistică estimează care enunț ete mai probabil în contextul dat Most models trained to predict most likely next utterance given context But some utterances are likely given any context! Neural models often generate “I don’t know”, or “I’m not sure” to most contexts Problema!

Alice

Alice

Siri

Siri

Conversational agent companion

Conversational agent companion