PUMS Vuorovaikutustutkimus ja sovellukset Markku Turunen Tampereen yliopisto

PUMS Vuorovaikutustutkimus ja sovellukset Markku Turunen Tampereen yliopisto VTT Helsingin yliopisto PUMS-talviseminaari, Joensuu, 10. 3. 2006

Työpaketin konkreettiset tavoitteet • Työpaketissa kehitetään suomenkielisiä puhesovelluksia erilaisille käyttäjäryhmille. • Pääkohteeksi on valittu paikallisliikenteen informaatiosovellukset. • Yleisen aikatauluinformaation lisäksi käyttäjälle tarjotaan sopeutettua reitinopastusinformaatiota. • Moniaistinen vuorovaikutus: karttakäyttöliittymä ja graafinen älypuhelinkäyttöliittymä.

Tutkimukselliset tavoitteet • Dialoginhallinta- ja vuorovaikutustekniikat mm. kehittyneisiin puhetulosteisiin, virheidenhallintaan ja opastukseen liittyen. • Multimodaaliset vuorovaikutustekniikat. • Lisäinformaation, kuten paikannustiedon ja häiriötiedon hyödyntäminen. • Vuorovaikutusta tukevan arkkitehtuurin kehittäminen. • Konsepteja ja selvitys sovelluskohteista.

Tehtävät T 1. T 2. T 3. T 4. T 5. T 6. T 7. Aikataulusovellus puhelimella Reitinopastussovellus mobiililaitteilla Multimodaalinen reitinopastus Yleinen puhesovellusalusta Joukkoliikenteen informaatiopalvelu Puhepohjainen informaatiokioski Selvitys puheteknologian sovelluskohteista

Tulokset yleisellä tasolla I. III. IV. Yleinen sovellusalusta, joka toimii myös projektissa tuotettavaa teknologiaa integroivana komponenttina. Puhepohjaista ja multimodaalista vuorovaikutusta mahdollistavia teknologiakomponentteja. Teoreettista ja käytännöllistä tietoa joustavasta, tehokkaasta, luontevasta ja käyttäjäorientoituneesta vuorovaikutuksesta. Kartoitus suomenkielisen puheteknologian sovelluskohteista.

Konkreettiset tulokset 1. 2. 3. 4. 5. 6. 7. Testattu, tuotteistettavaksi ja käyttöönotettavaksi valmis puhelinpohjainen aikataulujärjestelmä, joka on testattu laajalla joukolla aidossa julkisessa koekäytössä. Testattu, tuotteistettavaksi valmis PDA-laitteilla sekä älypuhelimilla toteutettu reitinopastus- ja informaatiopalvelu, jota on testattu näkövammaisilla käyttäjillä. Kaksi PDA- ja älypuhelinpohjaista tutkimusprototyyppiä multimodaalisesta ja puhepohjaisesta reitinopastuksesta ja aikatauluista. Yleinen puhesovellusalusta käytettäväksi erilaisilla laitealustoilla, erityisesti puhelin ja mobiililaitteilla. UITP- joukkoliikennekonferenssissa demonstroitava joukkoliikenteen sovelluskokonaisuus. Puhepohjaisen informaatiojärjestelmän kioskikäyttöliittymän prototyyppi. Selvitys puheteknologian sovelluskohteista ja markkinatilanteesta.

Lähtökohdat • Hankkeessa hyödynnetään tutkijaosapuolien aikaisemmissa projekteissa ja aikaisempina vuosina tuottamaa teknologiaa mm. reitinhaun, paikantamisen, puhekäyttöliittymien, sovellusarkkitehtuurien ja keskustelunhallinnan piiristä. – Suunnittelun pohjana käytetty neljästä aikaisemmasta tutkimusprototyypistä saatuja kokemuksia (Pysäkkimies, Interact, Bussimies, NOPPA). – Aikataulusovellus perustuu Tampereen kaupungin liikennelaitokselle tuotettuun palveluun, joka on ollut julkisessa käytössä syksystä 2003 alkaen.

Käyttäjäkeskeisyys • Vahvasti käyttäjälähtöinen lähestymistapa. • Käyttäjäryhmien mukanaolo (NKL). • Tietoa puheteknologian hyväksyttävyydestä ja potentiaalista • Sovelluksille suoritetaan useita evaluointeja ja käytettävyystutkimuksia. • Demonstraatio laajalle yleisölle (UITP joukkoliikennekonferenssi 2007).

Esimerkkejä toiminnallisuudesta Pysäkkimies 1. Pysäkkiaikataulutiedot numeron perusteella. 2. Pysäkkiaikataulutiedot nimen perusteella. 3. Reittiaikataulut katuosoitteilla. 4. Reittiaikataulut nimillä (nimetyt kohteet). 5. Reitinopastus. (NOPPA/MUMS)

Pysäkkimies (1/2) • Pysäkkikohtainen aikataulupalvelu Tampereen paikallisliikenteeseen (jatkossa Helsinki, Turku ja Kouvola). • Perustuu Tampereen kaupungin liikennelaitokselle tuotettuun palveluun, joka on ollut julkisessa käytössä syksystä 2003 alkaen. • Suunnittelun pohjana käytetty kolmesta aikaisemmasta järjestelmästä saatuja kokemuksia.

Pysäkkimies (2/2) • Käytettävissä puhelimella, kämmenmikrolla (PDA) tai älypuhelimella (Series 60). • Vuorovaikutus tapahtuu pääosin samoin kaikissa versioissa. • Puhelimella käytettäessä komennot voidaan antaa puheella ja tarvittaessa näppäimillä (esimerkiksi pysäkin numero). • Älypuhelimessa käytössä skaalautuva multimodaalinen valikkokäyttöliittymä. • Julkisessa käytössä: http: //www. cs. uta. fi/hci/spi/pysakkimies/.

Esimerkkidialogi (1/3) Järjestelmä: Tervetuloa Pums-aikataulusovellukseen. Ohjeita saat sanomalla “kerro ohjeet”. Kuultuasi äänimerkin, kerro pysäkin nimi, esimerkiksi “Keskustori”. Käyttäjä: Pulteri. Järjestelmä: Haetaanko pysäkin Pulteri aikataulu? Käyttäjä: Kyllä. Järjestelmä: Hetki, haen pysäkin Pulteri aikataulun.

Esimerkkidialogi (2/3) Järjestelmä: Kello on nyt 10: 10. Tänään seuraavat vuorot pysäkiltä Pulteri ovat Vehmaisiin linja vitonen nyt heti, Hermiaan linja kolmetoista minuutin kuluttua, Ikuriin linja kolmetoista seitsemän minuutin kuluttua, Haukiluomaan linja kakskytkaks kahdentoista minuutin kuluttua, Keskustorille linja vitonen kello 10: 26 ja Hermiaan linja kolmetoista kello 10: 28. Anna komentosi, esimerkiksi kerro ohjeet. Käyttäjä: Valitse linja. Järjestelmä: Kerro linjan numero tai sano: "listaa linjat". Voit myös sanoa "peruuta".

Esimerkkidialogi (3/3) Käyttäjä: Kolmetoista. Järjestelmä: Kello on nyt 12. 39. Tänään seuraavat linjan 13 vuorot pysäkiltä Pulteri kulkevat nyt heti, kello 12. 55, kello 13. 14, kello 13. 32, kello 13. 49 ja kello 14. 07. Anna komentosi, esimerkiksi kerro ohjeet. Käyttäjä: Kiitos hei. Järjestelmä: Haluatko lopettaa? Käyttäjä: Kyllä. Järjestelmä: Kiitos yhteydenotosta, hyvää matkaa!

Multimodaalinen älypuhelinversio (1/2) Puhelin käyttöliittymä Dialogi Multimodaalinen älypuhelinkäyttöliittymä graafisin elementein Pums Aikataulut Pums aikataulut hyvää päivää. Voit pyytää apua sanomalla “kerro ohjeet”. Ole hyvä ja kerro pysäkinnimi, esimerkiksi Keskustori. Apua Lopeta “Tampere talo” Haetaanko pysäkin Tampere talo aikataulu? Tampere talo? “Kyllä” Nimellä Tampere talo löytyi kaksi pysäkkiä, odota hetki yhdistän aikataulut. Kello on 10: 10. Tänään, seuraavat linjat pysäkiltä Tampere talo ovat Vehmaisiin linja 5, nyt, Hermiaan linja 13, minuutin kuluttua… (listaus jatkuu)… Anna komentosi, esimerkiksi kerro ohjeet. Kyllä Ei Apua Lopeta 5 ->Vehmainen nyt , 13 ->Hermia 1 min. , 13 ->Ikuri 7 min. , 22 ->Haukilouma 7 min. Apua Lopeta

Multimodaalinen älypuhelinversio (2/2) “Valitse linja” Linjan numero? Kerro linjan numero tai valitse se listalta. Painaa nappia 8 Painaa Joystick Alas 5 13 22 Help Quit Viisi Painaa nappia 8 Painaa Joystick Alas 13 -> Hervanta, in 5. . Help Quit Kolmetoista Painaa nappia 5 Painaa Joystick Valitse Seuraava 13 Hervantaan lähtee (listaus jatkuu). . .

NOPPA (1/3) • NOPPA tarjoaa matkustajainformaatiota ja kulkuopastusta joukkoliikenteen käyttäjille kämmenmikroilla (PDA) ja älypuhelimilla (Series 60)

NOPPA (2/3) • NOPPA sisältää puhekäyttöliittymän, ovelta ovelle opastuksen joukkoliikennetta hyödyntäen, tavallisimmat paikannustoiminnot ja lukuisia informaatiopalveluja.

NOPPA (3/3) • Noppa tarjoaa tavan käyttää YTV: n Reittiopasta matkapuhelimella siten, että kohteet voi antaa puheella ja reitit opastetaan GPS-paikannusta hyödyntäen. • Lisäominaisuuksina mm. HKL: n poikkeusliikennetiedotteet ja käyttäjän koordinaattien perusteella haetut lähimmän reaaliaikapysäkin tiedot.

MUMS (1/3) • Kämmenmikrossa (Microsoft Mobile) toimiva multimodaalinen reitinopastusjärjestelmä. – Järjestelmä ymmärtää luonnollista puhetta: ”haluaisin rautatientorilta länsi-pasilaan” – Scrollattava ja zoomailtava kartta, jota painelemalla voi antaa paikkatietoa – Käyttäjä voi yhdistää puhetta ja karttaosoituksia: ”pitäisi päästä täältä <osoitus> länsi-pasilaan” – Järjestelmä vastaa puheella ja graafisilla karttaesityksillä.

MUMS: (2/3) – Käyttäjä voi halutessaan käyttää vain puhetta tai vain karttaa. – GPS käytössä: käyttäjä näkee sijaintinsa kartalla, ja täydellinen reittikysymys on helpommin esitettävissä: ”miten pääsen länsipasilaan”. – Järjestelmä kysyy aktiivisesti puuttuvia tietoja: ”anna lähtöpaikka” / ”anna tulopaikka” – Järjestelmä opastaa käyttäjää matkaosuuksin juuri määritetyllä reitillä: ”opasta” / ”opasta lisää”.

MUMS (3/3)

Käytettävyystutkimus • Aikataulujärjestelmän julkinen käyttö ja datan kerääminen: – versio 1 vuoden 2003 marraskuulta. – versio 2 vuoden 2005 helmikuulta. – Syksyllä 2005 puheluita on nauhoitettu yli 1600 (versio 1: ~1100, versio 2: ~500). • Käytettävyyttä mittaavia tutkimuksia: – Aikataulujärjestelmän 60 hengen vertailututkimus kahdella eri synteesillä. – Multimodaalisen järjestelmän testit 17 hengen koekäyttäjäjoukolla.

Nauhoitetut puhelut Alkuinnostus Heinäkuu Käytettävyystestaus

Koekäytön havaintoja • Puheluiden lyheneminen alun jälkeen: 11/2003: 2: 50 => 06/2004: 1: 02. • Suurimmassa osassa puheluista kuunnellaan vain ensimmäinen listaus. • Käytettävyystestin tulokset ja aidoilta käyttäjiltä saadun materiaalin ero: – – Aidossa käytössä ei käytetä läheskään kaikkea järjestelmän toiminnallisuutta. Käytettävyystesteissä käydään läpi järjestelmän eri osaalueita tehtävien mukaisesti. Käytettävyystesteissä opiskelijoita. Koekäytön käyttäjistä ei tiedetä paljoakaan.

Käytettävyystestin tuloksia • Järjestelmä on täsmällinen, luotettava, hyödyllinen, tekee vähän virheitä. • Puheentunnistusta pidetään hyvin luotettavana. • Puhesynteesiä pidetään hyvin ymmärrettävänä. • Järjestelmää ei pidetä erityisen miellyttävä. • Puhesynteesiä ei pidetä erityisen luonnollisena. • Vuorovaikutusta ei pidetä tehokkaana (mutta ei myöskään liian hitaana). • Järjestelmä ei tee aina oletettua ja käyttäjä ei aina tiennyt mitä puhua.