VZAH FIXCI POHADU A ZRUNOSTI POUVATEA V DIGITLNOM

VZŤAH FIXÁCIÍ POHĽADU A ZRUČNOSTI POUŽÍVATEĽA V DIGITÁLNOM PRIESTORE JAKUB KUBÁNYI, PATRIK HLAVÁČ UXI PEWE 5. 4. 2018

Cieľ Nájsť vhodné metriky pohľadu na určovanie navigačnej zručnosti používateľa. Zostavenie kategorizácie používateľov podľa zručnosti a klasifikácia podľa vybraných metrík. 2

„Očakávanie“ Pri navigácii na webe sa medzi kategóriami používateľov ukážu rozdiely v metrikách času, pohľadu a počtu použitých odkazov. 3

Postup . . . a zároveň osnova prezentácie 1. 2. 3. 4. 5. Potreba získania dát Návrh experimentu (vlastné dáta) Pilotná štúdia Ostrá štúdia Analýza 4

Dáta Čo sme chceli získať dáta zo správania & dáta z pohľadu & subjektívne ohodnotenie zručnosti detaily ochvíľu. . . 5

Návrh experimentu 11 úloh zameran ých na vyhľadávaciu zručnosť 4 všeobecné (začínali sa na google. sk) 7 doménových (riešili sa na špecifických stránkach) 6

Návrh experimentu 11 úloh zameran ých na vyhľadávaciu zručnosť 4 všeobecné (začínali sa na google. sk) 7 doménových (riešili sa na špecifických stránkach) 7

Dáta Zaujímali nás metriky (všeobecné) - celkový čas trvania (spolu písanie dopytov, prezeranie odkazov) - čas strávený hľadaním odpovede na zvolenom linku (čas mimo google) - počet dopytov (počet zmien vyhľadávacieho query) - počet prezretých linkov (na stránke googlu, prečítané results) - počet otvorených linkov (počet rôznych ciest z google) - počeť dopytov pre úlohu - priemerná dĺžka dopytu vyhľadávania - či otvoril prvý link v poradí - či bol dopyt zadaný v angličtine 8

Dáta Zaujímali nás metriky (pohľad) - čas prvej fixácie na AOI - počet fixácií pred - celkové trvanie fixácií na AOI (aj mimo AOI) - počet navštívení AOI 9

Dáta Zaujímala nás metrika SPI Pre každého participanta bol vypočítaný Search performance index (SPI) SPI = success rate/total solution time + dotazník s 19 otázkami ohľadne používania navigácie 10

Hypotézy Metriky čas strávený v prehliadači a čas strávený hľadaním odpovede na zvolenom linku budú nadobúdať vyššie hodnoty pre začiatočníkov, ako pre expertov. Začiatočníci si pozrú a otvoria viac linkov ako experti. (Predpokladom je je väčšia šanca, že začiatočníci nenájdu tak rýchlo správnu cestu) Čas prvej fixácie do kľúčového AOI bude u expertov nižší. (Uvažovali sme aj analogické metriky – „počet fixácií pred AOI“, ktoré však vďaka veľmi podobným hodnotám korelujú) 11

Návrh experimentu Setup Experiment nastavený v Tobii studio 1. Náhodné poradie všeobecných úloh (google) 2. Náhodné poradie doménových úloh Pred každou úlohou sme zobrazili zadanie (inštrukciu) Po každej úloh e sme ponúkli 8 možností na odpoveď 12

Návrh experimentu ukážka Zadanie Na zobrazenej stránke ikea. sk nájdite najlacnejšie zrkadlo do kúpeľne 13

Návrh experimentu ukážka 14

Návrh experimentu ukážka Vyberte odpoveď: a) 3, 5€ b) 4, 2€ c) 7€ d) 17€ e) 19, 99€ f) žiadne z uvedených g) neviem h) nezapamätal som si otázku 15

Pilotná štúdia 4 PILOTI doladili sme zadania a úlohy 16

Ostrá štúdia 28 účastníkov 17

Ostrá štúdia 28 účastníkov Stredoškolákov!!! 18

Ostrá štúdia 28 účastníkov OBOCH POHLAVÍ!!! 19

Prehľad dát 28 účastníkov x 11 úloh = 308 získaných odpovedí 28 vyplnených dotazníkov zameraných na navigačnú zručnosť A iné: Počet dopytov pre google úlohy: 1 -4 Priemerná dĺžka dopytu vyhľadávania: 3 slova Počet prezretých odkazov: 1 -24 Počet otvorených odkazov : 0 -7 (ako niekto mohol splniť úlohu bez otvorenia linku? ) 20

Prehľad dát Úspešnosť úloh vs. počet účastníkov Participants count 7 6 5 4 3 2 1 0 Task success rate 21

Prehľad dát Úspešnosť úloh vs. počet účastníkov Participants count 7 6 5 4 3 2 Najslabší účastník zvládol aspoň tri úlohy Iba jeden účastník zvládol všetky úlohy 1 0 Task success rate 22

Prehľad dát „Náročnosť“ úloh, resp. úspešnosť účastníkov Úloha 1 Úloha 2 Úloha 3 Úloha 4 Úloha 5 Úloha 6 Úloha 7 Úloha 8 Úloha 9 Úloha 10 Úloha 11 75% 79% 86% 79% 39% 25% 71% 89% 46% 54% 50% 23

Analýza Participanti boli na základe ich SPI rozdelení do 3 skupín – klastrov pomocou algoritmu K-Means Každý klaster predstavuje jednu z kategórií: beginer, intermediate, expert. Uvažujeme aj kategorizácie: 5 najlepších – 5 najhorších, rozdelenie na rovnomerné tretiny, zostavenie poradovníka na základe success_rate 24

Analýza 25

Analýza Skóre v dotazníku Porovnanie SPI na doménových úlohách so subjektívnym ohodnotením z dotazníku SPI skúsení SPI médium SPI začiatočníci 26

Analýza Skóre v dotazníku Porovnanie SPI na všeobecných úlohách so subjektívnym ohodnotením z dotazníku SPI skúsení SPI médium SPI začiatočníci 27

Analýza Skóre v dotazníku Porovnanie celkové SPI so subjektívnym ohodnotením z dotazníku SPI skúsení AVG (74) SPI médium AVG (68) SPI začiatočníci AVG (65) 28

Analýza ČAS [s] Identifikácia významných metrík (ANOVA) Čas strávený hľadaním odpovede na zvolenom link u. Všeobecne orientované úlohy zoradené podľa success rate. 29

Analýza ČAS [s] Identifikácia významných metrík (ANOVA) Celkový čas (spolu písanie dopytov, prezeranie odkazov ). Všeobecne orientované úlohy zoradené podľa success rate. 30

Pri doménových úlohách sme si všimli zaujímavú vlastnosť úloh, ktoré pozostávajú z viacerých častí. 31

Lineárna úloha Úloha: Zistite koľko hviezdičiek získala recenzia knihy „. . . “ Úloha mala 4 fázy. Šedé polia sú prvky, ktoré musel účastník zvládnuť. 28 SPI 0, 74 Search bar 25 0, 75 menu 13 0, 84 hľadanie 11 0, 91 32

Lineárna úloha Úloha: Zistite prevádzkové hodiny parkoviska. . . “ Úloha mala 2 fázy: 27 SPI 0, 81 menu 22 menu 0, 87 33

Úloha s viacerými riešeniami (6 spôsobov) Úloha: Zistite otváracie hodiny IKEA rešt. SPI D SPI TOTAL ČAS Dotazník Hlavná stránka 0, 76 0, 405 28, 83 69, 2 Cez footer -> reštaurácia 0, 72 0, 372 34, 66 71, 5 0, 71 0, 413 55, 57 66, 3 Veľa linkov -> ikea Bratislava -> Rešt. 0, 89 0, 482 53, 8 72, 0 Kontakt 1, 26 0, 553 25 79 NEÚSPEŠNE 0, 38 0, 223 65 61, 3 Query 34

VĎAKA! Že ste vydržali : D 35

S čím sa ešte chceme pasovať ▰ ▰ Vybrať metriku pohľadu na zistenie počtu odkazov, ktoré videli Vyrátať, aká bola presnosť eye-trackeru pri nahrávaní Kognitívna záťaž pri plnení úloh (aspoň už nemusíme implementovať) Upraviť početnosť skupín v kategorizácii 36