Tema 2 Nye datamuligheder Kvalitetsudvikling af digital dataindsamling

Tema 2: Nye datamuligheder Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest Hanne-Pernille Stax, ph. d HPS@DST. DK

Plan Kvalitetsudvikling af digital dataindsamling på Danmarks statistik 1. Nye datamuligheder 2. Digitale skemaer og standardiseret interaktion 3. Metoder i brugertest af digitale skemaer 4. Fund fra brugertest af digitale skemaer 5. Kvalitetsudvikling af digitale skemaer 2

1. Nye datamuligheder Digital dataindsamling • Digitale skemaer, der udfyldes online. Fordele for NSI: • Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. • Data kan anvendes direkte i systemer til statistikproduktion. • NSI sparer tid til tastning / scanning. • NSI undgår fejl ved tastning/ scanning. 3

1. Nye datamuligheder Digital dataindsamling • Digitale skemaer, der udfyldes online. Fordele for respondenten: • Data kan valideres ved udfyldelse – respondenten stoppes hvis der er fejl. • Kun relevante spørgsmål vises. • Dynamisk vejledning – kun hjælp når der er behov. • Dynamiske beregninger mv. som støtte. 4

2. Det digitale skema som tekst - eller interaktionelt medie? Kvalitet – Hvad skal vi teste? Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst. • Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten. Interaktion: Ikke alt er vist fra start. Skema-elementer vises som respons på respondentens handlen. • Test: Respondentens interaktion med skemaets elementer. 5

3. Metoder i brugertest: Issues Dataindsamling til business-statistik Interne testere • Bemærker respondenten x? • Forstår respondenten x? • Anvender respondenten x som intenderet? • Mangler respondenten noget? X = element, ord, vejledning, dynamisk funktion, etc… 6

3. Metoder i brugertest: Issues Dataindsamling til business-statistik Eksterne brugere • Matcher begreber / koncepter respondentens sprogbrug / records? • Matcher opgørelsesmåder / kategorier respondentens records? • Fungerer skema-elementer så de letter respondentens byrde / task? • Fungerer skema-elementer så de sikre høj data-kvalitet? 7

3. Testforløb Teknisk test – Fungerer x som specificeret Brugertest 1. 2. 3. 4. 5. 8 Etnografisk præ-interview Observation af udfyldelse – uden hjælp Think-aloud protocol Probing – kognitiv interviewing Debriefing interview

3. Metoder: Etnografisk interview Indledende interview om… • Forventninger • Kompetencer • Hvordan R plejer at udfylde skemaer. • Giver info. om ”normal” brug • Fastholder R i ”egen” rolle 9

3. Metoder: Observation af besvarelse • R udfylder som normalt • Tester hjælper/forklarer IKKE undervejs • Optag eller notér. 10

3. Metoder: Think-aloud • • Alle tanker & idéer er væsentlige Spørg hvad R tænker – hvis der er pauser 2 personer kan samarbejde og diskutere Optag eller notér. Fordele: • Respondenten vælger fokus • Mulighed for fokus på ukendte problemer. Ulemper: • Forstyrrer svarproces at skulle tale undervejs • Kan motivere til ”unormalt” høj tankeaktivitet • Ikke systematisk belysning af issues. 11

3. Metoder: Probing / kognitivt interview • Løbende - Spørg mens der svares + Nemt at huske - Forstyrrer svarproces • Retrospektive - Spørg bagefter + Autentisk svarproces - Svært at huske + effekt af senere tasks • Lokalt motiverede - Spørg til Rs handlen + Respondentens perspektiv - Ikke systematisk belysning af kendte issues • Forberedte - Spørg til kendte issues + Systematisk fokus på kendte issues - Ukendte issues kan overses 12

3. Metoder: De-briefing Opfølgende interview om… • Oplevelse • Vurdering / evaluering • Input & idéer til forbedring 13

4. Fund: Vejledninger Struktur – Før: • Vejledning før opgave / task • Kronologisk – nummererede punkter • Som en opskrift: 1. 2. 3. 4. 14 Vælg først x Angiv så y Ret evt. z …

4. Fund: Vejledning Struktur - Efter • • • Nummereret liste fungerer fint - før task. Men – respondenter går direkte til task og læser så vejledning ”bagfra”. . . Re-designes m. markerede keywords: – – 15 Regnskabsår: Gør x og y Lønudgifter: Udfyld z og p Udgået: Marker f og q …

4. Knap – Før: ”? ” ud for hver type 16

4. Knap – Efter: ”Eksempler” på flere typer 17

4. Skema-elementer udenfor skærm - Før Vises 18

4. Skema-elementer udenfor skærm - Efter 19

4. Overført info. - Før 20

4. Overført info. - Efter: Kant + beregning 21

5. Kvalitetsudvikling – Survey Draft 1. version 2. Version Publicering 22 Test

5. Kvalitetsudvikling – På tværs af surveys Survey A Generelle fund Survey B 23 Survey C

5. Kvalitetsudvikling – På tværs af NSIs NSI / ESS Working group NSI A NSI B NSI C NSI D Survey A-Z 24

þ Tak for opmærksomheden Spørgsmål og kommentarer er velkomne HPS@DST. DK