DIGITAL SALSTENTAMEN 2019 09 18 HansErik Sjstrm INNEHLL

DIGITAL SALSTENTAMEN 2019 -09 -18 Hans-Erik Sjöström

INNEHÅLL • Bakgrund och beskrivning av projektet • Pilottest av Inspera Assessment • Resultat från utvärderingar o Studenter o Lärare • Tentamensvakternas erfarenheter

PROJEKTET DIGITAL SALSTENTAMEN • Hösten 2014 började en dialog och lokala initiativ • 2015 initierade USSR en arbetsgrupp • 2016 tillsattes en referensgrupp • 2017 skrev USSR en skrivelse till rektor • 17 april 2018 beslutades projektets projektplan

PROJEKTMÅL OCH AVGRÄNSNINGAR Övergripande projektmål: • Umeå universitet ska erbjuda en digital tjänst för salstentamen • Undervisande personal vid Umeå universitet får stöd och utbildning i att skapa, genomföra och bedöma digital salstentamen • Andelen digitalt genomförda salstentamen år 2022 är minst 30% av totalt antal skrivande Projektets avgränsningar • Anpassningar av lokaler • Inköp av lånedatorer • Digital examination utanför campus Umeå

ÖVERSIKT: AKTIVITETER Etapp 1 Etapp 2 Etapp 3 Samordning Avrapportering Dokumentation - slutrapport Överlämning förvaltning Delprojekt A: Införande & Utbildning Omvärldsanalys Behovs/Krav-insamling Användartester Skapa utvärderingsmallar Genomföra upphandling Skapa utbildningspaket Fortsatta användartester Utbildningsinsatser Överlämning till stödorganisation Delprojekt B: Processförändring, Infrastruktur & Finansieringsmodeller Översyn regelverk Utreda merkostnader för service Ev. Integrera inloggning och konfigurera det IT-stöd som används under projektets användartester Processkartläggning Föreslå finansieringsmodell Föreslå regelverksförändringar Utreda anpassning lokaler Utreda Lånedatorer Kommunicera ev. nya finansieringsmodeller Kommunicera ev. nya regelverksförändringar Konfigurering IT-stöd Teknisk integration mot Ladok 3 Projektavslut Projektplanering Bemanning Budget Uppstart projektgrupp Förvaltningsfas efter avslutat projekt Projektledning: Styrning & Kommunikation

ÖVERSIKT: AKTIVITETER Etapp 1 Etapp 2 Etapp 3 Samordning Avrapportering Dokumentation - slutrapport Överlämning förvaltning Delprojekt A: Införande & Utbildning Omvärldsanalys Behovs/Krav-insamling Användartester Skapa utvärderingsmallar Genomföra upphandling Skapa utbildningspaket Fortsatta användartester Utbildningsinsatser Överlämning till stödorganisation Delprojekt B: Processförändring, Infrastruktur & Finansieringsmodeller Översyn regelverk Utreda merkostnader för service Ev. Integrera inloggning och konfigurera det IT-stöd som används under projektets användartester Processkartläggning Föreslå finansieringsmodell Föreslå regelverksförändringar Utreda anpassning lokaler Utreda Lånedatorer Kommunicera ev. nya finansieringsmodeller Kommunicera ev. nya regelverksförändringar Konfigurering IT-stöd Teknisk integration mot Ladok 3 Projektavslut Projektplanering Bemanning Budget Uppstart projektgrupp Förvaltningsfas efter avslutat projekt Projektledning: Styrning & Kommunikation

ÖVERSIKT: AKTIVITETER Etapp 1 Etapp 2 Etapp 3 Samordning Avrapportering Dokumentation - slutrapport Överlämning förvaltning Delprojekt A: Införande & Utbildning Omvärldsanalys Behovs/Krav-insamling Användartester Skapa utvärderingsmallar Genomföra upphandling Skapa utbildningspaket Fortsatta användartester Utbildningsinsatser Överlämning till stödorganisation Delprojekt B: Processförändring, Infrastruktur & Finansieringsmodeller Översyn regelverk Utreda merkostnader för service Ev. Integrera inloggning och konfigurera det IT-stöd som används under projektets användartester Processkartläggning Föreslå finansieringsmodell Föreslå regelverksförändringar Utreda anpassning lokaler Utreda Lånedatorer Kommunicera ev. nya finansieringsmodeller Kommunicera ev. nya regelverksförändringar Konfigurering IT-stöd Teknisk integration mot Ladok 3 Projektavslut Projektplanering Bemanning Budget Uppstart projektgrupp Förvaltningsfas efter avslutat projekt Projektledning: Styrning & Kommunikation

DIGITAL EXAMINATION TESTER • Testverksamhet med Inspera genomfördes 2018 och våren 2019. Totalt 14 lärare och circa 750 studenter deltog. • I samband med testverksamheten skickades frågeenkäter ut till alla deltagande studenter, 222 svarade. • Frågeenkäter skickades även till deltagande lärare och till lärare som hade tidigare erfarenhet av andra system, dvs Exam. Soft och Digi. Exam, 81 svar. DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019

VAD SÄGER STUDENTERNA? Hur är din sammanlagda uppfattning av digital salstentamen som examinationsform? (1 till 6 där 6 är högsta betyg) DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019

VAD SÄGER STUDENTERNA? Vad upplever du som bra med digital salstentamen? Huvudteman: • Lättare och snabbare att skriva på datorn, smidigt 46% • Lättare att strukturera svaren och kunna redigera text 36% • Bra att slippa kramp i handen 12% • 2% Bra att använda den metod man är van med, känns mer modern • Miljövänligt, mindre papper DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019 2%

VAD SÄGER STUDENTERNA? Vad upplever du som mindre bra med digital salstentamen? Huvudteman: • Det blir stressigt om datorn krånglar, rädsla för teknikstrul 44% • Svårt att rita, kan inte skriva matematiska uttryck och beräkningar 24% • Ljudet från tangenterna 7% • När det bara blir kryssfrågor, ibland är de oklara 6% • Gillar att skriva för hand, föredrar papper & penna 6% • Krångligt med lösenord och inloggning 4% • Övrigt: trött att titta på skärmen, ingen bra överblick över frågorna. DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019

VAD SÄGER LÄRARNA? Hur är din sammanlagda uppfattning av digital salstentamen som examinationsform? (1 till 6 där 6 är högsta betyg) 1 2 DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019 3 4 5 6

VAD SÄGER LÄRARNA? Vad upplever du har fungerat bra med digital salstentamen? (fritext svar) • Underlättar rättning, snabbare process och enkel hantering av återkoppling 43% • Lättare och snabbare att läsa studenternas handstil, svaren bättre strukturerade 17% • Studenterna är positivt inställda, mycket nöjda med att få skriva digitalt 10% • Ökad rättssäkerhet för studenter 8% • Mindre pappershantering, mindre administration 8% • Enkelt och effektivt 8% DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019

VAD SÄGER LÄRARNA? Vad upplever du har fungerat mindre bra med digital salstentamen? (fritext svar) • Idag krävs mycket förberedelse, svårarbetade rutiner 19% • Tekniska problem med rättning av tentamen, poängsättning svårt 17% • Brist på skrivplatser för digital salstentamen, bättre infrastruktur behövs 15% • Teknisk osäkerhet bland studenter, studenter som missar att förbereda 15% • Teknikstress och osäkerhet för studieadministratörer och lärare 8% • Systemet krångligt och svårt att använda 8% • Kompetensnivån på tentamensvakterna för låg 7% • Övrigt: Bättre utbildning för lärare & administratörer, manualer, ritfunktion saknas, studenternas datorer har inte rätt prestanda 11% DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019

ERFARENHETER TENTAVAKTERNAS KOMMENTARER + Bra o o o Minskad pappershantering / mindre tungt för oss vakter Lugnare sal efter start Överblick över antal studenter i salen, vem som lämnat in osv. Smidig inlämning Sparar tid

ERFARENHETER TENTAVAKTERNAS KOMMENTARER − Mindre bra Stressande innan man lärt sig hantera de problem som kan uppstå o Någon i salen bör ha befogenhet som 'platsansvarig' för att kunna ge extra tid o Närvarolistan måste innehålla studentens 'kod' (t. ex. 0012) för smidig identitetskontroll vid inlämning o Kan inte checka av studenterna via datorn utan behöver fortfarande göra det med anmälningslista o

ERFARENHETER TENTAVAKTERNAS KOMMENTARER • Övrigt • • • Verkar lovande! Vill gärna bli säker i användningen av detta verktyg! Lugnt i salen Mer utbildning för att kunna jobba självständigt Lätt att välja "ID avvisat" istället för "ID bekräftat" om man inte är vaksam Jättebra verktyg för både oss och studenterna!

TACK! hans-erik. sjostrom@umu. se DIGITAL EXANINATION, EXAMINATION OCH UTVÄRDERING, VT 2019

DIGITAL TENTAMEN Praktiskt i tentamensalen Lovisa, Ulf, Carina och Elsa

DÅ OCH NU • Första digitala tentan var 2015 • Idag har vi tre olika digitala program: ØSam Fak; Digi Exam ØMed Fak; Exam Soft ØDigitala projektet; Inspera

DIGITAL TENTAMEN STATISTIK 2017 2018 01 -05 2019 01 -05 Antal tillfällen 73 95 49 81 Antalet bokade platser 2775 3702 2006 3115 Antal studenter som skrev 2775 3702 2272 2396

GODA FÖRUTSÄTTNINGAR • Att känna till hela kedjan från administratör – student, vem gör vad och varför • Bra förberedelser från institutionen, studenter, lärare, administratörer • Utbildning för tentamensvakter, lathund, kunskap vid problemlösning • Support under tentan • Lånedatorer/egna datorer • Ej papper och digitalt samtidigt, möjlighet att scanna in svar • Kurslitteratur inlagt i tentan • Ett system