Shkinen tenttijrjestelm Suomen korkeakouluille Salla Kalermo JY Sari

Sähköinen tenttijärjestelmä Suomen korkeakouluille Salla Kalermo JY Sari Koski-Kotiranta HY Anni Rytkönen HY Totti Tuhkanen TY

MIKSI RYHDYTTIIN KEHITYSTÖIHIN? • Sähköinen prosessi vähentää askartelua! Opettajat, opiskelijat ja opintohallinto hyötyvät sähköisen tenttiprosessin nopeudesta ja vakiomuotoisuudesta; samalla korkeakoulun ajan- ja tilankäyttö tehostuvat ja tenttien saavutettavuus paranee. WANHA paperi. PROSESSI UUSI sähköinen PROSESSI 1 2 3 4 5 6 7 8 1 2 5 3 7 4 8 !

Tenttijärjestelmän toteutukselle asetettuja vaatimuksia: • • • • Parempi käyttövarmuus ja -mukavuus kuin nykyisillä tenttijärjestelmillä Kehitystarpeisiin taipuva teknologia ja itse omistettu koodi Liitteitä käyttömahdollisuus tenttikysymyksissä ja -vastauksissa Apuohjelmien ja piirtopöydän käyttömahdollisuus tenttivastauksissa Hyvä integroitavuus perusjärjestelmiin Tehokkaat työprosessit: tentin pohjatiedot luetaan perusjärjestelmistä, suoritusten siirto mahdollista suoraan rekisteriin Kysymyskirjaston kysymyksiä voidaan monistaa, versioida ja arpoa Järjestelmän sisäinen viestintä opettaja–opiskelija sekä opettaja–opettaja Tehokas ajan ja tilan hallinta varauskalenterilla Mobiilikäyttö mahdollista tenttiajan varaamisessa ja tulosten tarkastelussa Vakioidut ohjeet akvaariosuunnitteluun sekä tilakuvauksiin Ajantasainen suorittamisen seuranta Tutkimuspohjainen kehitystyö ja best practice -ohjeistus.

Tenttijärjestelmän rakenneosat:

Rakennusvaiheet: 30. 1. 2013 § Työpaja, jossa mukana runsaasti edustajia 18 yliopistosta ja ammattikorkeakoulusta. Päätettiin aloittaa uuden sähköisen tenttijärjestelmän alustava suunnittelu ja vaatimusmäärittely. 28. 8. 2013 § 28. 8. 2013 käynnistettiin uudelle teknologialle pohjautuvan akvaariotenttijärjestelmän valmistelu. § Syksyllä 2013 useita tavoite- ja määrittelytyöpajoja sekä kehittämisympäristön määrittely 2. 1. 2014 § 2. 1. -22. 10. 2014 EXAM-tenttijärjestelmän toteutus 16 sprintin SCRUM-hankkeena 22. 10 2014 § 22. 10. 2014 EXAM 1: n julkistus. Vaatimusmäärittelijänä prory Teknisenä toteuttajana CSC/Arcusys

MISSÄ MENNÄÄN NYT? § 1 -vaihe ohi: perusjärjestelmä olemassa § 1. 1 -vaihe meneillään: hienosäätöä, lisäystä § Asiakkailla selvä visio tarvittavasta järjestelmästä, jonka tehtävä yksinkertaistaa kompleksista opintohallinnollista prosessia § Asiakkaita monta – 1. 1 -vaiheesta eteenpäin organisoituminen sen mukaan, kokemuksista oppien

MITEN JATKETAAN ? § Jatkovaiheiden organisoituminen: § Johtoryhmä (1/korkeakoulu: raha & sopimus) § Kehittäjäryhmä (1/korkeakoulu: kehityssuunta, päätökset) § Tuoteomistajaryhmä (3 -4 kehittäjäryhmästä: toimeenpano) § Projektipäällikkö (CSC) § Kehittäjät (Arcusys) § Kehityssyklit § Sykli 3– 4 kk: hallittu työmäärä & rajatut tavoitteet § Osittain vaihtuvalla TO-ryhmällä § Työmäärän tasaus § Osaamisalueet § Ohjausryhmä määrittelee & priorisoi tavoitteet + testaa & hyväksyy

HELSINGIN YLIOPISTON NÄKÖKULMA: Tenttiakvaariotoiminta osana sähköistä tenttimistä http: //blogs. helsinki. fi/signaali-blogi/2014/04/29/sahkoinen-tenttiminen/

TENTTIAKVAARIOTOIMINTA HELSINGIN YLIOPISTOSSA § Yli 10 vuoden käyttökokemukset pienessä mittakaavassa § Tavoitteena skaalautuva tenttiprosessi ilman sisältyvää henkilötyöpanosta (vahtimestari, kirjastovirkailija tms) § Sujuva, säädettävä & säätyvä, pidetty: § Opiskelijat: lisää laatua ja hyvinvointia § Opettajat: helppokäyttöinen, tehostaa arviointia ja lisää palautteen antamista § Opintohallinto: odottaa hartaasti integraatiota! § Tukihenkilöstö: vähäisesti kuormittava

ODOTUKSIA TOIMINNAN LAAJENTAMISELLE § Lisää tenttiakvaariotenttejä käyttäviä opettajia, jotka toivottavasti myöhemmin siirtyvät muihinkin sähköisen tenttimisen muotoihin (”sisäänheitto”) § Lisää opintojen laatua vähentämällä stressiä ja helpottamalla opintojaksojen suoritusta ajallisen jouston kautta, vaikkei välttämättä nopeuta valmistumista § Vähentää tenttikirjojen jonoja § Vähentää opintohallinnolta suoritusten rekisteröintiin kuluvaa aikaa § Kehittää tenttimistä myös pedagogisesti opettajien miettiessä mielekkäitä, tasalaatuisia tenttikysymyksiä ja kannustaessa opettajia miettimään opetustaan

TOIMINTAPROSESSEIHIN YHTEISET PERUSKÄYTÄNNÖT (1/2) § Erilaiset lähtökohdat sähköiseen tenttimiseen: – eri järjestelmiä käytössä – tenttiakvaarioita sähköisillä tenteillä ja paperitenteillä – etätenttejä – eri kokoisia oppilaitoksia ja tenttitiloja. § Uuden järjestelmän osalta oltava pitkälti yhtenäiset käytännöt – Yhteinen sanasto – Erilaiset tenttityypit – Tentin tarkastusprosessit. § Joitakin instanssikohtaisesti määriteltäviä parametreja esim. – käyttösäännöt ja tentin maksimitarkastusaika – tenttien sallitut kestot – tenttitilat ja tenttikoneet.

TOIMINTAPROSESSEIHIN YHTEISET PERUSKÄYTÄNNÖT (2/2) § Projektiryhmässä kartoitettu mitä käytäntöjä missäkin on § Pyritään poimimaan EXAMiin parhaat käytännöt niiltä osin, kuin ratkaisut ovat sovelluksesta riippuvaisia § Keskusteluja sekä sovelluksesta riippuvista asioista, kuten – kysymystyypit – kysymysarvonnan toteuttaminen – kirjatenttien syöttäminen järjestelmään että sovelluksesta riippumattomista asioista, kuten – sermien korkeudet tenttitilassa – videovalvonta – esteettömyyskriteerit, joiden pohjalta tenttitilan kuvaustieto annetaan. Käytäntöjen vertailua: JY: ssä esim. harkitaan, voisiko opiskelijalta jättää tenttitilan avaimen noudon kokonaan pois – ovi auki -malli toimii Helsingin yliopistossa.

EXAMIN KÄYTETTÄVYYSARVIOINTIMALLI § Ensimmäinen kierros tehty 05/2014 § Asiantuntija-arviointi: – TTY: n We. SQu-työkalu, josta poimittiin 175 arviointikriteeriä – Arvioijina Salla Kalermo (JY) ja Pasi Häkkinen (TTY) – Lisäksi heuristinen arviointi Oulun yliopiston käytettävyyskurssin opiskelijoilta § Käytettävyystestaus: – Toteutettiin samalla sabluunalla Jyväskylän ja Oulun yliopistoissa – Yhteensä 9 tentaattoria koehenkilöinä – Yksi henkilö kerrallaan testattavana – Viisi tehtävää, jotka annettiin yksi kerrallaan – Testaajan havaintojen perusteella kirjattiin ylös ongelmat sekä kehitysehdotukset.

KÄYTETTÄVYYSARVIOINTIEN VAIKUTUS KEHITYSTYÖHÖN § Asiantuntija-arvioinnin perusteella – havaittiin puutteita erityisesti järjestelmän yhtenäisyydessä ja saavutettavuudessa sekä virheiden estämisessä ja virheilmoituksissa § Käytettävyystestauksen perusteella – Kirjattiin kehittäjille nelisenkymmentä tehtävää sekä toimintoihin että käyttöliittymään liittyen § Examin 1. versioon korjattu osa, pääfokus oli toimintojen valmiiksi saamisessa, käytettävyyskorjauksia tehdään versioon 1. 1 § Toinen arviointi tehdään marraskuussa 2014 (sis. opiskelijatestausta)

STANDILLA DEMO JA KUVANKAAPPAUSVIDEO, VERKOSSA KUVANKAAPPAUSVIDEO § Tentaattori § Tentin luonti + perustiedot § Aihealueen lisääminen + kysymysten lisääminen sekä suoraan tenttiin että tenttikirjastosta § Arvonnan laittaminen § Ilmoittautumislinkin jakaminen opiskelijalle § Opiskelija § Tenttiin ilmoittautuminen opettajalta saadulla linkillä + ajan varaus § Tenttiin vastaaminen § Tentaattori § Tentin arviointi § Opiskelija § Tentin arvioinnin lukeminen sovelluksesta

KONSORTIO Konsortion on perustettu, koska korkeakouluilla on yhteinen tarve tarjota korkeakoululle kustannustehokas sähköinen tenttityökalu. Perustajajäsenet: § HAAGA-HELIA ammattikorkeakoulu § Helsingin yliopisto § Itä-Suomen yliopisto § Jyväskylän yliopisto § Lappeenrannan teknillinen yliopisto § Oulun yliopisto § Svenska Handelshögskolan § Tampereen teknillinen yliopisto § Tampereen yliopisto § Turun yliopisto

MIKSI KANNATTAA LIITTYÄ KONSORTIOON ? § § Version 1. 0 voi ottaa käyttöön heti Voi osallistua jatkokehitykseen Laaja kehittämisyhteisö Hyvien käytänteiden jakaminen, välineet, tilasuunnittelu, arviointiprosessit – Entäs jos ei liity? – Lähdekoodi on avointa 18 kk kuluttua version julkaisusta

KONSORTIO ON AVOIN UUSILLE JÄSENILLE! § Liittymismaksu: kertaluonteinen § Vuosimaksu: perusosa kaikille sama, kehittämistarve määritetään vuosittain yhdessä ja kustannukset jaetaan suhteessa opiskelijamäärään. § Lisää tietoa EXAMin standilla nro 21 (2. krs), tulkaa tutustumaan järjestelmään ja esittämään kysymyksiä! § http: //51. fi/EXAM § Johtoryhmän pj (2014): Sari Koski-Kotiranta, HY (@helsinki. fi)