Fa Be R Docentendag Toetsen en Evalueren 29

Fa. Be. R Docentendag Toetsen en Evalueren: 29 april 2015

Programma • 14 u 30 -15 u: Ontvangst • 15 u-16 u: Plenair gedeelte Verwelkoming o Algemene kadering o Inleiding op de topics van de dag Verplaatsing naar seminarielokalen 16 u 10 -16 u 40: workshop deel 1: verbetersleutels 16 u 40 -16 u 55: koffiepauze 16 u 55 -17 u 45: workshop deel 2: afstemming (toetsmatrijs) &cesuur Verplaatsing naar lokaal 02. 40 17 u 50 -18 u: Afsluiting o • • •

Algemene kadering

Algemene kadering-stand van zaken toetsbeleid Toetsbeleid : een contract met de student

• Universitair niveau - Visietekst + draaiboek Rapporteringen op onderwijsraad • Facultair niveau - Visietekst Handleiding voor facultair niveau Handleiding voor opleiding

• Facultair niveau - Handleiding voor docenten met ondersteuningsmateriaal Geleidelijke implementatie met ondersteuning van docenten door - Facultaire docentendag 2012 - Herinneringen voor docenten op gerichte tijdstippen Template 1 ste les - Opvragen wijzigingen evaluatieactiviteiten - Opvragen update ECTS-fiche + ondersteuningsdocumenten (vb richtlijnen ECTS/TOLEDO) - Richtlijnen meedelen deelresultaten - - Acties op opleidingsniveau - Facultaire docentendag 2015 • Opleidingsniveau

Algemene kadering - verschaffen van informatie m. b. t. toetsgebeuren Adequaat verschaffen van informatie m. b. t. het toetsgebeuren: o Bestaande initiatieven: • • o o ECTS-fiche jaarlijkse update, Template PPT 1 ste les, Voorbeeldvragen, . . . Ondersteuningsdoc richtlijnen voor surveillanten Echter: Onduidelijkheid exameninstructies met klachten tot gevolg Sjabloon toetsinstructie examen

Onderwijs- en Examenreglement “Een examen dat bestaat uit een beoordeling op één bepaald moment mag maximaal een halve dag (ca. 4 uur) in beslag nemen”

Hoeveel examenvragen stel ik? Het aantal vragen is o. a. afhankelijk van: § hoeveelheid leerinhouden die behandeld werd in het opo § taxonomieniveau waarop geëvalueerd wordt & soort examenvragen § beschikbare examentijd Voorbeeld: als indicatie voor beantwoordingstijd

Vraagtype open vragen (in min) Vraagtype gesloten vragen (in sec) antwoord vergt 1 woord of zin 1 min juist/onjuist vraag 50 sec antwoord vergt ¼ pagina A 4 5 min mc-vraag met 2 antwoordopties 50 sec antwoord vergt ½ pagina A 4 10 min mc-vraag met 3 antwoordopties 60 sec antwoord vergt 1 pagina A 4 25 min 75 sec antwoord vergt 2 pagina’s A 4 60 min mc-vraag met 4 of 5 antwoordopties e. a. gesloten vraagvormen Bron: van Berkel van& Bax (2006)

Correctie voor raden? De Redactie, 16/10/2014 De Standaard, 10/12/2013 VETO, 19/4/2015

Correctie voor raden? Het juiste antwoord zit tussen de aangeboden alternatieven, m e e l Prob waardoor de student via raden/gissen het juiste antwoord kan aanduiden • Meest gebruikt aan KU Leuven • DOO is voorstander Maar… Wordt ook in vraag gesteld Verkennen alternatieven

Implementatie template toetsinstructie Vanaf juni-examenperiode: Coördinatoren stellen (in samenspraak met medetitularissen) voor elk OPO waarvoor ze verantwoordelijk zijn het voorblad met de toetsinstructies op Deze toetsinstructies worden bij start examen aan elke student gegeven (als voorblad bij de examenvragen) Template beschikbaar in NL, Eng, NL+ Eng op lesgeversportaal NOOT: ook de richtlijnen duidelijk meedelen tijdens de laatste les NOOT: consistentie met ECTS-fiche, info template 1 ste les

Topics van de dag Verbetersleutels Afstemming &cesuur

Inleiding topics van de dag - verbetersleutels Evaluatiecriteria - verbetersleutels WAT? Elementen waarop het beoordelingsproces wordt gebaseerd - vaak weergegeven in een verbetersleutel ü Opsomming van goede antwoord(elementen) § soms ook gedeeltelijk goede of foute antwoorden § terugkerende fouten, taal- of spellingsfouten, … ü ü Maximumscore per (deel)vraag Weging en cesuur Richtlijn voor beoordelaar Op voorhand opstellen, nadien nog verfijningen of aanpassingen mogelijk.

WAAROM? (Bloxham et al, 2011; Sadler, 2005) ü Grotere objectiviteit in beoordeling (cfr. betrouwbaarheid) § Gestandaardiseerde werkwijze – studenten gelijk behandelen § Houvast voor (beginnende) beoordelaar – biedt houvast § Intern overleg en afstemming ü Verhoogde transparantie § Beoordelingsproces wordt zichtbaar § Geven richting aan de student ü Handig om feedback te geven

Schriftelijke examens Puntentoekenning • 1/3 = enkel definitie concepten • 2/3 = concepten verbinden met het behaviorisme, instrumentele conditionering en namen als Skinner en Thorndike • 3/3 = voorbeelden gebruiken en dus inzicht van de definitie duidelijk aantonen door een eigen “toepassing” Zie ook: https: //www. kuleuven. be/onderwijs/evalueren/verbetersleutels-evaluatiecriteria

Mondelinge examens • Examenvraag Wat is het verschil tussen een negatieve bekrachtiging en een negatieve straf? Geef van elk begrip een voorbeeld. • Verbetersleutel Overkoepelende vaardigheden

Papers en opdrachten • Examenvraag Beargumenteer volgende stelling: “De opkomst van China betekent het einde van de Pax Americana, en is geen goede zaak voor Europa. ” • Verbetersleutel atieu l a v E a criteri Niveaus

Implementatie verbetersleutels: • Vanaf juni-zittijd: Elke docent stelt verbetersleutels op • Na de juni-examenperiode: feedback/vragensessies voor docenten/coördinatoren m. b. t. toetsmatrijzen&verbetersleutels o Ma 6 juli namiddag o Wo 8 juli voormiddag • Docenten stellen op verzoek van examencommissie (of later i. f. v. instellingsreview) de verbetersleutels ter beschikking

Inleiding topics van de dag –Cesuur&TM Cesuur & Toetsmatrijs • Door middel van een toetsmatrijs/-matrix krijg je een ‘blauwdruk’ van je opleidingsonderdeel om een evenwichtige verdeling tussen leerinhouden, leerdoelen en examenvragen te realiseren. • Een toetsmatrijs kan helpen bij: o o Evenwichtige verdeling leerinhouden en leerdoelen Systematische samenstelling van de evaluatie: vermijden van te veel nadruk te leggen op bepaald doel, meer inzicht in wat je wil bereiken met de evaluatie Gelijkwaardigheid van evaluaties Toelichting naar collega’s en externen

Sjabloon toetsmatrijs Fa. Be. R Leerdoelen Leerresultaten Cognitie (C) Vaardigheden (V) Attitude (A) Aandeel in evaluatie LR 1 LR 2. . . Niveau C: Bloom V: Romiszowski A: Krathwohl Leerinhoud Toetsing

Cognitie – taxonomie van Bloom Concludeer, verklaar, beredeneer, valideer, interpreteer Formuleer, herschrijf, maak, produceer, organiseer, ontwerp Relateer, licht toe, leg uit, vergelijk, deduceer Selecteer, vertaal, in eigen woorden, parafraseer Gebruik, bereken, los op, demonstreer Benoem, beschrijf, citeer, label, som op

Vaardigheden – taxonomie van Romiszowski generaliseren automatiseren vlot uitvoeren stapsgewijze uitvoeren (kennis) verwerven

Attitude – taxonomie van Krathwohl

Voorbeeld • Leerresultaten o o o o De theoretische achtergrond van revalidatie, inclusief de toepassing op de verschillende regio’s van het onderste lidmaat, reproduceren Informatie uit een anamnese interpreteren Beslissingen nemen in functie van het uit te voeren klinisch onderzoek Houdingen, bewegingen en klinische tests observeren en interpreteren Klinische tests ifv de hypothese(s) te selecteren Informatie uit het kinesitherapeutisch onderzoek interpreteren en een beslissing nemen naar behandeling toe Praktische vaardigheden in zowel onderzoek als behandeling te demonstreren

Voorbeeld • Werkvorm les o o Geen klassiek hoorcollege Leesopdrachten met mogelijkheid vragen te stellen • Voor hele studentengroep (240 studenten) o Bekijken van video’s voor de les en beoordelen • Bespreking tijdens de les met groepsfeedback (studenten in drie groepen verdeeld) • Grootste deel van theorielessen hieraan besteed • Examenvorm o Theorie revalidatie: • PC examen met aanbod van figuren/video/foto’s • Mengvorm van multiple choice, multiple answer, open vragen/mogelijkheid tot motiveren van keuze

Voorbeeld: vertaling naar cognitie/vaardigheid/attitude Cognitie LEERRESULTATEN VAN HET OPO(*) Verwerkingsniveau volgens Bloom(**) Leerinhoud (***) Toetsing (****) Kennen alle hoofdstukken vragen 15, 16, 17, 18, 19 Analyseren Hoofdstukken 7, 8, 9, 10, 11 vragen 1, 2, 3, 4, 5, 6 - beslissingen te nemen in functie van het uit te voeren klinisch onderzoek Begrijpen meerdere hoofdstukken vragen 7, 8, 12 - houdingen, bewegingen en klinische tests te observeren en te interpreteren Analyseren hoofdstuk 14 -15 - Vragen 9, 10 16; cursus Analyseren hoofdstuk 14 -15 - vraag 13 16; cursus Analyseren meerdere hoofdstukken - de theoretische achtergrond van revalidatie, inclusief de toepassing op de verschillende regio’s van het onderste lidmaat, te reproduceren - informatie uit een anamnese te interpreteren - klinische tests in functie van hun hypothese te selecteren - informatie uit het kinesitherapeutisch onderzoek te interpreteren en een beslissing te nemen naar behandeling toe - praktische vaardigheden in zowel onderzoek als behandeling te demonstrereren Analyseren vraag 11, vraag 14 vraag 1 en 2

Voorbeeld: vertaling naar cognitie/vaardigheid/attitude Cognitie Vaardigheden Attitudes LEERRESULTATEN VAN HET OPO(*) Verwerkings Leerinhoud Toetsing (****) Vaardigheids Leerinhoud niveau (***) volgens Bloom(**) Romiszowski (*****) Toetsing (****) Classificatie Leerinhoud Toetsing Krathwohl (***) (******) Analyseren - praktische vaardigheden in zowel onderzoek als behandeling te demonstrereren vraag 1 en 2 Stapsgewijze meerdere vr 1 en 2 uitvoeren hoofdstukken ATT in LR

Voorbeeld cesuur • Theorie: o Elke vraag 1 punt • Giscorrectie voor MC • Geen giscorrectie voor multiple answer o o Door samenstelling vooral inzicht bevraagd Enkel kennis niet voldoende (7/20 punten) • Revalidatie: o o Beoordelingsformulier met criteria Minimale criteria voor 10/20 bepaald. Sanctie voor zware fout (niet slagen)

Voorbeeld cesuur/eindscore • Totale score OPO Deel prof Peers: 6/20 o Deel prof Staes: 6/20 o Deel praktijk: 8/20 o Totaal: som van gewogen gemiddelden • Als deel niet afgelegd: 0/20 voor hele OPO o

Voorbeeld/eindscore • Weging eindscore Drie scores > 16: +1 o Eindscore 16/20: steeds afronding naar boven o Eindscore 12/20 en < 16: afronding volgens cijfer na komma o Eindscore tussen 10 -12: * afronding naar beneden als 1 tekort of meer op onderdelen * afronding volgens cijfer na de komma als geen tekorten • Eindscore minder dan 10: afronding naar beneden o

Implementatie toetsmatrijs/ rekenregels en cesuur: • Juni-examenperiode: elke coördinator stelt (in samenspraak met medetitularissen) toetsmatrijs op voor 1 OPO uit de ba en 1 OPO uit de ma m. i. v. rekenregels en cesuurbepaling. • Uiterlijk 27 juni laden de coördinatoren de toetsmatrijzen op in TOLEDO o Assignment opladen in community ‘Dropbox Fa. Be. R’ o Filmpje op lesgeversportaal

Implementatie (vervolg) • Na de juni-examenperiode: feedback/vragensessies voor docenten/coördinatoren m. b. t. toetsmatrijzen&verbetersleutels o Ma 6 juli namiddag o Wo 8 juli voormiddag • Vanaf september-examenperiode: o coördinator stelt voor elk OPO toetsmatrijs miv rekenregels & cesuurbepaling op. o TM/ rekenregels & cesuur moeten op verzoek van examencommissie (instellingsreview) dadelijk ter beschikking worden gesteld.

De workshops-praktisch Workshops: • deel 1: Verbetersleutels • deel 2: Afstemming (toetsmatrijs)&Cesuur Lokalen: • Lokaal 02. 40 – LOBW + EMMAPA • Lokaal 02. 41 - REVAKI+EW+SGK

Lokaal 02. 40 Berghmans Bogaerts Daly D'Aubioul Deldicque Delecluse Diels Fransen Gilleir Helsen Hendriks Hens iserbyt jochim Kesenne Koen lauwers Mortelmans Put Raabe Scheerder Seghers Taks Thibaut Thomis Van Eycken Vandermeerschen Vanhees Vanwanseele Verellen Lokaal 02. 41 Eric An Dan Pieter Louise Christophe Rudi Katrien Christien Werner Mario Nathalie peter spitz Stefan Cuypers luc Patricia Koen Riccardo Jeroen Jan Marijke Erik Martine Carolien Hanne Jan Benedicte Joeri Beullens monique Brumagne Simon De Borggraeve Wim Deweert Annick Dolferus Thaïs Feys Hilde Goossens Nina Jolien Gooijers jonkers ilse Kos Daphne Leen Serbruyns monbaliu elegast Peers Koen Sharissa corporaal Staes Filip Swinnen Stephan Troosters Thierry Van Leemputte Marc

Verplaatsing naar de seminarielokalen

Deel 1: Verbetersleutels Aan de slag! o Individuele opdracht (10’) o In gesprek met collega’s (20’)

Individuele opdracht o o Neem je examenvraag en ECTS-fiche bij de hand Aan welk leerdoel kan je de examenvraag linken? • Welk leerdoel wordt getoetst met deze examenvraag? • Op welk niveau situeert de examenvraag zich (Bloom/Rom/Kr)? Stel een verbetersleutel op voor deze examenvraag (of bekijk en optimaliseer je huidige voorstel) TIP: neem notities i. f. v. het gesprek o

Bespreek met je collega o Wat is je globale indruk? o Is er een duidelijke link tussen het leerdoel en de examenvraag van het opleidingsonderdeel? Denk hierbij aan: • Herken je het leerdoel in de examenvraag? • Is de examenvraag op het ‘correcte’ niveau opgesteld? Worden studenten bijv. niet alleen gevraagd te reproduceren als in het leerdoel ook gesproken wordt over toepassen? • Kan je met de examenvraag nagaan of het vooropgestelde leerdoel bereikt is? o Zijn de evaluatiecriteria en verbetersleutel helder en duidelijk? • Geeft het antwoord in de verbetersleutel een inhoudelijk goed antwoord op de vraag? Komt het antwoord overeen met het niveau van de vraagstelling?

Koffiepauze (15’)

Deel 2: Afstemming vervolg & cesuur Aan de slag! o Individuele opdracht (2 x 10’) o In gesprek met collega’s (30’)

Individuele opdracht (vervolg) o o Neem je examenvraag en ECTS-fiche bij de hand Aan welk leerdoel kan je de examenvraag linken? • Welk leerdoel wordt getoetst met deze examenvraag? • Op welk niveau situeert de examenvraag zich (Bloom/Rom/Kr)? o Stel een verbetersleutel op voor deze examenvraag (of bekijk en optimaliseer je huidige voorstel) o Stel een verbetersleutel op voor de rest van het examen Bepaal je slaaggrens o

Individuele opdracht – afstemming Vul de tabel in Plaats je leerresultaten in de tabel en geef aan welke examenvraag gekoppeld is aan welke leerresultaat Geef aan op hoeveel punten de examenvragen staan

Individuele opdracht – afstemming Concretiseer Vul de tabel in voor een examen met een score tussen 9/10 en 11/20 Hoeveel punten heeft de student gehaald op elk leerdoel?

Individuele opdracht – afstemming Welke conclusies trek je?

Individuele opdracht – vervolg verbetersleutels o o Stel een verbetersleutel op voor de rest van het examen Bepaal je slaaggrens Individuele opdracht – afstemming o Vul de tabel in • Plaats je leerresultaten in de tabel en geef aan welke examenvraag gekoppeld is aan welke leerresultaat • Geef aan op hoeveel punten de examenvragen staan o Concretiseer • Vul de tabel in voor een examen met een score tussen 9/10 en 11/20 • Hoeveel punten heeft de student gehaald op elk leerdoel? o Welke conclusies trek je?

Bespreek met je collega o Licht je tabel en eerste conclusies toe aan je collega o Is de tabel duidelijk? • Kan je afleiden hoe het eindcijfer tot stand komt? • Waar ligt de cesuur? Is het duidelijk wat een student minimaal moet kennen en kunnen om te slagen voor het examen? • Ligt de cesuur van je collega juist volgens jou? • Weerspiegelt het gewicht dat een (deel)aspect krijgt in de beoordeling het belang dat aan bepaalde leerresultaten wordt gehecht?

Verplaatsing naar lokaal 02. 40

Afsluiting Aanzet tot peer review van examens • Meer ogen zien vaak meer • Onderlinge professionalisering • Extra informatie op opleidingsniveau Meer weten: fiche peer review examens zie http: //www. kuleuven. be/onderwijs/evalueren/peerreview

Implementatie o Juni-examenperiode: • Coördinatoren stellen (in samenspraak met medetitularissen) voor elk OPO waarvoor ze verantwoordelijk zijn het voorblad met de toetsinstructies op • Elke coördinator stelt (in samenspraak met medetitularissen) een toetsmatrijs op voor 1 OPO van ba en 1 OPO van ma m. i. v. rekenregels • Na de juni-zittijd (uiterlijk 27 juni) laden de coördinatoren de toetsmatrijzen op assignment opladen in community ‘Dropbox Fa. Be. R’ op TOLEDO; • filmpje op lesgeversportaal • • Elke docent stelt verbetersleutels op

Implementatie o Na de juni-examenperiode: feedback/vragensessies voor docenten/coördinatoren m. b. t. toetsmatrijzen&verbetersleutels • Ma 6 juli namiddag • Wo 8 juli voormiddag

Implementatie o September-examenperiode: • Coördinatoren stellen toetsmatrijs m. i. v. rekenregels op voor alle OPO’s • TM niet meer opladen, maar coördinatoren stellen deze onmiddellijk op verzoek van examencommissie (of later i. f. v. instellingsreview) ter beschikking. • Docenten stellen op verzoek van examencommissie (of later i. f. v. instellingsreview) de verbetersleutels ter beschikking, o Praktisch: algemene mailing zal na docentendag verstuurd worden met alle informatie.