Als opleiding aan de slag rond evaluatie Onderwijsdag

Als opleiding aan de slag rond evaluatie Onderwijsdag AUHL Lies Laga – Hogeschool PXL

Lies Laga – Lies. Laga@pxl. be Wie ben ik? Stafmedewerker dienst onderwijs PXL Evaluatie – bachelorproef - leerlijn onderzoek-… PXL- PHL: 2009 -2016 KULeuven: 1998 -2009

Wie zijn jullie? Deelnemers PXL: 7 Deelnemers UHasselt: 15 Deelnemers PCVO: 3

Korte intro Wat gaan we doen? Voorbeelden van oefeningen rond evaluatie Individuele oefening: hoe denk ik het aan te pakken? Peer-overleg en –feedback in kleinere groepen Korte terugkoppeling in plenum

Resultaat verklaart dat student ‘iets’ (niet) kan Waarom aan de slag rond evaluatie? moet kwaliteitsvol zijn Stuurt leren van student aan moet ‘juiste’ leren uitlokken

Opleiden = teamgebeuren evaluatie = teamgebeuren Gemeenschappelijk gedragen visie op toetsing is essentieel Waarom als team aan de slag rond evaluatie? Gemeenschappelijk referentiekader opbouwen Belang voor analyseren, verbeteren en borgen van de kwaliteit Aandachtspunt bij kwaliteitsmodellen Belang van teamleren = leren van en met elkaar als team Opbouwen van gemeenschappelijk referentiekader Uitklaren verschillende meningen, opvattingen, verwachtingen, etc. Leren van individuele teamleden + teamontwikkeling Teamleren als middel om (nog) beter te leren functioneren (samen te werken) als team

Eigenaarschap Succesfactoren onderwijsteam Interactie met de omgeving Leiderschap en volgerschap team (Dekkers, 2009) Structuur en inrichting Teamleren en teamontwikkeling

Toetspiramide Sluijsmans, Joosten-ten Brinke & van Schilt-Mol, 2015

Kwaliteit = Systematisch ontwerpproces (voorbereiding, ontwerpen, evaluatie) Kwaliteitskenmerken (relevantie, objectiviteit, efficiëntie, specificiteit) Mogelijke oefeningen als team: Toetsitems (o. a. examenvragen, opdrachten) Peer-review: toetsitems van eigen teamleden (en studentenantwoorden) bespreken en constructief feedback geven. Als team en/of voor opleidingsonderdelen die elkaar inhoudelijk opvolgen Belang van richtlijnen / criteria Als team richtlijnen opstellen voor toetsitems: wat is specifiek relevant voor deze opleiding? Als team integratieopdrachten voor studenten ontwikkelen. Als team itemanalyse maken van afgenomen examen Mogelijke alternatieve toetsitems (andere instellingen, literatuur, etc. ) bespreken in team

Kwaliteit = Kwaliteitscriteria (validiteit, betrouwbaarheid, transparantie, …) Systematisch doorlopen toetscyclus Mogelijke oefeningen als team: Toetsen (schriftelijk, mondeling, opdrachten, papers, presentaties, portfolio’s, etc. ) Peer-review van toetsen van collega’s Afstemming doelstellingen? , kwaliteitsvol? , efficiënte organisatie? , …. Aan de hand van concreet werk van studenten gezamenlijk indicatoren uitwerken/verfijnen Bij meerdere beoordelaars (bv. bachelor- en masterproeven, projecten, stages, portfolio’s, etc. ) Voor OLOD’s die bijdragen aan leerlijnen Formatieve functie van evaluaties Opstellen richtlijnen om beoordelaarseffecten te verminderen In vakgroepen bespreken toetsmatrijzen per OLOD

Ontwerpen Evalueren Toetsmatrijs Interpreteren en beslissen Construere n items/opdr achten Analyseren Construere n toets Toetscyclus Vaststellen cesuur Beoordelen Afname

Voorbeeld analytische rubric Bron: SAM-schaal

Onderzoek Prof. Sue Bloxham (University of Cumbria, UK) ‘five potential reasons were identiefied that link judgement about specific elements of assignements to potential variation in grading. Belang van overleg bij opstellen criteria 1. Using different criteria to those published 2. Assessors have different understanding of shared criteria 3. Assessors have a different sense of appropriate standards for each criterion 4. The constructs/criteria are complex in themselves, even comprising varioous sub-crteria which are hidden to view 5. Assessors value and weight criteria differently in their judgements. Emphesise pre-teaching moderation – Discussion of assessment tasks, criteria and exemplars. Bron: http: //transformingassessment. com/sites/default/files/TA_webinar_4_ nov_2015_slides. pdf

Kwaliteit = Weergegeven in kwaliteitscriteria toetsprogramma Invloed op leerproces Kwaliteit afzonderlijke toetsen Toetsprogramma (doordacht geheel van evaluaties) Mogelijke oefeningen als team: Opstellen evaluatiematrix en als team kritisch bekijken ahv kwaliteitscriteria: stand van zaken: per OLOD wat, wie , wanneer, hoe, waarom wordt geëvalueerd? Aftoetsen aan kwaliteitscriteria Benchmarking met andere opleidingen: wat is zinvol voor eigen opleiding?

Dijkstra & Baartman (2011) Voorbeelden van kwaliteitscriteria toetsprogramma KIT: Kwaliteitsinstrument toetsprogramma http: //www. kwaliteit-toetsprogramma. nl/

Kwaliteit = Duidelijkheid wenselijke resultaten en interventies Inbedding in de context Onderbouwing van wenselijke interventies (geïnformeerd door eigen én andere context) Toetsbeleid (visie op evaluatie in opleiding, duiding toetsprogramma en richtlijnen voor kwaliteit en organisatie) Mogelijke oefeningen als team: Brainstorm visie op evalueren: wat betekent ‘goed evalueren’ voor het team? Vertalen naar waarom evalueren, wie evalueert, wat evalueren we, hoe evalueren, wanneer evalueren? SWOT-analyse met hele team van de huidige manier van evalueren in de opleiding Polsen naar onduidelijkheden bij het team en deze vertalen naar richtlijnen Formuleren van gedragen richtlijnen (cfr. toetsitems en toetsen) …

Kwaliteit = Duidelijkheid van rollen, taken en bevoegdheden Denken en handelen vanuit processen (andere niveaus) Efficiëntie Toetsorganisatie (duidelijke rollen, taken, bevoegdheden en verantwoordelijkheden; samenwerken en logistiek) Mogelijke oefeningen als team: In kaart brengen van rollen, taken, bevoegdheden en verantwoordelijkheden SWOT analyse rond efficiëntie van toetsproces Examenrooster, indienen antwoordmodellen, voorzien van lokalen, toezichthouden, verdeling mondelinge examenuren, feedbackmomenten voor studenten, publicatie van de punten, ……

Kwaliteit = Toetsbekwaamheid (focus op evalueren om te beslissen én te leren; ) Summatieve versus formatieve functie ≠ bekwaamheden nodig ≠ evaluatievormen ≠ bekwaamheden Vakbekwaamheid, pedagogische bekwaamheid en vakdidactische kennis ≠ rollen en functies ≠ bekwaamheden Professionaliseringsinitiatieven Lerende gemeenschap informeel leren Mogelijke oefeningen als team: Actieonderzoek : eigen evaluatiepraktijk als onderwerp van onderzoek Participerend ontwerpen: samen evaluatieopdrachten ontwerpen (al dan niet voorafgegaan door korte vorming) Peer-feedback Evalueren samen met collega’s Visie op toetsing ontwikkelen , beleid maken Professionaliseringsinitiatieven afbakenen: waar hebben we nood aan? Quiz over evalueren en toetsen Welke competenties missen we in ons team? Maandelijkse evaluatietip op teamvergaderingen

Dekkers, M. A. F. (2009). Aan de slag met onderwijsteams in het voortgezet onderwijs. Een praktisch boek over de succesfactoren van onderwijsteams in het voortgezet (Nederland) en secundair (Vlaanderen) onderwijs in een activerende onderwijsomgeving. Nuenen: OAB Meer info? Dijkstra, A. & Baartman, L (2011). Zelfevaluatie van de kwaliteit van assessment. [Gedownload op 11 januari 2016 van http: //www. ou. nl/documents/10815/82460 a 3 b-ed 92 -413 d-81 cc 36 f 6462 ee 2 ff ] Sluijsmans, D. , Joosten-ten Brinke, D. & Schilt-Mol, T. , van (Red. )(2015). Kwaliteit van toetsing onder de loep. Handvatten om de kwaliteit van toetsing in het hoger onderwijs te analyseren, verbeteren en borgen. Antwerpen-Apeldoorn: Garant