SOE de leerkracht als poortwachter OOF Toetskoffer http

SOE: de leerkracht als poortwachter OOF Toetskoffer http: //www. toetskoffer. be/ Lies. wijnants@khleuven. be 23 oktober 2014

Context en aanleidingen • What you test is what you get. • Visitatie: evaluatie als derde GKW • een ‘professionele evaluatiecultuur’? (Verankerd in leren, D. Sluijsmans) - Van individueel naar samen evalueren - Van afhankelijk naar het nemen van regie - Van ad hoc-kwaliteit naar duurzame invulling van kwaliteit gericht op maatschappelijke ontwikkelingen

Algemene doelstelling Toetskoffer • Duurzaam en systematisch werken aan kwaliteitszorg van evalueren: verschillende handvaten aanreiken • Organisatorisch: via een toetscommissie (of toetsadviesbureau)?

Op verschillende niveaus t ei it al Kw

Concrete doelstellingen Concrete tools, methodieken, … aanreiken voor: 1. ontwikkelen toetsplan/ toetsprogramma 2. ondersteunen/ uitvoeren van analyses Eva’s en toetsprogramma’s (PDCA) 3. ondersteunen in kwaliteitsvolle Eva’s

3 kern- en 3 resonantie-opleidingen • 3 Kernopleidingen - Thomas More: PBa communicatiemanagement - KHLim: PBa orthopedagogie - KHLeuven: PBa biomedische laboratoriumtechnologie • 3 Resonantie-opleidingen - HUB- Odisee - KATHO- VIVES - Ka. Ho St Lieven - Odisee

Meerwaarde • Voor 6 opleidingen - duurzaam en systematisch werken aan kwaliteitszorg van evaluatie • Voor de Associatie KU Leuven - toetskoffer als startbagage http//www. toetskoffer. be

Toetscommissie (toetsadviesbureau) De toetscommissie (TC) of toetsadviesbureau (TAB) is verantwoordelijk voor de uitvoering van kwaliteitszorg van het toetsgebeuren. Dit gebeurt door het aansturen, uitvoeren, opvolgen en rapporteren over kwaliteitszorgprocessen rond toetsing.

Toetscommissie: samenstelling • Bestaande groep (curriculumontwikkeling) • Bestaande onderwijsgroep • Nieuwe werkgroep • …

Toetscommissie: profiel • Representatieve vertegenwoordiging docenten (leerlijnen) • Voorzitter: evaluatiedeskundige • Optioneel: medewerker kwaliteitszorg, onderwijs, opleidingshoofd • Op opleidingsniveau (departementaalgroepsniveau voor kleine opleidingen)?

Toetscommissie: bevoegdheden • Voert uit of stuurt systematisch kwaliteitszorgprocessen rond toetsing aan • Ondersteunt en adviseert managementteam inzake toetsing, bereidt samen met coördinator opleiding agenda rond toetsing voor • De examencommissie kan de toetscommissie bepaalde opdracht geven

Toetscommissie: mogelijke taken • Ontwikkeling toetsplan/ toetsprogramma • Kwaliteitsanalyses toetsprogramma/ Eva • Ondersteuning implementatie toetsprogramma/ kwaliteitsvolle Eva’s (PD)

Toetsplanontwikkeling: wat Toetsplan of toetsprogramma: inhoudelijk bewust samengesteld coherent geheel van toetsen op opleidingsniveau in de opleiding (wat, hoe, wie, wanneer, tijdsbesteding, feedback, …)

Toetsplanontwikkeling: hoe? 1. Toetsinventarisatie van bestaande situatie toetsen in de opleiding (via toetsmatrix) 2. Van bestaande naar wenselijke situatie via analyse en overleg

Toetsvormen

Competenties

Toetsinventarisatie: hoe? • • Via ECTS-fiches/ SAP Via bevraging docenten Check op volledigheid Timing

Van toetsinventarisatie naar wenselijke situatie: analyse • Via analyse: - Evalueren we alle DLR’s/ competenties? - Hoe toetsen we? - Wie is betrokken? - Wanneer toetsen we? - …

Van toetsinventarisatie naar wenselijke situatie: overleg • Via overleg: - Op basis van conclusie in analyse: wat willen we aanpakken? - Waar willen we naartoe? Via afspraken, een toetsplan - Actieplan (acties, prioriteiten, wie, wanneer, SVZ, …)

Output toetsontwikkelingsproces • Bestaande situatie (inventarisatie) en conclusies • Verhaal/visie: Welke keuzes/accenten maken we als opleiding (vanuit kaders toetsbeleid instelling) • Wenselijke situatie: via toetsplan², afspraken, … • Actieplan: hoe wenselijke situatie realiseren? (acties, tijdspad, wie, svz)

Toetsfiches: wat? • gebruiksvriendelijke en ‘kernachtige’ info over Eva’s (losse fiches) • rond ≠ vragen over een Eva • breed keuzepalet • om te ondersteunen bij het ‘doen’ (ontwerpen, opstellen toets/opdracht, beoordelelen, afnemen, …)

Kader: toetscyclus met toetsfasen Waarom? Wat? Wanneer? Hoe? Wie? Waar?

Structuur en concrete fiches toetskoffer Hoe? • Verschillende toetsvormen (11) Wanneer? Permanente evaluatie … Wie? Toetsfase? Andere Self-assessment Peer-assessment Leerwegonafhankelijke beoordelaar … Ontwerpen Beoordelen Cesuurbepaling Terugkoppeling (feedback geven) … Authentiek toetsen …

Fiches over evaluatievormen Verslag Presentatie/ uiteenzetting Beroepsproduct / ontwerp Voortgangstoets Portfolio Mondeling examen Verslag Schriftelijke examen met MKV, gesloten, (half)open vragen, casus, overalltoets Vaardigheidstoets Simulatie Stationsproef Praktijkevaluatie/ observatie Evaluatiegesprek (criteriumgericht inverview, driehoeksgesprek) Paper …

Ontwikkeling • Literatuuronderzoek • Peerreview (Werkgroep Toetskoffer, medewerkers onderwijs betrokken partners, …)

Doel fiches • Inspiratie om ‘ruis’ te beperken: stappenplan, tips en tricks, … • inspiratie bij het maken van bewuste keuzes voor een toetsvorm of keuze te expliciteren: pro’s en contra’s • om te inspireren om verder te lezen en/of te doen: meer weten en/of doen

Gebruik fiches • ‘Fiche’ op maat kiezen • Als inspiratie voor TC/ TAB om gerichte feedback te geven aan docenten • Voor groepen van docenten (peerreview en peerfeedback) • Ter inspiratie voor docenten • Impuls voor toetsprogramma?

Toetszorginstrumenten 1. Toetsmatrijs 2. Scan in kwaliteitsvol toetsen 3. Excel voor psychometrische analyses 4. KIT: edumetrische analyses toetsprogramma

1. Toetsmatrijs: wat? = matrix waarin wordt aangegeven hoe de items, vragen, opdrachten, … in een Eva verdeeld zijn over de leerresultaten/competenties/leerdoelen/inhouden en verwachtte niveau.

1. Toetsmatrijs: waarom? • Als hulpmiddel om de inhoudsvaliditeit te verhogen (ook van de verschillende beheersingsniveaus) • Als hulpmiddel om de gelijkwaardigheid tussen 2 paralleltoetsen te bewaken • Verantwoording van inhoud van de toets naar anderen

1. Toetsmatrijs: voorbeeldsjabloon 1

1. Toetsmatrijs: voorbeeldsjabloon 2

2. Scan in kwaliteitsvol toetsen = instrument om vanuit een objectief kader met verschillende kwaliteitsindicatoren (psychometrisch en edumetrisch) een evaluatie-activiteit te screenen of te plannen.

2. Scan: concept • °IOC WG Toetsbeleid KHLeuven • Informatie over ‘kwaliteitsvol toetsen’ gebruiksvriendelijk en concreet vertalen • niveau van een Evaluatiepraktijk (één of meerdere Eva’s)

2. Scan: ontwikkeling • Vertrekpunt: decretale kwaliteitscriteria • Via literatuuronderzoek concretisering in concrete ‘items’ • Via cocreatie medewerkers onderwijs KHLeuven • Validering en uittesten in opleidingen • Peerreview WG Toetskoffer, lno 2, …

2. Scan: kader kwaliteitscriteria • Valide • Betrouwbaar • Transparant Uitgebreid met: • Leerrijk • Efficiënt

2. Scan: kwaliteitscriteria en subcriteria

2. Scan: Spanningsvelden I. Psychometrie en edumetrie II. Tussen kwaliteitscriteria onderling III. Tussen Eva en toetsprogramma IV. Tussen een generaliseerbaar en concreet instrument

Me n e t e w ) d j i t l a t e i n ( ten is I. . Psychometrie- edumetrie • Geef kinderen toch geen punten. (R. Standaert) • Gevaarlijk om te stellen dat niets in onderwijs objectief meetbaar is (D. Van Damme) • Punten afschaffen is een slecht idee. Punten, en centrale examens, houdt leerlingen en scholen scherp (K. De Witte) • Cijfers zijn nuttig als indicatie, zolang ze niet amputeren (I. Nicaise) • Meten uit angst? Verschuilen we ons niet achter objectieve tests, omdat we niet meer durven beoordelen? (M. Simons)

Is m eten I. Psychometrie - is (a ltijd ) we edumetrieten? • Psychometrie: vanuit testpsychologie, vanuit ‘cijfers’, van ‘meten is weten’. • Edumetrie: focust op ontwikkeling en leren, ‘niet alles is meetbaar’ • Scan: om bewuste keuzes te maken over welke invulling van toetskwaliteit de instelling/opleiding/docent beoogt vanuit kwaliteitscritiria die edumetrisch en/of psychometrisch ingevuld kunnen worden

II. Kwaliteitscriteria

III. Eva- toetsprogramma • Niet mogelijk om alle kwaliteit realiseren in één evaluatiepraktijk, je moet keuzes maken, elke Eva bevat een minimum aan ‘ruis’ • Ook kwaliteit bekijken op het niveau van het toetsprogramma!

IV. Gebruiksvriendelijk en concreet- generaliseerbaar • Elke evaluatievorm heeft specifieke kwaliteitscriteria • Voor alle Eva’s binnen de Associatie

2. Scan: doel • Om een Eva te plannen, te scannen (eventueel bij te sturen) op toetskwaliteit • Geen exhaustieve ‘checklist’ voor elke Eva, streven naar ‘balanced assessment’ • zo breed mogelijke concrete ‘keuzes’ aanreiken om te reflecteren over mogelijke keuzes en deze keuzes te maken

2. Scan: concreet gebruik 1. self-assessment door docenten 2. input voor peerreview van docententeams (zie handleiding) 3. screening door TC/ TAB’s, toetscoaches, onderwijsondersteuners, … 4. Om te gebruiken als input voor screening toetsen door externen/ het werkveld In functie van (systematische) actie in kwaliteitsvol toetsen

3. Excel psychometrische analyses • Gebaseerd op een instrument ontwikkeld door D. Joosten-Ten Brink. • Psychometrische analyse (kwantitatief, cijfers) • Check (na toetsafname) • Voor gesloten en open vragen • Voor grote groepen studenten

3. Excel psychometrische analyses • Mediaan, gemiddelde, variantie en standaardafwijking • Moeilijkheid van de vraag: p-waarde • Onderscheidingsvermogen vraag: Rit • Betrouwbaarheid van de toets: Cronbachs α

3. Excel psychometrische analyses: handleiding I. Resutaten invoeren II. Analyse III. Resultaten interpreteren IV. Actie ondernemen

3. Excel psychometrische analyses I. Resutaten invoeren

Vul hier het antwoord van iedere individuele student in

Als studenten het juiste alternatief hebben gekozen, verschijnt in het tabblad ‘toetsresultaten” een 1.

3. Excel psychometrische analyses II. Analyse - mediaan, gemiddelde, variantie en standaardafwijking - p-waarde - Rit waarde - Cronbachs α

3. Excel psychometrische analyses III. Interpretatie resultaten: in kleuren en met codes IV. Met suggesties voor mogelijke acties in handleiding

Links zie je de gemiddelde score per student. De studenten in het groen zijn geslaagd voor deze toets, de studenten in het rood niet. Dit is afhankelijk van de cesuur, die je zelf kan bepalen. De cesuur is het enige cijfer dat je op dit tabblad handmatig moet invullen.

De mediaan is de middelste score als je alle eindscores op volgorde klein naarscore grootvan zet. Het gemiddelde geeft devan gemiddelde de weer op deintoets. De studenten variantie geeft welke mate de scores onderling verschillen De standaardafwijking is de wortel uit de variantie en geeft dus ook de spreiding weer

Deze toets is niet betrouwbaar!

4. KIT: edumetrische analyse van toetsprogramma’s • Ontwikkeld door Baartman & Kloppenburg Hogeschool Utrecht • Edumetrische (kwalitatieve analyse) • Zelfevaluatie • Op het niveau van een toetsprogramma

4. KIT: toetsprogramma Toetsprogramma = samenhangende combinatie van toetsen. Geeft als programma een coherent beeld van de leerresultaten/ competenties. Þ Verschillende toetsvormen vullen elkaar aan. Open vragen Portfolio Opdrachten / projecten Gesloten vragen TP Praktijkobservatie Meerkeuze toets Praktijkobservatie

4. KIT: Kwaliteitscategorieën, criteria en indicatoren Kwaliteitscategorie Kwaliteitscriteria Validiteit Operationalisatie Dekking Complexiteit Vorm Betrouwbaarheid Vergelijkbaarheid Triangulatie Functie Selectie Leereffect Onderwijseffect Conditie Transparantie Oordeelkundigheid Organisatie indicatoren

4. KIT: Procedure zelfevaluatie Uitgangspunten: • Evaluatie van toetsprogramma • Meerdere evaluatoren • Formatief Stap 1: Stap 2: Stap 3: - bepalen Toetsprogramma - verzamelen bewijs - individueel invullen KIT - Analyse

indicatoren Score 1 -10 of “onbekend” voldoende ja / nee voorbeeld / bewijs

Andere input rond toetsing • • OOF-projecten SOE-projecten Toetspraktijken, toetsprogramma’s Instrumenten Websites Literatuur …

Toetskoffer: A never ending story? • vragen om verdere instrumenten, tools, methodieken, … te ontwikkelen • materiaal om breder te valideren • input voor workshops

Toetskoffer: A never ending story? • materiaal om verder te ontsluiten: toetskoffer als een toegangspoort voor evaluatie? Vragen, bedenkingen, …: lies. wijnants@khleuven. be