Alternatieve evaluatieprocedures in hoger onderwijs Waar Martin gaat

  • Slides: 52
Download presentation
Alternatieve evaluatieprocedures in hoger onderwijs. Waar Martin gaat het nu over? Valcke Onderwijsdag AUH

Alternatieve evaluatieprocedures in hoger onderwijs. Waar Martin gaat het nu over? Valcke Onderwijsdag AUH - 18 januari 2016

Structuur • Een veranderende context HO • Wat werkt bij toetsing? • Gevolgen –

Structuur • Een veranderende context HO • Wat werkt bij toetsing? • Gevolgen – Van eind- naar permanente toetsing; – rol van feedback; – zelftoetsing en peer-evaluatie; – standaarden, benchmarks en normen.

Conclusies • Druk op HO om toetsing fundamenteel anders aan te pakken • Check

Conclusies • Druk op HO om toetsing fundamenteel anders aan te pakken • Check balans permanente en eindtoetsing • Ontwikkel strategieën om feedback te versterken • Bouw zelf- en peer toetsing uit • Versterk benches, normen grenswaarden

Een veranderende HO context • Accreditaties • Instellingsvisitaties • Grotere nadruk op toetsing van

Een veranderende HO context • Accreditaties • Instellingsvisitaties • Grotere nadruk op toetsing van “kern” van de opleiding: academisch geschoolde professional

Accreditaties Toetskader opleidingen 2015 -2021 https: //www. nvao. net/beoordelingskaders/kader-toetsnieuwe-opleiding-vlaanderen-2015 -2021) • Belang van evaluatie-aanpak

Accreditaties Toetskader opleidingen 2015 -2021 https: //www. nvao. net/beoordelingskaders/kader-toetsnieuwe-opleiding-vlaanderen-2015 -2021) • Belang van evaluatie-aanpak

Instellingsvisitatie https: //www. nvao. net/beoordelingskaders/kaderinstellingsreview-vlaanderen-2015 -2017 • Belang van een onderwijsvisie en een plan

Instellingsvisitatie https: //www. nvao. net/beoordelingskaders/kaderinstellingsreview-vlaanderen-2015 -2017 • Belang van een onderwijsvisie en een plan onderwijsbeleid; waarvan toetsbeleid kritische component is

Kwaliteitscode Hoger Onderwijs https: //www. nvao. net/beoordelingskaders/kwalit eitscode-vlaanderen-2015 -2017 • Nadruk op evaluatie

Kwaliteitscode Hoger Onderwijs https: //www. nvao. net/beoordelingskaders/kwalit eitscode-vlaanderen-2015 -2017 • Nadruk op evaluatie

Gevolgen 1. Verschuiving van eindtoetsing naar permanente toetsing; 2. de grote rol van feedback;

Gevolgen 1. Verschuiving van eindtoetsing naar permanente toetsing; 2. de grote rol van feedback; 3. zelftoetsing en peer-evaluatie; 4. kritische visie op standaarden, benchmarks en normen.

Wat werkt bij toetsing? • Vraag naar “effect” van instructieanpakken: Hattie (2009) Hattie, J.

Wat werkt bij toetsing? • Vraag naar “effect” van instructieanpakken: Hattie (2009) Hattie, J. (2009). Visible Learning: A Synthesis of over 800 Meta-Analysis relating to Achievement. Milton Park, Oxon: Routledge.

Effect size? • Bv. d =. 56 bij lkr. formuleren leerdoelen • 56% van

Effect size? • Bv. d =. 56 bij lkr. formuleren leerdoelen • 56% van de lerenden behalen een score wanneer leerkracht leerdoelen formuleert i. v. m. Leerlingen wiens leerkracht dit niet doet. • Grenswaarde is d =. 40 Based on http: //www. cemcentre. org/renderpage. asp? linkid=30325016

Toetsgerelateerde effecten? 1. 2. 3. 4. 5. 6. Geven van terugkoppeling Frequent toetsen Toetstraining

Toetsgerelateerde effecten? 1. 2. 3. 4. 5. 6. Geven van terugkoppeling Frequent toetsen Toetstraining en coaching Formatieve evaluatie Aandacht vragen stellen door lln. Snel/onmiddellijk reageren op lln. 12

d 0, 73 0, 34 0, 22 0, 90 0, 46 0, 16 1.

d 0, 73 0, 34 0, 22 0, 90 0, 46 0, 16 1. 2. 3. 4. 5. 6. Geven van terugkoppeling Frequent toetsen Toets-training en coaching Formatieve evaluatie Aandacht vragen stellen door lln. Snel/onmiddellijk reageren op lln. 13

Verschuiving naar permanente toetsing • Gevolg van grotere aandacht complexe vaardigheden; vb. – Research

Verschuiving naar permanente toetsing • Gevolg van grotere aandacht complexe vaardigheden; vb. – Research vaardigheden – Enterpreneurship – communicatievaardigheden

Verschuiving naar permanente toetsing • Complexe vaardigheden: – Stap-voor-stap opbouw – Spiraal leerproces met

Verschuiving naar permanente toetsing • Complexe vaardigheden: – Stap-voor-stap opbouw – Spiraal leerproces met tussentijdse toetsing en feedback: garantie voor gegarandeerde opbouw

Vb. : Consultatietraining • Complexe vaardigheid: Vraag naar extra oefenen met feedback L. Aper

Vb. : Consultatietraining • Complexe vaardigheid: Vraag naar extra oefenen met feedback L. Aper “Teaching and learning the art of conducting consultations”

en d he eerd g i rd mul a va esi n. e x

en d he eerd g i rd mul a va esi n. e x le van g iënte p t en m w a o p u C bo te toets h p c O r e ent a na rman Pe 10. 1016/j. pec. 2014. 09. 016

Vb. : Consultatietraining • Complexe vaardigheid: Vraag naar extra oefenen met feedback • Drie

Vb. : Consultatietraining • Complexe vaardigheid: Vraag naar extra oefenen met feedback • Drie versies – Traditioneel skillslab: acteur, supervisor, 3 stud. – Autonoom leren: twee stud. met acteur – Online: videoclips en tussentijds vragen/opdrachten L. Aper “Teaching and learning the art of conducting consultations”

12 Effect op: Vaardigheidsverwerving 7. 2 11. 5 7 11 6. 8 10. 5

12 Effect op: Vaardigheidsverwerving 7. 2 11. 5 7 11 6. 8 10. 5 10 pre 6. 6 post 6. 4 9. 5 6. 2 9 traditioneel autonoom online Self Efficacy pre post 6 traditioneel autonoom online

Vb. : Consultatietraining • Drie versies – Traditioneel skillslab: acteur, supervisor, 3 stud. •

Vb. : Consultatietraining • Drie versies – Traditioneel skillslab: acteur, supervisor, 3 stud. • Te weinig kansen tot verbetering; te grote stress door directe combinatie leren en evaluatie – Autonoom leren: twee stud. met acteur • Minder stress, minder oefenkansen, te snel eindevaluatie – Online: videoclips en tussentijds vragen/opdrachten • Optimale oefenkansen, permanente toetsing, feedback,

DOI 10. 3109/0142159 X. 2012. 668627

DOI 10. 3109/0142159 X. 2012. 668627

Grote rol feedback • Na eindtoetsing • Na permanente, formatieve toetsing Zeer grote vraag

Grote rol feedback • Na eindtoetsing • Na permanente, formatieve toetsing Zeer grote vraag van studenten naar feedback; groot leereffect (zie Hattie, 2009)

Grote rol feedback • Voorbeeld

Grote rol feedback • Voorbeeld

An example • Ugent, 1 st jaar, 5 credits • Sterke theoretische component •

An example • Ugent, 1 st jaar, 5 credits • Sterke theoretische component • Maar ook toepassings- en onderzoekscomponent: complexe kennis en V Toepassin Theorie g Onderzoek

Theorie Toepassin g Onderzoek

Theorie Toepassin g Onderzoek

Theorie Toepassin g Onderzoek e. Learning ies k s s kse ndboe r e

Theorie Toepassin g Onderzoek e. Learning ies k s s kse ndboe r e 10 w rukt ha ged t e m

Wiki’s

Wiki’s

Artikel zonder abstract Academic reading en writing: werk een abstract uit

Artikel zonder abstract Academic reading en writing: werk een abstract uit

31

31

A B C D E A E Feedback B D C 32

A B C D E A E Feedback B D C 32

33

33

A E Feedback B D C

A E Feedback B D C

A E Feedback B D C

A E Feedback B D C

36

36

37

37

Zelf- en peer evaluatie • Zie vorig voorbeeld en trends:

Zelf- en peer evaluatie • Zie vorig voorbeeld en trends:

http: //alh. sagepub. com/content/13/2/129. short

http: //alh. sagepub. com/content/13/2/129. short

 • http: //eppi. ioe. ac. uk/cms/Default. aspx? tabid=2415

• http: //eppi. ioe. ac. uk/cms/Default. aspx? tabid=2415

http: //www. ascd. org/publications/classroom_leadership/sept 2001/Student_Self-Assessment. aspx

http: //www. ascd. org/publications/classroom_leadership/sept 2001/Student_Self-Assessment. aspx

Zelf- en peer evaluatie • Zie vorig voorbeeld en trends: op ls uk too

Zelf- en peer evaluatie • Zie vorig voorbeeld en trends: op ls uk too r d e a N uw e ni

e ie t a u val r e e en p - f l

e ie t a u val r e e en p - f l e z oor R v s c i ubr

e i t a u val r e e n p e f l

e i t a u val r e e n p e f l ze r o o R v s c i ubr e

http: //www. sciencedirect. com/science/article/pii/S 1747938 X 13000109

http: //www. sciencedirect. com/science/article/pii/S 1747938 X 13000109

Zelf- en peer evaluatie • Nadruk op structuur en opbouw evaluatie DOI 10. 1111/jcal.

Zelf- en peer evaluatie • Nadruk op structuur en opbouw evaluatie DOI 10. 1111/jcal. 12096

DOI 10. 1111/jcal. 12096

DOI 10. 1111/jcal. 12096

Zelf- en peer evaluatie ers v e e” esg k ta n l p

Zelf- en peer evaluatie ers v e e” esg k ta n l p u ne e l t lit ente “ ar tud a m s” s , l ee elief i t n “b e t Po lang Be http: //www. uv. es/RELIEVE/v 21 n 1/RELIEVEv 21 n 1_ME 8 eng. pdf

Standaarden, benchmarks, normen • Discussie over: – Beheersingsniveau – Kritische beheersingsdrempels – Standaarden i.

Standaarden, benchmarks, normen • Discussie over: – Beheersingsniveau – Kritische beheersingsdrempels – Standaarden i. p. v. Ad hoc normen (bv; gemiddelde)

Standaarden, benchmarks, normen • Wanneer is een student geslaagd? – 10/20 ? - pass/fail

Standaarden, benchmarks, normen • Wanneer is een student geslaagd? – 10/20 ? - pass/fail • Belang van standard setting – Niveaus van kwaliteit (zie rubrics) – Wat is minimum niveau (12, 5/10 ? )

Conclusies • Druk op HO om toetsing fundamenteel anders aan te pakken • Check

Conclusies • Druk op HO om toetsing fundamenteel anders aan te pakken • Check balans permanente en eindtoetsing • Ontwikkel strategieën om feedback te versterken • Bouw zelf- en peer toetsing uit • Versterk benches, normen grenswaarden

Alternatieve evaluatieprocedures in hoger onderwijs. Waar Martin gaat het nu over? Valcke Onderwijsdag AUH

Alternatieve evaluatieprocedures in hoger onderwijs. Waar Martin gaat het nu over? Valcke Onderwijsdag AUH - 18 januari 2016