Thema 10 Evaluatie Advance organizer Advance organizer Rapport

  • Slides: 73
Download presentation
Thema 10 Evaluatie

Thema 10 Evaluatie

Advance organizer

Advance organizer

Advance organizer • Rapport Kerst 2006 • Frans: – Klasgemiddelde 37% – Piet: 16%

Advance organizer • Rapport Kerst 2006 • Frans: – Klasgemiddelde 37% – Piet: 16% – Miet: 60% • Uw reactie ….

Evaluatie: begripsomschrijving • Thorpe (1988): “Evaluatie is het totale proces van het verzamelen, analyseren

Evaluatie: begripsomschrijving • Thorpe (1988): “Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact“[vrije vertaling].

Evaluatie en assessment • Thorpe (1988): “Evaluatie is het totale proces van het verzamelen,

Evaluatie en assessment • Thorpe (1988): “Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact. “. • Burke (1999) en Feden & Vogel (2004): “Assessment involves an ongoing process of gathering and analyzing evidence of student learning, whereas evaluation is the process of interpreting and making judgments based on this evidence. ”

 • Meten • Evalueren / waarderen • Scoren

• Meten • Evalueren / waarderen • Scoren

Dimensies in evaluatie • Op welk aggregatieniveau wordt de evaluatie uitgevoerd? • Wat is

Dimensies in evaluatie • Op welk aggregatieniveau wordt de evaluatie uitgevoerd? • Wat is de functie van de evaluatie? • Wie voert de evaluatie uit? • Op welk type leerdoelen richt zich de evaluatie? • Wanneer wordt de evaluatie opgezet? • Welke technieken worden gebruikt bij de evaluatie?

Evaluatie op microniveau

Evaluatie op microniveau

Evaluatie op micro-niveau; zie ook Hattie (2009)

Evaluatie op micro-niveau; zie ook Hattie (2009)

Aggregatieniveau – microniveau • In welke mate heeft de lerende (de groep) de leerdoelen

Aggregatieniveau – microniveau • In welke mate heeft de lerende (de groep) de leerdoelen bereikt? • Hoe effectief, efficiënt en bevredigend is de aanpak van de instructieverantwoordelijke? • In welke mate is rekening gehouden met de kenmerken van de lerende en/of van de instructieverantwoordelijke? • Hoe effectief of efficiënt is de begeleiding van de lerende en/of de instructieverantwoordelijke? • Hoe effectief, efficiënt en bevredigend is de instructieactiviteit, voor wat betreft de: – – – leerstof, media, werkvormen, leerdoelen, en toetsbenadering? • Wat is de kwaliteit van de leeractiviteiten? • Hoe effectief en efficiënt is de organisatie van de instructie? • Hoe is de verhouding tussen instructie en de context?

Microniveau: doelen • Criterium? Honderd meter laten lopen. – criterion-referenced assessment – norm-referenced assessment

Microniveau: doelen • Criterium? Honderd meter laten lopen. – criterion-referenced assessment – norm-referenced assessment – ipsative assessment of self-referenced assessment • Verschil tussen 3 vormen evaluatiecriteria!! • Verwarring criteriumgerichte en normgerichte evaluatie (bijv. nationale examens)

Microniveau: media • Heel wat checklists: software, websites, elektronische leeromgevingen , … • Zie

Microniveau: media • Heel wat checklists: software, websites, elektronische leeromgevingen , … • Zie o. a. • http: //www 2. ed. gov/admins/lead/academic/evalonline. pdf ; • http: //discoveryschool. com/schrockguide/evalelem. html

Microniveau: instructieactiviteiten • Kenmerken van de instructie-activiteit – Kwantiteit van de instructie – Kwaliteit

Microniveau: instructieactiviteiten • Kenmerken van de instructie-activiteit – Kwantiteit van de instructie – Kwaliteit van de instructie • Psychisch stimulerende leeromgeving – – Thuisomgeving Klas- of schoolomgeving Peer groep buiten de school Massamedia (vooral TV ) • Walberg: 26 instructiemethoden • Zie ook Hattie (2009)

Waarde van instructiestrategieën • Zie cognitivisme voor overzicht strategieën • Meta-analyses Marzano, Pickering &

Waarde van instructiestrategieën • Zie cognitivisme voor overzicht strategieën • Meta-analyses Marzano, Pickering & Pollock Instructiestrategie Aantal onderzoeken ‘effect size’ Gelijkenissen en verschillen ontdekken 31 Samenvatten en het nemen van nota’s 179 . 50 Bekrachtigen 21 . 35 Huiswerk en inoefenen 134 . 36 Non-linguïstische representaties 246 . 40 Samenwerkend leren 122 . 40 Doelstellingen formuleren en feedback geven 408 . 28 Hypothesen stellen en testen 63 . 79 Vragen stellen, ‘cues’ geven en advance organizers aanbieden 1251 . 26

Mesoniveau: kwaliteitszorg • Kwaliteit van een school! • Aanvankelijk simplistische modellen

Mesoniveau: kwaliteitszorg • Kwaliteit van een school! • Aanvankelijk simplistische modellen

Mesoniveau: Calder • Calder (1994): meer complexe benadering die aansluit bij een systeemopvatting: de

Mesoniveau: Calder • Calder (1994): meer complexe benadering die aansluit bij een systeemopvatting: de CIPP-aanpak. – Contextevaluatie: beschrijvende gegevens over het programma, de doelen, verwachte effecten, standaarden, beschikbare middelen, het beheer van het programma, enz. – Inputevaluatie: de leerstrategie in het programma. – Procesevaluatie: de manier waarop het programma is geïmplementeerd, de gebruikte strategieën en procedures. – Productevaluatie: de impact van het programma (summatieve evaluatie).

Meso- en macroniveau • Evaluatie op mesoniveau in nauwe relatie tot evaluatie op macroniveau.

Meso- en macroniveau • Evaluatie op mesoniveau in nauwe relatie tot evaluatie op macroniveau. • Scholen (lager en secundair onderwijs): zelfevaluatie in functie van een doorlichting door de inspectie de financierende overheid vertegenwoordigt. • CIPO = context – input – proces – output • Scholen bewijzen hun effectiviteit

Mesoniveau http: //www. ond. vlaanderen. be/doorlichtingsverslagen/lijst. asp? niveau=4

Mesoniveau http: //www. ond. vlaanderen. be/doorlichtingsverslagen/lijst. asp? niveau=4

Macroniveau schooleffectiviteitsonderzoek • “Het doel van schooleffectiviteitsonderzoek is het verklaren van verschillen tussen scholen

Macroniveau schooleffectiviteitsonderzoek • “Het doel van schooleffectiviteitsonderzoek is het verklaren van verschillen tussen scholen op basis van specifieke criteria. Schooleffectiviteitsonderzoek exploreert deze verschillen in de mate dat leereffecten worden bereikt in relatie tot verschillen in de instructieverantwoordelijken of verschillen in de kenmerken van lerenden, klassen of scholen. ”

Macroniveau schooleffectiviteitsonderzoek • Basis: – Coleman rapport (1966, chapter 1): “Schools have little effect

Macroniveau schooleffectiviteitsonderzoek • Basis: – Coleman rapport (1966, chapter 1): “Schools have little effect on students’ achievement that is independent of their family background and social context. ” – Plowden rapport (1967, p. 35): “Differences between parents will explain more of the variation in children than differences between schools. (…) Parental factors, in fact, accounted for 58% of the variance in student achievement in this study. ” • Scholen willen bewijzen dat ze wel bijdrage leveren.

Fraser 1989) School . 12 Lerende . 24 Doelen en beleid . 12 Affectieve

Fraser 1989) School . 12 Lerende . 24 Doelen en beleid . 12 Affectieve kenmerken . 12 Infrastructuurkenmerken -. 02 Cognitieve kenmerken . 44 Klasomgeving . 26 Fysische kenmerken . 10 Sociale variabelen . 19 Mogelijkheden tot leren . 29 Peer groep . 19 Instructiekenmerken . 14 Massamedia -. 06 Individualisatie . 07 Thuisomgeving . 31 Simulaties / spellen . 17 Instructieverantwoordelijke . 21 Computerondersteund onderwijs . 15 Achtergrond . 29 Geprogrammeerde instructie . 09 Stijl . 20 Tutoring . 25 Instructie . 22 Leerhiërarchieën . 09 Kwaliteit . 47 Beheersingsleren . 25 Kwantiteit . 38 Team teaching . 03 Methodes algemeen . 17 Huiswerk . 21 Methodes wetenschappen . 18 Leermiddelen . 14 Methodes wiskunde . 16 Leerstrategieën . 28 Methodes lezen . 24 Bekrachtigen . 49 Methodes andere vakken . 13 Advance organizrs . 18 Operationele leerdoelen . 06 Remediëring en feedback . 30 Algemeen gemiddelde . 20

Kritieken op SE-benadering · Eén van de antwoorden op de schooleffectiviteitsbenadering is de ‘school

Kritieken op SE-benadering · Eén van de antwoorden op de schooleffectiviteitsbenadering is de ‘school improvement’ beweging. · Aantonen dat “schools do make a difference”. · Reynolds, Teddlie, Hopkins & Stringfield (2000): “School improvement approaches to educational change embody the long term goal of moving toward the ideal type of the self renewing school. ”

Naar ‘school improvement’

Naar ‘school improvement’

Macroniveau • Performance indicatoren onderzoek (PI) • Centrale examens – Nederland CITO – Frankrijk

Macroniveau • Performance indicatoren onderzoek (PI) • Centrale examens – Nederland CITO – Frankrijk 'bacalauréat’ – Groot-Brittannië 'National curriculum’ – Vlaanderen: Diocesane proeven, toegangsproef geneeskunde (geen ranking of vergelijking scholen)

Macroniveau: Performance indicatoren • Vlaanderen: wèl internationaal vergelijkend performance indicatoren onderzoek • Indicatoren: parameter

Macroniveau: Performance indicatoren • Vlaanderen: wèl internationaal vergelijkend performance indicatoren onderzoek • Indicatoren: parameter voor kwaliteit • Morris, A. (1990) "statistische gegevens, verhoudingsgetallen, kosten en alle andere informatie de opbrengst verheldert of meet van een instelling in relatie tot de vooropgestelde doelen. “

Macroniveau: PI • Accountability: politiek-economische ratio • Soorten indicatoren: – Verloop/productie: studentenaantallen, middelen –

Macroniveau: PI • Accountability: politiek-economische ratio • Soorten indicatoren: – Verloop/productie: studentenaantallen, middelen – Quality of life: intrinsieke waarden – Affectieve domein – Gedragsdimensie – Cognitieve domein

Macroniveau: PI Australië Groot-Brittannië Curriculum and Standards Framework Achievement Indicators Programme Performance Tables VANP

Macroniveau: PI Australië Groot-Brittannië Curriculum and Standards Framework Achievement Indicators Programme Performance Tables VANP Value Added National Project International Association for the Evaluation of Educational Achievement Organisation for Economic Cooperation and Development (OECD) PIRLS Progress in International Reading Literacy Study USA EEOS Equality of Educational Survey NAEP National Assessment of Educational Progress TIMSS Trends in International Mathematics and Science Study INES International Indicators of Educational Systems; bijv. PISA Programme for International Student Assessment PIAAC Programme for the International Assessment for Adult Competencies

Macroniveau: PI • Voorbeeld PISA 2006 onderzoek Vlaanderen vergeleken met 41 andere landen in

Macroniveau: PI • Voorbeeld PISA 2006 onderzoek Vlaanderen vergeleken met 41 andere landen in het PISA 2006

PISA 2006 De samenhang tussen leerresultaten en SES van 15 -jarigen in het PISA

PISA 2006 De samenhang tussen leerresultaten en SES van 15 -jarigen in het PISA 2006 (De Meyer, 2007, p. 36).

PISA 2006 Reading assesment framework in PISA 2006. Let op de aandacht voor de

PISA 2006 Reading assesment framework in PISA 2006. Let op de aandacht voor de verschillende soorten tekst die via computer en/of via gedrukte media worden onderzocht (OECD, 2009, p. 35).

Macroniveau: centrale examens • Vlaanderen: tégen centrale examens De Standaard 15 12 2003

Macroniveau: centrale examens • Vlaanderen: tégen centrale examens De Standaard 15 12 2003

Functie van de evaluatie? • Formatieve evaluatie (etymologie assessment = ad sedere) • Summatieve

Functie van de evaluatie? • Formatieve evaluatie (etymologie assessment = ad sedere) • Summatieve evaluatie diagnostisch • Predictiefunctie • Selectiefunctie.

Selectiefunctie

Selectiefunctie

Predictie • PMS- en MST- centra • Centra voor Leerlingenbegeleiding (CLB): – Leren en

Predictie • PMS- en MST- centra • Centra voor Leerlingenbegeleiding (CLB): – Leren en studeren (studiemethodes) – Onderwijsloopbaan (studiekeuze, opties, …) – Preventieve gezondheidszorg (besmettelijke ziektes, luizen, oogafwijkingen, …) – Psychisch en sociaal functioneren (pesten, geweld, gedragsmoeilijkheden, racisme, …)

Wie voert de evaluatie uit?

Wie voert de evaluatie uit?

Wie voert evaluatie uit? Microniveau Mesoniveau Macroniveau Formatief Self assessment Peer assessment Instructieverantw. Expert

Wie voert evaluatie uit? Microniveau Mesoniveau Macroniveau Formatief Self assessment Peer assessment Instructieverantw. Expert Evaluatie-afdeling Summatief Self assessment Peer assessment Expert Evaluatie-afdeling Instructieverantw. Externe instantie Expert Evaluatie-afdeling Diagnostisch Self assessment Peer assessment Instructieverantw. Expert Evaluatie-afdeling Predictief Externe instantie

Wie voert de evaluatie uit? Self-assessment • lerende centrale rol in leerproces: – doelen

Wie voert de evaluatie uit? Self-assessment • lerende centrale rol in leerproces: – doelen – criteria – checklist – voert evaluatie uit – conclusies – een score • Zie verder gebruik van rubrics

Wie voert de evaluatie uit? Self-assessment • Thomas (1999): Dearing rapport 1996: – –

Wie voert de evaluatie uit? Self-assessment • Thomas (1999): Dearing rapport 1996: – – rekenvaardigheden het gebruik van informatie- en communicatietechnologieën leren communicatievaardigheden • Twee hoofdstappen (training) – toetscriteria expliciet maken en bediscussiëren – gebruiken eigen oordeel over leerproces en leerproducten • ‘Assessment-as-learning’

Wie voert de evaluatie uit? - peer -assessment • Elkaars werk beoordelen • Opvatting

Wie voert de evaluatie uit? - peer -assessment • Elkaars werk beoordelen • Opvatting over leren (samenwerkend leren) • Twee stappen – Gestructureerd proces voor om tot groepsevaluatie te komen: – Ontwikkelen van meta-cognitieve leerdoelen.

Voorbeelden • Nieuw-Zeeland http: //www. tki. org. nz/r/assessment/two/self _and_peer_e. php • V oorbeeld peer

Voorbeelden • Nieuw-Zeeland http: //www. tki. org. nz/r/assessment/two/self _and_peer_e. php • V oorbeeld peer assessment KULeuven http: //ppw. kuleuven. be/cod/pasi. htm

Assessment centre • Adler (1978) “Gestandaardiseerde evaluatieprocedure van complex gedrag -veelheid van inputgegevens. Het

Assessment centre • Adler (1978) “Gestandaardiseerde evaluatieprocedure van complex gedrag -veelheid van inputgegevens. Het gedrag beoordeeld, in gesimuleerde situaties. Verschillende beoordelaars beoordelingen samen tot globale uitspraak. ” • Tweede Wereldoorlog: “goede officier of spion? ” • Nu standaardprocedure in selectie- en promotieen opleidingsprocedures

Welk type leerdoelen? • Verschuiving van – declaratieve kennis naar – procedurele kennis –

Welk type leerdoelen? • Verschuiving van – declaratieve kennis naar – procedurele kennis – Competenties • Zie technieken, wie, functie, …

Wanneer wordt evaluatie opgezet? • Voor – voorkennistoetsing • Tijdens – Voortgangstoetsing – Portfoliotoetsing

Wanneer wordt evaluatie opgezet? • Voor – voorkennistoetsing • Tijdens – Voortgangstoetsing – Portfoliotoetsing • Na

Portfolio • Een portfolio is het pakket, het dossier dat men samenstelt met brieven,

Portfolio • Een portfolio is het pakket, het dossier dat men samenstelt met brieven, informatie, illustraties, producten, … als basis voor de evaluatie.

Portfolio - EVC

Portfolio - EVC

Portfolio • We kunnen verschillende soorten portfolio’s onderscheiden: – Een documentenportfolio of produktportfolio. In

Portfolio • We kunnen verschillende soorten portfolio’s onderscheiden: – Een documentenportfolio of produktportfolio. In dit portfolio documenteert men al het werk dat men in een het kader een opleiding, stage, praktijkervaring, … uitvoert. Naast de documenten die dit werk illustreren, voegt de lerende ook reflectieverslagen toe op dit werk. Het is handig wanneer de lerende hiervoor criteria krijgt aangereikt. – Een procesportfolio. Het procesportfolio kan men vergelijken met een uitgebreid logboek. Stap voor stap documenteert men de voortgang in het eigen leerproces. Men reflecteert op de eigen sterktes of zwaktes en stelt actieplannen voor. – Een showcase portfolio. Dit type portfolio kan men zien als “the best of …”. Het is een bundeling van het beste werk van een lerenden in functie van een besluitvormingsproces over de prestaties van de lerenden. Ook dit type portfolio kan een zelfreflectie bevatten waarbij de lerende eigen commentaren toevoegt aan zijn/haar selectie van de werkstukken.

Portfolio

Portfolio

Chalkand. Wire, één van de vele elektronische portfolio omgevingen die momenteel beschikbaar zijn (http:

Chalkand. Wire, één van de vele elektronische portfolio omgevingen die momenteel beschikbaar zijn (http: //www. chalkandwire. com/). Uiteraard bestaan er ook open source oplossingen die vrijwel gratis te integreren zijn in elektronische leeromgevingen. Dit vergemakkelijkt de technische en administratieve integratie van de evaluatie.

Technieken

Technieken

De template structuur bij de PISA 2006 toetsen (De Meyer , 2007, p. 8).

De template structuur bij de PISA 2006 toetsen (De Meyer , 2007, p. 8).

Technieken: rubric

Technieken: rubric

Rubrics • Rubric: scoringstool voor een kwalitatieve inschatting van het niveau van een authentieke

Rubrics • Rubric: scoringstool voor een kwalitatieve inschatting van het niveau van een authentieke of complexe activiteit. – Een rubriek bouwt verder op criteria die verrijkt worden met een schaal waarop beheersingsniveaus zijn aangegeven – Per beheersingsniveau worden standaarden aangegeven die niveau weerspiegelen. – Een rubric geeft zowel voor de lesgever als de student aan wat concreet verwacht wordt. – Rubrics worden voor “high stake assessment” gebruikt en voor “formatieve toetsing” (in functie van leren). (Arter & Mc. Tighe, 2001; Busching, 1998; Perlman, 2003). • Rubrics focus on the relationship between competenciescriteria, and indicators and are organized along mastery levels (Morgan, 1999).

Rubrics • Holistisch – Analytisch • Taakspecifiek - Generiek

Rubrics • Holistisch – Analytisch • Taakspecifiek - Generiek

Assumpties m. b. t. rubrics • Grotere consistentie in scores (betrouwbaarheid). • Meer valide

Assumpties m. b. t. rubrics • Grotere consistentie in scores (betrouwbaarheid). • Meer valide beoordeling van complex gedrag. • Positieve invloed op vervolgens leergedrag.

Onderzoek rubrics • Review article 75 studies m. b. t. rubrics: • Jonsson, A.

Onderzoek rubrics • Review article 75 studies m. b. t. rubrics: • Jonsson, A. , & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2, 130– 144. – (1) the reliable scoring of performance assessments can be enhanced by the use of rubrics, especially if they are analytic, topic-specific, and complemented with exemplars and/or rater training; – (2) rubrics do not facilitate valid judgment of performance assessments per se. However, valid assessment could be facilitated by using a more comprehensive framework of validity; – (3) rubrics seem to have the potential of promoting learning and/or improve instruction. The main reason for this potential lies in the fact that rubrics make expectations and criteria explicit, which also facilitates feedback and self-assessment.

Voorwaarden effectief gebruik • Grondig inzicht in raamwerk van specifieke rubriek. • Training in

Voorwaarden effectief gebruik • Grondig inzicht in raamwerk van specifieke rubriek. • Training in gebruik • Interrater gebruik

Aanpak ontwikkeling rubric • Kies criteria voor verwacht gedrag – 4 tot 15 statements

Aanpak ontwikkeling rubric • Kies criteria voor verwacht gedrag – 4 tot 15 statements die criterium beschrijven • Bepaal bandbreedte die verschil in bereiken criterium weergeven – Bijv. 0 -5 of kwalitatieve termen • Werk een beschrijving uit voor elke waarde in de bandbreedte – Concreet observeerbare/vaststelbare kwalificaties

http: //www. teach-nology. com/cgi-bin/presentation. cgi/

http: //www. teach-nology. com/cgi-bin/presentation. cgi/

62 http: //teachers. teach-nology. com/cgi-bin/research. cgi

62 http: //teachers. teach-nology. com/cgi-bin/research. cgi

Schermafdruk van een website met “rubric makers” (http: //www. teach-nology. com/platinum/samples/rubrics/).

Schermafdruk van een website met “rubric makers” (http: //www. teach-nology. com/platinum/samples/rubrics/).

Websites rubrics • Uitgebreid overzicht tools, voorbeelden, theorie, achtergrond, onderzoek: http: //school. discoveryeducation. com/schrockguide/assess.

Websites rubrics • Uitgebreid overzicht tools, voorbeelden, theorie, achtergrond, onderzoek: http: //school. discoveryeducation. com/schrockguide/assess. html • Critical thinking rubrics: http: //academic. pgcc. edu/~wpeirce/MCCCTR/Designingrubricsassessingthinking. html • Rubric generators: http: //www. teach-nology. com/web_tools/rubrics/ • Intro op interessante rubric sites: http: //web. njit. edu/~ronkowit/teaching/rubrics/index. htm • Rubric APA research paper: http: //web. njit. edu/~ronkowit/teaching/rubrics/samples/rubric_apa_research. pdf • Veel voorbeelden K 12: http: //school. discoveryeducation. com/schrockguide/assess. html • Algemene intro en overzicht: http: //web. njit. edu/~ronkowit/teaching/rubrics/index. htm

Objectieve toets Essay toets Mondelinge vraag Performance assessment Doel Op een efficiënte en betrouwbare

Objectieve toets Essay toets Mondelinge vraag Performance assessment Doel Op een efficiënte en betrouwbare manier een steekproef uit de nagestreefde kennisdoelen toetsen. Denkvaardigheden, beheersing van structuren. Toetsen tijdens het leerproces. Meten van toepassen in een nieuwe complexe context. Typische opgave in een dergelijke evaluatie Meerkeuzevragen. Juist/onjuist vragen. Invuloefening. Vergelijken. Verhandeling. Open vraag. Schriftelijke opdracht. Natuurlijke setting waarin opdracht wordt gegeven. Typische respons van lerende Lezen, evalueren, selecteren. Organiseren, samenstellen. Mondeling antwoord. Plannen, construeren en een originele oplossing uitwerken. Scoringswijze Tel juiste antwoorden. Peilen van inzicht. Bepalen juistheid antwoord. Check kenmerken oplossing en proces, rating op een schaal. Grootste voordeel Efficiënt, er kan véél getoetst worden in weinig tijd. Complexe cognitieve structuren kunnen getoetst worden. Integreren evalueren en instructie. Rijke informatie over beheersing van vaardigheden, attitudes. Mogelijke foutenbron Slecht geconstrueerde items. Teveel nadruk op feitenkennis. Zwakke testvaardigheden van lerende. Representativiteit. Slechte opgave. Zwakke schrijfvaardigheden die interfereren met inhoudelijke kennis. Zwakke scoringsprocedure. Itemkwaliteit. Bereidheid tot antwoorden. Te weinig vragen. Kwaliteit opdracht. Te korte opdracht. Ratingschaal zwak. Zwakke evaluatieomstandigheden. Impact op leerproces Teveel nadruk op ‘weet’niveau (geheugen). Kan denkvaardigheden oefenen bij goed geconstrueerde items. Bevordert schrijf-vaardigheden. Stimuleert actieve medewerking. Geeft direct feedback op effectiviteit instructie. Nadruk op toepassen in relevante probleemcontexten. Kritische succesfactor Goede ‘blauwdruk’ vanuit behandeld curriculum. Voorbereiding. Antwoordmodel. Voldoende tijd om te lezen en te scoren. Heldere vragen. Representatief aantal vragen. Voldoende tijd voor antwoorden. Goed voorbereide opdrachten. Duidelijke verwachtingen. Goede ratingschaal. Voldoende ratingtijd.

Welke technieken? Performance evaluatie: • • • Meten van toepassen in een nieuwe complexe

Welke technieken? Performance evaluatie: • • • Meten van toepassen in een nieuwe complexe context Natuurlijke setting waarin opdracht wordt gegeven Plannen, construeren en een originele oplossing uitwerken Check kenmerken oplossing en proces, rating op een schaal Rijke informatie over beheersing van vaardigheden, attitudes Kwaliteit opdracht, te korte opdracht, ratingschaal zwak, zwakke evaluatie-omstandigheden • Nadruk op toepassen in relevante probleemcontexten • Goed voorbereide opdrachten, duidelijke verwachtingen, goede ratingschaal, voldoende ratingtijd

Technieken: toetsautomatisering

Technieken: toetsautomatisering

Scoren van evaluatieresultaten • Moore (2005) “Assigning grades is a responsibility most teachers dislike

Scoren van evaluatieresultaten • Moore (2005) “Assigning grades is a responsibility most teachers dislike and feel uncomfortable doing. There is no way to assign grades that is fair to all students. Most assign grades of A, B, C, D, and F. regardless of the system used, however, assigning grades to students’ work is inherently subjective. ”

Scoren • Absolute grading • Relatieve grading • Gewogen grading

Scoren • Absolute grading • Relatieve grading • Gewogen grading

Kwaliteitseisen bij evaluatie • Betrouwbaarheid. • Validiteit Extra eisen: • Authenticiteit • Recentheid

Kwaliteitseisen bij evaluatie • Betrouwbaarheid. • Validiteit Extra eisen: • Authenticiteit • Recentheid

Evaluatie: kritische visies • “A sample of behaviour” • klassieke evaluatie-benadering - visie op

Evaluatie: kritische visies • “A sample of behaviour” • klassieke evaluatie-benadering - visie op leren: alternatieve evaluatietechnieken en – systemen

Evaluatie en het onderwijskundig referentiekader • Microniveau: zie alle processen, actoren en variabelen. •

Evaluatie en het onderwijskundig referentiekader • Microniveau: zie alle processen, actoren en variabelen. • Mesoniveau: modellen, betrokkenen, instanties • Macroniveau: positie stakeholders

Thema 10 Evaluatie

Thema 10 Evaluatie