Evaluering Af lring undervisning og uddannelse Danmarks Pdagogiske

Evaluering. Af læring, undervisning og uddannelse Danmarks Pædagogiske Universitet, tirsdag den 26. september 2017, ved Michael Andersen, Bjarne Wahlgren og Jakob Wandall

Bogens idé og sigte Michael Andersen

Evalueringsgenstande Andersen, Wahlgren, Wandall: 121 3

Tylers definition af evaluering (1932) – målopfyldelse inden for læring og undervisning The process of determining to what extent the educational objectives are actually being realized

Vedungs definition af evaluering 1998[2009] - programevaluering Evaluering er en systematisk, retrospektiv vurdering af gennemførelse, præstationer og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i praktiske handlingssituationer 5

Bogens definition af evaluering – med særligt henblik på læring, undervisning og uddannelse En evaluering er en anvendelsesorienteret, systematisk og databaseret vurdering af resultater af processer 6

Om evaluering af læring Jakob Wandall

Evaluering af læring Metoder og former • Generel vurdering/Standpunkt • Samtale/Observation • Produkt • Måling Andersen, Wahlgren, Wandall, kapitel 2 8

Evaluering af læring Andersen, Wahlgren, Wandall: 29 9

Måling • Prøver med faste retteprincipper • Survey’s på grundlag af selvvurdering • Test med scoringsalgoritme

Test Hvad kan test bruges til? • Test som policyredskab • Test som måleredskab Hvad påvirker resultatet af en test? • Elevernes dygtighed • Elevens indsats (som igen påvirkes af motivation/incitamenter)

Måling af læring • Standpunkt og progression • 1 år= ca. 100 pt. • Afstand ml. top og bund i gns. klasse = ca. 1000 pt. = 10 læringsår

Typer af test • Lineære (Råscore - antal rigtige) Fordele: Alle elever får samme opgaver enkel at lave, score og forstå diagnostisk anvendelse • Adaptive (MLE - fx Rasch-model) Fordel ved adaptive test: Alle elever får tilpasset test targetted, effektiv og ligeværdig • Konklussion – fordele og ulemper ved begge modeller

Typer af test Andersen, Wahlgren, Wandall: 61 14

Evaluering af undervisning på grundlag af måling med test • Progression • Value added model • Mange andre faktorer

Om evaluering af kompetencer Bjarne Wahlgren

Kompetence som del af uddannelser • Den nationale kvalifikationsramme • Personlige og sociale kompetencer • Realkompetence Andersen, Wahlgren, Wandall, kapitel 3 17

Kompetencebegrebet i kvalifikationsrammen Niveau 4: ‘Skal kunne planlægge og tage ansvar for egne og fælles arbejdsprocesser og resultater’. Niveau 6: ‘Skal selvstændig kunne indgå i fagligt og tværfagligt samarbejde med en professionel tilgang’ Niveau 7: ‘Skal kunne styre arbejds- og udviklingssituationer, der er komplekse og uforudsigelige, og som forudsætter nye løsningsmodeller’ Andersen, Wahlgren, Wandall, kapitel 3 18

Forudsætninger for evaluering • Konteksten • Kompetenceindholdet • Niveau • Relevante opgaver • Bedømmelse Andersen, Wahlgren, Wandall, kapitel 3 19

Vurdering af frisørkompetence ‘Eleven kan på avanceret niveau udføre fønbølgning’ ‘Der skal være en opbygning af nakkeparti i maskulin form’ ‘Eleven skal udvise høj grad af selvstændighed og selvsikkerhed i udførelsen af opgaven’ Andersen, Wahlgren, Wandall, kapitel 81 -85 20

Måling af social kompetence • Kommunikere med relevante parter • Samarbejde med relevante parter • Udvise social forståelse • Udvise ansvarlighed • Handle selvstændigt • Handle fremadrettet Andersen, Wahlgren, Wandall: 88 -92 21

Måling af relationskompetence • Faglig anerkendende feedback • Vejlede kursister, man ikke kan lide • Rose den enkelte for aktivitet • Tale om personlig situation • Spotte mistrivsel • Håndtere konflikter i klassen • Læse det sociale samspil i klassen Andersen, Wahlgren, Wandall: 92 -94 22

Opsummerende • Kompetencebegrebet skal tages alvorligt • Man skal kunne vurdere (evnen) til at handle på en valid måde • Det har konsekvenser for undervisningens indhold og form Andersen, Wahlgren, Wandall, kapitel 3 23

Om evaluering af uddannelse Michael Andersen

De grundlæggende spørgsmål i uddannelsesevalueringer der besvares som udgangspunktet Andersen, Wahlgren, Wandall 2017: 121 25

Den logiske model som udgangspunkt forskellige evalueringsmodeller Andersen, Wahlgren & Wandall 2017: 118 26

Målopfyldelsesevaluering Andersen, Wahlgren, Wandall 2017: 129 27

Effektevaluering Andersen, Wahlgren, Wandall 2017: 121 28

Procesevaluering Andersen, Wahlgren, Wandall 2017: 153 29

Virkningsevaluering Andersen, Wahlgren, Wandall 2017: 164 30

Dimensioner i uddannelsesevaluering der kan variere på tværs af evalueringsmodellerne • Intern versus ekstern evaluering (der har betydning for: ) • Oplevelse af relevans og værdi blandt deltagerne (som igen har betydning for motivation, ejerskab og anvendelse) • Adgang til data og viden om kontekst • Analytisk distance til feltet • Evalueringsfaglig kapacitet • Graden af interaktivitet mellem evaluator og opdragsgiver/brugere • Fordelene ved intern evaluering og ønsket om større ejerskab og forandring i praksis har ført til nye former for evalueringer, jf. responsiv evaluering, udviklingsevaluering mm (Patton 2011, Krogstrup 2016) Andersen, Wahlgren & Wandall 2017: 124 -127 31

Forhold som evaluator har indflydelse på og som har betydning for, i hvilket omfang og hvordan evalueringer anvendes • Hvorvidt og hvordan evalueringen knytter an til bestemte aktørers konkrete behov forandringer • Hvorvidt og hvordan anvendelsesdimensionen tænkes ind i formuleringer af formål og evalueringsspørgsmål • Hvorvidt og hvordan anvendelsesdimensionen tænkes ind, når evalueringen designes med hensyn til evalueringsmodeller og dataindsamlingsmetoder • Hvorvidt og hvordan der finder dialog sted med aktører om, hvordan de kan anvende evalueringsresultaterne Andersen, Wahlgren, Wandall: 200 -201 32

Afrunding Bjarne Wahlgren

Evaluering skal være: • • • En integreret del af læring, undervisning og uddannelse En anvendelsesorienteret, systematisk og databaseret vurdering Et redskab til kvalitetssikring, men ikke et mål i sig selv En handling der har forudsætninger og konsekvenser En proces, der kræver kenskab til metoder og kompetence til at udføre dem