KEN 201 FH 10 Inngangur a kennslufri Prf

KEN 201 F-H 10 Inngangur að kennslufræði Próf og gerð þeirra Forspá um gengi í námi eða vottun um kunnáttu t. d. í námsgreinum? Meyvant Þórólfsson 14. mars 2011

Próf (test, quiz, examination) Prófa hæfni, þekkingu, kunnáttu, skilning , leikni… – Skrifleg próf • • • Skyndipróf (quiz) Stöðupróf Yfirlitspróf Hæfileikapróf (aptitude test) Kunnátturpróf (achievement test) – Munnleg próf – Verkleg próf Copyright © Allyn & Bacon 2008

Hæfileikapróf: Forspá/leiðsögn um námsgengi/námsstöðu • Námsmat sem ætlað er að spá fyrir um “undirliggjandi hæfni til að tileinka sér nýja færni og þekkingu” o. s. frv. Guðmundur B. Arnkelsson 2006 Miller, Linn & Gronlund 2009 • Námsmat á að veita nemendum og foreldrum og forráðamönnum þeirra, kennurum, viðtökuskólum og skólayfirvöldum upplýsingar um námsgengi nemenda sem m. a. má hafa að leiðarljósi við frekari skipulagningu náms. Aðalnámskrá grunnskóla – almennur hluti 2006 3

Kunnátturpróf: Vottun um kunnáttu í námsgreinum • Vísar hér til námsmats í formi kunnáttuprófa í námsgreinum, þ. e. mats á breytilegri núverandi kunnáttu. Guðmundur B. Arnkelsson 2006 Miller, Linn & Gronlund 2009 Dæmi 1: Orðmyndin vandræðum er í q ef. ft. q þf. et. q þgf. ft. Dæmi 2: Skýrðu krafteininguna newton (N) út frá 2. lögmáli Newtons Samræmt próf í raungreinum 1980 Samræmt próf í íslensku 2007 4

Námsmat og eðli þess • Hlutlægt (objective) EÐA huglægt/einstaklingsbundið (subjective)? (ath. geislabaugsáhrif / halo effect) • Megindlegt (quantitative) EÐA eigindlegt (qualitative)? • Formlegt EÐA óformlegt? Hefðbundið EÐA óhefðbundið? (Traditional / Alternative) • Viðmið byggð á innbyrðis samanburði nemenda (normreferenced) námskrá og námsefni (criterion-referenced) EÐA? Önnur viðmið? Engin sérstök viðmið? 5

Hópmiðað mat með normaldreifingu (normreferenced) - Staðlaðar einkunnir (standard scores) • Hópmiðuð (relative) túlkun niðurstaðna • Dæmi: “Staðalníur” (stanine) 6

Markviðmiðað mat (criterion-referenced) – Hráeinkunnir (raw scores) • Námsmatskerfi flestra grunn- og framhaldsskóla byggir á markviðmiðum. • Árangur (einkunn) ræðst af því hve gott vald nemandi hefur á fyrirfram gefnum viðmiðum (standards-based) samanlagt • Dreifing einkunna verður oft neikvætt eða jákvætt skekkt 7

Námsmat og eðli þess RÉTTMÆTI - ÁREIÐANLEIKI • RÉTTMÆTI (Validity): Stenst sú mynd sem námsmatið (túlkun okkar á niðurstöðum) gefur okkur af námsstöðu/námsárangri veruleikann? Má alhæfa út frá niðurstöðum? • ÁREIÐANLEIKI (Reliability)? Snýst um stöðugleika matsins/mælinganna. Fengjust sömu niðurstöður ef matið væri endurtekið? Ef fleiri en einn meta það sama, kæmust þeir þá að sömu niðurstöðu? 8

Próf spá fyrir um og votta um hæfni í afmörkuðum þáttum náms (learning outcomes) sem við reynum að skilgreina, t. d. . . hvað nemandi þekkir, man og veit um. . . hver skilningur nemanda er á. . . hvernig nemandi nýtir (beitir) kunnáttu sína. . . hvernig nemanda gengur að sundurgreina og álykta. . . hvernig nemanda gengur að yfirfæra og koma með nýjar hugmyndir. . . – hvernig nemanda gengur að meta, taka afstöðu til og styðja mál sitt með rökum á sviði. . . – – – Miller, Linn & Gronlund 2009 9

Flokkun Blooms og fél. . . Vitsmunasvið-Stigbundið kerfi Nýmyndun – skapandi hugsun Mat – gagnrýnin hugsun Greining Beiting Skilningur Þekking - minni 10

Flokkun Blooms og fél. –Þekking, skilningur, beiting • Þekking: Man, skilgreinir, lýsir, þekkir, telur upp. Hvenær? Hvernig? Hvar? Lýstu. Settu fram. . . Merktu við rétta svarið. . . • Skilningur: Skilur, skýrir, túlkar, spáir fyrir um, þýðir. Skýrðu merkingu. . . Gefðu dæmi um. . . Útskýrðu muninn á. . . Útskýrðu með eigin orðum. . . • Beiting: Nýtir, notar, leysir, teiknar, reiknar. Beittu formúlunni á þetta vandamál. . . Teiknaðu skýringarmynd af. . . Beittu þekkingu þinni á sambandi X og Y til að útskýra. . . 11

Flokkun Blooms og fél. . . Greining og nýmyndun Analysis = “leysa í sundur” Synthesis = “setja saman” • Greining: Brýtur upp, aðgreinir, flokkar út frá einkennum, sundurgreinir í hluta. . . Greindu aðalatriði frá aukaatriðum. . . Flokkaðu eftir einkennum, Greindu helstu einkenni. . . • Nýmyndun / sköpun: Setur í nýjan búning, nýtt samhengi, semur, skapar, hannar, endurskipuleggur, endurskoðar, endursemur. . . Semdu sögu um. . . Semdu áhugaverða skýrslu um. . . Búðu til vef um efnið. . . Hvernig myndirðu búa til. . . Komdu með tillögu að lausn. . . Hannaðu 12

Flokkun Blooms og fél. . . Mat – gagnrýnin hugsun • Mat – rökstudd afstaða – gagnrýnin hugsun: Leggur mat á, ályktar með rökum, gagnrýnir, færir rök fyrir, ver, réttlætir, styður. . . Er nemandinn fær um að dæma, taka afstöðu til, styðja með rökum, gagnrýna? • • • Leggðu mat á niðurstöðu ____ Taktu afstöðu til ___ Mæltu með eða á móti____ Hvaða ályktun má draga af og af hverju ___? Berðu saman kosti (styrkleika) og galla (veikleika)____. . . og reyndu að finna öll rök með og/eða á móti 13

Flokkunarkerfi Blooms o. fél. Þrjú svið (domain) • Vitsmunalegir hæfileikar (cognitive domain) – Þekking, skilningur, beiting, greining, mat (gagnrýnin hugsun) og nýmyndun (skapandi hugsun). • Viðhorf, tilfinningar, siðferðilegir þættir (affective domain) – Afstaða (attitude) frumkvæði, viðhorf, ábyrgð, áhugi, þátttaka, hluttekning, samhygð o. fl. • Leikni og færni (psychomotor domain) - Frammistaða, sköpun, framkvæmd, verklagni, “performance” o. s. frv. • Eitthvað ófyrirséð í fari nem. lýsandi fyrir hvern og einn, sbr. eigindlegt (kvalítatíft) mat. N. Gronlund 2003, Ingvar Sigurgeirsson 1999, Houston 1990. 14

Prófatriði: Valkostir Valið stendur milli: • Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni. Og • Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

Til að auka gæði prófa. . . þarf að huga m. a. að: • Tilgangi og mikilvægi hvers prófatriðis: Hvert atriði þarf að gegna sínu hlutverki og uppfylla kröfur um réttmæti og áreiðanleika. • Orðalagi svo prófatriðið greini örugglega milli þeirra sem kunna og þeirra sem ekki kunna og nemendur skilji fyrirmæli rétt. • . . . má reikna þyngdarstig prófatriða og greiningarhæfi með einföldum útreikningum þar sem borinn er saman árangur sterkra nemenda og slakra. . .

Leið til að meta gæði prófatriða Þyngdarstig hvers prófatriðis: • Hve mörg % nemenda svara því rétt? Skoðum t. d. 10 efstu og 10 neðstu í nemendahópi. Segjum að 8 (6+2) svari spurningunni rétt, þá er þyngdarstigið 8/20 = 40%. Spurningin er þeim mun erfiðari sem þessi tala er nær 0. Greiningarhæfi (greinihæfni): • Samanburður á fjölda sem svaraði rétt í hærri hópi (þ. e. 10 efstu) og fjölda sem svaraði rétt í lægri hópi (10 lægstu). Segjum 6 í hærri hópnum og 2 í lægri hópnum. Þá getum við reiknað greiningarhæfi þannig: (6 -2)/10 = 4/10 = 0, 4. Hér er ekki notuð prósentutala. Greiningarhæfi er mest þegar útkoman er 1, 0. Þá er þyngdarstigið 50%.

Fjölval: krossaspurningar • Langalgengasta gerðin af prófatriðum • Má nota til að meta margvísleg “learning outcomes”. • Eru vönduð prófatriði ef rétt er staðið að samningu og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika). • Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfitt að ná háu réttmæti með krossaspurningum einum saman. • Erfiðara að semja góðar krossaspurningar en önnur prófverkefni

Eðli krossaspurninga Krossaspurning samstendur af: • Stofni (Stem) sem gefur til kynna meginefni spurningarinnar, eitthvert vandamál sem þarf að bregðast við. Getur verið bein spurning eða ókláruð fullyrðing. og • Valmöguleikum með mögulegum lausnum á vandamálinu. Einn möguleikinn er réttur en hinir eru rangir svarmöguleikar eða villusvör (distractors).

Dæmi um krossaspurningu sem metur þekkingu – reynir á minni • Hvað nefnist orðflokkurinn sem orðið ei tilheyrir í fyrsta erindi? (Vísað í “ei” í merkingunni “ekki”) ( ) atviksorð ( ) forsetningar ( ) samtengingar ( ) nafnorð

Dæmi um krossaspurningu sem metur skilning Nemandi túlkar merkingu hugmyndar. • Finni gengur erfiðlega að skilja það sem stendur í kennslubókinni: „Hér stendur að vatn í uppistöðulóni sé eins og risavaxin rafhlaða. Hvað er eiginlega átt við með því? “ Merktu við réttasta svarið við spurningu Finns: ( ( ( *( ) Uppistöðulón innihalda mikla rafspennu vegna dýptarinnar ) Hægt er að mæla magn raforku í uppistöðulóninu ) Uppistöðulón er í laginu eins og vasaljósarafhlaða ) Stöðuorku vatns er breytt í nýtanlega raforku þegar á þarf að halda

Dæmi um krossaspurningu sem metur beitingu Nemandi beitir þekkingu sinni til að lesa rétt af korti Íslandskort í mælikvarðanum 1: 5000 (1 cm á kortinu jafngildir 50 km) Hver er fjarlægðin milli Borgarness og Blönduóss skv. kortinu? ( ) 70 km *( ) 170 km ( ) 270 km ( ) 370 km

Hvers þarf að gæta við samningu krossaspurninga? (Sjá nánar ljósrit) • Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome). Hefur með réttmæti að gera. • Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika að gera. • Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity). Hefur með áreiðanleika að gera.

Fjölval: Annað en krossaspurningar • Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu. • Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise). • Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni (Interpretive exercise).

Dæmi um Rétt-rangt (S/Ó) verkefni Hver eftirfarandi hugtaka eru notuð yfir myndir orku (orkuform)? Settu hring utan um S ef orðið er notað yfir myndir orku (orkuform), settu annars hring um Ó. S Ó Stöðuorka S Ó Ljósorka S Ó Hraðaorka S Ó Hreyfiorka S Ó Hugarorka

Dæmi um pörunarspurningu • Í dálki I eru nöfn nokkurra persóna sem komu við sögu er kristni var tekin upp á Íslandi. Í dálki II eru fullyrðingar um þessar persónur. Skráðu við eigandi bókstafi í eyðurnar í dálki I. Dálkur I Árni Magnússon __ Hallur á Síðu __ Hjalti Skeggjason __ Snorri Sturluson ___ Þangbrandur __ Þorgeir Ljósvetningagoði __ Dálkur II A Sá er lagðist undir feld til að hugsa B Lögsögumaður kristinna C Kristniboði Noregskonungs D Var heiðinn lögsögumaður E Var skírður af Þangbrandi

Fjölval: Túlkunarverkefni (Interpretive exercises) • Sett er fram einhvers konar kynningarefni, t. d. texti, tafla, graf, kort eða mynd og ýmis hæfni er metin út frá því með fjölvalsspurningu, læsi á upplýsingar eða túlkun texta eða myndar. • Kostir/styrkleikar: Auðveld leið til að meta “læsi” og ýmsa hæfni til að tengja, sbr. PISA. Mögulegt að meta flókin “learning outcomes” • Ókostir/veikleikar: Erfitt að semja. Hætta á óáreiðanleika og lágu réttmæti, hætta á vísbendingum, reynir ekki á sköpun og gagnr. hugsun

Innfyllingaratriði (Supply type): Stutt svör • Meta hvort nemendur muna og/eða skilja. • Algengasta formið að nemendur fylli í eyður eða ljúki við fyllyrðingar. • Reynir aðeins meira (öðru vísi) á vitsmunalega hæfileika nemenda en fjölvalsspurningaformið og auðveldara að semja.

Innfyllingaratriði (Supply type): Ritgerðir • Gefa nemendum töluverðan sveigjanleika í að sýna þekkingu sína, skilning, ritfærni o. s. frv. Bjóða upp á skapandi og gagnrýna (higher order) hugsun. • Hér skiptir miklu að hafa á hreinu hvaða “learning outcomes” er verið að meta og setja svo viðmið í mati miðað við það. • Fer alveg eftir samhengi hversu skýr og nákvæm viðmið er hægt að viðhafa. • Öllu jöfnu minni áreiðanleiki en í fjölvalsspurningum. • Ritsnilld nemenda gæti blekkt og skekkt matsniðurstöðu.

Innfyllingaratriði (Supply type): Sveigjanleg, skapandi ritun • Val prófatriða er algerlega háð tilgangi, því hvað átti að meta og hversu mikils áreiðanleika er krafist. • Tilgangur með skapandi ritunarverkefnum jafnt eins og öðrum skapandi og opnum (open-ended) verkefnum getur þess vegna verið að örva, hvetja og styðja við nám, en síður til að “mæla” árangur! • Fjölvalsformið hentar við mælingar, en sveigjanleg og skapandi ritun e. t. v. frekar til að örva og styðja við nám.