EVALUAREA Matricea de specificaie i rolul acesteia n

EVALUAREA Matricea de specificaţie şi rolul acesteia în proiectarea instrumentelor de evaluare. Calităţile testului docimologic

OBIECTIVELE TEMEI Ø Explicarea relaţiei complexe dintre matricea de specificaţie şi instrumentele de evaluare; Ø Analizarea calităţilor instrumentelor de evaluare

1. Matricea de specificaţie şi rolul acesteia în proiectarea instrumentelor de evaluare Matricea de specificaţii reprezintă o punte de legătură între obiective, conţinuturi, şi evaluare Ø Matricea de specificaţii constă într-un tabel cu două intrări care serveşte la proiectarea şi organizarea itemilor dintr-un test docimologic în care sunt precizate, pe de o parte, conţinuturile care vor fi vizate, şi, pe de altă parte, nivelele taxonomice la care se plasează obiectivele de evaluare Ø Liniile matricei se specificaţii includ elemente de conţinut vizate, iar coloanele se referă la nivelele taxonomice la care vor fi măsurate performanţele elevilor în raport cu aceste conţinuturi. Ø În funcţie de scopul şi tipul testului care trebuie proiectat, se poate elabora o matrice de specificaţii generală sau detaliată Ø

EXEMPLU Conţinuturi / obiective Achiziţia Înţelege informaţiei - re Aplicare Analiză Total Element de conţinut 1 10 (2) _ _ _ 10 (2) Element de conţinut 2 10 (2) 5 (1) _ 25 (5) Element de conţinut 3 _ 10 (2) 25 (5) _ 35 (7) Element de conţinut 4 10 (2) _ 10 (2) 30 (6) Element de conţinut 5 30 (6) 10 (2) 100 (20)

1. 1 Matricea de specificaţii generală Ø Este utilă în proiectarea testelor sumative care vizează conţinuturi largi şi obiective cu nivele de complexitate ridicate

Exemplu Ø Matricea de specificaţii pentru un test de evaluare la unitatea de învăţare “Adunarea şi scăderea numerelor ”

Conţinuturi Achiziţia / obiective Înţelegere Aplicare Analiză Total 1. Termeni specifici 2 - - - 2 2. Relaţii, transformări 2 2 1 - 5 3. Utilizări, aplicaţii - 2 5 - 7 4. Probleme 2 2 - 2 6 5. Total 6 6 6 2 20

1. 2 Matricea de specificaţii detaliată Ø Este recomandată în cazul testelor sumative care vizează conţinuturi mai restrânse (evaluarea la finalul unei unităţi de învăţare, la finalul unui semestru, etc) precum şi în cazul testelor formative (care pot viza conţinutul unei singure lecţii şi, în mod evident, nu pot ţinti decât anumite nivele taxonomice)

Exemplu Ø Matricea de specificaţii detaliată pentru un test de evaluare la unitatea de învăţare “Adunarea şi scăderea numerelor ”

Cunoaşterea Înţelegere Cunoaşterea terminologiei Cunoaş terea con venţ iilor Cunoaşte. Rea metod elor Traspunere Extrapolare 1. Termeni specifici 10 (2) - - 2. Relaţii, transfor mări - 5 (1) 10 (2) 3. Utilizări, aplicaţii - - - 4. Probleme - - 10 (2) 5 (1) Conţinuturi / Obiective Total Analiză Căutarea ele me ntelor Căutarea rel aţi ilor - - - 10 (2) - 5 (1) - - 25 (5) 5 (1) 25 (5) - - 35 (7) 10 (2) - 5 (1) 30 (6) 15 (3) 30 (6) 5(1) 5 (1) 100 (20) Aplicare Total

2. Calităţile testului docimologic Calităţi globale testului Ø Obiectivitate Ø Aplicabilitate Ø Fidelitate Ø Validitate Calităţile fiecărui item - Dificultate - Putere de discriminare

Calităţi globale testului Obiectivitatea unui test docimologic se referă la caracterul explicit şi la claritatea itemilor, care să permită obţinerea de scoruri comparabile în cazul unor evaluatori competenţi Ø Aplicabilitatea se referă la adecvarea itemilor la conţinuturile vizate, la volumul de timp şi resurse materiale necesar, la claritatea modalităţii de calculare a scorurilor. Ø

Fidelitatea se referă la consistenţa sau stabilitatea unui test Ø Fidelitatea test – retest (coeficientul de stabilitate) Ø Fidelitatea prin forme alternative (coeficientul de echivalenţă) Ø Fidelitatea estimată prin consistenţa internă sau omogenitatea unui test (coeficientul de consistenţă internă) Ø Fidelitatea inter – evaluator (indicele mediu de corelaţie intraclasă)

Validitatea unui test se referă la măsura în care acesta surprinde ceea ce se presupune că trebuie să măsoare Ø Validitatea de conţinut Ø Validitatea criterială - validitatea concurenţială - validitatea predictivă Ø Validitatea de construct

Calităţile fiecărui item Ø Coeficientul de dificultate al unui item se calculează ca procent de subiecţi care rezolvă corect un item Ø Coeficientul de discriminare indică măsura în care un item face diferenţa între subiecţii cu performanţe înalte şi cei cu performanţe scăzute

TEMA 8 Elaborarea şi aplicarea baremului de corectare şi notare. Modalităţi de obiectivare a aplicării baremului şi reducere a diferenţelor de notare

OBIECTIVELE TEMEI § Analizarea baremelor de corectare şi a schemelor de evaluare, aplicate în evaluările / examenele naţionale; § Sintetizarea factorilor care influenţeayă aplicarea baremelor de corectare şi a schemelor de evaluare

1. Elaborarea şi aplicarea baremului de corectare şi notare 1. 1 Accepţiunile conceptului de “barem” 1. 2 Baremul de corectare şi notare – componentă a probei de evaluare 1. 3 Modalităţi de proiectare a baremului de corectare şi notare

1. 1 Accepţiunile conceptului de “barem” În contextul evaluării rezultatelor şcolare, termenul de “barem” are două accepţiuni: § Etalon de apreciere a unei probe, indicând condiţiile principale răspunsului aşteptat şi punctajul atribuit fiecărui item; în contextul evaluărilor / examinărilor naţionale se operează cu această accepţiune a baremului de corectare şi notare; § Performanţele minime în legătură cu realizarea obiectivelor corespunzătoare conţinuturilor verificate, indicând nivelul minim de pregătire al elevului necesar continuării programului cu şanse de reuşită

1. 2 Baremul de corectare şi notare – componentă a probei de evaluare Etapele elaborării probei de evaluare: § Stabilirea scopului probei – presupune anticiparea finalităţii evaluative, respectiv, a funcţiilor pe care este destinată să le îndeplinească evaluarea; scopul probei determină natura probei § Precizarea obiectivelor / competenţelor vizate de evaluare § Stabilirea conţinuturilor supuse verificării § Construirea matricei de specificaţii § Redactarea probei în concordanţă cu obiectivele de evaluare vizate; § Alcătuirea grilei de corectare § Elaborarea baremului de corectare şi notare

1. 3 Modalităţi de proiectare a baremului de corectare şi notare § Proiectarea baremului de corectare şi notare presupune realizarea corespondenţelor dintre: obiectivele de evaluare, unităţile de conţinut, criteriile şi indicatorii de evaluare. § baremul de corectare şi notare conţine indicatori de natură cantitativă şi calitativă § Există două tipuri de notare: notarea analitică şi notarea holistică

Notarea analitică § Se utilizează în cazul testelor de tip formativ § Unităţilor de răspuns li se acordă puncte care, însumate, determină nota pentru fiecare item § Nota atribuită probei de evaluare se încadrează în una din categoriile: notare pe scala 1 – 10 sau puncte pe scala 1 – 100 care se convertesc în note

Avantajele notării analitice § Asigură rigurozitatea corectării, favorizând realizarea unei aprecieri obiective § Diminuează diferenţele de notare dintre profesorii corectori

Dezavantajele notării analitice § În cazul itemilor semiobiectivi şi al celor subiectivi ne putem aştepta din partea elevilor la un răspuns corect neanticipat § Profesorii corectori au nevoie de un efort de concentrare şi de un timp îndelungat pentru corectarea lucrărilor pe baza schemei / baremului de corectare şi notare § Corectarea fiecărei lucrări se realizează de cel puţin doi examinatori

Notarea holistică § Se utilizează în cazul itemilor subiectivi, evaluarea realizându-se pe baza unui barem care cuprinde categorii de răspunsuri cărora le corespund diferite intervale de punctaj

Etapele proiectării unui barem de corectare şi notare de tip holistic § § Stabilirea categoriilor care vor fi utilizate Determinarea criteriilor de evaluare pentru fiecare categorie § Citirea rapidă a tuturor răspunsurilor la proba de evaluare şi formarea unei impresii generale § Încadrarea răspunsurilor în categoriile stabilite

§ Recitirea lucrărilor plasate în cadrul aceleiaşi categorii şi realizarea de comparaţii § Reîncadrarea anumitor lucrări în categorii superioare sau inferioare categoriei în care au fost plasate iniţial § Acordarea aceleiaşi note tuturor testelor încadrate în aceeaşi categorie

2. Modalităţi de obiectivare a aplicării baremului şi reducere a diferenţelor de notare § Corespondenţa dintre itemii de probei, criteriile de evaluare şi baremul de corectare şi notare (exemplificare)