Luso delle misure standardizzate degli apprendimenti nella valutazione

L’uso delle misure standardizzate degli apprendimenti nella valutazione dell’insegnamento scolastico. Paolo Sestito Commissario straordinario INVALSI Giornate nfa Torino 1 luglio 2012

Outline della presentazione • Le prove INVALSI in concreto • Perché valutare (in generale): certificazioni, feedback e graduatorie • Prove INVALSI e certificazione degli studenti • Prove INVALSI e valutazione delle scuole • Oltre le scuole: i singoli docenti?

Le prove INVALSI in concreto • Due ambiti (a valenza trasversale) • 5 gradi scolastici: [Riepilogo prove] – Prove universali, restituibili a tutti – Un campione più controllato (-cheating+info) per meglio conoscere il sistema nel suo complesso – In un caso parte (con peso pari a 1/6) dell’esame di Stato – La prospettiva longitudinale (da quest’anno) • Cenni ad aggiustamenti on going: – Gradi da eliminare/inserire – Altri ambiti e gradi, su base campionaria, per meglio conoscere il sistema – Verso le prove adattive e il pc (come semplificazione e velocizzazione ma anche al fine di avere prove + custom tailored)

Perché si valuta • Certificare (a vantaggio di terzi) il possesso di determinate conoscenze/competenze • Fornire un feedback (innanzitutto al valutato) • Definire una graduatoria: – Per stimolare meccanismi di quasi-mercato o comunque emulativi (serve incentivo ad essere i “più bravi”) – Per premiare/punire (o selezionare) nel continuo – Idem ma con riferimento a una data soglia (assoluta o relativa) • Caso particolare di queste graduatorie: identificare i casi critici (chi non raggiunge una certa soglia minima) per consentire di intervenire a supporto, imporre cambiamenti. .

Prove INVALSI e certificazione studenti • • • Le prove INVALSI sono troppo dipendenti da un singolo momento (il giorno della prova) e con un focus troppo circoscritto (italiano e matematica, che pure sono considerati non solo in quanto discipline quanto per la loro valenza e natura trasversale) per farne la base unica della certificazione degli studenti Il rischio di prove troppo high stakes (coaching ed eccesso uniformità) Ma attenzione cheating/coaching etc. sono fenomeni insiti in qualsiasi tipologia di prova (standardizzata o diversificata, tradizionale o meno). Attribuire un (sia pur limitato e parziale) valore alle prove INVALSI può anzi aiutare: – Il focus sulle competenze delle prove INVALSI contrasta la “prevedibilità delle prove” (e le distorsioni che ne discendono) meglio di tante prove tradizionali – Le prove INVALSI hanno una funzione d’indirizzo culturale (coerente con gli “orientamenti” ed una impostazione che valorizza le competenze a superamento dei vecchi “programmi scolastici” come assieme di nozioni da trasmettere e acquisire): una leva da valorizzare – La prospettiva delle prove adattive potrà migliorare questo quadro

La valutazione delle scuole • A livello di gruppo (la classe, la scuola) molte delle criticità esistenti a livello di singolo studente vengono superate. Nell’aggregato di più studenti è più ragionevole usarle come “segnale” di fenomeni latenti, da decrittare sia per dare un feedback che per definire graduatorie. • Attenzione però: – Il gruppo deve essere grande a sufficienza: piccoli gruppi rischiano di esser dominati da measurement bias [Grafico italiano, Grafico matematica] – Identificare gli estremi è un po’ meno difficile [Tavole punteggi] • Comunque gli utilizzi (feedback/premi/competizione. . ) dipendono dalle regole generali del sistema e non possono essere visti in astratto in particolare, va tenuto conto che oggi non esiste un quasi mercato dei servizi scolastici; ove ci si muovesse in tal senso andrebbero definite varie regole a contorno (sostegno alle famiglie nelle scelte, impedimenti alle scuole nel selezionarsi gli studenti migliori, strumenti per le scuole nel “competere” per gli insegnanti migliori …). Forzare la pubblicizzazione dei risultati delle prove non è la soluzione di tutto (ed avrebbe anzi varie controindicazioni); la “pubblicità ingannevole” va contrastata.

La valutazione delle scuole: livello degli apprendimenti o VA? • Focus su livello per identificare chi non raggiunge un target minimo, chi sia in condizioni di criticità estreme – Focus su “poveri di conoscenza” più che sul dato medio complessivo, le due cose non sempre concidendo [Tavola cfr. ] • Focus su VA per valutare la scuola e giudicarne i responsabili. Ma con vari problemi aperti: – La prospettiva longitudinale: VSQ e l’uso (anonimo) delle anagrafi – Ma continuerà a servire anche un approccio “sezionale” (eventualmente pseudo-longitudinale) [Tavola regressione] – Nel valutare la scuola (il d. s. ) come trattare le covariate non appieno ctrlate dalla scuola (dal d. s. ): esempio turnover e in generale qualità docenti – Idem: come trattare variabili che dipendono dal contesto ma anche dalla capacità di attivazione delle scuole: esempio risorse aggiuntive (da famiglie ed ee. ll. )

La valutazione delle scuole: autovalutazione esterna • Feedback alla scuola (alle sue singole componenti interne) per ragionare su se stessi: – Benchmarking complessivo (livello e VA, dato medio ma anche eccellenze e “poveri di conoscenze” – Ma soprattutto dettaglio: quali competenze? Quali situazioni di disagio (su aspetti che le scuole altrimenti neppure conoscerebbero: ad es. circa la composizione sociale dei propri studenti) • NB 1 anche in un “meccanismo di mercato” – in cui l’incentivo a rinnovarsi e migliorarsi venga dalla pressione di mercato – serve poi che la scuola (il d. s. ) sappia leggere le proprie criticità • NB 2 le prove INVALSI comunque non esauriscono le cose su cui focalizzare la propria autovalutazione: servono altri strumenti di feedback (sondaggi alunni e famiglie, sondaggi e commenti tra pari) ed un’attitudine/disponibilità a ragionare su stessi e superare l’autoreferenzialità (e la solitudine) del singolo docente • NB 3 la scuola ha varie componenti: il feedback può/deve innescare una sana dialettica interna

La valutazione delle scuole: le prove INVALSI e la valutazione esterna • In tutti i sistemi in cui si procede a periodici esercizi di valutazione esterna delle singole scuole non ci si limita a leggere, centralmente e passivamente, i risultati delle prove standardizzate: – Le prove (in livello, soprattutto il dato sui “poveri di conoscenze”) come indicatore per identificare le situazioni più critiche ove concentrare il supporto e da “visitare” con maggior frequenza – Le prove (in livello ma anche e soprattutto come VA) come primo dato da analizzare a cura di un team valutativo esterno, che però guardi anche altri aspetti soft e di processo del funzionamento della scuola • Le visite valutative esterne: – Peer review (le cui indicazioni possano essere accettate o meno dalla scuola) o anche trigger di una possibile azione di riorganizzazione? Una questione di gradi – Quale il focus dei giudizi espressi e dei “consigli” per migliorare? la scuola o il suo d. s. (eventualmente da cambiare) visto come motore del cambiamento?

Oltre le scuole: i singoli docenti? • Premessa: 1. 2. Singoli docenti e risultati delle classi agli stessi affidate non sono ricollegabili, né da INVALSI né a livello centrale (l’allocazione dei docenti alle classi è processo decentrato, che avviene a livello di singola scuola) Nel sistema italiano: vi è un più forte legame classe/docente (il docente insegna a tutti gli alunni di una certa classe, non a una sommatoria di persone provenienti da classi diverse) e, nel contempo, un elevato turnover di queste relazioni biunivoche. Stimare un VA di docente (differenziando gli studenti ”trattati” da quel docente rispetto a quelli che, nello stesso contesto, sono “trattati” da altri) sarebbe particolarmente arduo, e quindi meno affidabile, econometricamente.

Oltre le scuole: i singoli docenti? • Considerazioni di merito: – Conta il singolo docente o il team? Il rischio di sistemi premiali individuali che ostacolino il funzionamento del team di docenti – Cosa premiare: Performance assoluta o relativa? Dibattito (US) su pay for percentile e uso prove “poco prevedibili” – Quanto sono affidabili le misure di VA a livello di singolo docente? Sapere che vi sono in media grandi differenze tra docenti (anche negli effetti a lunghissimo andare: cfr. Chetty et al, 2011) non significa poter dire con certezza, oggi, che tizio è più bravo di caio dell’x% – Qual è la priorità? differenziare le paghe di tutti (di anno in anno) o intervenire sugli estremi (evitando che arrivi in cattedra anche chi non supera una soglia minima di decenza e premiando (quasi) a fine carriera le eccellenze)? – Nel raccordo col singolo docente non esistono solo i sistema premiali: come per le scuole, vi è spazio per una funzione di feedback al singolo docente: per segnalargli che sta trascurando elementi rilevanti, il disagio di (alcuni) dei suoi allievi etc. un feedback necessariamente locale (dalla comunità professionale di pari, dal d. s. . . ), ma azionabile sulla base di strumenti e metodologie comuni

MATEMATICA I SECONDARIA Risultati medi di scuola e indicatore “poveri di conoscenza” Quintile indicatore poveri di conoscenza Totale Quintile risultati medi di scuola bottom 2, 00 3, 00 4, 00 5, 00 Totale 1, 00 936 179 23 10 0 1148 2, 00 193 605 273 69 9 1149 3, 00 21 280 492 290 66 1149 4, 00 11 70 288 479 301 1149 5, 00 3 25 86 309 725 1148 1164 1159 1162 1157 1101 5743

POPOLAZIONE LIVELLO TOTALE STUDENTI anno di introduzione CAMPIONE STUDENTI CAMPIONATI anno di introduzione II PRIMARIA 553. 291 (2009 -2010) 34. 416 (2008 -2009) V PRIMARIA 531. 559 (2009 -2010) 33. 177 (2008 -2009) I SECONDARIA DI I GRADO 582. 154 (2009 -2010) 43. 473 (2009 -2010) III SECONDARIA DI I GRADO 553. 296 (2007 -2008) 26. 777 (2007 -2008) II SECONDARIA DI II GRADO 516. 088 (2010 -2011) 50. 431 (2010 -2011)

Mutamenti nel ranking delle scuole (tra 2010 e 2011) livello Valore aggiunto ITA MAT 75, 9 75, 5 84, 8 82, 4 87, 7 87, 3 90, 0 88, 7 80, 7 82, 7 84, 8 84, 5 ITA MAT Scuole che escono dal primo quintile 58, 1 57, 5 70, 8 67, 1 Scuole che escono dal top quintile 64, 3 65, 1 74, 1 71, 4 Scuole quintile inferiore che si spostano di ± 5 percentilii Scuole quintili centrali che si spostano di ± 5 percentili Scuole top quintile che si spostano di ± 5 posizioni

Modello di regressione ITALIANO V PRIMARIA a. s. 0910 Modello (Costante) Punteggio medio di scuola di italiano al livello 2 Punteggio medio di scuola di matematica al livello 2 B 43, 433 , 215 , 180 Sig. , 000 FEMMINA ANTICIPATARIO POSTICIPATARIO Straniero di I generazione Straniero di II generazione Parla DIALETTO in casa VOTO ITALIANO I QUADR VOTO MATEMATICA I QUADR ESCS a livello individuale ESCS medio di classe Perc. Femmine nella classe Perc. Anticipatari nella classe Perc. Posticipatari nella classe Perc. Straniero di I generazione nella classe Perc. Straniero di II generazione nella classe Perc studenti che parlano DIALETTO nella classe ESCS medio di scuola Perc. Femmine nella scuola Perc. Anticipatari nella scuola Perc. Posticipatari nella scuola Perc. Straniero di I generazione nella scuola Perc. Straniero di II generazione nella scuola Perc. studenti che parlano DIALETTO nella classe 1, 023 -, 338 -6, 208 -8, 334 -6, 162 -1, 297 , 022 , 036 3, 802 , 134 -, 012 -, 035 , 004 -, 025 -, 035 -, 001 3, 327 -, 006 -, 260 -, 057 , 245 , 207 -, 077 , 000 , 229 , 000 , 000 , 253 , 000 , 001 , 634 , 000 , 654 , 000 , 247 , 000 , 000