La lettura dei dati INVALSI da parte del

La lettura dei dati INVALSI. . . da parte del Dirigente Scolastico Tommaso Agasisti Politecnico di Milano Dipartimento di Ingegneria Gestionale e. tommaso. agasisti@polimi. it

Agenda � La pluralità di utilizzo dei dati INVALSI ► Quale focus per il DS? � Quali domande? (e quali risposte. . . ) � La lettura dei dati INVALSI ► Leggere ed interpretare correttamente i dati restituiti da INVALSI � (Altri) dati: le potenzialità (future) di Scuola in Chiaro ► Un esempio di lettura dei dati � Cosa NON ci dicono i dati sugli apprendimenti 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 2

La pluralità di utilizzo dei dati INVALSI 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 3

Dati INVALSI: per quali finalità? � Analisi “di sistema”: ► Livello degli apprendimenti medi del Paese, per area geografica, per genere, per cittadinanza. . . ► Policy making nazionale/territoriale ► Stakeholder di riferimento: amministratori, cittadinanza � Analisi “di scuola”: ► Livello degli apprendimenti della scuola ► Comparazione con realtà territoriale di riferimento (benchmarking) ► Individuazione punti di forza/criticità ► Stakeholder di riferimento: DS, docenti (a tendere: genitori? ) 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 4

Quali domande? (e quali risposte? ) 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 5

DS, docenti e lettura dei dati INVALSI � Per poter ottenere risposte utili per accompagnare ed informare il processo di miglioramento. . . ►. . . Occorre farsi le domande giuste!! � A quali domande possono rispondere i dati INVALSI? ► Qual è il livello di apprendimenti medio della mia scuola, in comparazione con quello nazionale/locale? ► E in comparazione con quello di scuole “simili”? ► Che grado di omogeneità/eterogeneità degli apprendimenti si riscontra nella mia scuola? ► Quanto questa omogeneità/eterogeneità è riferibile a differenze tra classi? 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 6

(segue) � (segue) ► Su quali componenti della prova la mia scuola ha ottenuto risultati migliori/peggiori (in assoluto, e in relazione alla media nazionale? ) ► Quanta parte degli studenti della mia scuola è classificata nei livelli di apprendimento bassi/medi/alti (rispetto alla media nazionale)? ► Quanto sono differenti i punteggi di apprendimento della mia scuola con riferimento a diversi gradi scolastici? � Come queste informazioni sono utili per promuovere una riflessione critica interna alla scuola, ed avviare un percorso di miglioramento? Il ruolo del Dirigente Scolastico! 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 7

La lettura dei dati INVALSI 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 8

Premessa � In questa sezione, si riportano le informazioni che riguardano i dati restituiti da INVALSI per l’a. s. 2011/12 ► Si utilizza una scuola “reale” (anonima), cui è stato modificato il codice di riconoscimento � Scopo dell’analisi: ► Vedere un quadro dei dati a disposizione ► Commentarne i possibili principali utilizzi ► Chiarire alcuni aspetti metodologico/statistici ► Raccogliere domande/osservazioni. . . 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 9

Un aspetto (metodologico) iniziale � Premessa esplicitata nel sito. . . ► I dati sono riferiti agli allievi che non hanno bisogni educativi speciali. ► Non viene riportato il dato relativo alle classi con un elevato indice di propensione al cheating, ossia per quelle classi per le quali mediante la metodologia statistica utilizzata più del 50% del punteggio osservato è da attribuire a comportamenti anomali. ► Inoltre non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%. ► Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi. 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 10

Il quadro dei dati disponibili � Quali informazioni/dati sono disponibili nel “fascicolo elettronico” INVALSI? ► Punteggio medio di apprendimento (confronto con area e scuole simili – benchmarking) ► Disaggregazione punteggio di apprendimento per classi ► Scomposizione punteggio di apprendimento per diversi ambiti della prova INVALSI ► Distribuzione studenti per “livelli di apprendimento” ► Relazioni tra “voti” medi di classe (interni) e apprendimenti INVALSI ► Scomposizione varianza punteggi di apprendimento (tra classi e interna alle classi) 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 11

Punteggi generali � Nelle prossime slides: ► Punteggi generali di italiano ► Punteggi generali di matematica � Su cosa focalizzare l‘attenzione? ► Punteggi rispetto ad Area, Regione, Italia ► Punteggi relativi Italiano/matematica ► Cheating “generale”, e relativo (italiano/matematica) ► Status socioeconomico (indice SES) � NB. I dati sono riportati al netto del cheating! 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 12

Quadro complessivo - Italiano 75 70 PN 2011/2012 Risultato complessivo della prova di Italiano Classe III secondaria di I grado Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata. 65 60 RMIC 000000 2/22/2021 _x 0005_Lazio _x 0006_Centro T. Agasisti - Politecnico di Milano, 2012 _x 0006_Italia 13

Quadro complessivo - matematica 65 PN 2011/2012 Risultato complessivo della prova di Matematica Classe III secondaria di I grado 60 Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata. 55 50 45 40 RMIC 000000 2/22/2021 _x 0005_Lazio _x 0006_Centro T. Agasisti - Politecnico di Milano, 2012 _x 0006_Italia 14

Quadro complessivo - considerazioni � Ci sono diverse dimensioni di analisi possibili, come quadro (preliminare) rispetto ai dati di dettaglio che poi si analizzeranno: ► Posizionamento rispetto a Regione, Area, Italia ► Confronto ITA vs MATE (performances medie (in Italia) più elevate per la prima) ► Confronto con scuole che presentano distribuzione ESCS simile � Se ci fossero più gradi scolastici. . . ► Confronti possibili (discutere) ► Il problema dell’ancoraggio statistico tra le prove ► E il caso di Istituti comprensivi? 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 15

Alcune definizioni � Cheating ► Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating è misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato è mediamente da attribuire alle predette anomalie. � ESCS ► L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche. 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 16

Alcune definizioni (segue) � Differenza classe con ESCS simile ► La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata. � Background mediano degli studenti ► I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto. 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 17

2/22/2021 T. Agasisti - Politecnico di Milano, 2012 18

2/22/2021 T. Agasisti - Politecnico di Milano, 2012 19

Alcune osservazioni � Perché alcune classi vengono riportate per Italiano ma non per Matematica? ► Cheating? Assenze? (spunto di riflessione per il DS) � Le frecce per le comparazioni (verso l’alto, verso il basso, orizzontali) � I calcoli delle differenze ► punteggi in termini assoluti, si possono calcolare in percentuale ► Es. la classe 412099990802 in Italiano ha performance di 67, 7 (4, 8 rispetto ad una classe con background simile, ossia il 7% in meno) � Cheating ► Più basso in italiano che in matematica 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 20

Punteggi delle diverse classi (MATE) Classi/Istituto Differenza nei risultati rispetto a Media del punteggio al classi/scuole Cheating in con netto del percentuale cheating (1) background familiare simile (2) � Osservare come le diverse classi contribuiscono al risultato di scuola. . . … 412099990807 67, 6 -5, 0 0, 1% 412099990808 79, 1 +6, 6 0, 0% RMIC 000000 72, 2 +0, 4 0, 0% Media (di scuola) 2/22/2021 Attenzione… per PN c’è solo background di scuola (non di classe) Inferiore alla media (di scuola) Superiore alla media (di scuola) T. Agasisti - Politecnico di Milano, 2012 21

85 Attenzione… per PN c’è solo background di scuola (non di classe) PN 2011/2012 Risultato complessivo della prova di Italiano Classe III secondaria di I grado 80 Classi con “prestazioni relative” peggiori 75 70 65 lia 06 _I 00 _x en 06 _C 00 _x ta tro io La z 5_ 00 0 _x RM IC 00 00 00 1 E +1 1 12 4. 11 1 E + 4. 12 11 1 E + 12 4. 1 E +1 1 12 4. 12 1 E +1 1 60 1 E +1 1 Classi con “prestazioni relative” migliori Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata. 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 22

Attenzione! ESCS, apprendimenti e differenze tra classi � Varianza di punteggi medi (a livello di classi) molto significativa! ► La classe con punteggio (medio) inferiore: circa 67 ► La classe con punteggio (medio) superiore: circa 79 (+ 18%) ► Se avessimo i dati su ESCS a livello di classe (es per II primaria, I sec. I grado, ecc. ) potremmo verificare se le due varianze sono collegate (segmentazione) ► Vedi slides successive 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 23

70 PN 2011/2012 Risultato complessivo della prova di Matematica Classe III secondaria di I grado 65 Attenzione… per PN c’è solo background di scuola (non di classe) Il punto rosso (…) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata. 60 55 50 45 40 4. 121 E+11 2/22/2021 4. 121 E+11 RMIC 000000 T. Agasisti - Politecnico di Milano, 2012 _x 0005_Lazio _x 0006_Centro _x 0006_Italia 24

Attenzione! ESCS, apprendimenti e differenze tra classi � Nel caso di Matematica: ► tutte le classi hanno performance superiori (o non inferiori) a classi simili sotto il profilo dell’ESCS (medio di classe) � Ma anche in questo caso, differenze significative: ► Classe con punteggio inferiore: circa 52 ► Classe con punteggio superiore: circa 66 (+25%) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 25

Confronto classi con 200 classi simili (Un esempio riferito ad una scuola differente, classi I) 65 SNV 2011/2012 Grafico 1 b: Risultato complessivo della prova di Matematica - Classe I secondaria di I grado 60 Classe 8 “migliore” o “peggiore” di 4? Punteggio assoluto versus comparazione con classi simili… 55 50 45 2/22/2021 lia Ita ro nt Ce io La z 0 00 M RM M 06 21 20 99 97 T. Agasisti - Politecnico di Milano, 2013 00 0 09 08 06 07 21 20 99 97 06 06 21 20 06 99 97 21 20 99 97 06 06 05 04 03 06 99 97 21 20 99 97 06 02 01 40 26

Attenzione!!! Analisi per classi. . . “concentrazione”? ! Italiano Classi/Istituto Matematica Differenza nei Media del risultati rispetto punteggio al a classi/scuole netto del con background cheating familiare simile 412099990801 77, 4 +4, 7 62, 4 +8, 2 412099990804 77, 2 +4, 7 66, 2 +12, 2 412099990806 69, 0 -3, 7 55, 7 +1, 6 412099990807 67, 6 -5, 0 52, 0 -2, 1 RMIC 000000 72, 2 +0, 4 59, 8 +5, 8 Classe “debole” 2/22/2021 Classe “forte” T. Agasisti - Politecnico di Milano, 2012 27

Punteggi per le diverse parti delle prove 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 28

Quali considerazioni? � Confronto tra classi ► Omogeneità tra apprendimenti delle diverse classi, sulle diverse parti della prova? � Confronto su diverse aree ► (es. grammatica vs testo narrativo) � L’uso dei dati a livello di classe può essere funzionale alla discussione tra DS e docenti delle classi interessate ► Anche utile stimolo “interno” – come rendere “pubblica-dentro-lascuola” una discussione su confronto tra classi? 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 29

Diverse parti delle prove: analisi a livello di classe Testo narrativo Grammatica Punteggi … o Medio o Italia 412099990801 75, 2 412099990801 79, 6 Criticità a livello 412099990802 68, 6 412099990802 66, 9 di classe 412099990803 75, 4 412099990803 57, 8 Punto di forza a 412099990804 73, 4 412099990804 84, 7 livello di classe 412099990805 69, 2 412099990805 70, 5 68, 0 66, 7 412099990806 68, 2 412099990806 73, 6 412099990807 66, 7 412099990807 71, 4 412099990808 76, 5 412099990808 83, 8 RMIC 000000 71, 8 RMIC 000000 74, 3 È opportuno confrontare i risultati con la media nazionale. . . Un punteggio basso/alto può derivare da specificità della classe o da difficoltà relativa della sezione della prova! 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 Scuola relativamente “forte” in grammatica rispetto a testo narrativo 30

Confronto con studenti “solo nativi” 412099990801 412099990802 412099990803 412099990804 412099990805 412099990806 412099990807 412099990808 RMIC 000000 Testo narrativo Punteggio Medio 75, 2 68, 6 75, 4 73, 4 69, 2 68, 2 66, 7 76, 5 71, 8 Testo narrativo Solo nativi Punteggio Italia Medio Italia 412099990801 75, 2 412099990802 69, 5 412099990803 78, 3 412099990804 73, 1 412099990805 70, 2 68, 0 68, 5 412099990806 68, 6 Il DS può valutare questa differenza 412099990807 66, 4 anche insieme a docenti (e 412099990808 76, 4 considerando % non nativi) RMIC 000000 72, 3 � “Solo nativi”: ► studenti nati in Italia da genitori anch'essi nati in Italia; � Interpretazione: Per analisi più opportune su differenze tra italiani e stranieri, vedere grafici appositi (Cfr. dopo) ► Qual è effetto di considerare “solo nativi”? Eterogeneità tra classi? E rispetto alla media nazionale? 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 31

Analisi per “livello di apprendimento” � Cosa sono i “livelli di apprendimento”? ► Livello 1 punteggio minore o uguale al 75% della media nazionale ► Livello 2 punteggio maggiore del 75% e minore o uguale del 95% della media nazionale ► Livello 3 punteggio maggiore del 95% e minore o uguale del 110% della media nazionale ► Livello 4 punteggio maggiore del 110% e minore o uguale del 125% della media nazionale ► Livello 5 punteggio maggiore del 125% della media nazionale � Sarebbero utili scale diverse? ► Es. media della scuola? Media della Regione? Media per ESCS simile? 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 32

2/22/2021 T. Agasisti - Politecnico di Milano, 2012 33

Il significato dei “livelli di apprendimento” � Si cerca di “approssimare” i livelli di apprendimento assoluti ► Si osserva, cioè, il risultato “medio” e la sua distribuzione nel Paese ► Nel futuro: definizione “assoluta” di livello di apprendimento? � Le informazioni rilevanti sono quelle relative alle “code” della distribuzione ► Criticità (livello 1) ► Eccellenze (livello 5) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 34

Analisi livelli di apprendimento (es. matematica) 412099990801 412099990804 412099990806 412099990807 RMIC 000000 Lazio Centro Italia Numero studenti livello 1 0 0 0 1 Numero studenti livello 2 1 1 2 1 Numero studenti livello 3 3 3 4 9 Numero studenti livello 5 11 16 2 0 Percentuale Percentuale studenti studenti livello 1 livello 2 livello 3 livello 4 livello 5 1% 17% 24% 25% 6% 19% 19% 23% 19% 17% 18% Differente distribuzione. . . I livelli 1 e 4 2/22/2021 Numero studenti livello 4 5 6 10 7 T. Agasisti - Politecnico di Milano, 2012 34% 16% 15% 14% 35% 30% 25% Come interpretare questa distribuzione tra classi? 35

Analisi livelli di apprendimento (confronto matematica vs italiano) … 412099990801 412099990804 412099990806 412099990807 RMIC 000000 Lazio Centro Italia Matematica Numero studenti livello 4 livello 5 5 11 6 16 10 2 7 0 Percentuale studenti livello 4 livello 5 34% 35% 16% 30% 15% 25% 14% 25% Italiano Numero … studenti livello 4 livello 5 4 8 16 5 5 2 2 1 Percentuale studenti livello 4 livello 5 29% 17% 30% 18% 28% 15% 26% 15% Differenza Ita vs mate (dentro la classe) Prestazione “relativa” della scuola (ita versus mate) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 36

Analisi livelli di apprendimento (confronto matematica vs italiano) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 37

Valutazione “esterna” vs “interna” Valutazione “interna” disallineata. . . Per eccesso o per difetto? ► Mantenendo (in forma anonima) l’identità del singolo studente, è possibile verificare “coerenza” tra punteggio ottenuto nella prova Invalsi e giudizio di ammissione all’esame di Stato [dati aggregati a livello di classe] 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 38

Valutazione “esterna” vs “interna” � È importante avere a mente due osservazioni metodologiche: ► Il voto per la PN è quello complessivo di ammissione (per gli altri gradi, è quello relativo alla specifica disciplina – ITA/MAT) ► Il voto del singolo studente coglie alcuni aspetti che la prova INVALSI può non cogliere. Il voto medio di classe, invece, può essere una informazione più rilevante per l’azione del DS. 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 39

85. 00 PN 2011/2012 Confronto tra voto di scuola e punteggio nella prova di Italiano Classe III secondaria di I grado (Scuola RMIC 000000) 80. 00 Punteggio medio alla prova INVALSI 412099990808 412099990804 412099990801 75. 00 Queste due classi hanno valutazioni medie simili dalla scuola, ma rilevante differenza 412099990805 412099990806 nelle prove Invalsi 412099990803 412099990802 412099990807 70. 00 65. 00 60. 00 5. 50 2/22/2021 6. 00 6. 50 Voto medio di classe T. Agasisti - Politecnico di Milano, 2012 7. 00 7. 50 8. 00 40

PN 2011/2012 Confronto tra voto di scuola e punteggio nella prova di Matematica Classe III secondaria di I grado (Scuola RMIC 000000) 70. 00 412099990804 Punteggio medio alla prova INVALSI 60. 00 412099990801 412099990806 50. 00 412099990807 Queste due classi hanno valutazioni medie simili da Invalsi, ma rilevante differenza nella valutazione della scuola 40. 00 30. 00 20. 00 10. 00 5. 50 6. 00 6. 50 7. 00 7. 50 8. 00 Voto medio di classe 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 41

Limiti � Per le classi III della Secondaria I grado, il “voto” a livello di classe è la media del punteggio di ammissione all’esame di Stato ► Il confronto “diretto” con prove INVALSI, in senso stretto, è inibito! � Questo non vale per gli altri gradi ► Es classi I: il “voto” a livello di classe è la media nella specifica materia oggetto di analisi (Italiano, Matematica) 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 42

“voto” di classe e punteggio INVALSI (un esempio su una scuola differente, classi I) 80 SNV 2011/2012 Grafico 4 a: Confronto tra voto di classe e punteggio nella prova di 212099970602 Italiano 212099970603 212099970601 212099970605 212099970608 212099970604 Classe I secondaria di I grado (Scuola RMMM 000000) 212099970609 70 Punteggio medio alla prova INVALSI 60 212099970607 50 40 Sulla base dei punteggi INVALSI… la classe 4 è risultata CLASSE FORTE, mentre la classe 9 CLASSE DEBOLE 30 20 212099970606 10 0 5. 5 2/22/2021 5. 7 5. 9 6. 1 6. 3 Voto medio di classe (media dei voti scritto e orale) T. Agasisti - Politecnico di Milano, 2013 6. 5 6. 7 6. 9 43

Dettaglio risposte – per item � La possibilità di analizzare le prove anche attraverso le singole risposte, appare di particolare utilità per i docenti Si può analizzare la singola classe 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 44

Dettaglio risposte – per item � Confronto tra classi? ► Si possono effettuare confronti più di dettaglio tra le classi, osservando il n° di risposte corrette ► Possibilità di confronto e dialogo tra docenti 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 45

Dettaglio risposte – per item Sezione E Parte prima - testo narrativo Parte prima - testo narrativo … Sezione G Parte prima - testo narrativo Parte prima - testo narrativo 2/22/2021 Domanda A 1 A 3 A 4 A 5 A 6 A 7 A 11, 8 0, 0 41, 2 0, 0 100, 0 A 40, 0 25, 0 0, 0 5, 0 95, 0 T. Agasisti - Politecnico di Milano, 2012 B 76, 5 88, 2 29, 4 11, 8 0, 0 B 50, 0 90, 0 25, 0 0, 0 C 0, 0 11, 8 0, 0 82, 4 94, 1 0, 0 C 0, 0 10, 0 5, 0 95, 0 0, 0 D 11, 8 0, 0 29, 4 5, 9 0, 0 Mancate risposte 0, 0 5, 9 0, 0 D 10, 0 45, 0 0, 0 5, 0 Mancate risposte 0, 0 0, 0 46

Ulteriore dettaglio per classe � È possibile anche analizzare, per ciascuna classe, le differenze nelle risposte (per ciascuna singola domanda) rispetto alla media nazionale ► In ogni singolo item, la classe ha risposto in linea con la media nazionale, oppure ha evidenziato una percentuale di risposte corrette/sbagliate superiore/inferiore rispetto alla media nazionale? ► Confronto tra risposta sul singolo item e media (di classe) ► Grafico seguente ► Nb. Si può estendere questo confronto anche tra classi! • Dialogo con/tra docenti 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 47

Differenza Classe-Italia (media) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 48

I grafici creati da Invalsi � Grafico 2 ► Mostra quanta parte della variabilità dei punteggi all'interno della scuola è dovuta a differenze tra le classi, confrontando tali risultati con quanto avviene nella media delle scuole italiane � Perché è importante? ► Misura indiretta di “varianza tra classi” – misura indiretta di “segmentazione”? 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 49

Punteggi di Italiano 100 Classe III secondaria di I grado 2011/2012 Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Italiano 90 80 Valori percentuali 70 60 50 40 30 20 10 0 _x 0007_TRA/TOT 2/22/2021 RMIC 000000 Italia T. Agasisti - Politecnico di Milano, 2012 DENTRO/TOT 50

Punteggi di Matematica 100 Classe III secondaria di I grado 2011/2012 Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Matematica 90 80 Valori percentuali 70 60 50 Il 75% della varianza nei punteggi è tra classi. . . ENORME segmentazione! Focus su punteggi. . . Per altri gradi disponibili anche varianze ESCS 40 30 20 10 0 _x 0007_TRA/TOT 2/22/2021 RMIC 000000 Italia T. Agasisti - Politecnico di Milano, 2012 DENTRO/TOT 51

Mettere in relazione varianza punteggi e ESCS. . . (Un esempio su una scuola differente) PUNTEGGIO 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 ESCS 52

I grafici creati da Invalsi � Grafico 3 ► Mostra le differenze dei punteggi medi tra studenti della scuola rispetto al genere, alla cittadinanza e alla regolarità nel percorso di studi, poste a confronto con le stesse differenze nella regione, nell'area geografica e nell'Italia intera. � Perché è importante? ► Capire se alcune variabili individuali (es. cittadinanza) esercitano un ruolo maggiore o minore, nel determinare la prestazione scolastica, rispetto ad altre scuole/ambiti. 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 53

Differenze per cittadinanza: quale interpretazione? 65 PN 2011/2012 Risultato della prova di Matematica rispetto alla cittadinanza Classe III secondaria di I grado 60 55 50 45 40 35 2 _S lia Ita 2 ro _S nt Ce _S _x 00 08 _L az io 00 0_ RM IC 00 0 lia Ita 2 S 2 1 _S 1 ro _S nt Ce _S _x 00 08 _L az io 00 0_ 00 0 IC RM 1 S 1 _I Ita _x 00 0 8_ en _C 00 08 _x lia _I tro zio La 07 _ 00 _x _x 00 0 c _R M IC 00 00 00 _ I _I 30 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 54

65 PN 2011/2012 Risultato della prova di Matematica rispetto alla cittadinanza Classe III secondaria di I grado 60 55 Diff. nella scuola 50 Scuola Diff. Scuola nell a sc Italia 45 uola Italia 40 Studenti Italiani 35 T. Agasisti - Politecnico di Milano, 2012 2 _S lia Ita S 2 ro _ nt Ce _L az io _S 2 00 0 IC 00 08 _x Differenza scuola. Italia = 17 punti RM Ita lia 00 0_ _S S 1 ro _ nt Ce az _L 00 08 _x 00 0 IC RM io 00 0_ _S 1 _I lia Ita 00 0 _x _x 8_ en _C 00 08 _x 00 07 _ La tro zio _I _I I 00 _ 00 00 IC M _R 00 0 c _x 2/22/2021 Differenza scuola. Italia = 10 punti 1 Studenti Stranieri 1 a gen. 30 55

Differenze di genere: quale interpretazione? 75 PN 2011/2012 Risultato della prova di Italiano rispetto al genere Classe III secondaria di I grado 70 65 2/22/2021 _F lia 8_ 00 0 _x _x 00 0 8_ Ce Ita nt ro az _L 00 07 _x IC M _R 00 0 c _F _F io 00 _ 00 00 ta _I 00 08 _x _C _x F _M lia _M en tro zio La 07 _ 00 _x 00 08 _x _x 00 0 c _R M IC 00 00 00 _ M _M 60 T. Agasisti - Politecnico di Milano, 2012 56

75 PN 2011/2012 Risultato della prova di Italiano rispetto al genere Classe III secondaria di I grado 70 Differenza nella scuola tra maschi e femmine 65 _F lia Ita tro 00 0 _x _C 00 08 _x 8_ en az _L 00 07 _x IC M _R 00 0 c MASCHI: Scuola – Italia: 6 punti 2/22/2021 _F _F io 00 _ 00 00 Ita 8_ _x _x _x 00 08 00 0 _C F _M lia _M en tro zio La 07 _ 00 _x _x 00 0 c _R M IC 00 00 00 _ M _M 60 T. Agasisti - Politecnico di Milano, 2012 FEMMINE: Scuola – Italia: 4 punti 57

Regolari vs anticipatari/posticipatari: quale interpretazione? 80 PN 2011/2012 Risultato della prova di Matematica rispetto alla regolarità del percorso di studi Classe III secondaria di I grado 75 70 65 60 55 50 45 40 35 2/22/2021 _P Ita 08 _ 00 _x en 08 _C lia tro _P _P 00 _x 00 0 _x IC M _x 00 0 c _R 7_ La z 00 00 0 ta 8_ I 00 0 _x io 0_ P _A ro nt _x 00 0 8_ Ce _L 00 07 _x lia _A _A az 00 00 00 IC M _R 00 0 c io _A _R ta 00 08 _I en _C 00 08 lia _R tro io az _x 07 _L 00 _x _x 00 0 c _ RM IC 00 00 00 _ R _R 30 T. Agasisti - Politecnico di Milano, 2012 58

80 PN 2011/2012 Risultato della prova di Matematica rispetto alla regolarità del percorso di studi Classe III secondaria di I grado 75 70 Differenza REG – ANT = -15 p. 65 Differenza ANT - POST = +15 p. 60 55 Differenza REG - POST = +0 p. 50 45 40 35 _x _P Ita 08 _ 00 _x en 08 _C 00 lia tro _P _P 00 0 _x _x 7_ La z io 00 _ IC RM 0 c _ _x 00 0 00 8_ 00 Ita nt Ce 8_ 00 0 P _A ro lia _A _A az 00 07 _L _x _R 00 0 c _x M IC 00 _I 00 08 _x io _A ta tro _x 00 08 _C en La 07 _ 00 _x 00 00 _R _R zio 00 0_ R 00 0 IC RM _x 00 0 c _ lia _R In Italia: REG (51), ANT (48), POST (41) 30 Studenti posticipatari (POST) Studenti regolari (REG) Studenti anticipatari (ANT) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 59

Un quadro di sintesi: quali dati per (quali) DS? � La crescita dell’azione di INVALSI, e il contestuale miglioramento dell’azione dell’Ufficio Statistico del MIUR, consente oggi al DS di avere molte più informazioni sulla propria scuola ► Ma NON più soluzioni! � La responsabilità “manageriale” del DS ► Leggere i dati, e definirne grado di condivisione interno ► Riflessione personale e collegiale ► Diagnosi ► Ipotesi di azioni, implementazione di piani ► Verifica miglioramento ►. . . 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 60

(segue) � Non esiste un “cocktail” di dati adatto per tutti! ► I dati vanno “letti” nel contesto della propria scuola (ivi comprese le caratteristiche della scuola stessa); ► il potenziale ruolo di Scuola in Chiaro: ad esempio, analisi del profilo della classe docente della scuola • Lettura “congiunta” dei due diversi set di informazioni � Nelle slides successive: alcuni esempi di dati che saranno disponibili nel fascicolo scuola di “Miur. Scuola_in_Chiaro” 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 61

(Altri) dati: le potenzialità future di Scuola in Chiaro 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 62

Il potenziale di Scuola in Chiaro � Strumento informativo del MIUR, in corso di miglioramento e affinamento Un dataset pubblico e integrato, accessibile dal sito MIUR http: //cercalatuascuola. istruzione. it/cercalatuascuola/ 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 63

Le sezioni di Scuola in Chiaro � Il fascicolo “Scuola in Chiaro” che ciascun istituto riceverà sarà articolato nelle seguenti sezioni: ► Dati anagrafici ► Studenti ► Docenti ► Esiti formativi INPUTS PROCESSI… OUTPUTS Questionario Scuola (DS) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 64

Un esercizio di lettura “incrociata” � Avendo a disposizione alcuni dei dati di Scuola in Chiaro della scuola in esame, si è proceduto a qualche possibile lettura “incrociata” delle informazioni ► Tipologia di scuola ► Analisi composizione delle classi ► Esiti 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 65

La tipologia di scuola � La scuola in esame è un Istituto Comprensivo, con all’interno una Scuola dell’Infanzia N° sezioni, alunni e stranieri per anno di corso (scuola dell’infanzia) Sezioni Bambini 3 N° alunni e sezioni per anno di corso (scuola primaria) Anno di corso 1 2 3 4 5 2/22/2021 75 Alunni 20 31 13 28 30 T. Agasisti - Politecnico di Milano, 2012 Stranieri 2 Sezioni 1 2 2 66

La tipologia di scuola � Maggiore numerosità su scuola secondaria di I grado: N° alunni e sezioni per anno di corso (scuola secondaria di I grado) Anno di corso 1 2 3 2/22/2021 Alunni 196 153 170 T. Agasisti - Politecnico di Milano, 2012 Sezioni 8 67

La composizione delle classi � Focus su “studenti stranieri” ► A tendere. . . Composizione socioeconomica? (ESCS) Studenti con cittadinanza non italiana per anno di corso Anno di corso 1 2 3 2/22/2021 Stranieri di cui nati in Italia IX I II IV V VI VIII Totale sezione sezione sezione e 12 1 0 4 2 1 0 1 3 0 0 0 Stranieri di cui nati in Italia 3 1 0 Stranieri di cui nati in Italia 0 0 0 0 2 0 0 0 0 13 0 1 2 2 3 2 0 0 0 0 0 T. Agasisti - Politecnico di Milano, 2012 0 68

La composizione delle classi � Alcune osservazioni: ► Complessivamente, gli studenti stranieri sono il 7% Sarebbe importante confrontare questo dato con la media della Regione e dell’Area ► Non ci sono studenti stranieri di II° generazione ► Dai dati di INVALSI, si evinceva che gli studenti stranieri non avevano punteggi di apprendimento significativamente inferiori rispetto agli italiani • Una possibile spiegazione: la scarsa incidenza di studenti stranieri all’interno delle classi? [2 o 3 in classi mediamente di 20 ragazzi] ► Se potessimo ricondurre i dati alle classi specifiche. . . Confronto su incidenza stranieri negli apprendimenti complessivi 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 69

Lettura “incrociata” dei dati su studenti stranieri 412099990801 Testo narrativo Punteggio Medio 75, 2 Testo narrativo Solo nativi Punteggio Italia Medio Italia 412099990801 75, 2 412099990802 68, 6 412099990802 69, 5 412099990803 75, 4 412099990803 78, 3 412099990804 73, 4 412099990804 73, 1 412099990805 69, 2 412099990805 70, 2 412099990806 68, 6 412099990807 66, 7 2/22/2021 68, 5 412099990807 66, 4 In questa classe vi è un effetto (negativo) 76, 5 412099990808 76, 4 connesso alla presenza di studenti stranieri. 71, 8 RMIC 000000 72, 3 Qual è questa classe? 412099990808 RMIC 000000 Stranieri 68, 0 0 1 2 T. Agasisti - Politecnico di Milano, 2012 2 3 2 70

(segue) � L’analisi di dettaglio degli apprendimenti “relativi” tra italiani e stranieri può avere molta importanza per la discussione tra DS e docenti delle classi ► Verifica “omogeneità” dell’istruzione (per gli studenti di cittadinanza diversa) ► Evidenziazione e discussione su casi “critici” • (a livello di classe, in questi casi il focus non è sui singoli studenti!) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 71

Esiti � Il database di Scuola in Chiaro consente di avere alcune informazioni sugli esiti ► Si possono usare in modo complementare ai dati degli apprendimenti derivanti dalle prove INVALSI? Esiti degli scrutini finali per anno di corso Anno di corso 1 2 Ammessi all'anno successivo Scuola Provincia Regione 97. 4 95. 3 95. 5 96. 0 95. 9 Punto di attenzione per anno successivo (effetto dei “non ammessi” sulle classi di riferimento) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 Nazione 95. 2 96. 2 Confronto con Provincia, Regione, Italia 72

Esiti (segue) Alunni ammessi e licenziati all'esame di Stato: candidati interni Scuola Provincia Regione Nazione 2/22/2021 % ammessi 97. 1 96. 6 96. 5 96. 3 % licenziati 99. 4 99. 8 99. 6 T. Agasisti - Politecnico di Milano, 2012 73

Esiti (segue) Alunni licenziati per votazione conseguita: candidati interni Fascia di voto sei sette otto nove dieci e lode Totale Scuola 23. 6 24. 2 21. 8 17. 6 7. 3 5. 5 100. 0 Provincia 27. 2 28. 5 22. 5 15. 7 4. 0 2. 1 100. 0 Numero studenti livello 1 -2 Regione 27. 9 22. 0 15. 7 4. 3 2. 2 100. 0 Prova di italiano Numero studenti livello 3 Nazione 30. 5 27. 4 21. 1 14. 9 4. 3 1. 7 100. 0 Numero studenti livello 4 -5 Numero studenti 5 7 7 livello 1 -2 Numero studenti 1 8 11 Prova di matematica livello 3 Numero studenti 0 4 39 livello 4 -5 I dati si riferiscono ai soli studenti con dati validi per le due prove (italiano e matematica) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 I voti finali sembrano “giustificati” Sapevamo, dai dati INVALSI, che in questa scuola vi è concentrazione di alunni molto bravi (rispetto a media nazionale) 74

Cosa NON ci dicono i dati sugli apprendimenti 2/22/2021 T. Agasisti - Politecnico di Milano, 2013 75

Cosa NON ci dicono i dati sugli apprendimenti � È importante riconoscere, in fase di utilizzo dei dati sugli apprendimenti, che questi NON ci dicono tutto quello che sarebbe utile conoscere ► Skills non cognitivi ► Descrizione del “processo” educativo ► Qualità delle attività sottostanti ai processi di apprendimento � Un buon DS dovrebbe utilizzare i dati di apprendimento? ► Si, come una delle fonti di conoscenza della propria scuola 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 76

Cosa NON ci dicono i dati sugli apprendimenti � Il principale limite metodologico ► I dati sul singolo anno, relativi al LIVELLO degli apprendimenti, riflettono variabili “esterne” che non possono essere modificate dalle scuole • Background degli studenti, caratteristiche di contesto, ecc. � La necessità di misure di “Valore Aggiunto” ► Quanta parte dei risultati degli studenti/classi/scuole può essere attribuita all’azione della scuola? � Sfida metodologica e culturale ► Le esperienze internazionali (League Tables inglesi, valutazione docenti in USA) 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 77

Misure di Valore Aggiunto � (1) Sul singolo anno, osservando il LIVELLO di apprendimento ► Depurare l’effetto del background socioeconomico degli studenti (approccio INVALSI attraverso ESCS) / esperienza Provincia Autonoma di Trento • Il problema di tenere conto di tutte le variabili rilevanti per descrivere risultati scolastici (molto difficile!) � In una logica intertemporale ► (2) A livello di scuola – come evolvono i risultati INVALSI • Sarebbe utile una tabella aggiuntiva nella scheda di restituzione? • Ma i dati si riferiscono a coorti di studenti diverse 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 78

Misure di valore aggiunto (segue) ► (3) Analisi longitudinali dei livelli di apprendimento dei singoli studenti • Confronti possibili: (a) II-V Scuola Primaria, (b) passaggio V Scuola Primaria – I Sec I grado, (c) I-III Sec I grado, (d), passaggio Sec I grado – II sec II grado) • Generare misure di VA a livello classe e scuola • Il problema di “ancorare statisticamente” le prove 2/22/2021 T. Agasisti - Politecnico di Milano, 2012 79