DAI DATI INVALSI AL MIGLIORAMENTO DIDATTICO RETE SOPHIA

DAI DATI INVALSI AL MIGLIORAMENTO DIDATTICO RETE SOPHIA – MAZARA DEL VALLO Aurelia Orlandoni 26/11/2020 AURELIA ORLANDONI 1

Distribuzione dei punteggi nelle prove Invalsi 2017 ITALIANO N-OVEST meno crescita N-EST 8 -10 era in crescita CENTRO e SUD molto meglio non più in calo SUD-ISOLE peggio 26/11/2020 AURELIA ORLANDONI 2

Distribuzione dei punteggi nelle prove Invalsi 2017 MATEMATICA N-OVEST meno crescita ma parte da +5 invece che +1 N-EST uguale e CENTRO meglio , SUD un pochino peggio SUD-ISOLE molto peggio 26/11/2020 AURELIA ORLANDONI 3

PRIMA PARTE: I DATI DI SCUOLA E DI CLASSE • Cosa si restituisce e a chi? • Cosa ci dicono i dati generali sulla scuola? • L’effetto scuola • Come nascono le prove? • Alcune riflessioni didattiche • Il decreto 62 e le prove CBT • I livelli 26/11/2020 AURELIA ORLANDONI 4

QUALI DATI E A CHI? 26/11/2020 AURELIA ORLANDONI 5

I DATI DI SCUOLA I dati restituiti alle scuole I dati sono riferiti agli allievi che hanno svolto la prova standard. Non si riporta il dato relativo alle classi con un numero di Tre aspetti: studenti assenti superiore al 50%. - l'andamento complessivo dei livelli di apprendimento degli Non viene riportata l'informazione a livello di scuola per quelle studenti della scuola rispetto alla media dell'Italia, dell'area istituzioni per le quali i dati validi si riferiscono a meno del 50% geografica e della regione di appartenenza e rispetto a scuole delle classi. simili per condizioni socio-economiche degli alunni; - l'andamento delle singole classi nelle prove di Italiano e di Matematica nel loro complesso; - l'andamento della singola classe analizzata nel dettaglio di ogni singola prova; 26/11/2020 AURELIA ORLANDONI 6

IL CHEATING Elevataanche percentuale di risposte Le Ø scuole, quest’anno, hannocorrette ricevuto i dati sia al lordo che al netto del ØBassa variabilità della percentuale di risposte corrette all’interno della cheating classe PROCEDURA DI CORREZIONE dal 2013: nelle sulla modalità a ciascun item una prima 1. ØBassa analisivariabilità dei dati grezzi basedidirisposta 4 indicatori che danno misura ØBasso tasso di mancate risposte 2. Stima di valori “plausibili” di media e variabilità dei risultati per quella classe 3. Si applica una procedura che stima un punteggio medio della classe corretto 4. I passi precedenti sono effettuati separatamente per prova (IT e MAT) e livello Funziona su L 02 e L 05, qualche falso positivo su L 10 Problemi in alcune aree per la Prova Nazionale (L 08) 26/11/2020 AURELIA ORLANDONI 7

LA RESTITUZIONE DEI DATI DI I dati restituiti alle scuole SCUOLA 26/11/2020 AURELIA ORLANDONI 8

DATI DI SCUOLA: VARIABILITA’ G 02 ITA G 05 MAT CLASSI EQUIETEROGENEE? ? 26/11/2020 AURELIA ORLANDONI 9

G 05 Italiano Matematica 26/11/2020 AURELIA ORLANDONI 10

CONFRONTO FRAI I DATI DI CLASSE v I risultati delle classi sono omogenei all’interno della scuola? v Le classi sembrano «ben formate» ? v Perché ci sono andamenti diversi fra le classi? v Lo status socio-economico è omogeneo fra le classi? v Ci sono risultati diversi fra IT e MAT? Perchè? Quali ipotesi si possono fare? Fanno riferimento a “tipologie diverse (tempo pieno, …)? A “storie” diverse? v Lo status socio-economico ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono molto diverse tra loro? Se sì perché? v ……… 26/11/2020 AURELIA ORLANDONI 11

G 10 ITA MAT STESSO VOTO PUNTEGGIO DIVERSO!!! 26/11/2020 AURELIA ORLANDONI 12

G 05 ITALIANO MATEMATICA STESSO PUNTEGGIO VOTO DIVERSO!!! 26/11/2020 AURELIA ORLANDONI 13

CORRELAZIONE VOTO-PUNTEGGIO 26/11/2020 scarsamente significativa medio-bassa medio-alta forte. Aurelia Orlandoni 14

CORRELAZIONE VOTO-PUNTEGGIO 26/11/2020 Aurelia Orlandoni 15

CONFRONTO VOTI/PUNTEGGI v Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? v Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? v ci sono differenze nei “metri” di valutazione degli insegnanti della scuola? v …………………. 26/11/2020 AURELIA ORLANDONI 16

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE G 08 <95%Risultati < 110% ITA <110%Risultati < 125% Risultati < 75% <75%Risultati < 95% media nazionale Risultati > 125% media nazionale MATE media nazionale 26/11/2020 AURELIA ORLANDONI 17

G 05 NUMEROSITÀ NEI LIVELLI MATEMATICA E ITALIANO G 08 G 10 26/11/2020 AURELIA ORLANDONI 18

Restituzione dei dati per distribuzione nei cinque livelli v Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? v Quanti sono gli studenti i cui risultati sono molto diversi? v Ci sono differenze significative fra le due discipline? Se sì quali sono le cause? v Quali ipotesi si possono fare sugli andamenti? Questi andamenti corrispondono alle aspettative degli insegnanti di classe o no? v Si osservano polarizzazioni? v ……………. 26/11/2020 AURELIA ORLANDONI 19

MICRODATI • Microdati_5_cnt contesto • Microdati_5_ita risposte • Microdat_5_mat risposte • Microdati_5_pnt Punteggio • Microdati_5_qstgrezzo punteggi Punteggio % questionario • Microdati_5_tracciato legenda Codice studente 26/11/2020 AURELIA ORLANDONI Punteggio normalizzato (200) 20

G 02 Andamento negli ultimi anni: ITALIANO G 05 26/11/2020 AURELIA ORLANDONI 21

ANDAMENTO DELLA SCUOLA NEGLI ULTIMI TRE ANNI v Ci sono stati cambiamenti? v Si notano miglioramenti rispetto ai risultati nelle prove? Dove? Perché? v Si rilevano aree di criticità? In entrambe le discipline o in una sola? v ……. 26/11/2020 AURELIA ORLANDONI 22

• EFFETTO SCUOLA …. Una parentesi • PUNTEGGI A DISTANZA 26/11/2020 AURELIA ORLANDONI 23

VALORE AGGIUNTO La definizione dell’OCSE di valore aggiunto “Il valore aggiunto di una scuola è il contributo della scuola al progresso degli studenti verso gli obiettivi stabiliti di apprendimento, al netto di altri fattori che contribuiscono al progresso educativo degli alunni. ” “I modelli di valore aggiunto (value-added models) misurano i livelli di apprendimento raggiunti dagli stessi studenti in almeno due momenti successivi del tempo, all’inizio e alla fine di un ciclo d’istruzione di durata più o meno lunga, tenendo o meno conto, a seconda dei casi, anche di altre caratteristiche rilevanti degli studenti. ” (OECD, Mesuring improvements in learning outcomes. Best practices to assess the value-added of schools, Paris, 2008) 26/11/2020 AURELIA ORLANDONI 24

VALORE AGGIUNTO L’effetto di contesto Il termine “contesto”, in relazione agli istituti scolastici, può avere due accezioni e riferirsi o all’ambiente in cui la scuola si trova per la sua collocazione territoriale (contesto esterno) o alle caratteristiche aggregate della popolazione di studenti che li frequentano (contesto interno). Dalle ricerche in campo educativo è emersa la presenza di un effetto di composizione (school mix) del gruppo – classe e/o scuola - di cui un alunno fa parte. Ciò significa che l’apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dalle caratteristiche medie e dal grado di eterogeneità/omogeneità degli alunni della classe e/o della scuola che egli frequenta. 26/11/2020 AURELIA ORLANDONI 25

VALORE AGGIUNTO In cosa consiste l’effetto di contesto Esso è prima di tutto un effetto dovuto alla particolare composizione del gruppo ed è dunque, in termini diretti, un “effetto dei compagni” (peer effect). La composizione del gruppo genera però anche tutta una serie di effetti indiretti. Ad esempio, gli insegnanti si comportano in modo diverso a seconda del gruppo di alunni con cui si trovano ad interagire. Ma anche molti altri aspetti della gestione e dell’organizzazione delle scuole sono influenzati dalle caratteristiche degli studenti reclutati da ciascun istituto. 26/11/2020 AURELIA ORLANDONI 26

VALORE AGGIUNTO In cosa consiste il valore aggiunto Il “valore aggiunto” d’una scuola consiste in una differenza misurabile fra il risultato che gli alunni di un dato istituto hanno conseguito (risultato osservato) e il risultato che teoricamente avrebbero dovuto ottenere (risultato atteso), se essi avessero appreso tanto quanto mediamente hanno imparato, in un dato periodo di tempo, alunni comparabili che abbiano frequentato altre scuole. 26/11/2020 AURELIA ORLANDONI 27

VALORE AGGIUNTO: UN ESEMPIO Risultati grezzi 2010 -11 in Matematica delle scuole trentine – II Superiore 26/11/2020 AURELIA ORLANDONI 28

VALORE AGGIUNTO: UN ESEMPIO Valore aggiunto delle classi e delle scuole in Matematica - II Sup. Nota: nel grafico i cerchietti e i triangoli colorati corrispondono ai punteggi osservati (espressi come scarti dalla media) delle classi e delle scuole, i triangolini neri corrispondono, per ogni classe e scuola, ai punteggi di valore aggiunto. 26/11/2020 AURELIA ORLANDONI 29

Effetto scuola EFFETTO SCUOLA PREPARAZIONE PRECEDENTE DEGLI STUDENTI FATTORI ESOGENI CONTESTO SOCIALE INDIVIDUALE CONTESTO SOCIALE GENERALE 26/11/2020 AURELIA ORLANDONI 30

VALORE AGGIUNTO: INVALSI Effetto scuola = punteggio osservato – punteggio atteso dai fattori esogeni Punteggio osservato = risultato prova 2017 Punteggio atteso dai fattori esogeni: § punteggio atteso per effetto del contesto (segreterie e questionario studente) § preparazione pregressa (punteggio di ogni studente nel livello precedente) 26/11/2020 AURELIA ORLANDONI 31

Ma il valore aggiunto da solo non basta…. PUNTEGGIO MEDIA NAZIONALE SCUOLA 1 26/11/2020 SCUOLA 2 AURELIA ORLANDONI SCUOLA 3 32

Cos’è il valore aggiunto? PUNTEGGIO MEDIA NAZIONALE SCUOLA 1 26/11/2020 SCUOLA 2 AURELIA ORLANDONI SCUOLA 3 33

La restituzione dei dati alle scuole L’effetto scuola è misurato rispetto all’effetto medio a livello nazionale, di macroarea e della regione di appartenenza. Ad esempio effetto scuola leggermente positivo vuol dire che date le caratteristiche individuali e aggregate degli studenti dell’istituzione scolastica, l’effetto scuola è più alto di quello medio nazionale, di macro-area e della regione: ciò significa che la scuola ottiene risultati medi più alti di quelli che ci si poteva aspettare in base alle caratteristiche della sua popolazione studentesca. 26/11/2020 AURELIA ORLANDONI 34

EFFETTO SCUOLA L 08 ITALIANO 26/11/2020 AURELIA ORLANDONI 35

Punteggi a distanza– Scuola secondaria di I grado 2013 2014 Inizio scuola secondaria di I grado (prova di V primaria 2014) 26/11/2020 2015 2016 Dati restituiti alla V elementare di provenienza indipendentemente dalla classe/ scuola media fatta AURELIA ORLANDONI 2017 Fine scuola secondaria di I grado (prova nazionale 2017) tempo 36

Punteggi a distanza– Scuola secondaria di I grado 26/11/2020 AURELIA ORLANDONI 37

Punteggi a distanza– Scuola primaria 2014 Fine II anno scuola primaria (prova di II primaria 2014) 26/11/2020 2015 2016 Dati restituiti alla II elementare di provenienza indipendentemente dalla classe/ scuola in cui si AURELIA ORLANDONI trovano 2017 Fine scuola primaria (prova di V primaria 2017) tempo 38

Punteggi a distanza– Scuola primaria classe quinta 26/11/2020 AURELIA ORLANDONI 39

Punteggi a distanza– Scuola secondaria di II grado 2013 2014 2015 2016 Inizio scuola secondaria di II grado (prova Dati restituiti alla III media di nazionale provenienza 2015) indipendentemente dalla classe/ scuola in cui si trovano 26/11/2020 AURELIA ORLANDONI 2017 Fine biennio scuola superiore (prova di II secondaria di II grado 2017) tempo 40

Punteggi a distanza– Scuola secondaria di II grado 26/11/2020 AURELIA ORLANDONI 41

Ma come vengono scelte le domande e cosa c’è dietro a un fascicolo? • Quadro di Riferimento • Pretest e analisi 26/11/2020 AURELIA ORLANDONI 42

Quali sono gli scopi delle rilevazioni INVALSI? NON Valutare!!! v Le prove INVALSI hanno lo scopo principale di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica. v gli ambiti oggetto di misurazione delle prove INVALSI NON esauriscono di certo le conoscenze e le competenze prodotte dalla scuola. 26/11/2020 AURELIA ORLANDONI 43

Come sono costruite le prove INVALSI? La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza. 26/11/2020 AURELIA ORLANDONI 44

Alla base delle rilevazioni Quadro teorico di riferimento • Definito in corrispondenza con le finalità generali dell’Invalsi che riguardano la valutazione del sistema dell’istruzione • Redatto coerentemente al quadro generale nel quale sono formulati i curricoli della scuola italiana • Indicazioni di legge attualmente in vigore 26/11/2020 A. Orlandoni 45

Alla base delle rilevazioni Quadro teorico di riferimento ² Definisce gli ambiti, i processi cognitivi e i compiti oggetto di rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove. ² Permette di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata e i limiti. ² Costituisce il documento fondamentale per: ü gli autori delle prove ü gli esperti che ne curano la revisione üi docenti che sono chiamati a interpretare i risultati dei loro allievi 26/11/2020 A. Orlandoni 46

MATEMATICA: LE DIMENSIONI (2015) Conoscere Risolvere problemi Argomentare 26/11/2020 AURELIA ORLANDONI 47

STRUTTURA del Quadro di Riferimento Matematica INDICAZIONI NAZIONALI E LINEE GUIDA AMBITI Numeri Spazio e figure Relazioni e funzioni Dati e previsioni DIMENSIONI Conoscere Risolvere problemi Argomentare 26/11/2020 A. Orlandoni 48

MATEMATICA: LE DIMENSIONI Conoscere Risolvere problemi Argomentare ² esigenze connesse con l’analisi statistica dei risultati delle prove ² necessità di di orientare la lettura dei risultati in accordo con le indicazioni nazionali per il Curricolo e in particolare con i Traguardi per lo sviluppo delle competenze al termine della scuola primaria e secondaria di I grado Per la scuola secondaria di II grado Un gruppo di lavoro ha individuato una serie di Traguardi per lo sviluppo delle competenze alla fine dell’obbligo scolastico in diretta continuità con i Traguardi della fine del primo ciclo 26/11/2020 A. Orlandoni 49

CONOSCERE 26/11/2020 A. Orlandoni 50

CONOSCERE 26/11/2020 A. Orlandoni 51

RISOLVERE PROBLEMI 26/11/2020 A. Orlandoni 52

RISOLVERE PROBLEMI 26/11/2020 A. Orlandoni 53

ARGOMENTARE 26/11/2020 A. Orlandoni 54

MATEMATICA: LE DIMENSIONI Risolvere problemi Argomentare Le attività matematiche si possono aggregare attorno a : • la risoluzione dei problemi (interni alla matematica, o applicativi); • l'argomentazione, (dall'accertare la ragionevolezza di un'affermazione, al validarla con riferimento a una teoria, dal controllare la correttezza di un risultato, al giustificare la sua adeguatezza in relazione al problema affrontato). Il rapporto tra risoluzione dei problemi e argomentazione dipende dal fatto che la costruzione di una argomentazione è in molti casi una attività di autentico problem solving; e d'altra parte il problem solving richiede in genere attività di validazione intermedie e finali di tipo argomentativo. 26/11/2020 55

MATEMATICA: LE DIMENSIONI Risolvere problemi Argomentare I limiti e le potenzialità delle prove Invalsi competenza di orientarsi in una situazione problematica fino ad individuare il problema da risolvere (Problem Posing) capacità di affrontare un problema “grezzo” procurandosi i dati necessari per risolverlo capacità di scegliere l’affermazione corretta e di individuare una giustificazione di essa tra quelle proposte capacità di scegliere l’affermazione corretta e produrre una giustificazione di essa capacità di produrre e poi giustificare un’affermazione 26/11/2020 56

MATEMATICA: LE DIMENSIONI Conoscere Oggetti matematici (concetti, segni, algoritmi …. ) Capacità di farne uso stabilendo connessioni tra essi competenze strumentali al Problem solving e all’argomentazione Considerazioni su cosa significa e come si realizza la padronanza degli oggetti matematici si sono sviluppate in parallelo, e spesso in interazione, con le ricerche nelle scienze dell'educazione che hanno progressivamente sottolineato le competenze come "unità" di conoscenze, e capacità e intenzione di farne uso per affrontare compiti (a partire dall'analisi delle competenze necessarie per affrontare compiti professionali specifici, negli anni '70, fino ad investire in seguito anche i sistemi di formazione, inclusa la scuola, del compito di sviluppare e accertare competenze e non solo conoscenze). 26/11/2020 A. Orlandoni 57

MATEMATICA: LE DIMENSIONI Conoscere Le prove Invalsi capacità di uso flessibile e di padronanza critica degli strumenti e delle conoscenze matematiche 26/11/2020 58

Livello 05 – 2013 – risposta univoca Scopo della domanda Conoscere il valore posizionale delle cifre Padronanza “ragionata” collegata al significato delle cifre 26/11/2020 A. Orlandoni Dimensione Conoscere 59

Livello 10 – 2015 – risposta con calcoli Scopo della domanda Calcolare una media pesata Richiesta di esplicitare il percorso risolutivo e di determinare la soluzione 26/11/2020 A. Orlandoni Dimensione Risolvere problemi 60

Livello 08 – 2014 – risposta con giustificazione Scopo della domanda Capire che i due triangoli hanno basi uguali e altezza in comune Scelta dell’affermazione corretta e individuazione della giustificazione di essa tra quelle proposte 26/11/2020 A. Orlandoni Dimensione Argomentare 61

E IL CBT? Cambia COME non COSA! Per ora migrazione da domande cartacee con limitazioni ma ……non sempre e in futuro … 26/11/2020 A. Orlandoni 62

COSA NON PUO’ VALUTARE UNA PROVA STANDARDIZZATA • le prove standardizzate non possono misurare il conseguimento di traguardi caratterizzati da aspetti metacognitivi o non cognitivi, come per esempio “Sviluppa un atteggiamento positivo rispetto alla matematica… • le prove standardizzate sono poco adatte a valutare il conseguimento di competenze nel: sostenere argomentazioni e dimostrazioni complesse; porsi e risolvere problemi di una certa difficoltà e complessità, che richiedono diversi passi per essere affrontati e risolti; costruire e utilizzare modelli per situazioni complesse; • le prove standardizzate tendono a porre domande le cui risposte siano indipendenti da chi corregge; in altri termini tendono, per quanto possibile, a eliminare ogni elemento di soggettività. La valutazione dell’insegnante sulle competenze conseguite da uno studente non può non essere soggettiva e tesa anche a promuovere l’acquisizione stessa delle competenze: tanto più è soggettiva, tanto più diventa adatta allo 63 studente che viene valutato AURELIA e quindi ricca e significativa per quello 26/11/2020 ORLANDONI

STRUTTURA del Quadro di Riferimento (Italiano) Competenze di padronanza linguistica Ambiti Testi Grammatica Processi cognitivi - aspetti della lettura 26/11/2020 AURELIA ORLANDONI Oggetti linguistici specifici 64 64

Le competenze di lettura nel Quadro di riferimento INVALSI Per competenza si intende nel Quadro la capacità di selezionare, far interagire ed elaborare conoscenze per la comprensione e la valutazione di un testo: continuo, non continuo, misto. Le competenze di lettura verificate nella prima sezione della prova sono quelle: 26/11/2020 • Testuali • Grammaticali • Lessicali AURELIA ORLANDONI 65

Lettura Definizione dell’ambito Competenza pragmatico-testuale: capacità di ricostruire, a partire dalla lettura del testo e da conoscenze enciclopediche, l’insieme di significati che il testo veicola, assieme al modo in cui essi sono veicolati Competenza lessicale relativa alla lettura: capacità di individuare il significato, pertinente a un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo. Competenza grammaticale relativa alla lettura: capacità di individuare le strutture morfosintattiche della frase e le strutture interpuntive in funzione della loro pertinenza testuale, cioè dal punto di vista del loro apporto alla costruzione dei significati del testo. 26/11/2020 AURELIA ORLANDONI 66

Lettura: compiti richiesti dai quesiti Classificazione quesiti Qd. R INVALSI: aspetti della lettura 26/11/2020 AURELIA ORLANDONI 67

26/11/2020 AURELIA ORLANDONI 68

26/11/2020 AURELIA ORLANDONI 69

26/11/2020 AURELIA ORLANDONI 70

E INGLESE? Le Indicazioni Nazionali fanno esplicito riferimento al Quadro delle Certificazioni Europee e ai livelli A 1 A 2 C 1 C 2 26/11/2020 AURELIA ORLANDONI 71

MA COME NASCE UN FASCICOLO? A R A P E R P I H C / 26 0 /2 1 1 ? I T I S E U IQ 20 AURELIA ORLANDONI 72

La costruzione di un fascicolo di Matematica Produzione delle domande Costruzione dei fascicoli per il pre-test Selezione e classificazione Prova sul campo Analisi statistica / 26 0 /2 1 1 20 Analisi didattica Fascicolo definitivo AURELIA ORLANDONI 73

LUGLIO 2013 Seminario autori a Dobbiaco: gli autori suddivisi in gruppi di tre producono ed etichettano domande (circa 20 -25 ogni terna) OTTOBRE-DICEMBRE 2013 I gruppi di livello selezionano le domande, le rivedono e compongono due fascicoli per il pretest Preparano una prima griglia di correzione 26/11/2020 AURELIA ORLANDONI 74

GENNAIO – MARZO 2014 I fascicoli vengono composti in 4 versioni con le domande ruotate per blocchi, editati, ricontrollati e stampati APRILE - MAGGIO 2014 I fascicoli vengono pretestati su un campione casuale rappresentativo pari a 389 studenti GIUGNO – AGOSTO 2014 Le risposte vengono codificate per le analisi statistiche Da. L 2016 tutti i fascicoli vengono digitalizzati SETTEMBRE – DICEMBRE 2014 Il gruppo di pilotaggio analizza i risultati e costruisce il fascicolo finale GENNAIO – MARZO 2015 Il fascicolo viene composto in 4 versioni con le domande ruotate per blocchi, editato, ricontrollato, stampato e inviato alle scuola 26/11/2020 AURELIA ORLANDONI 75

E ora riflettiamo sulla didattica a partire dai risultati 26/11/2020 AURELIA ORLANDONI 76

DETTAGLI DELLE PROVE: MATEMATICA 26/11/2020 AURELIA ORLANDONI 77

DETTAGLI MATEMATICA G 08 26/11/2020 AURELIA ORLANDONI 78

GLI STRUMENTI SUL SITO INVALSI • I fascicoli • Le griglie di correzione • Le guide • I dati dell’area statistica 26/11/2020 AURELIA ORLANDONI 79

26/11/2020 AURELIA ORLANDONI 80

26/11/2020 AURELIA ORLANDONI 81

Le prove Invalsi come terreno comune di discussione tra insegnanti Le prove Invalsi quali informazioni possono dare? Come le possiamo usare? PROVE GUIDE 82

Il data base GESTINV Uno strumento per gli insegnanti

Il data base GESTINV

Il data base GESTINV

Il data base GESTINV Analisi di ogni item

Il data base GESTINV

Il data base GESTINV

Il data base GESTINV: esempi

Il data base GESTINV: esempi

Il sistema delle prove INVALSI nel decreto legislativo n. 62 del 13. 04. 2017 26/11/2020 Aurelia Orlandoni 91

Il decreto legislativo n. 62 del 13 aprile 2017 Un processo di condivisione paritetica di obiettivi, compiti e responsabilità SCUOLE FAMIGLIE STUDENTI INVALSI 26/11/2020 MIUR Aurelia Orlandoni 92

Il sistema delle prove INVALSI (I CICLO) • II PRIMARIA: • Italiano, Prova di decodifica strumentale della lettura (solo per le classi campione), Matematica • V PRIMARIA: • Italiano, Matematica, Inglese (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) • III SECONDARIA DI PRIMO GRADO: • Italiano, Matematica, Inglese (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) 26/11/2020 Aurelia Orlandoni 93

Il sistema delle prove INVALSI (II CICLO) • II SECONDARIA DI SECONDO GRADO : • Italiano, Matematica (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) • V SECONDARIA DI SECONDO GRADO (DALL’A. S. 2018 -19): • Italiano, Matematica, Inglese (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) 26/11/2020 Aurelia Orlandoni 94

La principali novità per il 2018 • V PRIMARIA: • prova d’inglese (livello A 1 del QCER) cartacea sulle competenze ricettive • III SECONDARIA DI PRIMO GRADO: • prove computer based (CBT) di Italiano, Matematica e Inglese • prova d’inglese (livello A 1 e A 2 del QCER) sulle competenze ricettive e sull’uso della lingua • II SECONDARIA DI SECONDO GRADO prove computer based (CBT) di Italiano, Matematica 26/11/2020 Aurelia Orlandoni 95

III SECONDARIA DI PRIMO GRADO: novità 2018 (presumibilmente uguale per V secondaria di II grado dal 2019) 26/11/2020 Aurelia Orlandoni 96

Le prove di III secondaria di primo grado • Riferimento normativo: artt. 7 e 9 del D. Lgs. 62/2017, nota MIUR 1865 del 10. 2017 III secondaria di primo grado (grado 8) • Ambiti disciplinari: • Italiano • Matematica • Inglese (livello A 1 e A 2 del QCER) • Modalità di somministrazione: • COMPUTER BASED (CBT) • ON LINE • CON I PIÙ DIFFUSI SISTEMI OPERATIVI (open source e proprietari) 26/11/2020 Aurelia Orlandoni 97

La somministrazione III secondaria di primo grado (grado 8) • Classi campione: • in giornate e orari indicati da INVALSI tra il 9 aprile 2018 e il 12 aprile 2018 • comunicazione delle classi campione entro il 9 marzo 2018 • Classi NON campione: • in base al numero degli studenti e di computer collegati in rete comunicati dalla scuola, in un periodo di somministrazione indicato da INVALSI tra il 4 aprile 2018 e il 21 aprile 2018 • possibilità di cambiare il periodo di somministrazione, all’interno dell’arco temporale compreso tra il 4 aprile 2018 e il 21 aprile 2018 26/11/2020 Aurelia Orlandoni 98

La somministrazione CBT La somministrazione mediante computer richiede una particolare attenzione all’organizzazione dello svolgimento delle prove, specialmente per quanto riguarda: III secondaria di primo grado (grado 8) Ø verifica preventiva e accurata della funzionalità e della qualità del collegamento a internet Ø verifica preventiva e accurata della funzionalità dei computer che saranno usati dagli studenti Ø verifica della disponibilità e della funzionalità delle strumentazioni audio, in particolare di cuffie per l’ascolto individuale 26/11/2020 Aurelia Orlandoni 99

III secondaria di primo grado (grado 8) La flessibilità organizzativa La somministrazione CBT delle prove INVALSI può essere organizzata per: • per classe • per parte di una classe Ø in sequenza (prima un gruppo e poi un altro, usando gli stessi computer) Ø in parallelo (usando due o più laboratori o gruppi di computer portatili, ecc. ) Rispetto al singolo allievo le prove INVALSI CBT possono realizzarsi in: • TRE giornate distinte, una per ciascuna materia (soluzione consigliata) • DUE giornate distinte (soluzione non auspicabile) • UNA sola giornata (soluzione sconsigliata) • N. B. lo svolgimento della singola prova (Italiano, Matematica, Inglese) non può essere interrotto dallo studente 26/11/2020 Aurelia Orlandoni 100

Le prove CBT III secondaria di primo grado (grado 8) La somministrazione mediante computer (CBT) richiede un elevato numero di prove (forme) che condividono le seguenti caratteristiche: Ø stessa difficoltà complessiva Ø equivalenza misuratoria Ø stessa modalità di composizione (ambiti, tipologie di testo, numero di quesiti, formati dei quesiti, ecc. ) Ciascuna forma è estratta da una banca di domande composte da centinaia di quesiti ed è assegnata agli studenti secondo un preciso disegno statistico 26/11/2020 Aurelia Orlandoni 101

III secondaria di primo grado (grado 8) Italiano – terza secondaria di primo grado • Durata complessiva: 90 minuti • La prova è strutturata in due sezioni • PRIMA SEZIONE: comprensione della lettura • diverse tipologie testuali (testi narrativi, espositivi, argomentativi) • formato dei testi: continuo, non continuo e misto • tipologie di domande: con risposta a scelta multipla, con risposta aperta breve o univoca, con risposta a scelta multipla complessa (tabelle o individuazione dell’elemento corretto all’interno di un menù a tendina), completamenti (brevi cloze), riordini. • SECONDA SEZIONE: riflessione sulla lingua con approfondimenti sul lessico • esercizi sull’uso della lingua • esercizi di approfondimento sul lessico • tipologie di domande: con risposta a scelta multipla, con risposta aperta breve o univoca, con risposta a scelta multipla complessa (tabelle o individuazione dell’elemento corretto all’interno di un menù a tendina). 26/11/2020 Aurelia Orlandoni 102

III secondaria di primo grado (grado 8) Matematica – terza secondaria di primo grado • Durata complessiva: 90 minuti • AMBITI: • Numeri • Spazio e figure • Relazioni e funzioni • Dati e previsioni • DIMENSIONI: • Conoscere • Risolvere problemi • Argomentare • TIPOLOGIE DI DOMANDE: a risposta multipla, a risposta aperta breve o univoca, a completamento (cloze), a collegamento (matching), ecc. 26/11/2020 Aurelia Orlandoni 103

Inglese – terza secondaria di primo grado • Competenze oggetto di valutazione: III secondaria di primo grado (grado 8) • Comprensione della lettura (reading) • Comprensione dell’ascolto (listening) • Elementi di uso della lingua (dal 2019) • Livello del QCER (Quadro comune europeo di riferimento per la conoscenza delle lingue): livello A 1 e livello A 2 • Composizione della prova: • 3 -4 task di comprensione della lettura per il livello A 1 e 3 -4 task per il livello A 2 (durata 40 min. ), • 3 -4 task di comprensione dell’ascolto per il livello A 1 e 3 -4 task per il livello A 2 (durata 40 min. ); • Task di lettura: lunghezza massima 220 parole e da 3 a 8 quesiti, • Task di ascolto: brano di durata massimo fino 2 minuti con numero di quesiti per ciascun task da 3 a 8 26/11/2020 Aurelia Orlandoni 104

Inglese – terza secondaria di primo grado (cont. ) III secondaria di primo grado (grado 8) • La comprensione della lettura (reading) – PARTE PRIMA: • 40 minuti • tipologie di lettura: ü lettura veloce selettiva (quick selective reading) per cogliere significato globale/informazioni specifiche; ü lettura attenta (careful reading) per comprendere le idee principali; • tipologie di domande: ü a risposta multipla, ü Vero/Falso /Non Dato (True/False/Not. Given), ü a risposta aperta breve (massimo 4 parole), ü a collegamento (matching) • Pausa: 10 minuti 26/11/2020 Aurelia Orlandoni 105

Inglese – terza secondaria di primo grado (cont. ) • La comprensione dell’ascolto (listening) – PARTE SECONDA: III secondaria di primo grado (grado 8) • 40 minuti • tipologie di ascolto: ü ascolto selettivo (selective listening) per cogliere significato globale/informazioni specifiche; ü ascolto attento (careful listening) per comprendere le idee principali • tipologie di domande: ü a risposta multipla, ü a risposta aperta breve (massimo 4 parole), ü a collegamento (matching) 26/11/2020 Aurelia Orlandoni 106

Inglese – terza secondaria di primo grado COMPRENSIONE DELL’ASCOLTO (listening): • • ascolto individuale in cuffia ascolto sequenziale di ciascun compito (task) secondo il seguente schema, gestito in modo standardizzato dal sistema: III secondaria di primo grado (grado 8) Ø Ø Ø Ø 26/11/2020 ascolto delle istruzioni in inglese (standardizzate per ogni tipologia di compito) 20 secondi per leggere le domande prima dell’ascolto primo ascolto del file audio (sound file) e contemporanea visualizzazione delle relative domande (5 -6) breve pausa (durata definita dal sistema) secondo ascolto del sound file e contemporanea visualizzazione delle relative domande e delle risposte fornite con la possibilità di modificarle 20 secondi per la revisione delle risposte fornite chiusura definitiva del task governata dal sistema passaggio al task successivo Aurelia Orlandoni 107

III secondaria di primo grado (grado 8) Documentazione – terza secondaria di primo grado • Esempi (Sample) delle prove INVALSI CBT: • Italiano e Matematica: entro il 31. 01. 2018 • Inglese: ü un esempio per ogni tipologia di compito (task) ü disponibilità dei sample: entro 31. 01. 2018 ü disponibilità delle istruzioni in inglese per ogni tipologia di compito (task): entro 31. 01. 2018 • Documentazione informativa online: • generali(LINK) • Esempi: Inglese, classe III sec. , classe II sec II grado 26/11/2020 Aurelia Orlandoni 108

Trasmissione dei dati e correzione delle prove III secondaria di primo grado (grado 8) Correzione della prova: totalmente centralizzata Trasmissione dei dati all’INVALSI: • automatica • contestuale alla chiusura della prova da parte dello studente (o in seguito all’esaurimento del tempo previsto per la prova) 26/11/2020 Aurelia Orlandoni 109

Le prove INVALSI e l’esame di Stato III secondaria di primo grado (grado 8) Requisito per l’ammissione all’esame di Stato, indipendentemente dall’esito (art. 7, c. 4 del D. Lgs. 62/2017) Confluenza dell’esito delle prove INVALSI nella certificazione delle competenze in livelli descrittivi distinti per Italiano (6 livelli), Matematica (6 livelli), comprensione della lettura della lingua inglese (4 livelli) e dell’ascolto (4 livelli) (art. 9, c. 3, lettera f del D. Lgs. 62/2017 e art. 4 del D. M. 742 del 3. 10. 2017) 26/11/2020 Aurelia Orlandoni 110

Le prove INVALSI e l’esame di Stato (cont. ) III secondaria di primo grado (grado 8) Nell’area riservata della scuola sul sito dell’INVALSI sarà possibile monitorare in tempo reale lo svolgimento delle prove INVALSI a livello di singolo studente Entro la fine dell’anno scolastico, prima dello scrutinio di ammissione all’esame di Stato, la scuola potrà scaricare la certificazione delle competenze di cui all’art. 4, c. 2 (Italiano e Matematica) e c. 3 (Inglese) del D. M. 742/2017 26/11/2020 Aurelia Orlandoni 111

I LIVELLI DI COMPETENZA: DAL 2018 (art. 9, c. 3, lettera f del D. Lgs. 62/2017 e art. 4 del D. M. 742 del 3. 10. 2017)

I livelli di competenza ØItaliano: 6 Livelli descrittivi ØMatematica: 6 Livelli descrittivi ØInglese: 4 Livelli descrittivi

LIVELLI DI APPRENDIMENTO 114

I livelli di competenza: esempi

I livelli di competenza: esempi

I livelli di competenza: Livello 1 Matematica

I livelli di competenza: Livello 2 Matematica

I livelli di competenza: livello 3 Matematica

I livelli di competenza: Livello 4 Matematica

I livelli di competenza: Livello 5 Matematica

Gli allievi dei livelli più bassi LIVELLO DI RISULTATI 1 -2 ITALIANO GRADO 5 50 46 46 45 43 43 36 36 35 32 32 30 40 40 40 29 31 33 32 32 33 31 31 31 28 25 20 Nord Ovest Nord Est 2012 26/11/2020 Centro 2013 2014 Sud 2015 AURELIA ORLANDONI Sud e Isole 2016 122

Gli allievi dei livelli più bassi LIVELLO DI RISULTATI 1 -2 MATEMATICA GRADO 5 50 48 46 45 45 44 40 40 40 39 37 35 35 35 33 36 35 35 36 36 34 34 33 32 30 25 Nord Ovest Nord Est 2012 26/11/2020 Centro 2013 2014 Sud 2015 AURELIA ORLANDONI Sud e Isole 2016 123

O S I R R O : S E R N I a r U e … R FINprimav PE Te» a T. o c « Io 26/11/2020 AURELIA ORLANDONI 124

… E E O I Z R A O R V G A L N O U B 26/11/2020 AURELIA ORLANDONI 125

APPENDICI DI APPROFONDIMENTO 26/11/2020 AURELIA ORLANDONI 126

Il placement 26/11/2020 AURELIA ORLANDONI 127

Il placement Utilizzando il modello di Rasch gli item vengono collocati su una scala da -4 a 4, dove -4 indica “molto facile” e 4 “molto difficile” 26/11/2020 AURELIA ORLANDONI 128

Il placement I risultati degli allievi che hanno partecipato alla prova SNV (dati campionari) vengono collocati sulla stessa scala da -4 a 4 sulla base delle risposte date In questo grafico ogni X rappresenta 42, 4 casi 26/11/2020 AURELIA ORLANDONI 129

Il placement Tutti gli studenti rappresentati dalle crocette che si trovano in una posizione inferiore a quella occupata da una data domanda hanno una scarsa probabilità (inferiore al 50 per cento) di rispondere correttamente 26/11/2020 AURELIA ORLANDONI alla domanda medesima Coloro che sono posizionati rispetto all’asse verticale al d sopra di una domanda hanno una probabilità alta (superiore al 50 per cento) di rispondere correttamente e tale probabilità aumenta all’aumentare della distanza studente domanda 130