Il contributo delle rilevazioni internazionali e nazionali al

Il contributo delle rilevazioni internazionali e nazionali al miglioramento educativo Stefania Pozio – SNV INVALSI

W. Edward Deming (1900 -1993)

" Without data, you’re just another person with an opinion". (A. Schleicher) Division Head and coordinator of the OECD Programme for International Student Assessment (PISA)

Indagini internazionali e nazionali: diversi obiettivi Indagini internazionali: di sistema v offrono dati sulle prestazioni degli studenti comparabili a livello internazionale v permettono di individuare punti di forza e di debolezza del proprio sistema scolastico v ricercano fattori antecedenti e correlati del profitto scolastico (e in che misura operano nello stesso modo in diversi contesti) … Indagini nazionali: dal sistema alle singole scuole v accertano i livelli di apprendimento degli studenti italiani in italiano e in matematica v offrono dati comparabili a livello nazionale, regionale e a livello di singola scuola e classe

Le novità del 2015 nella restituzione dei risultati INVALSI alle scuole

PLANNING 1. Tempi restituzione dati INVALSI alle scuole 2. Le principali novità Ø Ø Ø Trend 2013 -2015 Microdati per alunno Questionario studente Ø Le dimensioni di Matematica 3. IL Qd. R di Matematica e le Indicazioni nazionali 2012 4. Strumenti INVALSI

1. Tempi di restituzione Risultati alle scuole Ø PRIMARIA 2 settembre 2015 Ø SECONDARIA DI I GRADO 15 settembre 2015 Ø SECONDARIA DI II GRADO 15 ottobre 2015 STRUMENTI v RAPPORTI 2015 9 luglio 2015 v GUIDE 2015 senza i risultati 15 luglio 2015 v GUIDE 2015 con Dimensioni 7 ottobre 2015 https: //invalsi-areaprove. cineca. it/index. php? form=precedenti_strumenti v Risultati per TIPOLOGIA di scuola dicembre 2015

2. NOVITÁ 2015: generali Tutte le tavole dei risultati in formato EXCEL

2. NOVITÁ 2015: generali In un unico file excel sono presenti tutte le tavole dei dati restituiti

2. NOVITÁ 2015: generali

2. NOVITÁ 2015: generali Punteggi generali Dettagli prova ITA Dettagli prova MAT Livelli Correlazioni Dettagli item ITA Dettagli item MAT

Il cheating

2. NOVITÁ 2015 DETTAGLI QUESTIONARIO MICRODATI TREND

2. NOVITÁ 2015 2. 1 TREND 2013 -2015

2. NOVITÁ 2015 2. 1 TREND 2013 -2015 Nel 2013 il dato osservato non è stato rilasciato. E’ stato rilasciato solo quello corretto dal cheating

2. 1 TREND 2013 -2015 http: //www. invalsi. it/invalsi/statapp. php? page=progetto

2. 2 MICRODATI • Microdati_5_cnt contesto • Microdati_5_ita risposte • Microdat_5_mat risposte • Microdati_5_pnt punteggi • Microdati_5_qst • Microdati_5_tracciato questionario legenda

2. 2 MICRODATI Punteggio grezzo Punteggio % Codice studente Punteggio normalizzato (200)

2. 2 MICRODATI A che cosa mi possono servire i microdati? Ø Seguire nel tempo i risultati di ogni studente (Liv. 02 -05 -08) Ø Matematica: individuare gli studenti in difficoltà e correlare con alcuni item «pivot» (item sulla linea dei numeri) Ø Contesto: individuare per alcune categorie di allievi le parti di Matematica dove ci sono difficoltà o eccellenze Ø Questionario studente: collegarlo al Contesto Ø ………. .

2. 3 QUESTIONARIO studente (liv. 05 -10) Si potrebbero selezionare una serie di domande utili per la scuola o per la classe da analizzare (si scarica naturalmente il formato ecxel)

2. 5 DETTAGLI MATEMATICA

2. 5 DETTAGLI MATEMATICA: DIMENSIONI Dimensioni Classi SCUOLA

2. 5 DETTAGLI MATEMATICA: DIMENSIONI Ø Come nascono? Ø QDR: contenuti e processi Ø Guide: scopo della domanda (question intent) e traguardi per lo sviluppo delle competenze Ø MACRO-PROCESSI Ø 1. Processi accorpati (Conoscenze e procedure, Fino al 2012 2013 -2014 Modellizzare, Argomentare, Rappresentazioni) Ø 2. PISA 2012 (Formulare, Utilizzare, Interpretare) Ø 3. Traguardi per lo sviluppo delle competenze (Indicazioni 2012) (Conoscere, Risolvere problemi, Argomentare) Dal 2015

2. 5 DETTAGLI MATEMATICA: DIMENSIONI 2. (2014) Formulare, Interpretare, Utilizzare (PISA 2012) 3. (2015) Conoscere, Risolvere problemi, Argomentare 1 (2012). Concetti e procedure, Rappresentazio ni, Modellizzare, Argomentare

Tabella scuola primaria https: //invalsi-areaprove. cineca. it/docs/attach/2015_guida_L 05_SETTEMBRE. pdf

Tabella scuola secondaria di I grado https: //invalsi-areaprove. cineca. it/docs/attach/2015_guida_L 08_SETTEMBRE. pdf

Tabella scuola secondaria di II grado https: //invalsi-areaprove. cineca. it/docs/attach/2015_GUIDA_L 10_SETTEMBRE. pdf

gestinv: uno strumento per la didattica http: //www. gestinv. it/

Tutte le domande che fanno riferimento alla dimensione 3 ARG per il livello 08 % corrette %%errate mancanti

Per ogni domanda: testo, risultati e curve caratteristiche

Come accedere alla piattaforma? Mail a info@gestinv. it

Uso dei dati INVALSI DATI INVALSI Percorso di autovalutazione Potenziamento e miglioramento dell’azione didattica istituto e singola classe 11/5/2020 32

UTILIZZARE I RISULTATI DELLE PROVE PER MIGLIORARE LA DIDATTICA 11/5/2020 33

Analisi delle risposte degli studenti alle domande a scelta multipla matematica

% risposte corrette %scelta distrattori

% risposte corrette % scelta distrattori

Difficoltà: 1, 46

Punti critici della didattica

Analisi delle risposte aperte degli studenti

Potenzialità prove Invalsi • E’ dall’errore che buona parte dell'apprendimento ha origine, in particolar modo per quel che riguarda la matematica. • E’ importante riconoscere sempre nell'errore un'occasione di apprendimento per tutti (chi l'ha compiuto, chi non l'ha compiuto e l'insegnante) per cercare il misconcetto o la lacuna che l'ha generato e quindi realizzare un recupero autentico. 45

Tanti esercizi sui polinomi e poi alle prove INVALSI ……. .

Procedimenti inizialmente corretti Pi greco sparisce Tutto corretto fino a qua

Analisi delle risposte aperte degli studenti 80% risposte errate 14%risposte corrette

Alcune risposte degli studenti • Giulio ha ragione perché già si capisce dalla parola, ma anche perché l’unità di misura è di 1 cm • Giulio ha ragione perché se un lato dell’ottagono è di 1 cm, l’ottagono ha 8 lati, quindi è di 8 cm • Giulio ha ragione perché i lati sono 8 e sono tutti uguali • Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che le diagonali misurano come il lato il perimetro di 8 cm • Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i lati che tagliano il quadratino come una diagonale, perché essendo un quadrato misura uguale) • Giulio ha ragione perché visto che il quadrato è uguale di diagonale basta vedere i suoi bordi quanti quadretti sono • Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm

La cosa interessante di questo item è come gli studenti interpretano la regolarità. Cioè pochi si accorgono che da un giorno all’altro il numero di batteri aumenta del 10%.

1452 1573 1694 Lo studente aumenta la 2° cifra di 1, la 3° cifra di 2 e la 4° di 1 Più di uno studente aumenta sempre di 1 le due cifre centrali e l’ultima cifra (partendo da 1331) 1442 1553 1664

792 - 531= 261/100 = 2, 61% Licei Tecnici Profess

792% (2001) 531% (2003) 792% - 531% = 261%

D 18 Risposte errate: - 63 giorni - 81 giorni - 168 giorni (il doppio) - 42 giorni (la metà) Indice di difficoltà 1, 04 Correlazione punto biseriale 0, 56 Licei Tecnici Profess

Il calcolo del m. c. m. : sempre per tentativi, nessuno studente che abbia usato la scomposizione in fattori primi

Lo scopo della domanda e la % di risposte corrette 48% risposte errate 43%risposte corrette 14, 8% 16, 7% 44, 1% 19, 6%

La risposta è corretta: siamo soddisfatti?

Computer-based Assessment • Kim & Huynh (2007) hanno svolto un’indagine comparativa raffinata, tenendo conto di diversi strumenti statistici quali: curve caratteristiche, funzioni di informazione dei test, stime di Rasch, … concludendo che non esistono differenze significative da un punto di vista statistico tra un test somministrato su carta e uno informatizzato.

Computer-based Assessment • abbassare i costi di somministrazione • restituire immediatamente la misura dei punteggi e l’analisi dei dati: feedback istantanei • efficienza della misurazione –limitare possibili errori in fase di codifica e raccolta dati –arricchire tale raccolta –personalizzazione del test per ogni singolo utente (CAT)

Problemi • • • Ampia finestra di somministrazione Elevato numero di item Prove differenti Equivalenze tra le diverse prove Influenza della familiarità con il mezzo informatico

Il ruolo del questionario studente

IL COSTRUTTO DELLA COMPETENZA L’iceberg della competenza* Prestazioni osservabili del soggetto Componente latente che richiede un’esplorazione di dimensioni interiori connesse ai processi motivazionali, volitivi, socioemotivi *Castoldi, 2009

Componente latente: i questionari • Raramente le difficoltà di uno studente sono dovute solo a carenze di conoscenze. • Possono dipendere: – Atteggiamenti negativi quali mancanza di interesse, di determinazione, di motivazione. – Insicurezza, fatalismo (con conseguente delega all’insegnante della responsabilità dell’apprendimento). – Emozioni negative quali noia, ansia, paura. 67

II secondaria II grado

Indice dello status socioeconomico e culturale (ESCS) ESCS HISEI HOMEPOSS (Highest Parental Occupation Status) (Home Possession) ISCED (International Standard Classification of Education) Qual è il lavoro Qual è il titolo di studio principale di tua più alto conseguito da tua 69 madre/padre? Stefania Pozio _ Centro Nazionale PISA

HOME POSSESSION (1) 70

HOME POSSESSION (2) 71

PISA 2012 - L’autoefficacia e il rendimento in matematica • Definizione di autoefficacia: • “Convinzione nelle proprie capacità di organizzare e realizzare il corso di azioni necessario a gestire adeguatamente le situazioni che si incontreranno in modo da raggiungere i risultati prefissati” (Bandura, 1986). § L’autoefficacia gioca un ruolo importante nel determinare il comportamento, cioè il sentirsi sicuri rispetto a uno specifico problema è cruciale per la capacità dell’individuo di risolvere quel problema. § Per l’Italia il senso di autoefficacia determina una differenza fino a circa 50 punti. Stefania Pozio _ Centro Nazionale PISA

PISA 2012 29% Molto capace 26% Molto capace 55% Molto capace 16% Molto capace 14% Molto capace

PISA 2003 – Autoefficacia e risultati in matematica degli studenti italiani 525 407 Stefania Pozio _ Centro Nazionale PISA

Cosa è PISA

PRESENTAZIONE DELL’INDAGINE Cosa è PISA? • OCSE - Organizzazione per la Cooperazione e lo Sviluppo Economico • PISA - Programme for International Student Assessment • Indagine internazionale promossa per rilevare le competenze dei quindicenni scolarizzati. • Si svolge con periodicità triennale (prima indagine 2000). • PISA ha l’obiettivo generale di verificare se, e in che misura, i giovani che escono dalla scuola dell’obbligo abbiano acquisito alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società e per continuare ad apprendere per tutta la vita.

Che cosa rileva PISA • Obiettivi principali di PISA: § mettere a punto indicatori relativi al rendimento scolastico degli studenti quindicenni, in funzione della comparazione dei sistemi scolastici dei paesi membri dell’organizzazione; § individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori, in termini di livello medio delle prestazioni e di dispersione dei punteggi, in modo da trarre indicazioni relative all'efficacia delle politiche scolastiche nazionali; § fornire con regolarità dati sui risultati dei sistemi di istruzione, in modo da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare le politiche educative e scolastiche.

Quadro di riferimento del PISA: dal 2003 al 2012 Calcolatrice (PP) oppure per CBT “La Mathematical Literacy la capacità di un individuo di individuare e software statistici, applicazioni per la comprendere il ruolo che la matematica gioca nel mondo reale, di visualizzazione e costruzione geometrica operare valutazioni fondate e di utilizzare la matematica e e strumenti di misurazione virtuali confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo. ” La literacy matematica è « la capacità di una persona di formulare, utilizzare e interpretare la matematica in svariati contesti. Tale competenza comprende la capacità di ragionare in modo matematico e di utilizzare concetti, procedure, dati e strumenti di carattere matematico per descrivere, spiegare e prevedere fenomeni. Aiuta gli individui a riconoscere il ruolo che la matematica gioca nel mondo, a operare valutazioni e a prendere decisioni fondate che consentano loro di essere cittadini impegnati, riflessivi e con un ruolo costruttivo. » .

Le novità del PISA 2012 • Cambia il quadro di riferimento • La rilevazione computerizzata della matematica è un elemento di assoluta novità in PISA 2012 ed è proposta come opzione ai paesi partecipanti • Introduzione della Financial Literacy • Ritorna il Problem Solving

Qd. R PISA 2012 Matematica Il ciclo della matematizzazione Processi matematici (ciò che fanno gli studenti per collegare il contesto del problema alla matematica e quindi risolvere il problema)

Un consiglio comunale vuole posizionare un palo della luce in un parco pubblico di forma triangolare in modo che il parco sia illuminato in modo omogeneo. In quale punto è meglio che posizioni il palo della luce?

Dare una rappresentazione di una situazione utilizzando la Matematica (formulate) Capacità di un individuo di riconoscere e identificare opportunità per utilizzare la matematica e così fornire una struttura matematica a un problema presentato in un contesto reale. CONTESTO: Personale CONTESTO: Sociale

Impiegare concetti, fatti, procedure e ragionamenti matematici (employ) Capacità di un individuo di applicare concetti, fatti, procedure e ragionamenti per risolvere problemi matematici al fine di ottenere conclusioni matematiche. CONTESTO: Occupazionale

86

Interpretare, applicare e valutare risultati matematici (interpret) Capacità di un individuo di riflettere su soluzioni, risultati e conclusioni matematiche e interpretarle alla luce del contesto dei problemi di vita reale. Questo comprende anche il saper tradurre le soluzioni o i ragionamenti ritornando al contesto del problema e determinare se i risultati hanno senso in quel determinato contesto. RIFIUTI CONTESTO: Scientifico Nell’ambito di una ricerca sull’ambiente, gli studenti hanno raccolto informazioni sui tempi di decomposizione di diversi tipi di rifiuti che la gente butta via: Tipo di rifiuto Uno studente prevede di presentare i risultati con un diagramma a colonne. Scrivi un motivo per cui un diagramma a colonne non è adatto per rappresentare questi dati. Tempo di decomposizione Buccia di banana 1– 3 anni Buccia d’arancia 1– 3 anni Scatole di cartone 0, 5 anni Gomma da masticare 20– 25 anni Giornali Pochi giorni Bicchieri di plastica Oltre 100 anni

SUFFICIENTE

Livello 3 4 Livello 1

La domanda più difficile di PISA 2012 Livello 6 Livello 3

Financial Literacy Un insieme di conoscenze e capacità di comprensione di concetti di carattere finanziario, unito alle abilità, alla motivazione e alla fiducia nei propri mezzi che consentono di utilizzare quelle stesse conoscenze e capacità per prendere decisioni efficaci di carattere finanziario in molteplici e diversi contesti, per migliorare il benessere degli individui e della società e per consentire una partecipazione consapevole alla vita economica. Prove su supporto cartaceo 93

situazioni nelle quali sono applicate conoscenze, abilità e cognizioni relative all’ambito considerato strategie cognitive o approcci richiesti per affrontare i materiali proposti porzione di conoscenze e cognizioni indispensabili nell’ambito della literacy

Contenuti Processi • Denaro e transazioni • Identificare informazioni finanziarie • Pianificazione e gestione delle finanze • Analizzare informazioni in un contesto finanziario • Rischio e rendimento • Ambiente finanziario • Valutare questioni finanziarie • Applicare conoscenze e Contesti cognizioni in ambito • Scolastico e lavorativo finanziario • Domestico e familiare • Individuale e Sociale

Processi Identificare informazioni finanziarie BUSTA PAGA Domanda 1 Analizzare informazioni in un contesto finanziario NUOVA OFFERTA D 1 – punteggio parziale NUOVA OFFERTA D 1 – punteggio pieno Valutare questioni finanziarie NUOVA OFFERTA Domanda 2 Applicare conoscenze e cognizioni in ambito finanziario Categoria di contenuto Denaro e transazioni BUSTA PAGA Domanda 1 Pianificazione e gestione delle finanze NUOVA OFFERTA D 1 – punteggio parziale NUOVA OFFERTA Domanda 2 NUOVA OFFERTA D 1 – punteggio pieno

Livello 4

Ha del denaro in più da spendere Livello 3 - 5 Il tasso di interesse è più basso 13% di 10. 000 è superiore al 15% di 8. 000. Aumenterà il suo debito. Livello 4

Pianificazione e gestione delle finanze Livello 2

I risultati di PISA 2012 I sistemi scolastici migliori sono quelli che • 1) hanno riportato un punteggio sulla scala delle competenze matematiche superiore al punteggio medio dell’OCSE (494) • 2) l’impatto dello ESCS degli studenti sulle performance in matematica è minore della media OCSE

Media OCSE 494 % della variazione dei punteggi in matematica spiegata dall’ESCS 14, 6% media OCSE

Risultati in Lettura PISA 2009 e benessere nazionale

La spesa per l’istruzione spiega Risultati in Matematica PISA 2012 e spesa per studente meno del 20 per cento delle diversità di rendimento tra studenti nei paesi industrializzati: la differenza sta nel come le risorse vengono investite In migliaia di dollari USA convertiti usando la parità di potere d’acquisto Italia e Singapore più o meno la stessa spesa (85000 $) ma punteggi molto differenti (485 versus 573

Risultati in Matematica PISA 2012 e spesa per studente In migliaia di dollari USA convertiti usando la parità di potere d’acquisto

Risultati in Matematica PISA 2012 e stipendio dei docenti

Relazione tra voti scolastici in Matematica e risultati in matematica PISA 2003 Fonte: Elaborazione sul dataset PISA 2003 dell’Italia

Voti scolastici e risultati nel test PISA 2009 di comprensione della lettura per macro-area

http: //cbasq. acer. edu. au/index. php? cmd=to. Problem. Solving

PISA 2015 v. Competenza scientifica v. Prove solo computerizzate v. Max 42 studenti per scuola v. Ci sarà ancora la Financial literacy

IL TIMSS v. Trends in International Mathematics and Science Study. v. Fornisce informazioni che permettono di migliorare l’insegnamento e l’apprendimento della matematica e delle scienze. v. Riguarda studenti di IV elementare e III media. v. Viene effettuato ogni 4 anni. v. Il primo ciclo è stato nel 1995 (41 paesi) e l’ultimo nel 2011 (circa 60 paesi).

Cosa intende misurare il TIMSS v. Punto di partenza è l’analisi dei curricoli delle nazioni partecipanti v. Su questa base, vengono definite le conoscenze e le competenze che verranno valutate v. Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso. v. Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento.

Livello basso Livello intermedio

Livello alto

Livello avanzato

121