Casaglia 1692004 Seminario per la Valutazione del Servizio

Casaglia, 16/9/2004 Seminario per la Valutazione del Servizio Scolastico organizzato dall’USR della Lombardia Intervento di Franco Tornaghi

ARGOMENTI 1. Proposta di Corso di Formazione da parte dell’INVal. SI 2. Dispensa per la lettura dei dati statistici 3. Proposta di grafici semistrutturati per le scuole lombarde

1 Proposta di Corso di Formazione da parte dell’INVal. SI

Formazione - e. VAL. 101 Villa Falconieri, 9 -10 settembre 2004 Il corso di base sulla valutazione: obiettivi, contenuti e architettura Luciano Cecconi

La mappa dei contenuti La valutazione di sistema a livello internazionale L’autovalutazione Tipi di rilevazione Analisi dei dati L’uso dei dati per il miglioramento dei processi didattici Gli strumenti di valutazione delle prestazioni degli allievi La valutazione degli apprendimenti L’analisi dei dati nelle ricerche internazionali L’approccio qualitativo alla valutazione degli apprendimenti La valutazione delle competenze

La mappa dei contenuti La valutazione di sistema a livello internazionale L’autovalutazione Tipi di rilevazione Analisi dei dati L’uso dei dati per il miglioramento dei processi didattici Gli strumenti di valutazione delle prestazioni degli allievi La valutazione degli apprendimenti L’analisi dei dati nelle ricerche internazionali L’approccio qualitativo alla valutazione degli apprendimenti La valutazione delle competenze

Architettura del corso Fa. D di tipo integrato mediazione materiale didattico strutturato didattica tutoring apprendimento collaborativo

2 Dispensa per la lettura dei dati statistici

La lettura dei dati statistici nelle indagini nazionali ed internazionali • La situazione nella scuola • Le richieste • La struttura del modulo

VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: 1 o problema La statistica è fondamentale nella valutazione dei sistemi di istruzione. Essa risponde a molteplici problemi. Uno di questi è la capacità di indirizzare la formazione dei dati e…

VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: 2 o problema. . . di leggere gli esiti della somministrazione di prove di diverso tipo.

Il Responsabile della ricerca deve • Creare la prova • Acquisire i risultati della prova

Il Responsabile della ricerca deve • Riassumere tutti i dati in pochi numeri e… • …grafici significativi Media Lombardia 20, 4 Piemonte 30, 6 Liguria 45, 9

INDAGINI STATISTICHE ESTERNE Internazionali (OCSE-PISA) Nazionali (INVALSI) Regionali (IRRE)

NECESSITA’ DELLA SCUOLA • Gruppo responsabile della valutazione • Almeno un docente con competenze statistiche

INDAGINI STATISTICHE INTERNE Certificazione di qualità Voti del singolo docente

DATI STATISTICI In ogni scuola vi è la necessità di saperli 1) formare (indagini statistiche interne) 2) leggere (indagini statistiche interne ed esterne)

DISPENSA PER LA LETTURA dei dati statistici Pensata per un docente senza particolari conoscenze matematiche

INDICE dei capitoli A. B. C. D. E. F. G. H. Punteggi normalizzati e minimo e massimo Media aritmetica Deviazione standard Coefficiente di variazione Moda Mediana e percentile Interpretazioni dei dati nelle fasce percentili Intervalli di confidenza

STRUTTURA di ogni capitolo • Teoria • Esempio completo • Esercitazione guidata • Esercitazione (con risultati)

B 1 MEDIA ARITMETICA Spiegazione • Un professore che si chiede: "Quanto è stato appreso l'ultimo argomento proposto? " non ha risposta dall'elenco dei voti assegnati nella verifica che può leggere nel registro: Bianchi 8, Bruni 5, Celeste 7, …, Negri 5 e Neri 3 (è l’ultimo dell’elenco). Al professore serve un valore che rappresenti l'andamento complessivo e quindi, sicuramente, un valore compreso tra il minimo e il massimo dei voti assegnati, ossia un valore medio ….

B 1 MEDIA ARITMETICA Spiegazione • Per ottenere la media aritmetica di una serie di punteggi assegnati in una verifica in una classe basta sommare i punteggi ottenuti dai singoli alunni e dividere per il numero degli alunni partecipanti alla verifica stessa. Nell'esempio precedente essa, indicata con M, si ottiene perciò sommando i voti di Bianchi, Bruni, Celeste… fino al voto di Neri e dividendo per il numero di studenti della classe che hanno affrontato la verifica:

B 1 MEDIA ARITMETICA Spiegazione • Richiamo di notazione matematica Utilizzando il simbolismo matematico se si indica con xi il fatto che lo studente al posto i-esimo dell'elenco della classe ha meritato il voto 5 – ad esempio , sicuramente ma non solo, visto che anche Negri ha meritato 5 –, sapendo che nella classe ci sono n studenti e che tutti hanno ricevuto il voto, la media aritmetica M si ottiene con la seguente formula

B 1 MEDIA ARITMETICA Spiegazione • o, ancor più sinteticamente, utilizzando il simbolo di sommatoria …

B 1 MEDIA ARITMETICA Spiegazione • …Si noti che di per sé frasi come "media elevata" o "media bassa" sono prive di valore se non in quanto sottintendono un paragone con altri valori di riferimento. Ad esempio una scuola che in un punteggio normalizzato ha ottenuto come media aritmetica M = 68, 4 non è ancora in grado di definirla elevata o bassa prima di poter paragonare il proprio risultato con quello ottenuto nella medesima prova ad un altro livello: se nella propria regione si legge l'informazione M = 52, 7 …

B 2 MEDIA ARITMETICA Esempio completo Media Scuola 234567 48, 0 Lombardia 52, 6 Nord Ovest 51, 7 Italia 48, 1 Istituti Superiori 45, 8

B 2 MEDIA ARITMETICA Esempio completo • Nella scuola 234567, nella prova di Italiano delle classi terze, la media (48, 0) è scarsa rispetto alla media, nella stessa prova di Italiano delle classi terze, della Lombardia (52, 6) e del Nord-Ovest (51, 7); essa è però pressoché uguale alla media ottenuta a livello nazionale fra tutte le classi terze in Italiano (48, 1) ed è elevata rispetto alla media degli analoghi Istituti superiori (45, 8). • A prescindere dai paragoni effettuati il dato 48, 0 ci informa che nella scuola 234567 gli studenti di terza hanno risposto correttamente in media al 48% delle domande del questionario di Italiano.

B 3 MEDIA ARITMETICA Esercitazione guidata Numero studente dell’elenco 1 Punteggio 15 2 17 3 10 … … 12 Assente 13 21

B 3 MEDIA ARITMETICA Esercitazione guidata 1) Determinare la media aritmetica dei punteggi assegnati; 2) spiegare il significato del valore ottenuto; 3) la media ottenuta è elevata o bassa, ovvero il docente può ritenersi soddisfatto del risultato della classe?

B 3 MEDIA ARITMETICA Esercitazione guidata • Risposte 1) Partecipando alla verifica in 12 si ottiene 2) Se ognuno dei 12 studenti avesse ottenuto il punteggio 17, 666666…la somma dei punti sarebbe la stessa della somma dei punti effettivamente distribuiti, ossia 212: 17, 666666… 12 = 212 3) Nulla si può dire: dipende dalle aspettative del docente. Ad esempio, se avesse fissato la soglia di riferimento come soglia della sufficienza, a 20 (a livello tecnico essa si chiama anche "livello criteriale" o “cut-off score”), , dovrebbe essere insoddisfatto, mentre se l’avesse fissata a 12 dovrebbe essere soddisfatto.

B 3 MEDIA ARITMETICA Esercitazione guidata Il problema degli assenti Poniamo che nella verifica di recupero – col medesimo testo – i 3 assenti abbiano ottenuto i seguenti punteggi …

B 4 MEDIA ARITMETICA Esercitazioni • 1. Nella stessa classe dell'esercitazione guidata, costituita da 15 alunni, durante un compito di Inglese con 35 punti a disposizione si è avuta la seguente distribuzione di punteggi…

B 4 MEDIA ARITMETICA Esercitazioni a. b. c. d. e. Determinare la media aritmetica dei punteggi assegnati. Spiegare il significato del valore ottenuto. E' possibile stabilire se la classe ha maggiori conoscenze/abilità in Inglese o Storia? Le 2 persone assenti, nel recupero sul medesimo testo, hanno ottenuto rispettivamente i punteggi 20 e 24. Cosa si può dire a priori sulla media aritmetica dei punteggi dell'intera classe? E, calcolandola, cosa si ottiene? Se invece i 2 assenti avessero ottenuto rispettivamente i punteggi 20 e 30 come si sarebbe risposto alle domande del punto precedente?

B 4 MEDIA ARITMETICA Esercitazioni • R: a. M=25, 46 b. Se ogni studente avesse ottenuto il punteggio pari alla media aritmetica il totale dei punteggi sarebbe stato il medesimo di quello effettivamente assegnato. Si noti che, a causa dell'approssimazione effettuata sulla seconda cifra decimale della media aritmetica M, l'affermazione appena scritta è vera se M non è approssimata. Ad esempio, nel caso in questione, i punteggi assegnati sono in totale 331 ( ), mentre se ogni studente avesse ottenuto il punteggio 25, 46 i punteggi assegnati sarebbero risultati pari a 25, 46 13 = 330, 98. c. No.

B 4 MEDIA ARITMETICA Esercitazioni d. La media della classe si è abbassata, essendo sia 20 che 24 inferiori a M=25, 46. La nuova media è e. A priori non si può ora dire se la media aumenta, diminuisce o resta uguale. Nel caso in questione quindi è di poco diminuita.

3 Proposta di grafici semistrutturati per le scuole lombarde

DATI RESTITUITI per ITALIANO Punteggio medio Scuola 23242 67, 7 65, 8 Lombardia 62, 3 (1, 2) 67, 7 64, 5 Nord Ovest 67, 7 64, 5 67, 7 63, 2 Italia 67, 6 Moda Mediana 62, 1 62, 2 (0, 8)

DATI RESTITUITI per ITALIANO Punteggio medio Moda Classe 2324201 Classe 2324202 Classe 2324203 Classe 2324204 Classe 2324205 Mediana 66, 8 77, 4 67, 7 68, 4 67, 7 58, 6 54 60, 3 64, 0 61, 5 65, 2 70, 2 78, 8 73, 0