Restituzione Daniele Pitturelli Pavia 24 aprile 2007 Ferrari

Restituzione Daniele Pitturelli Pavia – 24 aprile 2007

Ferrari (2004, p. 62), per quanto riguarda la valutazione di un contesto educativo, sottolinea l’importanza dell’intersoggettività del percorso e chiarisce che l’analisi si svolge su tre piani che si intersecano tra loro: • i punti di vista tra i diversi valutatori, • l’idea di qualità che è presente nello strumento proposto e in coloro che lo utilizzano

Da questa riflessione nasce, a livello metodologico, la centralità della fase di restituzione degli esiti di un processo valutativo, elemento fondamentale per la riuscita di un’indagine.

q Uno degli scopi principali di una ricerca in un contesto educativo è, infatti, riuscire a modificare la situazione di partenza, creando le condizioni per introdurre significativi cambiamenti e per attivare processi di innovazione (Beeby, 1977; Wolf, 1987).

q Il momento della restituzione non si limita a una verifica dei punteggi assegnati tramite lo strumento, ma consiste nel mettere in relazione differenti punti di vista e nel favorire una discussione in grado di far emergere le motivazioni e le ragioni più profonde del proprio valutare, alla ricerca dei significati espliciti e impliciti del nostro modo di intendere la realtà.

• All’interno della fase di restituzione che, come si è visto, è punto di arrivo e di partenza di un processo valutativo, coesistono e si intrecciano temi complessi quali: a) le relazioni tra le scelte degli individui e le esigenze proprie dell’istituzione; b) la tensione, all’interno di un contesto formativo, tra ‘essere’ e ‘dover essere’ , tra un’immagine di scuola ideale e la scuola reale, così come si definisce nel suo agire e farsi concreto; c) la ricerca delle motivazioni che spingono gli attori coinvolti ad operare determinate scelte che avvengono sulla base di complessi processi di mediazione, di negoziazione e di condivisione.

Dewey e il percorso transattivo (Dewey 19291951) Assunto di base: Conoscenza è transazione, un processo a spirale senza fine che coinvolge tutti gli attori nella presa di decisioni.

Il percorso transazionale (Dewey 1929 -1951) § Coinvolgimento dei diversi attori sociali nel processo di crescita e di confronto § Riorientamento delle scelte e delle decisioni circa l’organizzazione di un dato contesto § Negoziazione tra diversi saperi di differenti soggetti che giocano ruoli non omogenei sulla scena

Valutazione di quarta generazione (Guba e Lincoln, 1989) “Una forma di valutazione in cui le dichiarazioni, le preoccupazioni e le questioni degli stakeholders fungono da fuochi organizzativi” (Guba e Lincoln, 1989) • Richiamo a un paradigma costruttivistico che orienta l’azione del valutare a partire dagli stakeholders coinvolti nel processo.

Valutazione di quarta generazione (Guba e Lincoln, 1989) Assunto di base: Nel processo valutativo tutti gli attori sono chiamati a co-costruire conoscenza e sapere circa un dato fenomeno che si definisce e ridefinisce nel confronto.

Processo valutativo (Guba e Lincoln, 1989) • Identificare con precisione gli stakeholders • Far emergere i diversi punti di vista dei diversi attori/gruppi circa l’oggetto della valutazione • Creare un contesto di dialogo/interazione • Valorizzare i diversi punti di vista • Negoziare circa gli aspetti poco condivisi • Raccogliere e fornire informazioni utili al processo di negoziazione • Stimolare la discussione circa gli esiti della valutazione • Trovare accordi e soluzioni condivise • Valutazione come percorso a spirale aperta/ Continua negoziazione di significato

Le relazioni presentate alle scuole: schemi interpretativi. üDurante la fase di restituzione è utile fornire alcuni schemi interpretativi ai gruppi che hanno partecipato alla valutazione. üGli incontri, di volta in volta verbalizzati, offrono una preziosa serie di informazioni. Si tratta, anzitutto, di dati “qualitativi” che emergono dalle relazioni elaborate per le scuole.

üLe relazioni, elaborate sulla base di uno schema comune, sono comprensive anche dei dati di natura “quantitativa” che si analizzano al fine di discutere le questioni relative all’affidabilità dello strumento, ma che non escludono ulteriori riflessioni di tipo comparativo.

üA ciascun istituto può essere restituita una relazione dettagliata con l’analisi delle misure di tendenza centrale e una serie di grafici in linea capaci di visualizzare l’andamento, così come si è indicato nelle tabelle che seguono e che concernono gli indicatori per la valutazione e dei criteri interpretativi.

Indicatori per la valutazione della scuola 1 2 3 4 5 6 7 8 Punteggi Medi Deviazione Standard. Moda Media Aree Grafici in linea - Valutazione della scuola (generale) Grafici in linea - Confronto valutazione della scuola/dv. st. . Grafici in linea - Confronto valutazione della scuola item Area/dv. st Commento analitico delle carenze (item/area) espresse dai valutatori

Punti di forza e punti di debolezza di una scuola Ai valutatori può essere fornita inoltre una tabella utile per individuare i punti di forza e i punti di debolezza di una scuola, sulla falsariga di altre ricerche di valutazione formativa compiute dal gruppo pavese (Gusmini , 2004, pp. 223 -253)

Situazione Media Val. item Dv. St. Commento Punti di forza ALTA (riconosciuti da tutti) BASSA I valutatori riconoscono i punti di forza della scuola in modo condiviso. Si attribuiscono capacità di offrire buona qualità nell’ambito di contenuto definito dall’item. Punti di forza ALTA (non riconosciuti da tutti) ALTA Una parte dei valutatori non condivide la buona qualità attribuita dagli altri. La qualità dell’offerta non è riconosciuta in modo condiviso. Punti di BASSA debolezza (carenze non riconosciute da tutti) ALTA La scarsa qualità offerta non è riconosciuta in modo condiviso. Esiste una frammentazione nelle percezioni della qualità, prevale una visione negativa. Punti debolezza (carenze) BASSA I valutatori riconoscono, in modo condiviso, carenze nella qualità offerta nell’ambito di contenuto definito dall’item. di BASSA

Un esempio di restituzione. • La restituzione comporta una relazione dettagliata circa gli esiti della valutazione condotta dagli insegnanti e tutte le scuole che hanno partecipato hanno ricevuto un documento costruito secondo il seguente schema. • Si riporta, a titolo di esempio di un lavoro svolto in un gruppo di scuole, lo schema di una relazione dopo l’uso dello strumento SASI-S (II).

La prima parte della relazione: uno sguardo d’insieme A) Il verbale del I incontro, elaborato in forma sintetica, riporta le principali informazioni che sono state comunicate nel corso della riunione: la presentazione dello strumento, le procedure per l’operazione di testing (attribuzione del punteggio, raccolta dei fogli di risposta, restituzione dei risultati).

B) La lettura dei dati: la relazione, fornisce una prima chiave interpretativa sulla base di alcune indicazioni tratte dal lavoro di ricerca di Gusmini (2004, pp. 223 -253). Si sottolineano, in particolare, i punti di forza e i punti di debolezza della scuola. C) La composizione e il comportamento valutatorio del gruppo: si indica il numero delle persone che hanno valutato la scuola, specificando la qualifica e il ruolo che giocano all’interno dell’organizzazione e si segnalano gli item non valutati. È un primo momento di riflessione circa l’uso dello strumento e di verifica della sua applicabilità.

D) L’analisi dei dati relativi alla valutazione della scuola: mette in luce il punteggio medio espresso dal gruppo e sottolinea l’omogeneità o la difformità di valutazione al suo interno. I punteggi medi del gruppo per ciascuna area sono riportati, secondo un ordine decrescente, in una tabella. I grafici in linea, come si può vedere nel grafico seguente, permettono il confronto tra il punteggio medio degli item e la deviazione standard.

Esempio: analisi dei dati relativi alla valutazione operata dal gruppo di insegnanti del Liceo XXX üpunteggio medio espresso dal gruppo = 3. 1. üEsiste una marcata differenziazione all’interno del gruppo dei valutatori ü il punteggio medio dei singoli valutatori: [Val 1, (4. 2); Val 2, (2. 4); Val 3, (2. 6); Val 4, (3); Val. 5, (2. 7); Val. 6 (2. 6); Val. 7 (4. 1)] ü 4 valutatori assegnano un punteggio medio al di sotto della situazione 3, mentre 3 valutatori attribuiscono un punteggio abbastanza elevato che varia da 3 a 4. 2.

Un altro dato interessante riguarda i punteggi medi espressi dal gruppo dei valutatori per ciascuna area dello strumento. • Le aree dello strumento che ottengono i punteggi medi più elevati sono: 9. Il sostegno (3. 7) e 10. Rapporti con il territorio (3. 7), seguono l’area 8. I rapporti con gli alunni con 3. 6 e l’area 4. La progettualità (3. 4). • Le aree 1. Organizzazione e gestione della scuola (3. 2), 3. La valutazione (3. 1) e 2. La professionalità docente (3) ottengono un punteggio uguale o poco superiore al 3. • Le aree che ottengono i punteggi medi meno elevati sono: 7. I rapporti con le famiglie (2. 8), 6. Le relazioni interne (2. 6) e 5. La struttura e le risorse (2, 4).

E) Si passano in rassegna gli item con i punteggi medi più alti, punti di forza, gli item con i punteggi medi meno elevati, punti critici o di debolezza della scuola. F) Particolare attenzione viene prestata all’analisi della deviazione standard. Gli item con la deviazione standard più elevata indicano una difformità di giudizio tra i soggetti che osservano la stessa realtà.

Le cause dell’emergere di una valutazione discrepante all’interno del gruppo, in questo caso, possono dipendere da molti fattori quali: qun’analisi superficiale delle situazioni indicate dall’item, q la scarsa chiarezza di alcuni termini, ql’ambiguità del lessico o delle situazioni presentate, q le informazioni limitate che un singolo valutatore può avere circa l’argomento trattato, ql’adesione non piena alla filosofia di qualità proposta dai diversi item dello strumento (Bondioli, 2004, p. 288).

Gli item con la deviazione standard meno elevata: sottolineano una omogeneità di giudizio all’interno del gruppo dei valutatori. Questo comune guardare alla stessa realtà può dipendere da molti fattori quali la partecipazione coerente e convinta alle scelte operate, le informazioni e le conoscenze condivise circa l’argomento, l’adesione ai criteri di qualità intrinseci nello strumento.

G) Si discutono gli item con i valori di moda più e meno elevati: la moda rappresenta un indice di posizione che permette di stabilire il valore che appare più frequentemente fra i risultati della prova; Øè facile da individuare e permette di evidenziare con immediatezza il punteggio raggiunto dalla maggior parte dei valutatori. ØLa presenza di item con più mode (bimodali o trimodali), a volte collocate agli estremi del punteggio previsto, permette di riflettere sulla discrepanza di giudizio all’interno del gruppo.

La seconda parte della relazione: analisi delle aree e delle carenze. La seconda parte della relazione prosegue con un’analisi approfondita delle aree sottoposte a valutazione e un commento relativo alle carenze individuate dai valutatori.

• Tali osservazioni forniscono una base di discussione per altri incontri che il gruppo può svolgere successivamente allo scopo di prendere decisioni, operare cambiamenti, introdurre innovazioni. • Attraverso le tabelle e i grafici si mettono in evidenza i punti di forza e i punti di debolezza della scuola, si possono presentare i risultati più significativi e fare, utilizzando le chiavi interpretative, le opportune considerazioni circa il comportamento valutatorio e i valori di media registrati.

• Una serie di grafici in linea, sul modello del grafico qui riportato, visualizza l’andamento della valutazione nelle dieci aree dello strumento e permette di stabilire confronti tra la valutazione della scuola e la deviazione standard.

La terza parte della relazione: dalla valutazione dello strumento alle proposte di riflessione I risultati della valutazione criteriale sono esposti in una relazione che segue le indicazioni fornite in precedenza e che mette in luce gli aspetti più significativi. Anche per quanto riguarda la valutazione criteriale, come si può vedere dalla tabella, si tiene conto degli stessi indicatori utilizzati per la valutazione della scuola.

Indicatori per la valutazione criteriale 1 2 3 4 5 6 7 8 Punteggi Medi Deviazione Standard. Moda Media Aree Grafici in linea - Valutazione dello strumento (generale) Grafici in linea - Confronto valutazione dello strumento/dv. st. . Grafici in linea - Confronto valutazione dello strumento item Area/dv. st Commento analitico delle carenze (item/area) espresse dai valutatori

Ai valutatori può essere fornita questa tabella utile per individuare la capacità degli item di riscontrare la qualità del servizio del contesto scolastico.

Situazione Media Val. item Dv. St. Commento Pertinenza ALTA riconosciuta e condivisa BASSA I valutatori riconoscono a questi item alta valenza nella loro rilevanza ai fini della costruzione di una qualità educativa. Pertinenza non riconosciuta BASSA I valutatori non riconoscono a questi item capacità di rilevare una qualità educativa. ALTA Vi sono percezioni diverse tra i valutatori sull’importanza da attribuire a questi item ai fini della costruzione di una qualità educativa. BASSA Pertinenza ALTA riconosciuta ma non condivisa da tutti

• Si è quindi proceduto, come consigliato dagli autori del QUAFES e dell’ASEI (Darder, Mestres, 1994 -2000), mettendo a confronto la valutazione del servizio e la valutazione criteriale • Ai valutatori sono state delle indicazioni utili, così come riportato nella tabella seguente. • Cfr. il lavoro di Darder e Mestres per lo strumento ASEI, in Gusmini, 2004, nota 6, p. 248.

• Si è fornita, inoltre, una visualizzazione grafica che pone a confronto la valutazione del servizio e la valutazione criteriale.

Situazione Punteggio attribuito al servizio A Manteni mento + Punteggio + attribuito all’item (Valutazione criteriale) B C D Revisione dei Piano Sensibilizza criteri assunti d’intervento zione e formazione + - - + -

• Situazione A + +: esiste coerenza perché il punteggio attribuito al servizio è alto, così come quello assegnato agli item • Situazione B + -: il punteggio attribuito al servizio è alto, la valutazione criteriale è bassa; occorre che i valutatori riflettano circa i valori attribuiti agli item e nei confronti degli assunti di base sottesi alla costruzione degli item. Una maggiore sensibilizzazione, un’opera di motivazione del gruppo dei valutatori può modificare l’atteggiamento e limitare le difficoltà in un piano d’intervento migliorativo del servizio.

• Situazione C - +: il punteggio attribuito al servizio è basso, mentre la valutazione criteriale è alta. Si può pensare che esista una certa predisposizione dei valutatori al cambiamento e all’innovazione e che si possa predisporre in modo condiviso un piano di miglioramento. • Situazione D - -: il punteggio attribuito al servizio è basso, così come la valutazione criteriale. Sembra necessaria una riflessione più approfondita e una strategia di sensibilizzazione e di formazione dei valutatori circa i contenuti trattati. La modifica del proprio atteggiamento nei confronti degli aspetti considerati è la premessa per poter programmare iniziative di miglioramento.

La valutazione delle singole scuole: la media delle aree Cod. Id. Scuola Area 1 Area 2 Area 3 Area 4 Area 5 1 3, 9 3, 2 3, 7 3, 6 2, 8 2 4, 5 3, 4 3, 6 4 4, 4 3 3, 7 2, 3 2, 5 2, 6 1, 7 4 2, 8 2, 4 2, 7 2, 3 2, 4 5 3, 4 2, 4 3 2, 8 2, 7 6 3, 2 2, 1 2, 5 3 3, 5 7 3, 2 3 3, 1 3, 4 2, 4 8 3, 5 4, 1 4 2, 8 9 2, 6 2, 1 2, 3 2, 8 2, 1 10 3, 4 3, 6 2, 8 11 3, 9 3, 6 2, 9 3, 7 3 12 4, 4 3, 8 4, 4 3, 2 13 4, 7 4, 3 3, 5 4, 5 3, 6 14 3, 5 3, 4 2, 3 3, 5 2, 5 15 3, 2 2, 9 1, 9 2, 6 2, 4

Cod. Id. Scuola Area 6 Area 7 Area 8 Area 9 Area 10 1 3, 6 3 3, 3 4 3, 6 2 4, 3 3, 6 4 * 4 3 2, 7 * 3, 3 * 3, 6 4 2, 8 2, 7 3, 3 3, 8 3, 3 5 3 3 2, 8 * 2, 5 6 2, 5 2, 1 2, 9 * 3, 3 7 2, 6 2, 8 3, 6 3, 7 8 3, 7 4 4, 4 * 4, 4 9 2, 6 2, 7 3, 4 2, 8 10 3, 4 3, 6 3, 9 * 4, 2 11 3, 7 3, 5 3, 6 4 3, 8 12 4, 5 3, 6 4, 3 4 4, 1 13 4, 2 4, 3 4, 8 3, 9 14 3, 5 3, 7 3, 6 4, 3 3, 2 15 3 3 3, 6 3, 8 2, 8 * La scuola (Cod. id. 3) non ha valutato l’area 7. I rapporti con le famiglie perché gli studenti sono per la maggior parte stranieri (circa 80%), in genere adulti, senza la famiglia in loco. * Le scuole 2, 3, 5, 6, 8, 10 non hanno valutato, come concordato, l’area 9. Il sostegno perché non ci sono mai state esperienze a riguardo. * In grassetto sono evidenziati i punteggi medi più elevati e quelli meno elevati

Valutazione Scuole/Aree e punteggi più elevati • il gruppo di valutatori della scuola 13 assegna il punteggio medio più elevato a 5 aree dello strumento: 1. Organizzazione e gestione della scuola (4. 7), 2. La professionalità docente (4. 3), 4. La progettualità (4. 5), 7. I rapporti con le famiglie (4. 2), 9. Il sostegno (4. 8). • Seguono le scuole 8 e 12 che attribuiscono il punteggio più elevato rispettivamente alle aree 8. I rapporti con gli alunni e 10. Rapporti con il territorio (4. 4) e alle aree 3. La valutazione (4. 4) e 6. Le relazioni interne(4. 5). • La scuola 2, infine, assegna il punteggio più alto all’area 5. La struttura e le risorse (4. 4).

Valutazione Scuole/Aree e punteggi più elevati • Due scuole assegnano, invece, il punteggio medio più basso a tre aree. Ø La scuola 6 indica le aree 2. La professionalità docente (2. 1), 6. Le relazioni interne (2. 5), 7. I rapporti con le famiglie (2. 1), Ø mentre la scuola 9 segnala le aree 1. Organizzazione e gestione della scuola (2. 6), 8. I rapporti con gli alunni (2. 7), 9. Il sostegno (3. 4); seguono quattro scuole con un’area.

La valutazione delle scuole: la media generale delle aree 1 -5 Area 1 Area 2 Area 3 Area 4 Area 5 Media 3, 6 3 3 3, 3 2, 8 Mediana Moda Deviazione standard Conteggio 3, 5 3, 2 3, 4 3 2, 5 3, 6 2, 8 0, 6 15 0, 7 15

La valutazione delle scuole: la media generale delle aree 6 -10 Area 6 Area 7 Area 8 Area 9 Area 10 Media 3, 3 3, 2 3, 6 4 3, 5 Mediana Moda Deviazione standard 3, 4 3 3, 2 3 3, 6 4 4 3, 6 0, 7 0, 6 0, 5 0, 4 0, 6 Conteggio 15 14 15 9 15

I punteggi medi espressi dalle scuole per ciascuna area dello strumento Posiz. Aree dello Strumento Media 1 Area 9. Il sostegno 4 2 Area 1. Organizzazione e gestione della 3. 6 scuola 2 3 4 5 6 7 7 8 Area 8. I rapporti con gli alunni Area 10. I rapporti con il territorio Area 4. La progettualità Area 6. Le relazioni interne Area 7. I rapporti con le famiglie Area 2. La professionalità docente Area 3. La valutazione Area 5. La struttura e le risorse 3. 6 3. 5 3. 4 3. 3 3. 2 3 3 2. 8

Valutazione Scuole/Aree e punteggi meno elevati • L’area 5. La struttura e le risorse ottiene il punteggio medio più basso (2. 8), in questo caso bisogna considerare che esistono fattori esterni, dipendenti dagli enti locali che si occupano della manutenzione e dell’organizzazione degli spazi degli edifici scolastici. • L’area 9 Il sostegno, valutata da 9 realtà scolastiche, ottiene il punteggio medio più alto (4), ciò significa che le scuole interessate non solo prestano molta attenzione circa gli aspetti e le dimensioni legate all’inserimento e alla partecipazione di soggetti portatori di handicap, ma hanno investito molto in formazione e aggiornamento del personale specializzato, strutture e servizi di rete e di accompagnamento delle situazioni e dei singoli casi. • Le dispersioni risultano abbastanza basse e oscillano tra 0. 4 e 0. 7, segno di un comportamento valutatorio omogeneo da parte del gruppo di insegnanti delle scuole prese in esame.

Comportamento valutatorio Dall’analisi dei punteggi medi emergono: • i punti di forza e i punti di debolezza della scuola in rapporto alle diverse aree dello strumento. • L’atteggiamento del gruppo (coeso, unito, punti di vista molto differenziati, ecc. )

Comportamento valutatorio • Circoli in 2 circoli il gruppo dei valutatori mostra una sostanziale omogeneità quanto ai punteggi medi attribuiti alle diverse aree, mentre in un circolo una parte del gruppo esprime punti di vista differenti. • Scuola media e Comprensivo i risultati confermano una sostanziale condivisione all’interno del gruppo dei valutatori.

Comportamento valutatorio Scuole medie superiori • in 6 scuole lo staff di dirigenza appare unito e mostra un orientamento comune • stabilisce un confronto costante circa i modi per affrontare i problemi che si presentano • In 4 scuole il gruppo mostra, al suo interno, differenti valutazioni, soprattutto per quanto riguarda il giudizio relativo ad alcune dimensioni organizzative e gestionali della scuola