Le indagini internazionali e nazionali su vasta scala

Le indagini internazionali e nazionali su vasta scala: un’epopea scientifica e politica recente Lezione Magistrale per l’inaugurazione dei Corsi di Dottorato di Ricerca a. a. 2008/2009 della Facoltà di Scienze della Formazione dell’Università degli Studi di Genova mercoledì 10 Dicembre 2008 norberto. bottani@oxydiane. net www. oxydiane. net

Lo sviluppo della valutazione su vasta scala · Gli antecedenti (1927 - 1931) · La preistoria (1931 -1938) · L’epoca contemporanea : cinquant’anni di ricerche, indagini, perfezionamenti, approfondimenti metodologici (1958 - 2008) · Durante 40 anni (1928 -1968) la pedagogia italiana è stata del tutto assente da questo movimento; per trent’anni la presenza italiana è stata embrionale (1970 -2000). 11/26/2020 2

Il punto di partenza: come valutare nella scuola attiva? · · · 11/26/2020 Le valutazioni dei lavori degli allievi non sono oggettive. Il dilemma del movimento della scuola attiva: Non valutare. La valutazione falsifica l’autenticità della relazione pedagogica; Valutare in modo oggettivo, ma come? La conferenza internazionale del movimento della scuola attiva (New Education-L’éducation nouvelle) a Locarno nel 1927 propone di effettuare un’indagine internazionale sugli esami scolastici per raccogliere dati comparabili che confortino la tesi della non oggettività dei correttori e la necessità di metodi empirici di valutazione. Un nuovo problema all’orizzonte: la valutazione nell’istruzione di massa. La selezione dei migliori e dei meritevoli esige un cambiamento di metodo, non può essere arbitraria. 3

Un’espereinza d’avanguardia: la “Scottish Mental Survey” ( 1932) · Tutti i nati nel 1921 (100 000 circa) · Scuole pubbliche e private · Somministrazione lo stesso giorno: mercoledì primo giugno 1932 (11 anni) · Contributo determinante dei docenti e delle autorità locali ( enorme lavoro di coinvolgimento degli insegnanti) 11/26/2020 4

La preistoria: il progetto della Carnegie Foundation sugli esami e la selezione nelle scuole secondarie: come valutare in un sistema di istruzione prolungata di massa? · · The International Examination Inquiry: 1931 - 1938, condotto in collaborazione con il Teacher College di New York Comparazione tra metodi di valutazione applicati in sistemi scolastici diversi. Quale è il metodo migliore (più giusto) di valutazione in un sistema d’istruzione di massa? · · · 11/26/2020 Test e prove standardizzate per valutare oppure esami tradizionali, olistici, generici, impostati in funzione di un modello di scuola imperniato sulla cultura generale? I voti degli insegnante e delle giurie sono arbitrari; i giudizi degli insegnanti sono soggettivi Sviluppo di metodi statistici di misura (Binet, Piéron, Laugier in Francia) Come rendere oggettive e precise le valutazioni? La raccolta di prove empiriche, non contaminate Partecipazione su invito: Stati Uniti, Inghilterra, Scozia, Francia, Germania, Svizzera, Finlandia, Svezia e Norvegia 5

Gli anni Cinquanta: l’UNESCO, la generalizzazione graduale dell’istruzione secondaria, i direttori degli istituti di ricerca all’opera · L’istituto dell’educazione di Amburgo dell’UNESCO (1952) · La guerra fredda: · la competizione con l’URSS; · la paura del ritardo scientifico del mondo occidentale · Quale è il miglior sistema scolastico? · Gli incontri annuali dei direttori di ricerca (Bloom, Anderson, Thorndike, Husén, Mialeret, Hotyat, ecc. ) · · 11/26/2020 Comparare per classificare e conoscere Misure empiriche: la statistica in primo piano Oggettività delle prove: la costruzione di test solidi Prove standardizzate per comparare in modo oggettivo 6

Il prototipo di indagine su vasta scala (1959 -1961) · Discussioni preliminari : 1957 -1958 · Prima indagine sperimentale comparata in assoluto (1959 -1961), · Modello proposto da Benjamin Bloom dell’Università di Chicago (tassonomia degli obiettivi educativi, mastery learning) · 12 paesi/1000 studenti per paese , 13 anni compiuti, · Lettura-matematica- scienze-geografia 11/26/2020 7

Nascita dell’IEA · Le conseguenze dello studio di fattibilità: · Un’indagine comparata su vasta scala sui risultati è fattibile · Organizzazione di una società scientifica ad hoc · La nascita dell’ l’IEA nel 1961 (International Association for the Evaluation of Educational Acheivemeent), un’associazione scientifica di ricercatori (qui sta una delle differenze con PISA), con sede a Amburgo presso l’Istituto dell’UNESCO, dedita alla promozione, allo sviluppo, all’organizzazione delle indagini internazionali comparate su vasta scala 11/26/2020 8

Le indagini dell’IEA · La prima grande indagine sulle conoscenze in matematica: l’indagine FIMSS, 1964 · Altre indagini significative dell’IEA: · Six subjects study, 1970 -1973 · SISS e SIMS, 1982 · Reading Literacy, 1991 · TIMSS, 1994 -95 · 11/26/2020 : Vedasi Siniscalco Maria Teresa, Bolletta Raimondo, Mayer Michela, & Pozio Stefania. (2008). Le valutazioni internazionali e la scuola italiana. Bologna: Zanichelli. 9

L’epoca contemporanea La crisi dell’IEA: · I problemi di finanziamento · La lentezza delle analisi · La scelta dei temi da valutare · La pressione degli Stati Uniti: 11/26/2020 · NAEP (1964; primo test 1969) come laboratorio sperimentale · A Nation at Risk, 1983 · Il doppio e triplo giuoco degli americani per essere entro il 2000 i primi al mondo in matematica. Uso sfrontato delle valutazioni comparate · IAEP (1988 -1991) (cosa valutare? ) · TIMSS (1995 -1995) · La valutazione come una competizione olimpica · Falsificazione delle politiche scolastiche · Impoverimento delle informazioni sulla scuola 10

Le indagini sugli adulti · La novità delle indagini sugli adulti (Lifelong learning - apprendimento lungo tutto l’arco dlla vita) · La prima indagine sugli adulti: IALS - ALL (1994 2000)(22 paesi) · La seconda indagine sugli adulti: ALL (2003) (5 paesi) · Problemi particolari con gli adulti 11/26/2020 11

L’entrata in scena dell’OCSE (Organizzazione di cooperazione e sviluppo economici) · Dalla ricerca alla politica : al servizio della potenza imperiale · La produzione di un insieme di indicatori internazionali dell’istruzione per radiografare lo stato di salute dei sistemi scolastici (1992) · Esempio di problemi: · Si spende troppo o troppo poco? · La mancanza di indicatori sui risultati · Il cambiamento di rotta rispetto all’IEA · Il ciclo di indagini PISA (2000 - 2003 - 2006 - 2009) 11/26/2020 12

L’indagine OCSE - PISA « Programme International pour le suivi des acquis des élèves » · Un’operazione di grande ampiezza paragonabile ad una complessa impresa scientifica internazionale realizzabile solo con la collaborazione di molteplici forze · Partecipanti: · Nel 2000: 32 paesi, una cinquantina di sistemi scolastici, 150 000 studenti, 4500 scuole · Nel 2006: 61 paesi, un centinaio di sistemi scolastici, 400 000 studenti 11/26/2020 13

Specificità di PISA · La regolarità delle indagini : un ritmo ciclico triennale (mai tentato in precedenza), · Tre campi disciplinari: lettura; literacy matematica; literacy scientifica · Obiettivi: · la valutazione di competenze ritenute indispensabili per condurre un’esistenza autonoma e indipendente in una società democratica, ossia le competenze necessarie per pensare con la propria testa e farsi un’idea propria delle scelte da compiere nella vita quotidiana · Non si valuta cosa si è ritenuto dei programmi scolastici ossia quanto si impara a scuola · Si valuta la presenza o l’assenza di attitudini ritenute essenziali per un vita da adulti nelle società postmoderne: si slitta dalle discipline verso le competenze · La popolazione: i quindicenni (15 anni e tre mesi - 16 anni e due mesi) 11/26/2020· Aggiunta opzionale di moduli nazionali 14

Conclusione; la costituzione di un campo disciplinare sulla valutazione degli studenti su vasta scala Elementi caratteristici : · Una comunità scientifica con un proprio linguaggio · Centri transnazionali di ricerca, veri e propri poli di aggregazione scientifica · Ortodossia e rigore metodologici · Protocolli d’indagine codificati · Pubblicazioni scientifiche di legittimazione di quanto si produce 11/26/2020 15

Le valutazioni su larga scala: critiche generali 1. Le valutazioni su larga scala (a livello nazionale od internazionale) sono talmente influenti da indurre le scuole a modificare i curricoli insegnati, a ridurre i curricoli a quanto si richiede nei test e quindi a ridurre i programmi d’insegnamento 2. I test su vasta scala non valutano che un ventaglio ristretto di competenze; non permettono di valutare tutte le competenze curate dalle scuole 11/26/2020 16

Alcuni rilievi critici 1. 2. 3. 4. 5. 11/26/2020 I risultati delle valutazioni nazionali non combaciano con quelli delle indagini internazionali Il rapporto costo-benefici è problematico Il ritmo delle indagini non è adequato (o troppo lento o troppo elevato) Le indagini non hanno un’incidenza alcuna sulle politiche scolastiche o sulla gestione della scuola Le indagini sono un ricatto delle autorità per tenere sotto controllo le scuole ed imporre politiche restrittive 17

…continuazione 6. 7. 8. 9. 11/26/2020 Gli studenti dei sistemi scolastici che non si servono dei test a scelta multipla negli esami sarebbero svantaggiati dai test impostati secondo questo formato Nei sistemi scolastici nei quali si tollera o si pratica la bocciatura e la ripetenza su vasta scala è equo valutare i risultati degli alunni basandosi sull’età piuttosto che sull’anno di studio? Le traduzioni da una lingua all’altra non falsano i test? Le domande dei test sono il riflesso di situazioni culturali non universali e avvantaggiano gli studenti cresciuti in determinati contesti culturali e sociali. 18