VALUTARE NEL CONTESTO FORMATIVO RIFERIMENTI CONCETTUALI E METODOLOGICI

VALUTARE NEL CONTESTO FORMATIVO: RIFERIMENTI CONCETTUALI E METODOLOGICI Katia Montalbetti, Manuale per la valutazione nelle pratiche formative. Metodi, dispositivi e strumenti, Milano, Vita & Pensiero, 2011

OPZIONI TEORICHE Approccio funzionalista. Le preoccupazioni valutative sottese all’orientamento funzionalista riguardano la coerenza tra le modalità impiegate per la definizione degli obiettivi e il tipo di azione proposta e la possibilità di generalizzare i risultati sul piano sia delle competenze acquisite dai soggetti, sia delle procedure di attuazione. Esempio: Le conoscenze e le competenze acquisite dai soggetti sono applicabili e spendibili nei contesti in cui operano?

OPZIONI TEORICHE Approccio fenomenologico. Coloro che adottano come riferimento l’approccio fenomenologico privilegiano interrogativi legati alla singolarità dell’esperienza, alla sua adeguatezza rispetto al contesto, alla sua capacità di rispondere ai bisogni dei soggetti, alla significatività dei risultati raggiunti. Esempio: È cambiato il modo di porsi dei partecipanti di fronte ai problemi che incontrano nei loro contesti di lavoro e di vita?

PROSPETTIVE ORGANIZZATIVE La prima prospettiva definita modernista è connessa con un modello organizzativo di tipo taylorista nel quale la formazione è interpretata come leva per adattare l’individuo agli imperativi del sistema (controllo). La seconda forma di valutazione, intesa come verifica, è inserita nella prospettiva neomodernista e consegue ad un’interpretazione della formazione di tipo processuale articolata secondo lo schema obiettivi-input-processo-output; la valutazione costituisce il punto di arrivo della formazione e trova declinazione concreta prevalentemente nelle prassi di rilevazione delle reazioni dei partecipanti.

PROSPETTIVE ORGANIZZATIVE Nella prospettiva post-industriale la valutazione, definita nei termini di ricerca, è legata ad una concezione complessa della formazione finalizzata a trasmettere abilità e comportamenti ma anche a stimolare la riflessione sulle attività promuovendo autonomia e orientamento attivo alla scoperta.

OGGETTI VALUTATIVI Sistema formativo. Rientrano in questa categoria un centro di formazione professionale, un istituto scolastico, il settore formazione di un’azienda ecc. Progetto formativo. Esprimere un giudizio circa la qualità progettuale richiede […] di porre attenzione anche alla capacità di aver cura dei diversi soggetti presenti sulla scena poiché il coinvolgimento degli stakeholders è una variabile fondamentale per il conseguimento degli obiettivi formativi. Processo e risultato formativo. Processo e risultato costituiscono due oggetti distinti sul piano teorico sebbene spesso non sia possibile e opportuno prenderli in considerazione separatamente poiché la valutazione di un’azione formativa circoscritta alla verifica dei risultati perde gran parte del suo valore.

VALUTAZIONE DEI RISULTATI La valutazione dei risultati può assumere declinazioni diverse poiché, come fa notare D. L. Kirkpatrick [1999], è possibile fare riferimento a quattro livelli di analisi: gradimento (reaction); apprendimento (learning); condotta lavorativa (behaviour); comportamento organizzativo (business results).

VALUTAZIONE DEI RISULTATI Gradimento. La valutazione e il monitoraggio delle reazioni offrono indicazioni preziose soprattutto nella formazione degli adulti ove l’apprendimento è strettamente connesso con la percezione dell’utilità e della significatività dell’esperienza. La rilevazione del gradimento, inteso come indicatore del risultato della formazione, può inoltre essere d’aiuto per orientare in itinere il processo suggerendo l’adozione di eventuali aggiustamenti in corso d’opera.

VALUTAZIONE DEI RISULTATI Apprendimento. Al secondo livello l’attenzione è focalizzata sugli apprendimenti ovvero sulle acquisizioni sviluppate dal soggetto in termini di conoscenze, abilità e/o competenze. Condotta lavorativa. Nel livello successivo l’attenzione è concentrata sulla rielaborazione degli apprendimenti da parte del soggetto e sulla traduzione concreta. La relazione fra apprendimento e condotta è affatto scontata e pertanto entrambi gli oggetti meritano di essere valutati in modo mirato.

VALUTAZIONE DEI RISULTATI Comportamento organizzativo. Il quarto livello è riferito all’impatto della formazione sull’organizzazione, concerne una molteplicità di soggetti (formandi, colleghi, responsabili), e di fattori (tecnici, economici, organizzativi) e costituisce un traguardo arduo da raggiungere e un obiettivo difficile da valutare soprattutto perché si è fuori dal setting formativo.

COSTRUZIONE DELL’IMPIANTO VALUTATIVO La costruzione dell’impianto valutativo è un compito che impegna il consulente/valutatore il quale, come già osservato, ha un punto di vista esterno ed è chiamato da un soggetto terzo (committente) per valutare un programma/progetto/intervento di natura formativa. In realtà, entro il medesimo quadro si muovono anche il progettista e il formatore sebbene in queste situazioni alcune fasi del percorso possano essere omesse o non significative.

COSTRUZIONE DELL’IMPIANTO VALUTATIVO Sul piano generale, vi sono quattro fasi principali: Analisi della domanda iniziale. Da una buona analisi della richiesta iniziale il valutatore può ottenere informazioni preziose per cogliere il reale spazio di azione attribuito alla valutazione e può ricavare criteri utili con i quali cominciare ad impostare la costruzione del dispositivo metodologico.

COSTRUZIONE DELL’IMPIANTO VALUTATIVO Esplorazione del campo e dell’oggetto di valutazione. In questa fase, […] il valutatore deve acquisire elementi informativi circa il contesto nel quale dovrà operare e circa l’oggetto specifico di valutazione. In virtù di questi dati aggiuntivi il mandato definito in uscita dalla prima fase può subire modifiche. Le operazioni svolte in questa fase sono essenziali per riuscire a costruire un impianto metodologico (oggetto specifico della terza fase) coerente con il contesto, rispettoso delle logiche di funzionamento, in grado di sfruttare al meglio le risorse presenti contemperando limiti e vincoli e adatto alla specificità dell’oggetto. La conoscenza sul campo permette inoltre di individuare le risorse disponibili in loco e di acquisire consapevolezza dei vincoli con i quali il valutatore dovrà fare i conti nella progettazione e soprattutto nell’implementazione del dispositivo metodologico, oltre quelli previsti esplicitamente sul piano formale.

COSTRUZIONE DELL’IMPIANTO VALUTATIVO Progettazione e attuazione del dispositivo metodologico. Alla luce delle informazioni raccolte nelle tappe precedenti in questa fase si procede con la costruzione del dispositivo. La possibilità di compiere scelte coerenti sul piano metodologico discende dalla chiarezza con la quale si sono definiti gli obiettivi da perseguire. Un sistema di misurazione infatti può essere pertinente, valido ed affidabile quante maggiori sono le informazioni rilevate circa l’oggetto di analisi e il contesto di attuazione; in tal senso, l’accuratezza con la quale si sono svolte le fasi precedenti condiziona gli aspetti metodologici e tecnici. […] Il valutatore è impegnato in diverse azioni: definizione degli obiettivi specifici; costruzione del dispositivo di rilevazione; implementazione del dispositivo (raccolta dei dati); analisi dei dati. […] queste quattro azioni in realtà non seguono un ordine puramente cronologico ma sono interconnesse le une con le altre […] e possono inoltre essere svolte, in tutto o in parte, anche da soggetti diversi. Ad esempio, il valutatore può rivolgersi a soggetti terzi per l’analisi statistica dei dati qualora non disponga delle abilità tecniche necessarie; ancora, è possibile richiedere l’intervento di soggetti esterni nella fase di raccolta dei dati per velocizzare l’operazione.

COSTRUZIONE DELL’IMPIANTO VALUTATIVO Restituzione e comunicazione. Nella fase finale la preoccupazione comunicativa diviene pregnante: si fa valutazione perché qualcuno (il committente) la richiede e pertanto a costui occorre restituire l’esito del percorso svolto. Accanto alla forma di restituzione tradizionale, ovvero la stesura di un report, può essere utile ricorrere ad altri format come per esempio l’organizzazione di una presentazione orale piuttosto che la stesura di brevi opuscoli nei quali omettere dati ed aspetti non reputati significativi per il destinatario. Di là dalle scelte metodologiche, la valutazione è analisi per chi la fa ma deve essere sintesi per chi la riceve; consegue l’esigenza che sia restituita in forma agevole e comprensibile.

COSTRUZIONE DELL’IMPIANTO VALUTATIVO Una valutazione ben comunicata non induce in maniera automatica il suo impiego ai fini decisionali; tuttavia quando la preoccupazione comunicativa è tradotta in azioni metodologiche coerenti e concrete il valutatore impiega al meglio lo strumento di cui dispone per evitare che la valutazione non sia presa in considerazione.

«ERRORI DELL’ESPERTO» Situazione A. Costruire uno strumento rispettando i criteri di rigore e accuratezza metodologica senza prestare adeguata attenzione alle condizioni contestuali per una corretta somministrazione. Esempio. Immaginiamo di costruire un questionario da somministrare a tutti coloro che si rivolgono ad uno sportello di informazione e orientamento al lavoro per rilevare il gradimento rispetto alla disponibilità degli operatori, alla qualità delle informazioni offerte, all’aiuto ricevuto per la ricerca di un lavoro ecc. Se […] si ipotizza di far compilare il questionario subito dopo il colloquio vanno attentamente gestiti tempi e spazi; […] le condizioni contestuali non favorevoli potrebbero indurre una compilazione frettolosa e non precisa (inadeguatezza dei tempi) oppure una compilazione non sincera (condizionamento da parte dell’operatore).

«ERRORI DELL’ESPERTO» Situazione B. Costruire uno strumento rispettando i criteri di rigore e accuratezza metodologica senza tenere in attenta considerazione le caratteristiche dei fruitori. Esempio. Immaginiamo […] di valutare la qualità di un servizio rivolto a cittadini stranieri […]. Qualora […] la padronanza linguistica non sia almeno di livello sufficiente le risposte ottenute potrebbero essere scarse, non valide oppure dovute a fraintendimenti e incomprensioni.

«ERRORI DELL’ESPERTO» Situazione C. Costruire uno strumento rispettando i criteri di rigore e accuratezza metodologica senza tenere in considerazione le competenze di colui/coloro che lo impiegherà/ranno. Esempio. Immaginiamo all’interno di un servizio rivolto a bambini affetti da disabilità di valutare la qualità di un progetto educativo finalizzato ad offrire sostegno ai genitori nella gestione dei bambini durante le vacanze estive. Se […] si decide di optare per un’intervista, […] è […] opportuno che l’intervistatore disponga di un livello di conoscenze sul tema delle disabilità e delle problematiche connesse con la gestione di bambini disabili […]. In caso contrario, sebbene l’intervista possa costituire la scelta tecnica più opportuna […], il rischio è di rilevare informazioni poco significative e/o di interpretare in modo non fedele quanto emerso nell’interazione.

«ERRORI DELL’ESPERTO» Situazione D. Costruire uno strumento rispettando i criteri di rigore e accuratezza metodologica senza curarsi da dare (in)formazione per il suo corretto impiego. Esempio. Immaginiamo all’interno di un istituto scolastico di valutare le competenze relazionali degli alunni di una determinata classe per formulare un giudizio complessivo a fine anno. È possibile optare per una griglia di osservazione e chiedere agli insegnanti di compilarla […]. Formare al corretto impiego dello strumento è essenziale sia quando la somministrazione è affidata a terzi, sia quando è previsto il coinvolgimento di più osservatori in modo da dotarsi di una cornice comune e condivisa.

«ERRORI DELL’ESPERTO» Situazione E. Impiegare uno strumento esistente senza porsi il problema della sua adeguatezza rispetto al contesto di attuazione. Esempio. Immaginiamo all’interno di un ateneo di valutare la qualità della didattica di un percorso formativo svolto in una summer school e di avere a disposizione i questionari di valutazione della didattica normalmente impiegati nei corsi universitari. […] Nel caso concreto, è da considerarsi come l’ambito di una summer school differisca dai corsi universitari tradizionali per molti aspetti fra i quali: il luogo di svolgimento, la numerosità e la tipologia del target, il periodo dell’anno accademico, il tipo di frequenza.