Corso di formazione sul monitoraggio e la valutazione

Corso di formazione sul monitoraggio e la valutazione dei Piani di zona della Provincia di Torino I modulo – prima giornata 30 marzo 2006 1 Katja Avanzini kavanzini@hsn. it Ugo De Ambrogio udeambrogio@hsn. it

Che cosa si valuta e i diversi tipi di valutazione 2

DEFINIZIONE è un’espressione di giudizio rispetto ad azioni di interesse collettivo, Ø con l’intento di migliorare le azioni pubbliche, Ø viene svolta attraverso attività di ricerca realizzate con metodi rigorosi e codificabili, Ø valorizzando gli aspetti inattesi e contraddittori, Ø deve essere comunicata a terzi in modo esplicito e trasparente, Ø all’interno di un processo nel quale valutazione e progettazione sono percorsi integrati. Ø VALUTAZIONE 3

CHE COSA SI VALUTA NEI SERVIZI SOCIALI 4

Una valutazione “frattale” 5

Una valutazione “frattale” Valutazione del singolo intervento Valutazione zonale della politica di uno specifico settore (anziani) Valutazione del piano di zona Valutazione degli interventi provinciali di coordinamento e sostegno Valutazione della politica regionale 6

TIPI DI VALUTAZIONE La valutazione realizzata prima dell'approvazione e della successiva implementazione di un progetto; l VALUTA ZIONE EX ANTEl 7 In questo caso la valutazione aiuta i decisori a scegliere fra scenari alternativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto. Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni

TIPI DI VALUTAZIONE VALUTA ZIONE IN ITINERE 8 E' quella valutazione che si realizza mentre il processo valutato è ancora in corso, al fine di conseguire l'adattamento e la correzione di eventuali deviazioni dal progetto originario, a causa di errori di progettazioni o di modificazioni del contesto;

TIPI DI VALUTAZIONE Valutazione di un intervento dopo che è stato completato. L'obbiettivo della valutazione ex post è quello di studiare se e come il progetto abbia raggiunto gli obbiettivi prefissati nonché immaginare soluzioni adeguate per interventi simili in VALUTAZIO futuro NE EX POST l in genere si considerano tre momenti distinti della valutazione ex post: l dell'output (è stato fatto? ) l dell'outcome (è stato fatto bene? ) 9 l di impatto (è servito? )

VALUTA ZIONE DI PROCESSO 10 TIPI DI VALUTAZIONE Affronta di norma l'aspetto procedurale e mira ad analizzare i seguenti aspetti: l il grado di cooperazione fra i soggetti coinvolti l il modo in cui vengono raggiunti i destinatari degli interventi l le procedure di partecipazione adottate

TIPI DI VALUTAZIONE Valutazione che considera gli esiti di un determinato intervento, la sua efficacia. Viene usualmente distinta in due categorie fondamentali: l l'efficacia interna, intesa come la di raggiungere gli VALUTAZIONE capacità DI RISULTATO obiettivi e i risultati attesi, definiti a priori l l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti 11

TIPI DI VALUTAZIONE E' una valutazione attraverso la quale la qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento l VALUTAZIO NE DELLA QUALITA' 12 Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori

TIPI DI VALUTAZIONE La valutazione realizzata coinvolgendo un n. significativo di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di VALUTA giudizi e se ne assumono la ZIONE PAR responsabilità rispetto alla TECIPATA realizzazione degli interventi successivi 13

Art. 9 della l. 285/97 14 Valutazione dell’efficacia della spesa: l ogni anno le regioni devono presentare una relazione sullo stato di attuazione degli interventi, sulla loro efficacia, sull’impatto sui minori e sulla società, sugli obiettivi conseguiti e sulle misure da adottare per migliorare le condizioni di vita dei minori nel rispettivo territorio.

La valutazione nella 328/2000 l 15 Art. 3 comma 1: Per la realizzazione degli interventi e dei servizi sociali, in forma unitaria e integrata, è adottato il metodo della programmazione degli interventi e delle risorse, dell’operatività per progetti, della verifica sistematica dei risultati in termini di qualità e di efficacia delle prestazioni, nonché della valutazione di impatto di genere.

CONSIDERAZIONI DI SINTESI 16 1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che: la valutazione si deve fare. 2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.

CONSIDERAZIONI DI SINTESI 17 3. Le finalità valutative proposte sono sia nella logica della valutazione apprendimento per migliorare (learning) che in quella della valutazione rendicontazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta" l 4. Ci viene per tanto detto che valutazione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE 18

l l 19 Un processo di valutazione può essere inteso anche come un sistema relazionale all’interno del quale vengono agite una pluralità di interazioni L’efficacia della valutazione dipende pertanto anche dalla relazione che si instaura fra i soggetti in campo

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE l presenza di soggetti valutatori e di soggetti valutati l rischio di asimmetria nella relazione fra i soggetti. 20

RATTERISTICHE RELAZIONALI DELLA VALUTAZIONE l . l possibili vissuti difensivi del valutatore” l l l 21 Sentirsi intrusivo in “casa d’altri” Sentirsi preso per un giudice sanzionatore Trovarsi di fronte a qualcuno che vuole nascondere qualcosa Sentirsi un controllore sentirsi un operatore o nel posto e nel luogo sbagliato

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE l possibili vissuti difensivi del valutato 22 l l l Sentirsi giudicato come professionista Sentirsi giudicato come persona Trovarsi di fronte a un giudice sanzionatore Sentirsi controllato

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI 23 Si farà strada per entrambi la convinzione che se lui vince io perdo oppure se io vinco, lui perde In questo caso la comunicazione diverrà difficile e provocherà disagi

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI Non ci sarà apertura né disponibilità ad intraprendere insieme percorsi di ricerca, bensì ci sarà chiusura, occultamento delle informazioni, diffidenza, boicottaggio dell’altro ecc 24

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI 25 In questi casi il processo di valutazione appare destinato a divenire semplice controllo, percepito in modo simile al voto scolastico, e, paradossalmente sia il valutatore che il valutato finiranno per svalutarsi l’uno l’altro e svalutare il processo valutativo generale.

La svalutazione “un processo mentale inconsapevole che consiste nell’ignorare o sminuire delle informazioni pertinenti alla soluzione di un problema”. A. W. Shiff e J. L. Shiff 26

La svalutazione svalutare, nell’accezione proposta, significa non considerare e stravolgere i dati di realtà, non riconoscere le risorse personali e materiali, far prevalere i propri pregiudizi, non prendere sul serio sé, l’altro e il problema, non vedere e boicottare le possibilità di cambiamento. 27

La svalutazione E’ effettivamente l’opposto di ciò che gli esperti valutatori considerano come Valutazione con la V maiuscola, 28

“la misura del successo della valutazione può essere rappresentata dall’ampiezza dei cambiamenti intervenuti nel comportamento degli attori dell’intervento, servizio o politica valutata” (Dente 2000). 29

Valutazione e svalutazione Appare pertanto evidente rilevare che una buona valutazione non può essere realizzata da soggetti svalutanti, perché non si possono promuovere cambiamenti con chi disconferma la rilevanza, le possibilità e le capacità stesse di cambiamento. 30

La svalutazione Però, in molte delle esperienze di valutazione alle quali ho partecipato molto spesso sono incappato in “svalutatori”, che, difendendosi da qualcuno o qualcosa tendevano a boicottare il processo valutativo e a minacciarne seriamente l’efficacia. 31

Alcune volte però è capitato che nel corso del processo valutativo gli svalutatori si siano trasformati in co-valutatori (ovvero in risorse per la valutazione) e ciò è avvenuto quando hanno progressivamente visto scemare le preoccupazioni e diffidenze che li mantenevano in un atteggiamento difensivo. 32

STRATEGIE PER EVITARE CHE LA VALUTAZIONE DIVENGA “SVALUTAIONE” E’ opportuno che la componente di contenuto della comunicazione (“siamo qui a valutarci per migliorare”) sia in accordo con la componente di relazione (il nostro è un incontro fra professionisti, è un incontro fra pari che si riconoscono in un obiettivo comune, in un quadro di fiducia e stima reciproci ) 33

Ne consegue che durante la ricerca valutativa è opportuno che non si instauri una relazione nella quale “uno vince e l’altro perde”, bensì una relazione generativa, in cui possono vincere entrambi, perchè entrambi perseguono il medesimo obbiettivo 34

ALL’INTERNO DI UNA RELAZIONE GENERATIVA AVREMO: l l 35 accoglienza apertura atteggiamento ricercante atteggiamento collaborativo ALL’INTERNO DI UNA RELAZIONE COMPETITIVA AVREMO: l l rifiuto chiusura atteggiamento giudicante atteggiamento difensivo

Non basta però mettere le persone attorno a un tavolo, con un comune obiettivo valutativo, perché magicamente si producano le condizioni per una buona valutazione. E’ necessario che chi si assume la responsabilità di conduzione di tali processi svolga un’attenta ed equilibrata funzione di regia che, accanto alle competenze tecniche affianchi anche le capacità di gestione dei gruppi, le sensibilità contrattuali, le capacità di integrare punti di vista e competenze diverse. 36

E’ infatti necessario che, nel corso di un processo di valutazione, i partecipanti progressivamente divengano consapevoli che il “gioco” della svalutazione non è particolarmente divertente, perché alla fine non porta vantaggi a nessuno e produce soltanto incomprensioni e frustrazioni, 37

Invece la riflessione sui significati, l’orientamento all’inatteso, la assunzione di responsabilità di giudizio, la capacità di costruzione collettiva di strategie di miglioramento sono esperienze complesse ma gratificanti, che emergono solo in gruppi integrati, formati da individui che si riconoscono reciprocamente come capaci e competenti. 38

Attenzioni metodologiche 39

ATTENZIONI METODOLOGICHE Principio di autovalutazione ogni soggetto interessato dalla valutazione è responsabile e primo utilizzatore della propria valutazione 40

ATTENZIONI METODOLOGICHE Principio dei diversi livelli di valutazione il processo di valutazione interessa tutti i livelli istituzionali coinvolti nell’ erogazione di un intervento 41

ATTENZIONI METODOLOGICHE Principio di non autoreferenzialita' per quanto possibile la valutazione deve essere basata su riscontri oggettivi e comunque esterni al soggetto valutatore 42

ATTENZIONI METODOLOGICHE Principio di confrontabilità: le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere confronti nel corso del tempo, anche fra più esperienze. 43

ATTENZIONI METODOLOGICHE Principio di trasparenza: 44 le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e documentate per i diversi livelli e soggetti coinvolti (chi ha diritto di sapere)

SCHEMA dei "tasselli" Tratto da uno spunto di G. Mazzoli Studio APS Milano A B V E C D 45

SCHEMA DELLA "TENSIONE DEL VALUTATORE" tratto da Francis Alfoldi "l'evaluation en protection de l'enfance Théorie et méthode" Dunod 1999 paris - pg 113 Oggettività 46 Soggettività

IL SUCCESSO DELLA VALUTAZIONE 47

IL SUCCESSO DELLA VALUTAZIONE La probabilità di successo della valutazione è più alta in un ambiente turbolento (quadranti BCD schema di Thompson Tuden) l Infatti quando non si riesce a pianificare e prevedere, gli sguardi si rivolgono al passato, e pertanto la valutazione acquista un ruolo più importante l 48

IL SUCCESSO DELLA VALUTAZIONE La misura del successo della valutazione può essere rappresentata dall’ampiezza dei cambiamenti intervenuti nel comportamento degli attori dell’intervento, servizio o politica 49

IL SUCCESSO DELLA VALUTAZIONE La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori coinvolti 50

quanto fin qui esposto mi porta ad essere totalmente d’accordo con Bezzi quando afferma che una valutazione efficace non può essere ridotta a mero tecnicismo e che ”il valore della valutazione non è – solo – in ciò che produce (il giudizio valutativo) ma nel processo partecipativo che compie per produrlo” (Bezzi 2003). 51

“non importa solo quello che trovi alla fine della corsa ma anche quello che provi quando corri” (notte prima degli esami) 52

bibliografia Testi. l C. Bezzi – Il disegno della ricerca valutativa- F. Angeli 2003 (edizione aggiornata) l G. Bertin – Valutazione e sapere sociologico – Il Mulino – 1996 (? ) l U. De Ambrogio – Valutare gli interventi e le politiche sociali – Carocci Faber 2003 l M. Palumbo – Il Processo di valutazione, F. Angeli 2001 l E. Ranci Ortigosa (a cura di) La valutazione di qualità dell’intervento sanitario – F. Angeli 2000 l U. De Ambrogio “La valutazione partecipata della qualità come processo relazionale generativo, su Prospettive Sociali e Sanitarie n. 14, 2004. l l l 53 Siti. www. valutazione. it www. valutazioneitaliana. it