Valutazione a n Valutare significa analizzare se unazione

Valutazione (a) n [Valutare significa] analizzare se un'azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche tengano conto delle potenzialità manifestatesi [. . . ] si valuta per sapere non solo se un'azione è stata conforme ad un programma esistente, ma anche se il programma è buono (Stame, 1998, p. 91). Dr. Carmelo Bruni 1

Valutazione (b) n [La valutazione è una] produzione di informazione (per dare giudizi) su attività pubbliche, con l'intento di migliorarle (Martini). Dr. Carmelo Bruni 2

Valutazione (c) n [La valutazione è una] attività cognitiva rivolta a fornire un giudizio su di un'azione intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su un'attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili (Palumbo, 2001, p. 59). Dr. Carmelo Bruni 3

Valutazione (d) n [La valutazione è un] processo che ricerca e valorizza gli aspetti contraddittori e inattesi che mettono fortemente in crisi il modello dato e li considera tracce di un ordine diverso la cui rivelazione costituisce oggetto di specifiche attenzioni (Setti Bassanini, 1991, p. 239) Dr. Carmelo Bruni 4

Valutazione (e) n [. . . ] la valutazione ha lo scopo di assegnare un valore all'azione svolta e di riuscire a comunicarlo agli altri. Questa duplice anima di giudizio e di comunicazione determina la natura del processo valutativo, la complessità che deve essere affrontata (Bertin, Porchia, 2 ooo, p. 81). Dr. Carmelo Bruni 5

Valutazione (f) n La valutazione è principalmente (ma non esclusivamente) un'attività di ricerca sociale applicata, realizzata nell'ambito di un processo decisionale, in maniera integrata con le fasi di programmazione, progettazione e intervento, avente come scopo la riduzione della complessità decisionale, attraverso l'analisi degli effetti diretti e indiretti, attesi e non attesi, voluti non voluti, dell'azione, compresi quelli non riconducibili ad aspetti materiali (Bezzi, 2001, p. 29). Dr. Carmelo Bruni 6

Valutazione (sintesi) n n n è un'espressione di giudizio rispetto ad azioni di interesse collettivo (Stame); ha l'intento di migliorare gli interventi e le politiche pubbliche (Martini); è svolta attraverso attività di ricerca realizzate con metodi rigorosi e codificabili (Palumbo); valorizza gli aspetti inattesi e contraddittori (S. Bassanini); deve essere comunicata a terzi in modo esplicito e trasparente (Bertin, Porchia); avviene all'interno di un processo nel quale valutazione e progettazione sono percorsi integrati (Bezzi). Dr. Carmelo Bruni 7

Valutazione è intesa come… Apprendimento (learning); n Controllo/Rendicontazione (accountability). n Dr. Carmelo Bruni 8

Valutazione come apprendimento n n La valutazione come apprendimento ha lo scopo di rispondere a domande su aspetti fondamentali di un’attività pubblica. Esiste una lacuna nella conoscenza di chi è chiamato a decidere sul disegno di una politica o a giudicare della sua realizzazione complessiva: tale mancanza può riguardare la fattibilità dell’intervento, le caratteristiche della sua messa in opera e gli effetti desiderati o indesiderati che esso ottiene. Dr. Carmelo Bruni 9

Valutazione come controllo n n la valutazione come controllo ha l’obiettivo di produrre giudizi sulla gestione di una attività pubblica. La valutazione è uno strumento per controllare l’operato di chi gestisce un intervento o un servizio. Lo scopo ultimo è identificare disfunzioni, imporre sanzioni, spostare risorse, migliorare la performance delle unità operative che gestiscono l’intervento in questione. Dr. Carmelo Bruni 10

Approcci della valutazione 1 n «quello positivista sperimentale, in cui l'elemento di confronto è rappresentato dagli obiettivi del programma, e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti grazie al programma» . ; Dr. Carmelo Bruni 11

Approcci della valutazione 2 n «quello pragmatista‑della qualità, in cui ci si confronta con degli standard di qualità, e la valutazione consiste nel dare un parere su quanto ci si avvicini agli standard» (che è adottato per esempio nella costruzione di carte dei servizi). Scriven; Dr. Carmelo Bruni 12

Approcci della valutazione 3 n «quello costruttivista‑del processo sociale, in cui ci si confronta con ciò che viene considerato un successo dagli stakeholders, e la valutazione consiste nello spiegare perché in quella situazione quel risultato sia considerato tale» (che comprende molte esperienze di valutazione partecipata). Dr. Carmelo Bruni 13

Tipi di valutazione Ex ante; n In itinere; n Ex-post n Dr. Carmelo Bruni 14

Valutazione ex-ante n n È la valutazione su attività progettate ma non realizzate, svolta prima dell'approvazione e/o della successiva implementazione di un progetto; Si fa soprattutto per aiutare i decisori a scegliere fra scenari alternativi, o per scegliere fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto (Scelte nelle LL. 285 o 309) Dr. Carmelo Bruni 15

Valutazione in itinere n Si realizza mentre il processo valutato è ancora in corso, al fine di conseguire l'adattamento e la correzione di eventuali deviazioni dal progetto originario, a causa di errori di progettazioni o di modificazioni del contesto (richiesta dalle LL. 309 e 285); Dr. Carmelo Bruni 16

Valutazione in itinere n Si fa durante la realizzazione di un intervento per raccogliere elementi utili alla conferma o modifica delle scelte operative ipotizzate a priori, in modo da poter "assestare il tiro" in corso di azione, riorientando l'intervento o modificandolo al meglio; Dr. Carmelo Bruni 17

Valutazione in itinere n n Monitoraggio = rilevamento dei valori dei parametri indicativo dello stato di funzionamento dell’intervento; Valutazione in itinere = è più ampia del monitoraggio, prevede infatti l'espressione di giudizi per il cambiamento. Dr. Carmelo Bruni 18

Valutazione ex-post n Si realizza al termine di un intervento, dopo cioè che è stato completato. L'obiettivo delta valutazione ex post è di studiare se e come il progetto abbia raggiunto gli obiettivi prefissati ed eventuali risultati ulteriori nonché immaginare soluzioni adeguate per analoghi interventi in futuro. Dr. Carmelo Bruni 19

Valutazione ex-post n n n Si distingue tra: Output (esito) = gli interventi progettati sono stati attivati? (Efficacia Interna); Outcome (risultato) = gli interventi progettati sono stati soddisfacenti (Efficacia Esterna)? Impatto = l’intervento è stato efficace? Dr. Carmelo Bruni 20

Valutazione e Qualità n n La Qualità nasce caratterizzata da una cultura tecnica, in un contesto prettamente aziendalistico (produzione di beni), è realizzata da "ingegneri“ Orientamento all’utente = minimo costo e massima soddisfazione (customer satisfaction) in un contesto competitivo; Dr. Carmelo Bruni 21

Valutazione e Qualità n n La valutazione nasce da una cultura di scienza sociale, si sviluppa nel mondo dei programmi di intervento pubblico e gli attori protagonisti sono scienziati sociali alla ricerca del valore dell'azione pubblica; Orientamento all’utente = equità e giustizia Dr. Carmelo Bruni 22

Qualità di un servizio n “Relazione positiva tra bisogni dell'utenza e prestazioni del servizio”, cioè la capacità del servizio di soddisfare i bisogni dell’utente Dr. Carmelo Bruni 23

Valutazione della Qualità n Significa assumere il punto di vista dell'utente e rivedere criticamente ed analiticamente il complesso rapporto fra struttura, operatore, utente, cogliendone, ai vari livelli, gli elementi critici determinati dal processo di interazione sociale che possono a volte impedire all'utente di costruirsi come soggetto e di ricevere risposte adeguate e per lui significative; Dr. Carmelo Bruni 24

Valutazione e normativa L. 285/97 agli artt. 8 e 9; n D. Lgs. 229/99 (riforma ter) all’art. 12 bis; n L. 328/00 agli art. 3, 6, 7, 8, 10 e 18. n Dr. Carmelo Bruni 25

Valutazione partecipata n n n Favorisce l’innovazione attraverso l’interazione tra diverse competenze; Sfida il professionismo specialistico rigido che separa valutante e valutato; Sviluppa senso positivo nei confronti della valutazione; Dr. Carmelo Bruni 26

“Per chi” e “Perché” valutare? n n n n Soggetti Prospettiva Obiettivo Policy-makers Macrodecisionale Impatto sociale Amministratori Organizzativo. Efficienza gestionale Operatori Tecnico-professionale Qualità Utenti Particolaristica Soddisfazione Cittadini Universalistica Equità Dr. Carmelo Bruni 27

“Cosa” valutare? n n n Struttura Processo Esiti, Risultati, Impatti Dr. Carmelo Bruni 28

“Cosa” valutare? Struttura n 1. disponibilità strutturale n 2. accessibilità n 3. sistema comunicativo n 4. sistema informativo n 5. criteri gestionali Dr. Carmelo Bruni 29

“Cosa” Valutare? Disponibilità strutturale n n Risorse Finanziarie; Risorse Tecnologiche; Risorse Materiali (locali, attrezzature, etc. ); Risorse Umane (Capitale Umano e Sociale). Dr. Carmelo Bruni 30

“Cosa” Valutare? Accessibilità n n Raggiungibilità; Barriere architettoniche; Segnaletica; Privacy. Dr. Carmelo Bruni 31

“Cosa” Valutare? Sistema Comunicativo n n n Carte dei Servizi; Vademecum dei Servizi; Avvisi pubblici; Presenza in “Pagine Utili” e “Tutto Città”; Sito web; Servizi Telefonici. Dr. Carmelo Bruni 32

“Cosa” Valutare? Sistema Informativo n n Schede utente; Informatizzazione delle schede utente; Sistema di rete; Sistemi di monitoraggio. Dr. Carmelo Bruni 33

“Cosa” Valutare? Criteri gestionali n n n Modalità di funzionamento dei Servizi (rete organizzativa); Regolamento dei servizi; Processi e stili decisionali. Dr. Carmelo Bruni 34

“Cosa” Valutare? Processi n n Livelli di Attività; Output (Obiettivi intermedi); Sistema Professionale; Qualità del lavoro (soddisfazione degli operatori). Dr. Carmelo Bruni 35

“Cosa” Valutare? Livelli di Attività n n Monte orario settimanale Straordinari Personale coinvolto Volontari coinvolti Dr. Carmelo Bruni 36

“Cosa” Valutare? Sistema professionale n n Appropriatezza del sistema delle professionalità; Qualificazione professionale; Formazione; Aggiornamento professionale. Dr. Carmelo Bruni 37

Cosa” valutare? Esiti n n 1. Il progetto è stato attivato? 2. Se no, quale parte ne è rimasta fuori e perché? 3. Sono stati raggiunti gli utenti target? 4. Le risorse si sono dimostrate sufficienti? Dr. Carmelo Bruni 38

Cosa” valutare? Risultati n n n Il progetto ha raggiunto gli obiettivi prefissati? Quali obiettivi non sono stati raggiunti e perché? Gli utenti sono rimasti soddisfatti? E il personale? Dr. Carmelo Bruni 39

Cosa” valutare? Impatti n n n Si sta avendo una riduzione del bisogno? Gli utenti continuano a stare bene? Si è avuta una ricaduta in termini di Capitale Umano e Sociale? Dr. Carmelo Bruni 40

Il lavoro della valutazione n ”(…) Il lavoro del valutatore, che ha una propria expertise metodologica e sa come poter formulare le domande, consiste nell’aiutare l’utilizzatore a formulare le proprie domande, con le sfumature locali (. . . ) l’azione del valutatore mette in moto un delicato processo interattivo con gli utilizzatori: se ad ogni passaggio le cose non sono chiare, il valutatore deve aiutare gli utilizzatori ad identificare quali sono le domande cruciali prima di decidere come procedere (…)” (Stame N. , 1998 b). Dr. Carmelo Bruni 41

Linee guida di valutazione 1 n n La valutazione deve essere guidata da un piano, o disegno di valutazione, che è opportuno costruire assieme al progetto di intervento perché deve costituirne parte integrante e accompagnarlo per tutta la sua durata. La valutazione è una "bussola" di cui dotarsi prima di intraprendere il cammino per essere sicuri che durante il percorso sia sempre possibile orientarsi, capire dove ci si trovi, verificare la rotta, decidere di cambiarla. Dr. Carmelo Bruni 42

Linee guida di valutazione 2 n n Valutare non significa unicamente misurare. Troppo spesso, infatti, la preoccupazione principale è quella di raccogliere dati, talvolta in una logica autoreferenziale o di semplice rendiconto. Ciò che è veramente importante sono le interpretazioni, i giudizi, le riflessioni che si compiono su dati e informazioni. Dr. Carmelo Bruni 43

Linee guida di valutazione 3 n n Di conseguenza sin dall'inizio, dovrebbero essere coinvolti nel disegno e nella gestione della valutazione gli attori cruciali. Infatti, la valutazione sarà maggiormente efficace se coinvolgerà a titolo partecipativo o consultivo molti e diversi stakeholders, poiché aumenterà la comprensione e la conoscenza reciproca, renderà maggiormente efficace il processo e restituirà il senso del proprio agire. Dr. Carmelo Bruni 44

Linee guida di valutazione 4 n Il percorso di valutazione accompagna e sostiene i progetti durante tutto il loro ciclo vitale, dalla fase di ideazione (valutazione ex ante), a quella di attuazione (valutazione in itinere), a quella finale, e di eventuale riprogettazione (valutazione ex posto di risultato). Dr. Carmelo Bruni 45

Il percorso di costruzione di un disegno di valutazione 1 1) 2) 3) 4) Individuazione della finalità della valutazione. Esplicitazione dello scopo del progetto/intervento o politica che si intende valutare. Identificazione dei criteri di valutazione e/o da valutare. Identificazione degli indicatori. Dr. Carmelo Bruni 46

Il percorso di costruzione di un disegno di valutazione 2 5) 6) 7) 8) Identificazione degli strumenti per rilevare gli indicatori e delle fonti per raccogliere i dati e le informazioni. Rilevazione sul campo. Valutazione vera e propria (espressione di un giudizio) e identificazione degli obiettivi di miglioramento. Individuazione delle strategie di miglioramento. Dr. Carmelo Bruni 47

Finalità della valutazione n n n Per finalità della valutazione si intende la buona ragione che induce a valutare quel caso, intervento o politica. Esempi: Si intende valutare il fabbisogno dell'anziano per definire il tipo di intervento più adatto a lui oggi (domiciliare, residenziale ecc. ). Si intende valutare l'intervento di assistenza domiciliare anziani per meglio allocare le risorse disponibili. Dr. Carmelo Bruni 48

Scopo della valutazione n n n Per scopo si intende la buona ragione per la quale un intervento è realizzato; Esempi: Il progetto si propone di mantenere X al suo domicilio favorendo il mantenimento della autosufficienza e garantendo sicurezza, dignità e compagnia nella sua vita quotidiana. Il SAD garantisce degli interventi limitati nel corso della giornata, per prestazioni assistenziali, per la cura e l'igiene della persona e dell'abitazione. Dr. Carmelo Bruni 49

Criteri e dimensioni di valutazione n n n Si intendono gli elementi intorno ai quali focalizzare la ricerca valutativa; essi discendono direttamente dallo scopo; Esempi Si indagherà il fabbisogno dell'anziano in relazione al suo grado di autosufficienza (capacità motorie, cognitive ecc. ). Si indagheranno le dimensioni di: continuità assistenziale, tempestività dell'intervento, integrazione con altri servizi, ecc. Dr. Carmelo Bruni 50

Indicatori di valutazione n n n Una proprietà che – in toto o in una sua parte - rappresenta un concetto rilevante nella ricerca e che tradotto in variabile mi consente di “misurarlo”. Esempi: n° di ore di A. D. come indicatore di Efficacia; n° di pratiche avviate come indicatore di Efficienza. Dr. Carmelo Bruni 51

Indicatori n n n Il rapporto tra indicatore e concetto non è esclusivo né esaustivo; Indicatore e diverso da Indice, che è una combinazione di indicatori; Il paradigma di Lazarsfeld. Dr. Carmelo Bruni 52

Strumenti e fonti informative n n Uno strumento è ciò che usiamo per rilevare informazioni. Si distinguono tra standard e non-standard (dalle storie di vita alla survey); Una fonte è un’entità che ci fornisce le informazioni (un soggetto, un Ente, una Istituzione, ecc. ) Dr. Carmelo Bruni 53

Raccolta delle informazioni n n La rilevazione si distingue per livello di intrusività (dal questionario postale all’intervista in profondità); La rilevazione richiede delle accortezze che vanno dalla interpretazione del dato alle modalità con cui si conducono le interviste. Dr. Carmelo Bruni 54

Valutazione n n Si analizzano, con gli attori interessati, i dati e le informazioni raccolte e si esprimono giudizi finalizzati ad individuare le aree di miglioramento; Esempio: L'assistente sociale convoca l'operatore di riferimento per valutare i risultati dell'analisi del fabbisogno del Sig. x e insieme esprimono giudizi sul grado di soddisfazione del fabbisogno del Sig. x in relazione alle possibilità del servizio. Dr. Carmelo Bruni 55

Strategie di miglioramento n n n Si decidono le azioni che si intendono implementare per realizzare i miglioramenti ipotizzati; Esempi: Vengono aumentate o diminuite le ore di assistenza al Sig. x. Vengono cambiate le funzioni assistenziali richieste (igiene personale, pulizia casa ecc. ). Viene rivisto il sistema delle sostituzioni/turni di lavoro per mantenere la continuità assistenziale. Dr. Carmelo Bruni 56