XII Congresso AIV La Valutazione per una Pubblica

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 La valutazione ex-ante dei PSR 2007 -13 in Italia: modelli a confronto Vincenzo Fucilli, Claudio Acciani, Ruggiero Sardaro Università di Bari 1

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Struttura della Presentazione Introduzione Approcci principali alla valutazione Meta-valutazione: definizioni, significato, funzioni Specificità della valutazione dei PSR Aspetti dei rapporti di valutazione ex ante: il modello valutativo UE le procedure Conclusioni 2

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 L’obiettivo del lavoro consiste nel verificare i contenuti metodologici dei rapporti di valutazione ex ante dei 21 PSR d’Italia in relazione a (meta) criteri. Attraverso l’analisi dei rapporti di valutazione si ricostruisce la “qualità” delle valutazioni con riferimento ai modelli e alle procedure adottati. La ricerca nasce dalla constatazione che, pur in presenza di una indubbia moltiplicazione delle valutazioni dei programmi di sviluppo rurale, non sembra ci sia una simile proliferazione di studi e analisi “delle valutazioni”. 3

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Per poter stabilire i riferimenti generali, utili ad analizzare l’approccio adottato nelle valutazioni (ex ante) dei PSR, tra I numerosi contributi sono stati scelti quelli di Scriven (1991), Stufflebeam (2001), Weiss (1998) e Bustelo (2002). Significati: • aumentare la (eventuale) credibilità dei risultati; • generalizzare i risultati ottenuti da un programma ovvero di stimarne gli impatti globali; • analizzare e ricostruire la “qualità” complessiva di più valutazioni. Investigare sulle specifiche caratteristiche del processo valutativo di un programma. 4

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Nella letteratura scientifica in tema di valutazione di programmi esistono diversi approcci e numerose classificazioni degli approcci proposti. Per stabilire il riferimento generale utile ad analizzare l’impianto teorico dei rapporti di valutazione dei PSR, tra i numerosi contributi appaino particolarmente interessanti quelli di Guba e Lincoln (1989), Midmore (1997), Stame (2001). Stame classifica gli approcci in: 1) positivista sperimentale; 2) pragmatista; 3) costruttivista. 5

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Gli obiettivi della Politica di Sviluppo Rurale: • migliorare la competitività del settore agro forestale; • valorizzare l’ambiente e lo spazio rurale attraverso la gestione del territorio; • migliorare la qualità della vita nelle zone rurali e diversificare le attività economiche 6

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 In continuità con l’approccio più marcatamente strategico attribuito alla politica di sviluppo rurale, il nuovo sistema di monitoraggio e valutazione ha introdotto delle variazioni. All’art. 80 del Reg. (CE) 1698/05 si introduce QCVM: “L'approccio … si basa sulle stesse modalità dei periodi precedenti, ma sarà attuato in maniera più sistematica” I principali cambiamenti introdotti: • rafforzamento del legame tra monitoraggio e valutazione; • rafforzamento del carattere strategico del monitoraggio e della valutazione; • rafforzamento della possibilità di aggregare prodotti, risultati e impatti a livello comunitario; 7 • organizzazione della valutazione in itinere.

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Art. 85 Reg. (CE) 1698/05: La valutazione ex ante forma parte integrante dell'iter di elaborazione di ogni programma ed è intesa a ottimizzare la ripartizione delle risorse finanziarie e migliorare la qualità della programmazione. Essa identifica e valuta: • i fabbisogni a medio e lungo termine; • le mete da ottenere e i risultati da raggiungere; • gli obiettivi quantificati, in termini di impatto rispetto alla situazione di partenza; • il valore aggiunto comunitario; • la misura in cui si è tenuto conto delle priorità comunitarie; • le lezioni del passato; • la qualità delle procedure di attuazione, sorveglianza, valutazione e gestione finanziaria. 8

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 • Reho (2006) afferma che “Dalla lettura dei Regolamenti emergerebbe soprattutto l’importanza della funzione di accountability: la Commissione chiede agli Stati membri che sia reso conto del modo in cui i finanziamenti sono spesi”. • Si può ascrivere l’approccio valutativo a quello definito da Stame (2001) “positivista sperimentale”. • Esso è eminentemente “goal-oriented”, poiché si fonda sulla verifica del raggiungimento degli obiettivi posti dalla programmazione. 9

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Procedure per pianificare e strutturare la valutazione nei rapporti di valutazione regionali Design Overall Obtaini ng data In-depth Analysing Judgement data s Concept or issue mapping x Stakeholder consultation x Evaluability Assessment x Logic Models x x Formative/ developmental evaluation x x x Obtainin g data Analysin g data Judgement s x x 10

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Procedure per rilevare dati e informazioni nei rapporti di valutazione regionali Overall In-depth Desig n Obtainin g data Analysing data Judgements Social surveys x x Beneficiary surveys Stakeholder interv. x x Priority evaluation x x Focus groups x x Case studies x x Participatory appr. & methods x x x Use of secondary source data x Use of administrative data x Observational techniques Obtaining Analysing Judgements data Local evaluation 11

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Procedure per analizzare le informazioni nei rapporti di valutazione regionali Overall In-depth Desig n Obtainin g data Analysing data Judgements Input/output analysis x Econometric models x Regression analysis Experimental and quasi-experimental approaches Delphi survey x x SWOT x Obtaining Analysing Judgements data 12

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Procedure per formulare giudizi nei rapporti di valutazione regionali Overall In-depth Des ign Obtainin g data Analysing data Judgements Cost-benefit analysis x Bench marking Cost effectiveness analysis x x Economic impact assessment x Gender impact assessment x Environmental impact assessment x Strategic environmental assessment x x Multi-criteria analysis x x Expert panels x x Obtaining Analysing Judgements data 13

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari 27 -28 marzo ’ 09 via Roma 253 Conclusioni: • Un sistema comunitario di valutazione goal oriented: Accountability vs Learning. • Il QCVM è al centro dei rapporti di valutazione. • Indicare le procedure nei rapporti di valutazione. 14