1 LA METRICA DI VALUTAZIONE CAF 12 e

1 LA METRICA DI VALUTAZIONE CAF 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

LA METRICA CAF 2006 Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (1) Il sistema di punteggio consente di quantificare il livello di qualità dei sottocriteri ai fini di: – Fornire un’indicazione sintetica utilizzabile, assieme ad altri parametri, per stabilire le priorità riguardo alle azioni di miglioramento – Consentire confronti, a livello di sottocriterio e criterio, fra la situazione presenta e quelle delle precedenti autovalutazioni – Consente confronti tra diverse organizzazioni con finalità / attività / processi paragonabili 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 2

LA METRICA CAF 2006 Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (2) I punteggi hanno fini diversi nell’autovalutazione e nelle valutazioni dei premi (di cui la guida CAF 2006 non si occupa). Pur obbedendo ovviamente alla stessa logica, i secondi devono garantire il raggiungimento della massima oggettività e coerenza fra giudizi dati da valutatori diversi. Si usano perciò algoritmi che restringono il campo di incertezza. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 3

I sistemi di punteggio del CAF 2006 a) Sistema classico Punteggio cumulativo basato sul giudizio relativo a ciascun sottocriterio. Su base 100 e non più da 1 a 5, impostato sull’avanzamento nell’uso delle fasi del ciclo PDCA. b) Sistema avanzato In relazione ai Fattori abilitanti (criteri 1 -5) attribuisce un punteggio da 0 a 100 ad ognuna delle fasi del ciclo di PDCA e ne calcola la percentuale rispetto al massimo ottenibile (400 punti). In relazione ai Risultati (criteri 6 -9) il punteggio da 1 a 100 è assegnato in relazione a due variabili: il trend degli ultimi 3 anni; i risultati rispetto ai target. Si calcola poi la percentuale rispetto al massimo (200 punti) 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 4

Il sistema classico per i Fattori abilitanti 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 5

Il sistema classico per i Risultati 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 6

Il sistema avanzato per i Fattori abilitanti 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 7

Il sistema avanzato per i Risultati 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 8

Metrica CAF 2006 per la valutazione dei Premi PPAA La struttura del sistema di valutazione proposto dal modello Caf 2006 è stata integrata, ai fini della valutazione per i premi, con una “guida” aggiuntiva per l’autovalutazione e la valutazione esterna, contenente integrazioni delle matrici e spiegazioni di dettaglio, utili alle amministrazioni per una corretta autovalutazione e indispensabili per un’appropriata valutazione esterna nell’ambito del Premio PPAA. Nelle pagine seguenti è riportata questa guida, mettendo a confronto la “Griglia di analisi CAF 2006” per i fattori e per i risultati con la “Griglia di analisi per i premi PA”. Quest’ultima è riportata anche nella “Griglia di valutazione per i premi PA”, strumento operativo per la valutazione quantitativa dei fattori e dei risultati 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 9

lisi LA VALUTAZIONE DEI FATTORI ABILITANTI dirigenza dell’organizzazione ha fatto e sta facendo (approcci - processi – progetti) per realizzare i requisiti posti dal sottocriterio in esame – “come” lo ha fatto e lo sta facendo e perché lo sta facendo (chi sono i destinatari, quali le loro attese e requisiti). Cioè: 12 e 16 gennaio 20 aprile 2010 2012 il “cosa” il “come” La metrica di valutazione CAF il “perché” 10

GLI ELEMENTI DELLA METRICA DEI FATTORI IN SINTESI 11 La Metrica per la valutazione dei fattori è basata sul PDCA secondo i concetti indicati qui di seguito: PLAN DO CHECK ACT 12 e 16 gennaio 20 aprile 2010 2012 La pianificazione è basata sui bisogni e sulle aspettative dei portatori di interesse. La pianificazione è diffusa regolarmente in significative parti dell’organizzazione. L’esecuzione è gestita attraverso processi e responsabilità definite e diffusa regolarmente in significative parti dell’organizzazione I processi definiti sono monitorati con indicatori significativi e rivisti regolarmente in significative parti dell’organizzazione Azioni correttive e di miglioramento sono assunte a seguito del controllo dei risultati e diffuse regolarmente in significative parti dell’organizzazione La metrica di valutazione CAF

GLI ELEMENTI DELLA METRICA DEI FATTORI IN DETTAGLIO 12 Nelle organizzazioni eccellenti (PLAN): Gli approcci hanno un chiaro fondamento logico. Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. Gli approcci e la relativa pianificazione supportano le politiche e le strategie. Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

GLI ELEMENTI DELLA METRICA DEI FATTORI 13 “PLAN” Gli approcci sono organizzativamente affidabili, non frutto del caso, ma di progettazione, pianificazione, organizzazione. Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. L’efficacia dell’approccio dipenderà in larga misura dal fatto che sia stato ideato e progettato in modo “autoreferenziale”, oppure partendo dalle esigenze/attese dei destinatari. Gli approcci e la relativa pianificazione supportano le politiche e le strategie e sono definiti obiettivi appropriati e fattibili. L’approccio è ben definito, documentato e prevede, già in sede di pianificazione, lo schema delle verifiche e delle revisioni critiche necessarie per valutarne l’efficacia e l’efficienza. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

GLI ELEMENTI DELLA METRICA DEI FATTORI 14 Nelle organizzazioni eccellenti (DO): L’esecuzione è gestita attraverso processi e responsabilità definite. L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

15 GLI ELEMENTI DELLA METRICA DEI FATTORI “DO” Gli approcci / progetti / iniziative sono attuati concretamente secondo i piani definiti (PLAN). L’esecuzione è gestita responsabilità definite. attraverso processi e L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione, dove possono dare valore aggiunto. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (CHECK): Approcci e processi sono monitorati con indicatori appropriati. Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 16

GLI ELEMENTI DELLA METRICA DEI FATTORI “CHECK” Approcci e processi sono monitorati con indicatori appropriati e rivisti regolarmente. Si tratta della verifica sistematica della attuazione di quanto pianificato, attraverso verifiche e controlli basati su opportuni indicatori. L’obiettivo della fase di Check è quello di assicurare che gli approcci e i processi attraverso cui essi si attuano siano costantemente gestiti ed allineati agli obiettivi a cui mirano. E’ in genere la parte più carente nelle amministrazioni pubbliche. La carenza nel check è in generale la conseguenza di carenze a monte, a livello della fase Plan: definizione dei processi, dei relativi indicatori, dell’assegnazione delle responsabilità. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 17

GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (ACT): A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento. La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento. Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 18

GLI ELEMENTI DELLA METRICA DEI FATTORI “ACT” A seguito del controllo dei risultati (CHECK) vengono intraprese azioni correttive e di miglioramento. La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento. L’autovalutazione, il benchmarking, la ricerca delle soluzioni, sono fra le vie maestre per l’apprendimento collettivo e la diffusione delle prassi migliori. Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 19

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori 20 Griglia di analisi per Premi PPAA GRIGLIA DI ANALISI CAF 2006 Gli approcci hanno un chiaro fondamento logico. La pianificazione è basata sui bisogni e sulle aspettative dei portatori di interesse. Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. Gli approcci e la relativa pianificazione supportano le politiche e le strategie. Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione. L’esecuzione è gestita attraverso processi e responsabilità definite. PLAN La pianificazione è diffusa regolarmente in significative parti dell’organizzazione. L’esecuzione è gestita attraverso processi e responsabilità definite DO e diffusa regolarmente in significative parti dell’organizzazione I processi definiti sono monitorati con indicatori significativi CHECK e rivisti regolarmente in significative parti dell’organizzazione Azioni correttive e di miglioramento sono assunte a seguito del controllo dei ACT risultati e diffuse regolarmente in significative parti dell’organizzazione 12 e 16 gennaio 20 aprile 2010 2012 L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione. Approcci e processi sono monitorati con indicatori appropriati Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento La definizione delle azioni è supportata benchmarking e di apprendimento Le azioni sono diffuse regolarmente dell’organizzazione La metrica di valutazione CAF dalle nelle parti attività di pertinenti

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori La logica PDCA Gli elementi di valutazione Gli elementi della Griglia CAF 2006 12 e 16 gennaio 20 aprile 2010 2012 L’interpretazione I dettagli interpretativi per la valutazione del Premio PA La metrica di valutazione CAF 21

22 FATTORI - Griglia di Valutazione per Premi PPAA FASE ATTRIBUTI SCALA 0 - 10 11 - 30 Gli approcci hanno un chiaro fondamento logico Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative degli stakeholder Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree Gli approcci e la relativa pianificazione supportano le politiche e le Nessuna evidenza, o solo strategie qualche idea Alcune deboli evidenze relative a poche aree Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione Alcune deboli evidenze relative a poche aree PLAN Punteggio PLAN Nessuna evidenza, o solo qualche idea 0 5 10 15 20 25 30 L’attuazione degli approcci è gestita attraverso processi e responsabilità definite Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree L’attuazione degli approcci è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree DO Punteggio DO Approcci e processi sono monitorati con indicatori e obiettivi appropriati per valutarne l’efficacia 0 5 10 15 20 25 30 Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree Approcci e processi sono rivisti regolarmente nelle aree pertinenti Nessuna evidenza, o solo della organizzazione qualche idea Alcune deboli evidenze relative a poche aree CHECK Punteggio CHECK ACT 0 5 10 15 20 25 30 A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree 31 - 50 Alcune buone evidenze relative a un numero significativo di aree ad aree significative Alcune buone evidenze relative a un numero significativo di aree ad aree significative 35 40 45 50 Alcune buone evidenze relative a un numero significativo di aree ad aree significative 51 - 70 71 - 90 Forti evidenze relative alle maggior parte delle aree Evidenze molto forti relative a tutte le aree Forti evidenze relative alle maggior parte delle aree Evidenze molto forti relative a tutte le aree 55 60 65 70 75 80 85 90 Forti evidenze relative alle maggior parte delle aree Evidenze molto forti relative a tutte le aree 91 - 100 Evidenze eccellenti confrontate con altre organizzazioni, relative tutte le aree Evidenze eccellenti confrontate con altre organizzazioni, relative tutte le aree 95 100 Evidenze eccellenti confrontate con altre organizzazioni, relative tutte le aree Punteggio ACT 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Punteggio Totale % (Somma/4) 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF a a a

LA VALUTAZIONE DEI RISULTATI I risultati devono basarsi su dati oggettivi. Si valuta “che cosa” l’organizzazione ha raggiunto attuando gli approcci relativi ai fattori abilitanti. Dall’analisi scaturisce un punteggio e delle indicazioni percorsi di indagine sui fattori. I criteri di giudizio sono dati da una “griglia di analisi dei risultati” che declina il “che cosa” a livelli tali da poter fornire indicazioni utili per il punteggio e per le azioni successive. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 23

GLI ELEMENTI DELLA METRICA DEI RISULTATI IN SINTESI 24 La Metrica per la valutazione dei risultati è basata sul PDCA secondo i concetti indicati qui di seguito: Trend Target 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Risultati CAF 2006 Griglia di analisi per Premi PPAA I trend sono positivi TREND TARGET e/o le performance sono costantemente buone. Obiettivi Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. Confronti favorevoli con altre organizzazioni (interne e/o esterne) e scelte in modo appropriato. Copertura I risultati sono relativi alle aree pertinenti ed Eventualmente segmentati quando appropriato. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 25

GLI ELEMENTI DELLA METRICA DEI RISULTATI IN DETTAGLIO Nelle organizzazioni eccellenti: I trend sono positivi e/o le performance sono costantemente buone. Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. Confronti favorevoli con altre organizzazioni (interne e/o esterne), scelte in modo appropriato. I risultati sono relativi alle aree pertinenti ed eventualmente segmentati quando appropriato. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 26

GLI ELEMENTI DELLA METRICA DEI RISULTATI “TREND” Per individuare un trend occorrono almeno tre misure successive (statisticamente anche più), ad intervalli opportuni, ad esempio tre anni. Qualitativamente si può affermare che il trend è positivo se i risultati migliorano, negativo se peggiorano, costante se non variano. La tabella della metrica fornisce i criteri che si assumono per la valutazione quantitativa. Nel caso in cui non sia possibile avere andamenti, si annoteranno i motivi nel foglio della tabella in cui sono commentati i risultati relativi al sottocriterio. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 27

GLI ELEMENTI DELLA METRICA DEI RISULTATI 28 “Confronto con OBIETTIVI” Gli obiettivi quantitativi (target) che l’amministrazione vuole conseguire devono essere definiti nella fase di pianificazione. Il criterio e/o la logica utilizzata per fissare gli obiettivi (ad esempio rispetto ai risultati storici e/o le ipotesi di evoluzione futura, i livelli ottenuti da altri ecc), devono essere stabiliti e oggetto di valutazione al fine di determinarne l’appropriatezza. Ogni risultato presentato deve essere confrontato con il relativo obiettivo per capire se e in che misura esso sia stato raggiunto. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

GLI ELEMENTI DELLA METRICA DEI RISULTATI 29 “Confronto con ALTRI” Confronti interni: confronti effettuati tra settori o tra sedi diverse confrontabili all’interno della stessa amministrazione. Confronti con l’esterno: il confronto avviene con i risultati di altre organizzazioni confrontabili e di rilievo con le quali siano state effettuate attività di benchmarking, o ottenuti con altre modalità. Devono essere evidenti i criteri di scelta delle organizzazioni (interne o esterne) con cui è stato effettuato il confronto (ad esempio è stata scelta una amministrazione perché ha risultati eccellenti riconosciuti a livello territoriale o nazionale / è stato scelto un settore perché è quello che ha ottenuto i migliori risultati dell’amministrazione nell’area considerata). 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

GLI ELEMENTI DELLA METRICA DEI RISULTATI “COPERTURA” La parola “copertura” fa riferimento alla completezza dei risultati presentati. Si verificherà a tal fine che i risultati: – riguardino tutti gli aspetti appropriati del sottocriterio considerato; – siano propriamente segmentati (per esempio per i diversi tipi di servizio, settori, sedi, ecc); – si riferiscano effettivamente agli indicatori importanti per gli aspetti considerati. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 30

La valutazione “efficace” dei Risultati I “Risultati” misurano l’adeguatezza di quanto l’amministrazione genera in termini di valore per i propri clienti e portatori di interesse (efficacia), nonché la sua efficienza. “Risultati” significa dati, non elementi qualitativi, sensazioni. Da evitare l’errore di valutare, nella parte “risultati”, quanto l’organizzazione ha fatto o sta facendo per ottenere i risultati stessi (gli approcci): ciò va riportato, se non è già presente, nei Fattori abilitanti pertinenti. E’ opportuno invece che si facciano commenti che possano indirizzare ai criteri e sottocriteri dei fattori abilitanti su cui indagare per capire le cause dei risultati stessi. 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF 31

La valutazione “efficace” dei Risultati 32 Commentare sempre i risultati I risultati dovrebbero essere in ogni caso accompagnati da commenti e analisi, espressi in forma sintetica. Nel caso in cui non lo siano il valutatore deve ricercare le eventuali informazioni nei sottocriteri correlati: ● causa - effetto ● valutare come i risultati siano la conseguenza degli approcci descritti nei fattori abilitanti obiettivi valutare i criteri con cui l’Amministrazione definisce gli obietti ● risultati non positivi valutare quello che l’Amministrazione ha fatto / sta facendo / ha intenzione di fare per risolvere i problemi che hanno portato a quei risultati 12 e 16 gennaio 20 aprile 2010 2012 La metrica di valutazione CAF

33 RISULTATI - Griglia di Valutazione per Premi PPAA Fase Attributi / Scala I trend sono positivi TREND e/o le performance sono costantemente buone Punteggio TREND 0 - 10 11 - 30 31 - 50 51 - 70 71 - 90 91 - 100 Alcuni trend positivi Trend positivi o o o O O Nessuna misurazione alcune performance o performance soddisfacenti buone negli eccellenti negli indicazioni sporadiche soddisfacenti negli ultimi 3 anni o negli ultimi 3 anni e che riguardano e che trend negativi non e che il 40% circa dei il 60% circa dei il 80% circa dei riguardano tutti motivati riguardano le risultati delle aree i risultati delle aree e/ o attività e/o attività aree e/o attività pertinenti pertinenti 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 OBIETTIVI Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. Punteggio OBIETTIVI CONFRONTI TARGET Confronti favorevoli con altre organizzazioni (interne e/o esterne) e scelte in modo appropriato. Punteggio CONFRONTI COPERTURA I risultati sono relativi alle aree pertinenti ed eventualmente segmentati quando appropriato. Punteggio COPERTURA 12 e 16 gennaio 20 aprile 2010 2012 Non ci sono obiettivi o vengono fornite indicazioni sporadiche Alcuni obiettivi raggiunti e appropriati 0 5 10 Nessun confronto o confronti con organizzazioni scelte in modo non appropriato 15 0 15 5 10 20 25 30 Confronti non favorevoli o favorevoli per alcuni risultati 20 25 30 Raggiunti e appropriati per il 40% circa dei risultati Raggiunti e appropriati per il 60% circa dei risultati Raggiunti e appropriati per il 80% circa dei risultati 35 40 45 50 55 60 65 70 75 80 85 90 Alcuni confronti favorevoli pari almeno al al 50% dei al 25% dei al 60% dei risultati scelti in modo appropriato 35 Raggiunti e appropriati per tutti i risultati 95 100 Confronti favorevoli per tutti i risultati scelti in modo appropriato 40 45 50 55 60 65 70 75 80 85 90 95 100 I risultati riguardano il 40% riguardano il 60% riguardano il 80% riguardano tutte delle aree e/o I risultati attività pertinenti attività Nessun risultato riguardano il 20% e sono pertinenti o delle aree e/o segmentati E sono indicazioni sporadiche attività pertinenti quando segmentati appropriato quando appropriato 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 La metrica di valutazione CAF