Terleti programozs s monitoring 7 Program szint rtkels

  • Slides: 26
Download presentation
Területi programozás és monitoring 7. Program szintű értékelés Kulcsár Gábor VÁTI Stratégiai Tervezési Igazgatóság

Területi programozás és monitoring 7. Program szintű értékelés Kulcsár Gábor VÁTI Stratégiai Tervezési Igazgatóság ELTE TTK geográfus szak 2008. Április 11.

A program értékelés Strukturált folyamat, melynek során a program által elért eredményekről ítéletet alkotunk

A program értékelés Strukturált folyamat, melynek során a program által elért eredményekről ítéletet alkotunk és megértjük. Részei: • Releváns információ összegyűjtése • Ezek értékelése elfogadott kritériumok alapján • Jelentés az értékelés eredményéről • Ami beépítésre kerül a következő programba

Értékelés alapkérdései • Relevancia: kiváltó körülmények fennállnak? • Eredményesség: sikerült a célokat elérni? •

Értékelés alapkérdései • Relevancia: kiváltó körülmények fennállnak? • Eredményesség: sikerült a célokat elérni? • Hatékonyság: eredmények vs. források • Hatásosság: a célra irányult a fejlesztés?

Értékelési kritériumok Értékelési kérdések kapcsolata a beavatkozási logikával

Értékelési kritériumok Értékelési kérdések kapcsolata a beavatkozási logikával

Értékelés és monitoring kapcsolata Input Output Eredmény Hatás Monitoring Értékelés • Az értékelés a

Értékelés és monitoring kapcsolata Input Output Eredmény Hatás Monitoring Értékelés • Az értékelés a monitoring után kezdődik • kiindulópontja a monitoring adatok és • elsősorban a hatásokra koncentrál • Nem a mi történt? , hanem a hogyan és miért

Programok értékelése - előzmények 1950 -es években USA – közigazgatás hatékonyság mérése (Planning Programing

Programok értékelése - előzmények 1950 -es években USA – közigazgatás hatékonyság mérése (Planning Programing Budgeting System) létrejötte, majd oktatás, szociális szolgáltatási, közegészségügyi és bűnmegelőzési témák értékelése 1970 -es évek – terjedő elutasítás a közigazgatásban a mesterséges társadalmi kísérletekkel szemben 1980 -as években a decentralizált menedzsment koncepció része lett SEM 2000 program (Sound and efficient management) MEANS program – 1999 GUIDE - 2004 Általában közcélú tevékenységek elemzése a közgazdaságtan, gazdaságföldrajz, antropológiai, szociálpszichológia és szociológia módszereivel

Programok sajátosságai • • Kombinált célrendszer (ld. KMR Op) Több szférát érintő beavatkozások Fejlődéstörténete:

Programok sajátosságai • • Kombinált célrendszer (ld. KMR Op) Több szférát érintő beavatkozások Fejlődéstörténete: Single European Act 1986 V. fejezet 130 d) cikk hatásosság növelésről 1988 -ban a 6. cikk 2 par. Előírja az ex ante és ex post értékeléseket 1993. júliusi szabályozás megerősítette az értékelést (csak akkor adható a támogatás) 3. generációs szabályozás (átfogó hatás a Közösségi célok, a prioritások és horizontális prioritások szempontjából)

Szakpolitikai-program és értékelési ciklusok Policy Review Policy Formulation Program me Conclusio ns Ex-ante Feasibilit

Szakpolitikai-program és értékelési ciklusok Policy Review Policy Formulation Program me Conclusio ns Ex-ante Feasibilit y Evaluati on Ex-post /Results Evaluations Ongoing / Mid term Evaluation Programme Implementati on Policy Delivery Program me Design Az értékelések időbeni lefolytatása biztosíthatja, hogy a tanulságok beépülnek a program és szakpolitika kialakításának menetébe

Az értékelés fő céljai: • • • Tervezés/hatékonyság – biztosítja a szakpolitika/program igazolását és

Az értékelés fő céljai: • • • Tervezés/hatékonyság – biztosítja a szakpolitika/program igazolását és az erőforrások hatékony elosztását. Elszámoltathatóság – bemutatja, hogy a program mennyire érte el a kitűzött célokat és milyen módon használta fel az erőforrásokat. Megvalósítás szempontból – javítja a program teljesítményét és támogatások célba juttatásának hatásosságát. Tudásszint emelése – A dolgok működéséről (milyen körülmények között, hogyan működnek különböző eszközök) és a beavatkozások hatékonyságának növeléséről. Intézményi megerősítés – javítja és fejleszti a program résztvevők, hálózataik és intézmények kapacitásait.

EU értékelési alapelvei • Konstruktív érvényesség (hatások kellő pontossága) • Belső érvényesség (adatgyűjtés torzulásmentes

EU értékelési alapelvei • Konstruktív érvényesség (hatások kellő pontossága) • Belső érvényesség (adatgyűjtés torzulásmentes – belső okozatok) • Külső érvényesség (általánosíthatóság) • Hitelesség (credibility) • információhoz való hozzáférés • megbízhatóság (reliability) • tárgyilagosság, elfogulatlanság (impartiality) • átláthatóság • nyilvánosság

Az értékelés koncepciói Szempont Menedzseri Demokratikus Pluralisztikus Általános, átfogó projekt A közforrások optimalizálása A

Az értékelés koncepciói Szempont Menedzseri Demokratikus Pluralisztikus Általános, átfogó projekt A közforrások optimalizálása A polgárok bevonása és jelentés készítése Kollektív problémamegoldás Érték megállapítás Független értékelők (szakértők) Választott képviselők bírálnak A tevékenységben résztvevők bírálnak Szabványok objektivitás Nyilvánosság Pártatlanság Vezetői értékelés (managerial) – közigazgatás teljesítményének értékelése Demokratikus értékelés – választott képviselők útján történik (kísérleti beavatkozások esetében) Plurális értékelés (plural) – közös álláspont kialakítása a cél

Az értékelés megközelítései Megközelítések: • Alakító (formative) értékelés Megvalósítók számára visszajelzés a megvalósítás során.

Az értékelés megközelítései Megközelítések: • Alakító (formative) értékelés Megvalósítók számára visszajelzés a megvalósítás során. • Összegző (summative) értékelés Nyilvánosság számára készülő értékelés a fejlesztés indokoltságáról és eredményességéről • Kontextus értékelés - projektcélok jók voltak? • Folyamat értékelés - a munkaterv alkalmas a projekt céljainak elérésére? • Eredmény értékelés - a projekt eredményei? Célok elérve? A projekt hatásai mik voltak? • Elégedettség értékelés - a kedvezményezettek elégedettek a projekttel?

 • • • Közösségi hozzáadott-érték Társadalmi-gazdasági kohézió Policy hozzáadott-érték (Közösségi célok) Pénzügyi hozzáadott-érték

• • • Közösségi hozzáadott-érték Társadalmi-gazdasági kohézió Policy hozzáadott-érték (Közösségi célok) Pénzügyi hozzáadott-érték Módszertani, partnerségi, tervezési, értékelési és menedzsment működés terén Tapasztalatcsere és hálózatos együttműködésből adódó érték

Az értékelés típusai • átfogó értékelés – mindent értékel • tematikus értékelés – egy

Az értékelés típusai • átfogó értékelés – mindent értékel • tematikus értékelés – egy témát vizsgál több beavatkozással kapcsolatban • in-depth értékelés – egyes témákban létrejövő hatásokról • előzetes (ex ante) értékelés – összefüggések elemzése • közbenső értékelés – monitoring és megvalósítás értékelése • folyamatos értékelés – a beavatkozás megvalósításának teljes idejére • utólagos (ex post) értékelés – beavatkozás lezárulta után

Egyéb fogalmak Önértékelés – megvalósító végzi Belső értékelés – program megbízásából végzik az értékelők

Egyéb fogalmak Önértékelés – megvalósító végzi Belső értékelés – program megbízásából végzik az értékelők Külső értékelés – a beavatkozásért nem felelős értékelők végzik Értékelő bizottság (evaluation commitee) – érdekeltekkel bővített Evaluation setting: szervezetek, menetrend, módszer és viszonyuk Értékelési rendszer: szabályok, intézmények, eljárások, források együtt Elő-értékelés: előtanulmány az értékelésről, hogy döntés legyen Értékelhetőségi tanulmány: technikai, intézményi feltételek a lehetőségrő Tematika (To. R) Értékelési kérdés: leíró, okozati jellegű és normatív (megfelelő-e)

Beavatkozás szereplői Finanszírozó Működtető/projekt felelős TÉRSÉG jogosult érintett

Beavatkozás szereplői Finanszírozó Működtető/projekt felelős TÉRSÉG jogosult érintett

Az értékelés résztvevői - az érintettek • Donorok - EU, állam, önkormányzat stb. •

Az értékelés résztvevői - az érintettek • Donorok - EU, állam, önkormányzat stb. • helyi partnerek - magánszemélyek, szervezetek • trénerek • mentorok - támogatók • projekt team (adminisztráció) • kedvezményezettek - a célcsoport • helyi résztvevő cégek • a termékek és szolgáltatások végfelhasználói • potenciális követők (hasonló projektet tervezők) • nemzetközi partnerek

Hatások • • • Bruttó, nettó és holtsúly hatások Elmozdulási hatás – létrejön, míg

Hatások • • • Bruttó, nettó és holtsúly hatások Elmozdulási hatás – létrejön, míg máshol megszűnik pl. munkahel kivonó, helyettesítő hatás – pl. nyugdíjas helyére Társfinanszírozási tényező – beavatkozástól független pl. piaci hatá Multiplikátor hatás Közvetlen, beemelő, kerelet-kínálati hatások Strukturáló hatások Impulzus hatás Szinergia – antiszinergia hatások Foglalkoztatási hatások (közvetlen-közvetett, átmeneti-tartós) Elemzés: • • Oksági elemzés – mechanizmus és társfinanszírozó tényező együtt Beavatkozási – prospektív és magyarázó - retropespektív elméletek Belső – külső koherencia Komplementaritás – több beavatkozás között

Módszerek 1. Strukturáló technikák: • SWOT • Logikai keretmátrix • Hatástérkép • Színes szavazat

Módszerek 1. Strukturáló technikák: • SWOT • Logikai keretmátrix • Hatástérkép • Színes szavazat • Kereszthatások mátrixa Információgyűjtési technikák: • Alapadatok felmérésből • Másodlagos adatok pl. monitoring rendszerből • Összehasonlító adatok • Idősorok, longitudionális adatok egyes csoportokra kül. időpontba • Mintavételi eljárás • Kérdőíves felmérés • Egyéni interjú és fókuszcsoportos megbeszélés • Esettanulmány

Módszerek 2. Elemzési technikák • Összehasonlító – kontroll csoport • Összeillő párok képzése •

Módszerek 2. Elemzési technikák • Összehasonlító – kontroll csoport • Összeillő párok képzése • Regressziós analízis • Kovariancia analízis • Faktoranalízis • Shift-share analízis • Input-output elemzés • Makroökonómiai modellek • Delphi-módszer

Módszerek 3. Ítéletalkotási technikák • Szakértői panel • Benchmarking • Multikritérium elemzés • Költséghatékonysági

Módszerek 3. Ítéletalkotási technikák • Szakértői panel • Benchmarking • Multikritérium elemzés • Költséghatékonysági elemzés • Költség-haszon elemzés (CBA)

Indikátorok kialakítása 1. Az értékelés végső célja? (előzetes, folyamat stb. ) 2. Kinek számára

Indikátorok kialakítása 1. Az értékelés végső célja? (előzetes, folyamat stb. ) 2. Kinek számára készül az értékelés? (célcsoport) 3. Milyen szempontból értékeljük a projektet? (aspektusok) 4. Milyen információk szükségesek ehhez? (informatív legyen) 5. Milyen időközönként kell gyűjteni? • • Kontextus mutató – nemcsak a program hatásait mutatja Alaphelyzet Program mutató (input és output) Általános indikátor (különböző outputokra összefoglalóan) Key indikátor (különböző beavatkozásokra nézve) Felhasználási ráta (előirányzat/lekötés) Teljesítési ráta (tervezett/teljesített output) Lefedettségi ráta (érintett/jogosult)

Értékelési indikátorok (példa)

Értékelési indikátorok (példa)

Információ elemzés • Előre rögzített értékelési célok, szempontok és mutatók • Nem túl nagyratörő

Információ elemzés • Előre rögzített értékelési célok, szempontok és mutatók • Nem túl nagyratörő értékelési eljárás • Képzett és tapasztalt értékelők + IDŐ! • Rendszeres és strukturált adatgyűjtés • Könnyű hozzáférés az információkhoz • IT erőforrások és készségek • Fegyelmezett adatgyűjtés • Összegzés (total) és részösszegek (KKV) • Arány (%) - összehasonlíthatóvá tesz • Átlag • Összehasonlítás - segít az okok elemzésében • kereszt-tábla - típusok elkülönítése • trendek - időben, before-after elemzés • diagram - vizuális funkció

Az értékelés hasznossága Különböző szereplőknek - megfelelő jelentés! 1. Donorok - projekt cost/benefit 2.

Az értékelés hasznossága Különböző szereplőknek - megfelelő jelentés! 1. Donorok - projekt cost/benefit 2. Projekt gazda - nehézségek és új lehetőségek 3. Helyi partnerek - a helyi társadalom haszna 4. Társszervezetek - adaptációs lehetőségek 5. Nemzetközi közvélemény - határmentiség 6. Kedvezményezettek - saját haszon!

Köszönöm a figyelmet! gkulcsar@vati. hu

Köszönöm a figyelmet! gkulcsar@vati. hu