Terleti programozs s monitoring 7 Program szint rtkels
- Slides: 26
Területi programozás és monitoring 7. Program szintű értékelés Kulcsár Gábor VÁTI Stratégiai Tervezési Igazgatóság ELTE TTK geográfus szak 2008. Április 11.
A program értékelés Strukturált folyamat, melynek során a program által elért eredményekről ítéletet alkotunk és megértjük. Részei: • Releváns információ összegyűjtése • Ezek értékelése elfogadott kritériumok alapján • Jelentés az értékelés eredményéről • Ami beépítésre kerül a következő programba
Értékelés alapkérdései • Relevancia: kiváltó körülmények fennállnak? • Eredményesség: sikerült a célokat elérni? • Hatékonyság: eredmények vs. források • Hatásosság: a célra irányult a fejlesztés?
Értékelési kritériumok Értékelési kérdések kapcsolata a beavatkozási logikával
Értékelés és monitoring kapcsolata Input Output Eredmény Hatás Monitoring Értékelés • Az értékelés a monitoring után kezdődik • kiindulópontja a monitoring adatok és • elsősorban a hatásokra koncentrál • Nem a mi történt? , hanem a hogyan és miért
Programok értékelése - előzmények 1950 -es években USA – közigazgatás hatékonyság mérése (Planning Programing Budgeting System) létrejötte, majd oktatás, szociális szolgáltatási, közegészségügyi és bűnmegelőzési témák értékelése 1970 -es évek – terjedő elutasítás a közigazgatásban a mesterséges társadalmi kísérletekkel szemben 1980 -as években a decentralizált menedzsment koncepció része lett SEM 2000 program (Sound and efficient management) MEANS program – 1999 GUIDE - 2004 Általában közcélú tevékenységek elemzése a közgazdaságtan, gazdaságföldrajz, antropológiai, szociálpszichológia és szociológia módszereivel
Programok sajátosságai • • Kombinált célrendszer (ld. KMR Op) Több szférát érintő beavatkozások Fejlődéstörténete: Single European Act 1986 V. fejezet 130 d) cikk hatásosság növelésről 1988 -ban a 6. cikk 2 par. Előírja az ex ante és ex post értékeléseket 1993. júliusi szabályozás megerősítette az értékelést (csak akkor adható a támogatás) 3. generációs szabályozás (átfogó hatás a Közösségi célok, a prioritások és horizontális prioritások szempontjából)
Szakpolitikai-program és értékelési ciklusok Policy Review Policy Formulation Program me Conclusio ns Ex-ante Feasibilit y Evaluati on Ex-post /Results Evaluations Ongoing / Mid term Evaluation Programme Implementati on Policy Delivery Program me Design Az értékelések időbeni lefolytatása biztosíthatja, hogy a tanulságok beépülnek a program és szakpolitika kialakításának menetébe
Az értékelés fő céljai: • • • Tervezés/hatékonyság – biztosítja a szakpolitika/program igazolását és az erőforrások hatékony elosztását. Elszámoltathatóság – bemutatja, hogy a program mennyire érte el a kitűzött célokat és milyen módon használta fel az erőforrásokat. Megvalósítás szempontból – javítja a program teljesítményét és támogatások célba juttatásának hatásosságát. Tudásszint emelése – A dolgok működéséről (milyen körülmények között, hogyan működnek különböző eszközök) és a beavatkozások hatékonyságának növeléséről. Intézményi megerősítés – javítja és fejleszti a program résztvevők, hálózataik és intézmények kapacitásait.
EU értékelési alapelvei • Konstruktív érvényesség (hatások kellő pontossága) • Belső érvényesség (adatgyűjtés torzulásmentes – belső okozatok) • Külső érvényesség (általánosíthatóság) • Hitelesség (credibility) • információhoz való hozzáférés • megbízhatóság (reliability) • tárgyilagosság, elfogulatlanság (impartiality) • átláthatóság • nyilvánosság
Az értékelés koncepciói Szempont Menedzseri Demokratikus Pluralisztikus Általános, átfogó projekt A közforrások optimalizálása A polgárok bevonása és jelentés készítése Kollektív problémamegoldás Érték megállapítás Független értékelők (szakértők) Választott képviselők bírálnak A tevékenységben résztvevők bírálnak Szabványok objektivitás Nyilvánosság Pártatlanság Vezetői értékelés (managerial) – közigazgatás teljesítményének értékelése Demokratikus értékelés – választott képviselők útján történik (kísérleti beavatkozások esetében) Plurális értékelés (plural) – közös álláspont kialakítása a cél
Az értékelés megközelítései Megközelítések: • Alakító (formative) értékelés Megvalósítók számára visszajelzés a megvalósítás során. • Összegző (summative) értékelés Nyilvánosság számára készülő értékelés a fejlesztés indokoltságáról és eredményességéről • Kontextus értékelés - projektcélok jók voltak? • Folyamat értékelés - a munkaterv alkalmas a projekt céljainak elérésére? • Eredmény értékelés - a projekt eredményei? Célok elérve? A projekt hatásai mik voltak? • Elégedettség értékelés - a kedvezményezettek elégedettek a projekttel?
• • • Közösségi hozzáadott-érték Társadalmi-gazdasági kohézió Policy hozzáadott-érték (Közösségi célok) Pénzügyi hozzáadott-érték Módszertani, partnerségi, tervezési, értékelési és menedzsment működés terén Tapasztalatcsere és hálózatos együttműködésből adódó érték
Az értékelés típusai • átfogó értékelés – mindent értékel • tematikus értékelés – egy témát vizsgál több beavatkozással kapcsolatban • in-depth értékelés – egyes témákban létrejövő hatásokról • előzetes (ex ante) értékelés – összefüggések elemzése • közbenső értékelés – monitoring és megvalósítás értékelése • folyamatos értékelés – a beavatkozás megvalósításának teljes idejére • utólagos (ex post) értékelés – beavatkozás lezárulta után
Egyéb fogalmak Önértékelés – megvalósító végzi Belső értékelés – program megbízásából végzik az értékelők Külső értékelés – a beavatkozásért nem felelős értékelők végzik Értékelő bizottság (evaluation commitee) – érdekeltekkel bővített Evaluation setting: szervezetek, menetrend, módszer és viszonyuk Értékelési rendszer: szabályok, intézmények, eljárások, források együtt Elő-értékelés: előtanulmány az értékelésről, hogy döntés legyen Értékelhetőségi tanulmány: technikai, intézményi feltételek a lehetőségrő Tematika (To. R) Értékelési kérdés: leíró, okozati jellegű és normatív (megfelelő-e)
Beavatkozás szereplői Finanszírozó Működtető/projekt felelős TÉRSÉG jogosult érintett
Az értékelés résztvevői - az érintettek • Donorok - EU, állam, önkormányzat stb. • helyi partnerek - magánszemélyek, szervezetek • trénerek • mentorok - támogatók • projekt team (adminisztráció) • kedvezményezettek - a célcsoport • helyi résztvevő cégek • a termékek és szolgáltatások végfelhasználói • potenciális követők (hasonló projektet tervezők) • nemzetközi partnerek
Hatások • • • Bruttó, nettó és holtsúly hatások Elmozdulási hatás – létrejön, míg máshol megszűnik pl. munkahel kivonó, helyettesítő hatás – pl. nyugdíjas helyére Társfinanszírozási tényező – beavatkozástól független pl. piaci hatá Multiplikátor hatás Közvetlen, beemelő, kerelet-kínálati hatások Strukturáló hatások Impulzus hatás Szinergia – antiszinergia hatások Foglalkoztatási hatások (közvetlen-közvetett, átmeneti-tartós) Elemzés: • • Oksági elemzés – mechanizmus és társfinanszírozó tényező együtt Beavatkozási – prospektív és magyarázó - retropespektív elméletek Belső – külső koherencia Komplementaritás – több beavatkozás között
Módszerek 1. Strukturáló technikák: • SWOT • Logikai keretmátrix • Hatástérkép • Színes szavazat • Kereszthatások mátrixa Információgyűjtési technikák: • Alapadatok felmérésből • Másodlagos adatok pl. monitoring rendszerből • Összehasonlító adatok • Idősorok, longitudionális adatok egyes csoportokra kül. időpontba • Mintavételi eljárás • Kérdőíves felmérés • Egyéni interjú és fókuszcsoportos megbeszélés • Esettanulmány
Módszerek 2. Elemzési technikák • Összehasonlító – kontroll csoport • Összeillő párok képzése • Regressziós analízis • Kovariancia analízis • Faktoranalízis • Shift-share analízis • Input-output elemzés • Makroökonómiai modellek • Delphi-módszer
Módszerek 3. Ítéletalkotási technikák • Szakértői panel • Benchmarking • Multikritérium elemzés • Költséghatékonysági elemzés • Költség-haszon elemzés (CBA)
Indikátorok kialakítása 1. Az értékelés végső célja? (előzetes, folyamat stb. ) 2. Kinek számára készül az értékelés? (célcsoport) 3. Milyen szempontból értékeljük a projektet? (aspektusok) 4. Milyen információk szükségesek ehhez? (informatív legyen) 5. Milyen időközönként kell gyűjteni? • • Kontextus mutató – nemcsak a program hatásait mutatja Alaphelyzet Program mutató (input és output) Általános indikátor (különböző outputokra összefoglalóan) Key indikátor (különböző beavatkozásokra nézve) Felhasználási ráta (előirányzat/lekötés) Teljesítési ráta (tervezett/teljesített output) Lefedettségi ráta (érintett/jogosult)
Értékelési indikátorok (példa)
Információ elemzés • Előre rögzített értékelési célok, szempontok és mutatók • Nem túl nagyratörő értékelési eljárás • Képzett és tapasztalt értékelők + IDŐ! • Rendszeres és strukturált adatgyűjtés • Könnyű hozzáférés az információkhoz • IT erőforrások és készségek • Fegyelmezett adatgyűjtés • Összegzés (total) és részösszegek (KKV) • Arány (%) - összehasonlíthatóvá tesz • Átlag • Összehasonlítás - segít az okok elemzésében • kereszt-tábla - típusok elkülönítése • trendek - időben, before-after elemzés • diagram - vizuális funkció
Az értékelés hasznossága Különböző szereplőknek - megfelelő jelentés! 1. Donorok - projekt cost/benefit 2. Projekt gazda - nehézségek és új lehetőségek 3. Helyi partnerek - a helyi társadalom haszna 4. Társszervezetek - adaptációs lehetőségek 5. Nemzetközi közvélemény - határmentiség 6. Kedvezményezettek - saját haszon!
Köszönöm a figyelmet! gkulcsar@vati. hu
- Tsh szint
- Ekkr szintek
- árképzés módszerei
- Ilpmp org
- Joint monitoring program
- Federal program monitoring
- Who program for international drug monitoring
- Alabama prescription drug monitoring program
- Prescription monitoring program maine
- Federal location monitoring program
- Masspat pmp
- Pmp aware texas
- Sequential program and an event-driven program?
- Perangkat lunak komputer disebut dengan
- Program tahunan adalah
- Microsoft excel merupakan program aplikasi ....
- Lembar kerja program aplikasi pengolah angka
- Program ms word merupakan program …. *
- Windows communication foundation wcf performance
- Progress monitoring google sheets
- Gps fuel monitoring system
- Progress monitoring education
- Cem in pharmacovigilance
- Moodle performance monitoring
- Busbar temperature monitoring
- Security compliance monitoring
- "audit vs monitoring"