DESAIN MONITORING DAN EVALUASI TERPADU KEMENTERIAN KEUANGAN Medan

DESAIN MONITORING DAN EVALUASI TERPADU KEMENTERIAN KEUANGAN Medan, Maret 2016

PERAN MONEV KINERJA § Evaluasi adalah proses yang sistematis dengan mengumpulkan bukti-bukti dan fakta-fakta yang terjadi untuk menilai kualitas, nilai atau pentingnya intervensi yang dihasilkan melalui program/proyek dengan cara membandingkannya dengan sekumpulan daftar pertanyaan atau kriteria yang telah ditetapkan. § Evaluasi dimaksudkan agar pengambil keputusan dapat mengambil kebijakan secara akurat berdasarkan hasil penilaian kinerja, seperti penyesuaian kebijakan atau penyempurnaan desain program/proyek. Dalam konteks kebijakan atau program, secara ideal evaluasi dilakukan selama periode implementasi program, atau pada akhir implementasi program dan terus berlanjut mengikuti siklus kebijakan atau program. § Terminologi intervensi disini merujuk pada beragam inisiatif dan aktivitas yang dapat dievaluasi, mulai dari kebijakan pada level strategis (tinggi) sampai dengan proyek skala kecil yang spesifik. § Lebih jauh, organisasi, baik struktur maupun sistem yang dijalankan, pun dapat dievaluasi terkait bagaimana layanan yang dihasilkan serta bagaimana cara menghasilkan layanan tersebut. § Secara umum, evaluasi dapat dilakukan terhadap intervensi yang dilakukan melalui aktivitas nyata dalam rangka mencapai tujuan yang telah ditetapkan. Subdit Evaluasi Kinerja Penganggaran, DJA Direktorat Sistem Penganggaran

PROGRAMME LOGIC TEMPLATE ASSUMPTIONS Theories on how and why this kind of programme should work INPUTS & RESOURCES ACTIVITIES & OUTPUTS Eg. Funding, exixsting organizations, potential partners, staff, supplies, voulunteers, time, facilities, equipment Processes, techniques, tools, events, technology and actions aimed at a certain populations INDICATORS IMMEDIATE OUTCOMES MEDIUM TERM OUTCOMES Specific changes in peoples or organizations that must be achieved for your programme to work. Immediate outcomes are a precondition for medium term outcomes (which are a preconditions for long term outcomes) INDICATORS LONG TERM OUTCOMES The goal you need to reach, or the purposes(s) of your programme INDICATORS

KAPAN EVALUASI DILAKUKAN? Intervention Proposal Impact Assessment Needs Assessment Outcome/Impact Evaluation Monitoring Modified Intervention Proposal Formative Evaluation/ Process Evaluation Implementation (Allen and Clarke, 2012) Subdit Evaluasi Kinerja Penganggaran, DJA Direktorat Sistem Penganggaran

Evaluation type What is involved Formative evaluation § Targeted at improving the structure, management, or implementation of an intervention § May include an evaluability assessment to determine whether an intervention is suitable for an evaluation § May include identifying/analysing the programme logic (see below) § Engaging with stakeholders and feeding back findings in real time Process evaluation Impact, outcome and summative evaluation § Describing the activities or processes that took place during the intervention(ie. What actually happened) § Helps in explaining why certain outcomes might have occured § Measuring the changes (short term or long term impacts/outcomes) brought about by an intervention, including positive/negative ang intended/unintended effects § Summative evaluation make an overall judgement about the value of intervention Stage in intervention Start Middle End

MANFAAT MONEV Monitoring dan evaluasi sangat bermanfaat dalam pengambilan kebijakan, yaitu: 1. Meningkatkan pengetahuan dan pemahaman terkait program dan tujuan yang diharapkan, termasuk untuk mengetahui mengenai kebutuhan di masyarakat dan cara-cara pemenuhan yang lebih efektif; 2. Memungkinkan munculnya ide untuk meningkatkan kualitas program pada tahun berjalan maupun pada tahun selanjutnya melalui pengembangan desain program, konsultasi, implementasi kebijakan, efektivitas biaya, dan struktur organisasi; 3. Meningkatkan akuntabilitas program kepada para pemangku kepentingan dengan menyajikan bukti nyata terkait capaian kinerja output/outcome dan finansial; 4. Berkontribusi bagi pengetahuan secara umum terkait perencanaan dan pelaksanaan program yang efektif; 5. Menyediakan bukti capaian kinerja yang selanjutnya dapat dipublikasikan, sehingga meningkatkan dukungan masyarakat; 6. Sebagai alat bantu bagi para pengambil kebijakan pada semua level agar dapat memutuskan arah dan tujuan program serta alokasi sumber daya yang diperlukan dengan lebih akurat. Subdit Evaluasi Kinerja Penganggaran, DJA Direktorat Sistem Penganggaran

JENIS DAN PERIODE EVALUASI Jenis Evaluasi Periode Keterangan Ex-ante evaluation Saat penelaahan: • Pagu Indikatif • Pagu Anggaran • Alokasi Anggaran - Memanfaatkan hasil evaluasi ex-post tahun sebelumnya. - Reviu terhadap proposal anggaran Process evaluation : - Monitoring - Intermediate evaluation Sepanjang Tahun Anggaran Berjalan Manfaat: • Early warning and immediate response (revisi, penyesuaian metode dll) • Bahan pertimbangan untuk alokasi selanjutnya Ex-post evaluation : - Program evalution - Impact evaluation Dilakukan di akhir tahun anggaran Rekomendasi Kebijakan: • Penyesuaian Desain Program • Penyesuaian Target Kinerja • Penyesuaian Alokasi Anggaran

USULAN IMPLEMENTASI Jenis Evaluasi Metode Rekomendasi Pemanfaatan Ex-ante evaluation • Review ADIK • Penyesuaian Target Kinerja • Rasionalisasi aktivitas program/kegiatan • Review Baseline • Resource envelope Process evaluation • Monitoring aplikasi SMART • Revisi output • Revisi pagu program/kegiatan • Bahan pertimbangan untuk alokasi selanjutnya • Revisi • Penyempurnaan perencanaan anggaran Ex-post evaluation • Membandingkan antara realisasi anggaran dengan realisasi output • Penilaian Kinerja • Perkiraan alokasi yang lebih akurat • Review Baseline • Resource envelope

SIKLUS MONEV 2014 Ex-Ante Eva 2015 2014 2015 2016 Formative Eva 2015 Ex-Post Eva 2015 Ex-Ante Eva 2016 2017 2018 Formative Eva 2016 Ex-Post Eva 2016 Ex-Ante Eva 2017 Memperhatikan: • Ex-Post 2015 • Formative 2016 2017 2018 Formative Eva 2017 Ex-Post Eva 2017

1 Project scoping • Research an intervention’s history • Meet with the clients to clarify the evaluation purpose(s), goals, objectives and expected use • Develop a logic model describing the connection between teh activities of the intervention and the expected results • Identify indikator and kinds of information which can be used to measure value • Develop questions about the intervention for which the evaluation should be able to provide answers • Identify and comunicate with stakeholder 2 Evaluation preparation • Develop specific evaluation tools and method for data collection centred on the evaluation questions • Identify potential partcipants and sources of informations • Comunicate regularly with stakeholder and participants • Allocate data collections tasks and begin monitoring process Data Collection • Information collection needs to be practical, systematic , ongoing, accurate and ethical • Use innitial findings to recommend immediate changes to an intervention • Review and refine data collection methods • Refine the project’s logic model (formative evaluation) Analyse and interpret the data • Summarise and analyse data as it is collected : summaries made during the evaluation can save work at the end • Identify key patterns, themes and issues by analysing and aggregating the data • Share and develop findings iteratively amongst the team, including the team members resposible for different methods • Identify what worked well, why and in what circumtances • Prepare a summary or top-line report of findings Communicate the results • Ensure consistent progress report to the clients at all stages • The final report should be practical, easy to understand, and include strategies for the future success • Present information using oral reports to participants, news releases, community presentatations, workshops and published papers 3 4 5

GRAND DESAIN SISTEM EVALUASI Timing: • Akhir Februari / Awal Maret Pengumpulan Data Pra-Monev Project scoping Persiapan evaluasi Informasi level 1 s. d 3 Pagu anggaran Realisasi anggaran Target I output Realisasi I output Target I Outcome Realisasi I Outcome Trend analysis Forecasting Bechmarking Decision Makers Rekomendasi Analisis Efektivitas anggaran (APBN/ program/ kegiatan) Efisiensi anggaran (APBN/ program/ kegiatan) Progress program Presiden Menteri Pimpinan DJA dll Penentuan alokasi anggaran Komunikasi publik Penentuan prioritas

PERSIAPAN MONEV Project Scoping o o o Meneliti latar belakang intervensi (analisis situasi) Menetapkan manfaat evaluasi, tujuan, sasaran diharapkan penggunaan Mengembangkan model logika untuk menggambarkan keterkaitan antara aktivitas dan output yang diharapkan Mengidentifikasi indikator dan informasi lainnya yang dapat digunakan untuk melakukan pengukuran kinerja Menyusun daftar pertanyaan terkait intervensi Melakukan identifikasi dan komunikasi dengan pemangku kepentingan Evaluation Preparation o Mendesain/menetapkan alat evaluasi yang spesifik dan metode pengumpulan data dengan mengacu pada daftar pertanyaan yang telah disusun o Mengidentifikasi calon terwawancara maupun sumber informasi lain yang diperlukan o Berkomunikasi secara teratur dengan para pemangku kepentingan dan terwawancara o Melakukan pembagian tugas pengumpulan data dan memulai proses monitoring

PENGUMPULAN DATA Pengumpulan Data Kolektor data: A 123, KPPN Validasi Resources Pengumpulan Data Validator data: KPPN, APIP, BPKP Rekon u/ meminimalisir anomali Excel (Level 1, 2), SMART (Level 3) Rekonsiliator data: A 123, KPPN Data Digging Data pembanding: data BPS, BI, WB, dll Informasi level 1 dan 2 Pagu anggaran Realisasi anggaran Target output Realisasi output Target group: Eselon 1, Satker

PROSES PENGUMPULAN DATA

ANALISIS DAN INTERPRESTASI DATA Trend analysis Pengumpulan Data Forecasting Rekomendasi Benchmarking Informasi level 1 dan 2 Pagu anggaran Realisasi anggaran Target I output Realisasi I output Target I Outcome Realisasi I Outcome dsb informasi terkini menggunakan laporan, siaran pers, presentasi, lokakarya dan makalah yang diterbitkan Efektivitas anggaran (APBN/ program/ kegiatan) Efisiensi anggaran (APBN/ program/ kegiatan) Progress program

PROSES ANALISIS DAN INTERPRESTASI DATA

PEMANFAATAN REKOMENDASI Rekomendasi Efektivitas anggaran (APBN/ program/ kegiatan) Efisiensi anggaran (APBN/ program/ kegiatan) Progress program Decision Makers Penentuan alokasi anggaran Komunikasi publik Penentuan prioritas

PROSES PEMANFAATAN REKOMENDASI

Terima Kasih ekp@anggaran. depkeu. go. id 19