Perencanaan Program dan Kegiatan Berbasis Logic Model Public

Perencanaan Program dan Kegiatan Berbasis Logic Model Public Sector Governance Fakultas Ekonomika dan Bisnis Universitas Gadjah Mada Gedung FEB UGM Lantai 2 Sayap Barat Jalan Sosio Humaniora No. 1, Bulaksumur, Yogyakarta 29 -31 Oktober 2018

KONTEN PELATIHAN Manajemen Kinerja dan Pembangunan Blueprint Perencanaan dan Evaluasi Elemen Logic Model Pengauditan Kinerja Pemda (BPKP) Diskusi dan Presentasi Logic Model

Tujuan Negara

Di mana peran negara?

Pembangunan negara membutuhkan arahan GOVERNANCE: Political aspects Weak planning and execution PEMBANGUNAN GAGAL Social aspects Leadership/weak government Crisis

REVOLUSI PERANCIS

Kita Dimana? Gagal? Berhasil? Tidak Optimal?

Indonesia 1960 -an Surabaya Bandung Jakarta Magelang

Bangkok, Thailand 1960 -an

Seoul 1960 -an

Sama 2 negara birokrasi 1973, Korsel menderita krisis minyak, RI selamat Sama 2 mulai dari industri berat (baja) Sama 2 perencanaan ekonomi 5 tahunan Sama 2 terdampak krisis 1997 Sama 2 menerima bantuan IMF MENGAPA BERBEDA? Indonesia vs Korea Selatan – PDB Per kapita

Indonesia vs Korea Selatan vs Japan

Indonesia vs ASEAN

Latar Belakang

Merencanakan Program dengan Logic Model

What is Logic Model? LOGIC MODEL

What is Logic Model? Kata-kata? ? Gambar

What is Logic Model?

Konsep Inti Logic Model Planning • Logic Model menyajikan rerangka untuk perencanaan yang menjembatani gap antara kondisi saat ini dengan kondisi yang diinginkan. Programme Management • Logic model digunakan untuk menjelaskan, menelusuri, serta mengendalikan proses dan fungsi Evaluation • Logic model membantu menentukan kapan dan bagaimana evaluasi dijalankan sehingga sumber daya bisa dikatakan telah efektif dan efisien penggunaannya Communication • Logic Model membantu mengkomunikasikan suatu program baik kepada pimpinan, staf, pemberi dana, dan pemangku kepentingan lainnya.

Logic Model Kualitas Hidup FUTURE PRESENT PROSES PERUBAHAN Dengan LOGIC MODEL

Logic Model Bagaimana menyusunnya? INPUT ACTIVITY OUTPUT OUTCOME IMPACT Teori Perubahan menjadi Program Model Logika

Contoh Komponen Programme Logic Model INPUT Sumber daya yang diinvestasikan ACTIVITY Aktivitas yang dilaksanakan OUTPUT Produk langsung dari aktivitas (barang atau jasa) OUTCOME Perubahan yang diharapkan dapat dipengaruhi INDIKATOR IMPACT Proxy terukur (measurable) yang mengindikasikan secara terbaik (best indicates) bahwa outcome terjadi Dampak besar pada masyarakat secara umum

Theory Of Change 1 2 K O N S E P I N T I 3

Program Logic Model

Program Logic Model

Program Logic Model 5 M 1. Man 2. Money 3. Methods 4. Machine 5. Material

Analisis Situasi

PROGRAM : PENCEGAHAN DAN PEMBERDAYAAN MASYARAKAT KELOMPOK : II SITUASI: KECENDERUNGAN MENINGKATNYA ANGKA PREVALENSI INPUT: 1. Anggaran 2. SDM : -Penyuluh narkoba -Relawan -Penggiat Aktif -Spesialis bidang media 3. Metode : -Juklak -Juknis -SOP 4. Sarpras : -Multimedia -Konvensional 5. Peserta AKTIVITAS: OUTPUT: CEGAH • Sosialisa • Informasi P 4 GN yg si disampaikan (IKK : • Penyebar jml Kelompok an sasarantelah terima Informasi info P 4 GN) • Institusi telah di • Raker Advokasi (IKK : jml Advokasi instansi bangwaw implementasikan an P 4 GN di lingk • Monev internal/external) DAMAS • Penggiat aktif (IKK : • Pelatihan Jumlah Penggiat /TOT Aktif dan • Monev Partisipatif) CUSTOMER : OUTCOME: • Tertahannya Laju Angka Coba Pakai IKP : Presentase laju angka coba pakai

PROGRAM : PEMBERANTASAN KELOMPOK : 1 SITUASI: Terjadinya Peredaran Gelap Narkotika dari berbagai modus operandinya INPUT: • Anggaran; • Sumber Daya Manusia (Inteligen, Penyelidik, dan Penyidik); • SOP Bidang Pemberantasan; • Peralatan dan perlengkapan khusus Bidang Pemberantasan. • Peralatan Teknologi yang maksimal. AKTIVITAS: • Pemetaan jaringan sindikat pengedar Narkotika dan Prekursor Narkotika; • Pelaksanaan interdiksi di wilayah Entry Point; • Penyelidikan (penangkapan /penembakan) dan Penyidikan Kasus TP Narkotika dan prekusor narkotika; • Pengawasan tahanan dan pengelolaan barang bukti. • Penyelidikan dan Penyidikan kasus TPPU hasil tindak pidanan Narkotika dan Prekursor Narkotika; OUTPUT: • Peta Jaringan Sindikat Peredaran Gelap Narkotika dan Prekursor Narkotika • Kasus Tidak Pidana Narkotika dan Prekusor Narkotika yang terselesaikan (P-21). • Bandar dan Pengedar yang ditembak mati. • Barang bukti TPPU yang disita; CUSTOMER : • Para penegak hukum • Kelompok masyarakat rentan OUTCOME: Short : ( Change in learning/sikap) Middle: ( Change in action/prilaku) Terputusnya aktivitas jaringan sindikat peredaraan gelap narkotika Long : ( Change in condition/kond isi) Tidak adanya aktivitas jaringan

PROGRAM : Pelaksanaan Rehabilitasi Penyalah Guna Narkoba KELOMPOK : III SITUASI: Layanan Rehabilitasi Penyalah Guna Narkoba Instansi Pemerintah yg Tidak Optimal INPUT: 1. Dana/Anggaran 2. SDM : - Konselor/Psikolog - Pekerja Sosial - Petugas Medis - Petugas Pendamping 3. Metode : - Standar Layanan Rehabilitasi - Standar Layanan Pascarehabilitasi - Standar Layanan Pencegahan Kekambuhan 4. Material - Sarana Rehabilitasi Milik Instansi Pemerintah (Klinik Pratama/RSUD/Puskesmas) - Peralatan vokasional 5. Non-Material - Aplikasi SIRENA (Sistem AKTIVITAS: 1. Melaksanaka n Rapat Kerja Teknis 2. Melaksanaka n Bimbingan Teknis 3. Melaksanaka n Sosialisasi SOP Layanan Rehabilitasi 4. Memberikan Pelatihan Kemampuan 5. Melaksanaka n Monitoring dan Evaluasi 6. Melengkapi Sarana OUTPUT: Indeks Kepuasan Layanan Rehabilitasi Instansi Pemerintah (IKK : SDM yg berkualitas, sarana prasarana yg memadai, standar pelayanan minimal) CUSTOMER : Instansi Pemerintah yang Menyelenggar OUTCOME: Meningkatnya Kualitas Layanan Rehabilitasi Instansi Pemerintah

Program Logic Model THINKING PICTURE RESULTS

Logic Model: Manfaat 1 Menggambarkan alur logika program dan kegiatan 2 Memberikan penekanan pada hubungan yang paling penting antara tindakan dan hasil 3 Membangun pemahaman bersama di berbagai level organisasi dan para pemangku kepentingan 4 Membantu dalam mengelola hasil dan menginformasikan desai program 5 Menemukan gap dalam logika program dan kemudian menyelesaikannya 6 Meningkatkan efisiensi organisasi dengan menghilangkan tumpang tindih program 7 Mengklarifikasi tupoksi dan proses bisnis organisasi berbasis konsensus 8 Mengklarifikasi hubungan pusat pertanggungjawaban melalui cascading: outcome-centre dan output-centre

Programme Logic Model THINKING PICTURE RESULTS

Pemodelan memperbaiki programme logic model

«S. M. A. R. T. » dan «F. I. T. » «S. M. A. R. T. » • Specific / spesifik: apa yang dilakukan jelas & terkait hasil • Measurable / terukur: konten dapat diukur dg reliabel • Action-oriented: memprovokasi perubahan • Realistic: masuk akal (plausible) dan layak (feasible) • Timed: menspesifikasikan durasi dan urutan hasil harapan «F. I. T. » • Frekuensi • Intensitas • Target pada pasar atau audiens yng spesifik

«S. M. A. R. T. » dan «F. I. T. » • SMART – Semakin banyak reviewer semakin baik – Pengujian dilakukan menyeluruh, bukan hanya bagian hasil – Pengujian dilakukan untuk masing-masing bagian dan model secara keseluruhan • FIT: – Lebih layak diujikan untuk bagian aktivitas – Menguji ketepatan dan kecukupan aktivitas (right choice dan dose)

6 1 Sumber daya Proses • Uang • Bantuan tempat sampah • Fasilitas SD • Guru • Kompetensi guru • Siswa SD 5 Keluaran • Sosialisasi kebersihan 2 dan kelestarian lingkungan serta 3 R • Latihan pemilahan & pengolahan limbah dengan 3 R • Lomba hias tempat sampah Hasil • Hasil kriya siswa dari sampah • Tempat sampah berkreasi 4 Pengaruh • Peningkatan • Generasi masa depan pemahaman • Peningkatan keterampilan pengolahan sampah • Peningkatan kesadaran tentang menjaga kebersihan dan kelestarian lingkungan yang peduli lingkungan 7 3 8 Konteks 1. 2. 3. FIT 4. 5. Model ini didesain dengan detail yang sangat terbatas. Seberapa aktif pemangku kepentingan eksternal dilibatkan dalam perancangan model ini? Apa referensi teoritis yang mengindikasikan pilihan aktivitas yang dipreferensikan? Landasan teoritis belum dimasukkan dalam pemilihan aktivitas ini. Apakah masuk akal bahwa aktivitas ini akan mempengaruhi hasil? Apakah aktivitas cukup untuk mengubah kesadaran, pemahaman, keterampilan, dan perilaku? Apakah program ini layak (feasible)? Bagaimana frekuensi dan intensitas aktivitas dirinci? Apakah dosis aktivitas dan kaitannya dengan hasil didukung dengan bukti? Siapakah sasaran kegiatan yang paling tepat? Siswa SD seperti apa? Apakah semua siswa SD? Apakah kegiatan yang diajukan efektif, tepat, dan aman untuk dilaksanakan? Apakah diasumsikan bahwa narasi yang rinci ada sebagai lampiran dari model? SMART 6. 7. 8. Apakah hasil (Jk. Pendek, jk. Menengah) dan pengaruh (impact) dijabarkan secara spesifik, dapat diukur, dan berorientasi pada hasil? Hasil masih terlalu umum, belum spesifik, dan belum ada hasil jangka menengah yang menjembatani hasil jk. Pendek dengan pengaruh. Model ini menunjukkan pemahaman, keterampilan, dan kesadaran berkontribusi untuk menciptakan perubahan. Adakah hal lain yang berpotensi membantu atau menghambat perubahan? Bagaimana dengan ketersediaan anggaran? Berapa lama seharusnya perubahan bisa diobservasi?

Pertanyaan kualitas 1. Apakah hasil dirinci sesuai dengan pemahaman bersama seluruh pemangku kepentingan? 2. Riset, praktik, atau teori apa yang menjadi landasan aktivitas pilihan 3. Adakah kaitan antara PLM dengan TOC? 4. Sudahkah «resep» aktivitas dan hasil dikritik untuk memastikan kelayakan? 5. Aktivitas apa yang pernah bekerja dalam situasi yang mirip? Apakah kondisi sekarang mempengaruhi pilihan aktivitas? Adakah bukti bahwa aktivitas ini adalah aktivitas terbaik? 6. FIT? SMART? 7. Apakah audiens sasaran terdefinisikan dengan spesifik dan jelas? 8. Apakah interaksi antar aktivitas berkontribusi pada pencapaian hasil yang diinginkan? 9. Apakah hasil secara feasible berkontribusi pada perubahan yang diinginkan? 10. Sudah cukupkah sumber daya dan waktu yang tersedia?

Model kualitas Karakter kualitas Teori perubahan (theory of change) Perubahan (result) • Co-creation • Pemahaman bersama • Basis bukti • Skala yang tepat Nilai MASUK AKAL (PLAUSIBILITY) Uji Model yang lebih baik IDE Strategi PERTANYAAN KUALITAS MENGUJI model logika program (program LM) Hasil (Outcome) Aktivitas • FIT • SMART LAYAK (FEASIBILITY) DESAIN PROGRAM Program yang lebih baik

Menentukan Indikator dan Ukuran Kinerja dengan Akuntabilitas Hasil (Results Accountability)

Definisi Akuntabilitas Hasil Cara berpikir (way of thinking) Untuk pengambilan tindakan Dalam rangka meningkatkan kualitas hidup Secara disiplin Meningkatkan kinerja

AH=AP+AK • AH: Akuntabilitas Hasil • AP: Akuntabilitas Populasi – Tanggung jawab bersama pada kesejahteraan atau perbaikan suatu populasi di suatu area • AK: Akuntabilitas Kinerja AK AP AH – Tanggung jawab penyelenggara pada kinerja program yang dikelolanya, yang program tersebut diselenggarakan sebagai bagian misi bersama akuntabilitas populasi.

Mitra AH=AP+AK Aktivitas Output Input AK Mitra “Tanggung jawab Anda” Input Aktivitas Output AP Outcome “Tanggung jawab Anda saja? ” Sinergi “Tanggung jawab bersama”

AH=AP+AK - Contoh Akuntabilitas apa? Tanggung jawab siapa?

Perbandingan Cara Pikir AK & AP Akuntabilitas Kinerja Akuntabilitas Populasi POPULASI KONSUMEN HASIL UKURAN KINERJA GARIS DASAR PEMBELOKAN KURVA PENGALAMAN INDIKATOR GARIS DASAR PEMBELOKAN KURVA CERITA DI BALIK GARIS DASAR REKANAN SOLUSI AGENDA RISET DAN INFORMASI TERKAIT SOLUSI KRITERIA STRATEGI DAN RENCANA TINDAKAN

Review 1. Jelaskan akuntabilitas kinerja dari BNN! 2. Jelaskan pihak yang seharusnya dibebani akuntabilitas populasi menghentikan penyalahgunaan “narkoba” di Indonesia. 3. Jelaskan akuntabilitas kinerja dari mitra yang bekerjasama untuk mewujudkan akuntabilitas populasi tersebut.

pada bagian sebelumnya anda tahu… Sekarang outcomes ≠ ukuran kinerja dan outcomes ≠ indikator

g…. Tahukah Anda bahwa ukuran kinerja ≠ indikator?

Common Language 3 Commons Akuntabilitas Hasil 3 Commons Common Ground Common Sense

Common Language yang perlu kita setujui Hasil (atau Tujuan): Indikator (atau benchmark): Garis dasar (Baselines): Pembelokan kurva (turning the curve): Strategi: Ukuran kinerja: • Kondisi kesejahteraan yang kita inginkan pada masyarakat? • Bagaimana cara kita mengukur kondisi masyarakat? • Where we’ve been, where we’ve headed • Apa kata data jika kita berhasil mempengaruhi hasil? • Apa yang akan bekerja untuk memperbaiki kondisi seperti ini • Bagaimana cara kita mengukur keberhasilan pelaksanaan program?

Baseline dan Turning the Curves

Ukuran Kinerja Terkait 3 Hal apakah ada orang yang merasa lebih baik seberapa banyak hal yang telah kita lakukan Matriks 4 Q seberapa baik hal tersebut telah kita lakukan Quality rank (lowest to highest) Controllability rank (most to least controllable)

Evaluasi Program menggunakan evaluation logic model

Sekilas logic model Karakter kualitas Teori perubahan (theory of change) Perubahan (result) Nilai • Co-creation MASUK AKAL • Pemahaman (PLAUSIBILITY) bersama • Basis bukti • Skala yang tepat Uji Model yang lebih baik IDE Strategi PERTANYAAN KUALITAS MENGUJI model logika program (program LM) Hasil (Outcome) Aktivitas • FIT • SMART LAYAK (FEASIBILITY) DESAIN PROGRAM Program yang lebih baik

Model sebagai alat evaluasi a. b. Efektivitas = desain + implementasi + evaluasi Peran Ganda Model 1. Alat bantu navigasi (menunjukkan arah) 2. c. d. e. To. C & PLM Dashboard (mengukur proses – «laju» ) ELM Evaluasi harus mendorong umpan balik yang tepat dan cepat. Evaluasi harus relevan, dapat dipahami, dan dapat diterapkan. Evaluasi meliputi pengumpulan, analisis, interpretasi, dan pelaporan data kepada pengambil keputusan.

Untuk tujuan akuntabilitas Bersifat retroaktif Menentukan apakah perubahan sudah dicapai Menjawab: perbedaan apa yang telah dihasilkan? Menekankan pada bagian hasil dan pengaruh dalam LM Seperti tamu mencicipi masakan kita Evaluasi Formatif Evaluasi Sumatif Dua jenis evaluasi Untuk tujuan perbaikan (improvement) Retroaktif dan progresif Menjawab: bagaimana biar lebih efektif? Menekankan pada bagian aktivitas dan hasil sekaligus Seperti kita mencicipi masakan kita sendiri Seringkali susah dibedakan, dan evaluasi cenderung sumatif mengikuti perintah stakeholder saja.

Dasar-dasar desain LM evaluasi: unsur dasar Kebutuhan Informasi Eval. SUMATIF internal thd. DO menghasilkan PERBAIKAN Pertanyaan Evaluasi Kunci Indikator Metoda Pelaporan thd. GET menghasilkan AKUNTABILITAS PENGGUNAAN PENGGUNA Eval. FORMATIF eksternal

Langkah-langkah desain evaluasi Eval. FORMATIF thd. DO internal menghasilkan PERBAIKAN Kebutuhan Informasi Eval. SUMATIF Pertanyaan Evaluasi Kunci thd. GET Indikator Metoda Pelaporan PENGGUNAAN PENGGUNA Peran konsumen di sini menghasilkan AKUNTABILITAS eksternal a. b. c. d. e. Penjabaran maksud dari evaluasi Pendeskripsian kebutuhan informasi yang sesuai dengan maksud dari evaluasi Pengidentifikasian indikator yang menjabarkan kualitas dan kuantitas Penentuan metoda perolehan dan analisis data Penentuan media dan tipe pelaporan

Mengarahkan evaluasi pada kebutuhan informasi bernilai tinggi Eval. FORMATIF internal thd. DO menghasilkan PERBAIKAN Kebutuhan Informasi Eval. SUMATIF a. b. c. Pertanyaan Evaluasi Kunci Indikator thd. GET AKUNTABILITAS Metoda Pelaporan PENGGUNAAN PENGGUNA Peran konsumen di sini menghasilkan eksternal Tentukan pihak yang butuh informasi dan apa yang mereka butuhkan. Pahami karakter audiens. Arahkan pada double loop learning, yakni pembelajaran dengan mengkritisi desain dan pelaksanaan kegiatan, bukan single loop yang hanya mengkritisi pelaksanaan.

GET DO …selaras dengan tujuan organisasi? Apa yg telah dilakukan? Apa yg telah diperoleh? …pilihan terbaik untuk meraih tujuan? Apakah kita melakukan dg benar? Loop #1 Apakah kita melakukan yg benar? Loop #2 Perbedaan apa yang didapatkan oleh: partisipan? idem: masyarakat? Langkah apa yang harus dipertimbangkan demi pemenuhan tuntutan masyarakat? Adaptasi Pertanyaan kunci

Indikator kinerja a. Kinerja: Tingkat pencapaian sebuah sasaran melalui usaha yang dilakukan sesuai dengan rencana strategis yang telah ditetapkan sebelum usaha itu dilakukan b. Kinerja harus diukur dengan indikator c. Namun, perubahan seringkali tidak terjadi secara instan, sehingga ukuran tambahan yang mengukur kemajuan diperlukan. d. Dua jenis indikator berdasar sifat: 1. 2. Indikator langsung, langsung dpt diukur dan terlihat di LM Indikator proksi, perlu dibentuk ukuran yang mencerminkan kinerja

Indikator a. Dua jenis indikator berdasarkan objek evaluasi: a. Indikator proses: mengevaluasi the do b. Indikator hasil: mengevaluasi the get b. Indikator harus memenuhi syarat SMART c. Indikator harus sesuai dengan kebutuhan pengguna informasi d. Metoda pemerolehan data dapat mempengaruhi kos dan batasan e. Indikator yang harus dipilih adalah indikator yang paling baik merefleksikan konstruk. Contoh yang salah: obesitas sebagai indikator negatif kesehatan.

Standar kinerja • Selain indikator, ekspektasi dari pencapaian kinerja yang diukur dalam indikator adalah penting disebut standar kinerja • Penentuan standar kerja dapat dilakukan setelah selesainya desain evaluasi dan pengumpulan data

Pertanyaan kualitas untuk EVALUASI • • • Apakah pengguna informasi evaluasi dirinci dan diurutkan berdasarkan prioritas? Apakah kebutuhan pengguna sudah dirinci? Apa yang menjamin informasi yang dihasilkan akan digunakan? Apakah evaluasi akan memperbaiki pekerjaan, memerlihatkan hasil, atau keduanya? Apakah pertanyaan kunci sesuai dengan kebutuhan informasi? Sudahkah indikator proses dirinci dan diseleksi untuk evaluasi? Adakah standar kinerja yang digunakan untuk membantu evaluasi program dan perbaikan pasca-evaluasi? Sudahkah indikator hasil dirinci dan diseleksi untuk evaluasi? Apakah hasil yang ditetapkan wajar untuk diekspektasikan dengan berbagai keterbasan yang dimiliki? Apakah model memberitahukan metoda pemerolehan data? Apakah pemangku kepentingan cukup terlibat dalam proses evaluasi?

Rerangka kerja kualitas Karakter kualitas Teori perubahan (theory of change) Perubahan (result) Strategi EFEKTIVITAS model logika program (program LM) • Co-creation • Pemahaman bersama • Basis bukti • Skala yang tepat • Fokus pada kinerja Nilai MASUK AKAL (PLAUSIBILITY) BERGUNA (UTILITY) Uji Model yang lebih baik IDE model logis evaluasi (Evaluation LM) PERTANYAAN KUALITAS MENGUJI Hasil (Outcome) Aktivitas • FIT • SMART LAYAK (FEASIBILITY) DESAIN PROGRAM Program yang lebih baik

Terima Kasih