EVALUASI PROGRAM RENCANA Evaluasi Program Apa Mengapa Evaluasi

EVALUASI PROGRAM

(RENCANA) Evaluasi Program Apa ? Mengapa ? Evaluasi Untuk apa ? Bagaimana? Siapa ?

What is Evaluation? “ investigasi sistematik tentang kepantasan, kelayakan, atau signifikansi suatu objek ” Michael Scriven “…penilaian sistematik dari operasi dan/atau outcome dari suatu program atau kebijakan dibandingkan dengan suatu set standar yang eksplisit atau implisit sebagai cara untuk berkontribusi terhadap kemajuan program atau kebijakan…” Weiss Carol “ Cara sistematik untuk menentukan “nilai” dari program, komponen program atau aktivitas” Unknown XXX 2

What is Evaluation? • Evaluasi adalah analisis terhadap apa yang terjadi dan mengapa itu terjadi selama dan sesudah suatu program/kegiatan berlangsung (USAID, 1988) 3

Research vs. Evaluation Research • • Systematic Methods Menghasilkan pengetahuan untuk digeneralisasi Pertanyaan 2 dari peneliti Untuk menjelaskan paradigma Setting lebih terkontrol Kepentingan lebih jelas dipublikasikan Lebih teratur dengan tugas tertentu Evaluation • • Pengetahuan bertujuan untuk aplikasi Diminta oleh program / penyandang dana Penilaian kualitas Settingnya adalah tindakan Konflik 2 kepentingn Tidak dipublikasikan Berbagai macam tugas 4

“Research seeks to prove, evaluation seeks to improve…” M. Q. Patton 5

If the Goal of Evaluation is… … to improve a program Then no evaluation is good unless findings are used to make a difference 6

Surveillance & Monitoring vs. Program Evaluation • Surveillance - tracks disease or risk behaviors • Monitoring - tracks changes in program outcomes over time • Evaluation - seeks to understand specifically why these changes occur 7

What Can be Evaluated? • Direct service interventions • Community mobilization efforts • Research initiatives • Surveillance systems • Policy development activities • Outbreak investigations • Laboratory diagnostics • Communication campaigns • Infrastructure-building projects • Training and educational services • Administrative systems – MMWR, 1999 Framework for Program Evaluation in Public Health 8

When to Conduct Evaluation? Planning a NEW program Conception Assessing a DEVELOPING program Assessing a STABLE, MATURE program Assessing a program after it has ENDED Completion The stage of program development influences the reason for program evaluation.

Evaluasi • Tujuan: – Accountability – Pembuatan keputusan (stufflebean) – Perbaikan operasional organisasi – Perbaikan program – Tujuan lain: 1. Mempertahankan diri 2. Justifikasi untuk perluasan 3. Mendukung status qua 4. Penghargaan personil 5. Reorganisasi institusi (Knowless, 1980) Mengapa?

PENYELENGGARAAN PROGRAM Yang Terjadi (FAKTA) GAP Yang Diharapkan (KRITERIA)

• Kirkpatrich - Reaction evaluation - Learning evaluation - Behavior evaluation - Result evaluation Untuk apa? • Anderson (1978; Sudjana, 2000) 1. Memberikan masukan untuk perencanaan program 2. Memberikan masukan untuk keputusan tentang kelanjutan, perluasan, dan penghentian program. 3. Memberikan masukan untuk keputusan tentang modifikasi program. 4. Memperoleh informasi tentang pendukung dan penghambat 5. Memberikan masukan untuk memahami landasan kelimuan bagi penilaian.

Proses evaluasi 1. 2. 3. 4. Menentukan pertanyaan yg ingin dijawab atau menentukan kriteria. Mengumpulkan data untuk menjawab pertanyaan Menganalisa dan menginterpresikan data Memodifikasi rencana, operasi dan program Kriteria tujuan operasional dan tujuan pendidikan: 1. Operasional program a. Struktur dan iklim orgnanisasi b. Operasi program c. Desain program d. Identifikasi kebutuhan dan bakat e. Evaluasi program 2. Pertanyaan berhubungan dengan tujuan edukasional mengarahkan pada pencapaian kompetensi ~ misalnya pre-test, post test

(KISI-KISI) Evaluasi Aspek Evaluasi Kriteria Indikator ketercapaian Teknik Evaluasi Informa n Outcome Output ? ? ? ? Kompetensi memadai • Tingkat pend minimal S 1 • Penguasaan materi baik Dokumentasi; test Pendidik, WB, Proses Input • Warga belajar (raw input) • Pendidik • Kurikulum (materi, metode, media, dll) • Sarana prasarana • ? ? ? • Lingkungan (ekosospoltek//) Konteks

Pelaksana Evaluasi a. partisipan b. Leader/instruktur c. Direktur program/staff d. Ahli dari luar e. Supervisor f. Representatif masyarakat

KEGIATAN-KEGIATAN: 1. ASSESMENT EVALUASI THD TUJUAN PROGRAM 2. APPRAISAL EVALUASI THD INPUT 3. MONITORING EVALUASI THD PROSES 4. EVALUASI THD OUTPUT 5. VALIDASI EVALUASI THD IMPACT TUJUAN PROGRAM (1) PROSES INPUT (2) OUTPUT (3) (4) IMPACT (5)

Empat Level Evaluasi Program (Donald Kirk Patrick) Level 4: Results Level 3: Behavior Level 2: Learning Level 1: Reaction 17

Lima Level Evaluasi Program (Hamblin dalam Oakland & Waterworth, 1995) Level 5: Ultimate goals Level 4: Organisation Level 3: Behavior Level 2: Learning Level 1: Reaction 18

TINGKAT EVALUASI • Evalusi Input kehadiran, keikutsertaan, sarana, fasilitator, sumber daya • Evaluasi Proses perubahan faktor Predisposing, Enabling, Reinforcing • Evaluasi Impact Perilaku masyarakat yang berubah Kondisi Lingkungan yang berubah • Evaluasi Outcome Status kesehatan, Quality of Life

“There are five key variables that are absolutely critical in evaluation use. They are in order of importance: people, and people. ” Halcolm 21