Evaluacija programa savetodavstva Srbije Paul Warner Univerzitet u

Evaluacija programa savetodavstva Srbije Paul Warner, Univerzitet u Kentakiju Nick Place, Univerzitet u Merliendu, Januar 25 -27, 2011 1

Doba odgovornosti Ukoliko nešto ne može da dokaže svoju vrednost, ne dobija podršku. Da li je imalo pozitivan uticaj? Ako ne možete da demonstrirate uspeh, ne možete ga ni nagraditi. U stvari, možda time nagrađujete neuspeh. To što neko naporno radi ne osigurava da će to dati rezultate. Ukoliko ne znate koje metode su su najuspešnije, može se desiti dalje nastavite da koristite neefikasne metode. Ukoliko ne znate uticaje programa, oni možda neće opravdati ulaganja. 2

Logički model u evaluaciji Šta želite da znate? Kako to želite da saznate? Evaluacija: pregledajte i proverite 3

Vrste evaluacija u. Formativne procesu) evaluacije (fokus je na U cilju poboljšavanja programa u. Summativne evaluacije (fokus je na rezultatima) Za dokumentovanje uticaja. u. Dobitak u odnosu na investicije Odnos koristi naspram troškova 4

Proces evaluacije (Fokusi na outputima aktivnosti i participaciji) Ø Da li je program ostvario svoju svrhu? Ø Koji metod isporuke je bio najuspešniji? Ø Koji su kvalitetni aspekti isporuke? Ø Koji je participatorni nivo željenih učesnika? Ø Koje su bile reakcije participanata (nivo zadovoljenja)? 5

Evaluacije usmerene ka rezultatima (Fokus je na kratkoročnim, srednjeročnim i dugoročnim rezultatima) ØU kolikoj meri su se znanje, svest, veštine i raspoloženje promenili? Ø U kojoj meri su se ponašanja i prakse promenili? Ø U kojoj meri su se socijalne, ekonomske, građanske i ekološke situacije promenile? 6

Hierarhija efekata Social-economicenvironmental improvements Izvor: Bennett i Rockwell, 1995, Ciljanje rezultata programa Aktivnosti Učenje Reakcije Učešće Izmene u ponašanju i praksama Izmene u znanju, raspoloženju, veštinama, i nastojanjima Stepen satisfakcije sa programom, nivo interesa, osećanja prema aktivnostima, edukacione metode Broj i karakteristike ljudi koji do kojih se doprelo, frekvencija i intenzitet kontakata 7

Logički model i izveštavanje 8

Logički model navodi evaluaciju ØPruža opis programa koji vodi naš evaluacioni proces ØPomaže nam da uskladimo evaluacione metode sa programom ØPomaže nam pri spoznavanju šta treba da merimo (aktivnosti, učešće, rezultati) ØPomaže nam da saznamo šta treba da merimo 9

Uskladiti evaluaciona pitanja sa programom INPUTI Investicije programa OUTPUTI Aktivnosti Učešće REZULTATI Kratkoro čni Srednjer očni Dugoroč ni Evaluaciona pitanja: Na kakva pitanja želite da odgovorite? npr. , dostignuća pri svakom koraku, očekivane neobavezne veze; neplanirane posledice ili lanci događaja koji su pokrenuti Indikatori: Kakvi dokazi vam trebaju da biste odgovorili na pitanja? 10

Šta želite da saznate o svom programu? Evaluacija: Šta meriti i kada? Koja količina novca i koje vreme je investirano? Od čega se zaprao sastojao program? Ko je zapravo učestvovao i u čemu? Da li je ovo dopreo do načeg cilja? Do kog nivoa su se znanje i veštine povećali? Do kog nivoa su se prakse promenile? Do kog stepena se upotreba fosfora smanjila? Da li su farmeri uštedeli sredstva? 11

Koraci u procesu evaluacije Identifikovati aspekte programa koje treba evaluirati (aktivnosti, participacija, ili kratko, srednje i dugoročne rezultate) Formulisati evaluaciona pitanja Identifikovati indikatore za svako pitanje Odredii izvore informacija za svaki indikator Odrediti metode prikupljanja podataka i vreme za koje treba prikupiti podatke Sumirati podatke i doneti zaključke 12

Evaluacioni Plan Tip evaluacije (input, output, rezultat) Evaluaciona pitanja Indikatori Sakupljanje podataka Izvori Metode Vremenski okvir 13

Moguća evaluaciona pitanja… Roditelji unapređuju svoje znanje o razvoju dece Procena programa edukacije roditelja Osoblje Novac Partneri Dizajnirati i isporučiti program zasnovan na dokazima u 8 sesija Istraživanje Omogućiti grupnu podršku Koja količina novca i vremena je investirana? Da li su sve sesije održane? Koliko dobro? Da li se grupe za podršku sastaju? Roditelji dece od 3 -10 godina starosti prisustvuju Roditelji bolje razumeju sopstveni način vaspitanja Roditelji stiču veštine efektivnog roditeljstva i vaspitanja dece Da li svi roditelji učestvuju kao što je zamišljeno? Ko nije i zašto? Da li su prisustvovali svim sesijama? . . . grupe za podršku? Nivo zadovoljstva? Do kojeg stepena su se znanje i veštine povećali? Kod koga? Zašto? Šta se još desilo? Roditelji identifikuju akcije koje treba preduzeti Roditelji koriste efektivne veštine roditeljstva Do kojeg stepena su se ponašanja promenila? Za koga? Zašto? Šta se još desilo? Smanjenje stresa Bolji odnos između roditelja i dece Jaka porodica Do kojeg stepena je stres smanjen? odnosi poboljšani? 14

Identifikacija indikatora (načina merenja) Koji je najbolji indikator (ili indikatori) koji daje odgovor na svako evaluaciono pitanje? q Da li je to široko prihvaćeni koncept merenja? q Koju vrstu dokaza indikator daje (kvantitativni ili kvalitativni)? q Koja je jedinica merenja? ($, #, %) q Da li se lako može izmeriti? q Da li se lako može sumirati ili sakupiti? q 15

Primer edukacije roditelja: Evaluaciona pitanja, Roditelji indikatori unapređuju Zaposleni Novac Partneri Istraživanje Izraditi nastavni plan i program za edukaciju roditelja Sprovesti seriju od 8 interaktivnih sesija svoje znanje o razvoju dece Roditelji dece od 3 -10 godina starosti Omogućiti grupnu podršku Koliko je sesija održano? Koliko dobro? #, kvalitet rada grupe za podršku? INDICATORS # Osoblja Iskorišćena količina novca # partnera # Održanih sesija Kriterijum kvaliteta Roditelji stiču veštine novih načina vaspitanja dece Roditelji postaju sigurni u sopstvene sposobnosti EVALUACIONA PITANJA Koja količina novca i koliko vremena je uloženo? Roditelji bolje razumeju sopstveni način vaspitanja Ko/koliko roditelja je prisustvovalo/nije prisustvovalo sesijama? Da li su prisustvovali svim sesijama? Grupe za podršku? Da li su bili zadovoljni– zašto nisu? #, % učesnika po sesiji Sertifikati Koliko su znanje i veštine povećani? Kod koga? Zašto? Šta se još dogodilo? #, % onih koji su pokazali povećano znanje i veštine Dodatni rezultati Roditelji identifikuju akcije koje treba preduzeti Roditelji koriste efektivne veštine roditeljstva Smanjenje stresa Bolji odnos između roditelja i dece Jaka porodica Koliko se promenilo ponašanje? Kod koga? Zašto? Šta se još dogodilo? Koliko se smanjio stres? Koliko su sepoboljšali odnosi? #, % onih kod kojih je došlo do promena #, % onih kod kojih je došlo do poboljšanja Vrste promena Vrste poboljšanja 16

Merenje i indikatori aktivnosti Kvantitet pruženih usluga– Broj edukacija (broj radionica, poseta gazdinstvima, itd. ) Tip pružene usluge– Broj svakog od tipova usluga Broj usluženih klijenata § Broj klijenata koji su učestvovali (za svaku aktivnost ili događaj) § Proportion of target population served § Tip učesnika (commodities of farmer, size of operation, pol) Kvalitet pružene usluge– Nivo zadovoljstva klijenta Kvalitet prezentacija– Subjektivna ocena od strane supervizora zasnovana na posmatranju i povratnoj informaciji (feedback – u) od strane klijenata 17

Logički model sa indikatorima za Outpute i Rezultate (Outcomes) Outputi Implementiran program Rezultati Polj. proizvođači kojima je program namenjen Broj održanih Broj i radionica procenat polj. proizvođača Kvalitet koji su radionica prisustvovali edukaciji Polj. proizvođači uče Broj i procenat polj. proizvođača koji su povećali svoje znanje Polj. proizvođači primenjuju nove tehnike u praksi Broj i procenat onih koji primenjuju nove tehnike Profitabilnost poljoprivrednog gazdinstva raste Broj i procenat onih kod kojih je došlo do povećanja profita; nivo povećanja 18

Program Outputi Rezultati Kontrola kriminala Časovi provedeni u patroliranju # odgovora na pozive građana # istraženih kriminalnih dela Izvršena hapšenja Smanjenje počinjenih kriminalnih dela Smanjenje broja smrtnih slučajeva i povreda nastalih zbog kriminala; Manje oštećenja i gubitka imovine zbog kriminala Izgradnja autoputa Urađeni projekti Kilometri novoizgrađenog autoputa Kilometri rekonstruisanog autoputa Povećani kapaciteti Poboljšan protok saobraćaja Skraćeno vreme putovanja Smanjenje broja saobraćajnih nezgoda i povreda From Poister, 2003

Metode prikupljanja podataka ØSekundarne Metode § Pregled izveštaja– popisivanje, upis programa § Privatne agencije ili agencije vlade 20

Sekundarne Metode Informacije mogu biti lako dostupne i to po niskoj ceni, ili mogu biti u potpunosti nedostupne Može se desiti da to nije indikator koji je vama potreban Od malog značaja za učesnike programa To može biti uopštena informacija koja se ne može dovesti u vezu sa uspehom programa To, takođe, može biti poverljiva informacija dostupna samo u sažetom obliku 21

Metode prikupljanja podataka (pobrojane) ØPrimarne metode § § § Ankete Fokus grupe Posmatranje (opservacija) ponašanja učesnika Pre-test/Post-test Samo Post-test plus prisećanje Testiranje Poređenje pojedinaca i grupa Kontrolne grupe Studija slučaja Ispitivanje zadovoljstva klijenata 22

Anketa u obliku upitnika Može se sprovesti mail-om, telefonski, licem u lice ili putem interneta Ø Može da ispituje ponašanje, kao i stavove i mišljenja Ø Može da ispituje uzorak iz grupe Ø Može da se sprovodi u grupi kao i pojedinačnim ispitivanjem Ø Potrebna je veština u kreiranju pitanja u upitniku Ø Može da prikuplja informacije kvantitativnog i kvalitativnog karaktera Ø 23

Fokus Grupe Ova metoda omogućava diskusiju sa liderom koji od članova grupe traži da mu daju svoje mišljenje o nekoj temi Daje raznolika gledišta Članovi grupe mogu da reaguju na mišljenja ostalih kroz interakciju Ne daje informaciju o pojedincu Može s desiti da mišljenja manjine ne dođu do izražaja 24

Posmatranje (opservacija) Pogodna za posmatranje ponašanja Omogućava vizuelnu povratnu informaciju (feedback) Zavisno od ponašanja koje treba da se posmatra, može se sprovesti na mestu edukacije ili na lokaciji učesnika Ako su učesnici svesni da ih neko posmatra, rezultat opservacije može biti pogrešan 25

Pre-test/Post-test Informacije se prikupljaju dva puta, pre i posle programa Dokumentuje promenu koja se može dovesti u vezu sa učešćem u programu Mora se doneti odluka o tome koliko vremena treba da prođe od završetka programa da bi se mogle zabeležiti promene koje su rezultat učešća u programu (tj. da se uradi post – test) Evaluacioni plan mora biti napravljen i implementiran pre nego što program počne 26

Samo Post-test Dokumentuje ponašanje pošto je program sproveden Pokušava da ponašanje posle programa poveže sa učešćem u programu Može biti dobra ako se sigurno zna da niko od učesnika nije koristio nove metode programa Ova metoda može biti neophodna ako evaluacija nije bila napravljena pre nego što je program počeo 27

Post-test plus prisećanje Dokumentuje ponašanje posle programa, pri čemu se od učesnika traži da navedu odlike svog ponašanja pre programa Daje informaciju o stanju pre programa ako se bazira na tačnosti prisećanja Sećanje učesnika može biti netačno ili pristrasno Međutim, bolje je dobiti informaciju kroz prisećanje, nego nemati nikakvu informaciju o stanju pre programa 28

Testiranje Obično se koristi da se ispita stečeno znanje ali, u nekim slučajevima, i da se dokumentuje nov način ponašanja Neka testiranja mogu biti unutar samog programa u vidu vežbi učesnika Obično daje bolje rezultate kada su u pitanju mladi nego kada su to odrasli učesnici Ne može da dokumentuje dugoročne rezultate 29

Poređenje pojedinaca i grupa Obično se koristi kada su metode prenošenja programa različite za različite pojedince ili grupe Daje mogućnost kreatoru programa da odredi koja je metoda bila najbolja poređenjem dva ili više pojedinaca ili grupa 30

Kontrolne Grupe Obično se ne koristi kod programa edukacije jer bi to značilo uskraćivanje programa jednoj grupi ili pojedincu da bismo imali kontrolnu grupu Međutim, ako se program ne sprovodi za jednu grupu usled nedostatka sredstava ili je planiran za neki drugi termin, ukazuje se prilika da se uporede rezultati grupe koja je prošla kroz program i one koja nije Grupa koja je prošla kroz program mora biti veoma slična kontrolnoj grupi da bi poređenje bilo validno Prikupljanje informacija od kontrolne grupe može biti teško jer ona nije bila korisnik programa 31

Studija slučaja Prikupljanje detaljnijih informacija od male grupe pojedinaca koji su učestvovali u programu Obično daje kompletniju sliku o tome kako je pojedinac reagovao na program i iskoristio informacije koje kroz program dobio Ne može se generalizovati, tj. proširiti na ostatak populacije Može biti veoma ubedljiva kada je u pitanju uticaj programa na pojedinca 32

Ispitivanje zadovoljstva klijenata Obezbeđuje povratnu informaciju od strane klijenta o adekvatnosti teme i metodama predavanja Može da ukaže na to da li učesnik smatra program vrednim truda Može, ali ne mora obavezno, da ukaže na to da li je nešto naučeno ili da li je došlo do promene ponašanja Može se desiti da samo pokaže da li je predavač bio zabavan i da li se šalio tokom predavanja Može se koristiti za ocenu jednog program ili cele organizacije 33

Izvori podataka Izveštaji o programu (registrcija učesnika, evidencija prisutnih, itd. ) Sekundarni ivori podataka (broj polj. Proizvošača po tipu proizvodnje kojom se bave, broj grla, itd. ) Učesnici na programu Zaposleni (osoblje) Opservacija Saradnici Izveštači Agrobiznis 34

Izveštaji o izvršenju programa PROBLEM – Iznošenje problema na koji se program odnosi PROGRAM – Opis odlika programa edukacije UČEŠĆE – Izveštavanje o tome koliko i kakvi tipovi osoba su učestvovali u programu UTICAJ– Objašnjenje rezultata programa 35

Okolnosti koje utiču na evaluaciju Budžet, organizacioni kapacitet i stručnjaci spremni da podrže proces evaluacije Raspoloživo vreme zaposlenih za sprovođenje evaluacije Voljnost učesnika da odgovaraju na evaluaciona pitanja Izbor trenutka evaluacije u odnosu na implementaciju programa Dostupnost učesnika Cilj (oblast) programa 36

Ostala razmatranja Centralni izveštajni sistem za prikupljanje i agregaciju informacija o izvršenju programa Evaluacione studije koje dokumentuju uticaje prgrama što omogućava ekstrapolaciju rezultata kada se program ponovo primenjuje Uticaji programa postaju deo ocene učinka zaposlenih 37

Detaljnija evaluacija U kojoj meri se promene u rezultatima mogu pripisati Savetodavnim programima (u kojoj meri se spoljašnji uticaji mogu prepoznati i kontrolisati)? Koje su dugoročne posledice programa? (1, 5, 10, 20 godina kasnije) Cost benefit analiza. Da li vredi investirati u program? Šta je alternativa kada su troškovi u pitanju? Da li je ovo najbolji način korišćenja sredstava za postizanje rezultata? Koje metode edukacije su najuspešnije? Šta su prepreke za poboljšanje efektivnosti? Šta su nenamerne posledice? 38

Vežba 39

Grupna aktivnost Svaka grupa priprema evaluacioni plan za jedan od tri programa Identifikuje aspekte programa koje treba evaluirati (aktivnosti; učešće; kratkoročne, srednjeročne i dugoročne rezultate) Formuliše evaluaciona pitanja Identifikuje indikatore za svako pitanje Određuje izvore informacija za svaki indikator Određuje metode prikupljanja podataka i vreme kada se podaci prikupljaju. 40

Neki koncepti i slajdovi u ovoj prezentaciji su preuzeti iz prezentacija sa Univerziteta u Viskonsinu – Savetodavsvo, a potom adaptirani. 41