Aspecten van evaluatieonderzoek Erik Snel Afdeling Sociologie Erasmus
- Slides: 10
Aspecten van evaluatieonderzoek Erik Snel Afdeling Sociologie Erasmus Universiteit Rotterdam
Inhoud • Wat is evaluatieonderzoek? • Aspecten van evaluatieonderzoek • Evaluatieonderzoek en bewijskracht
Wat is evaluatieonderzoek? • Evaluatie = iets op waarde schatten (geld, een beleidsprogramma of interventie) • Evaluatieonderzoek = wetenschappelijk onderzoek met het oog op het beoordelen van inhoud, processen en/of effecten van beleid of specifieke interventies • Basisvraag: wat werkt en wat niet? Maar ook andere vragen zijn van belang!!
Waarom evaluatieonderzoek? • Voor opdrachtgevers/financiers van beleid (“de belastingbetaler”): is het geld goed besteed? • Voor professionals/uitvoerders van beleid: doen we het goed? Kan het beter? • Voor clienten/gebruikers: krijg ik optimale zorg of voorzieningen? • Evaluatieonderzoek als bedreiging?
Centrale vragen in evaluatieonderzoek • Relevantie (relevance): interventie gericht op bestaande behoefte c. q. politieke doelen? • Plausibiliteit (plausible): bewijs dat interventie kan werken? (beschikbaar onderzoek) • Efficiency (efficiency): interventie op tijd en niet te duur? • Effektiviteit (effectiveness): verwachte producten (outputs) en beoogd resultaat (outcomes) bereikt? • Effect (impact): verbeterde situatie als gevolg van interventie? • Duurzaamheid (sustainability): blijft beoogd effect ook op langere termijn bestaan?
Aspecten van evaluatieonderzoek
Aspecten van evaluatieonderzoek effectevaluatie Procesevaluatie Resources activities Initial outcomes outputs Intermediate outcomes Long term outcomes Time • Procesevaluatie: onderzoek naar verloop en organisatie van programma : worden beoogde beleidsproducten (“outputs) bereikt? • Effectevaluatie: onderzoek naar effecten van een programma: worden beoogde doelen (“outcomes”) bereikt?
Externe invloeden • Causaliteitsvraag als basisvraag van evaluatieonderzoek • Waargenomen effect daadwerkelijk gevolg van beleid of van andere factoren/ontwikkelingen in de omgeving van beleid? • Klassiek voorbeeld: leidde het “zero tolerance”beleid van burgemeester Guliani (NYC) tot minder criminaliteit?
Bewijskracht Omschrijving Causaal Alles plus controlegroep Soorten onderzoek Kwalificatie Experimenteel onderzoek (RCT) ------------Quasi-experimenteel Beschrijving, onderzoek interventietheorie ------------plus effectmeting Effectmeting (klanttevredenheid) Klanttevredenheidsonderzoek 4 Werkzaam (effectief) Theoretisch Beschrijving plus geloofwaardige interventietheorie (mechanismen) Meta-analyse Literatuurstudie (“review”) 2. Veelbelovend Descriptief Beschrijving van interventie (doelgroep, middel, uitkomst) en context Descriptief onderzoek Documentenanalyse Interviews 1. Potentieel Indicatief 3. Doeltreffend
“Moraal van het verhaal” Evaluatieonderzoek in maten en soorten, ieder met eigen vooronderstellingen en een bepaalde “bewijskracht”