Gebruik van buurtgegevens in evaluatieonderzoek Propensity score matching
Gebruik van buurtgegevens in evaluatieonderzoek Propensity score matching en buurtinterventies Sociaal en Cultureel Planbureau 1 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Inhoud 1) 2) 3) 4) Monitoring van stadswijken Effecten van interventies op stadswijken? Quasi-experimenteel evaluatieonderzoek: propensity score matching Illustratie: Effect van herstructurering op leefbaarheid en veiligheid in stadswijken Sociaal en Cultureel Planbureau 2 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Monitoring (1) Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken 2006 -2010 0 2006 2008 2010 -44 -5 -10 -15 -20 -25 -30 -35 -40 -45 -50 -46 Bron: CBS Outcomemonitor Wijkenaanpak 2012 Sociaal en Cultureel Planbureau 3 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Monitoring (2) Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken en het stedelijk gemiddelde 2006 -2010 2006 2008 2010 0 -5 -10 -15 G 18 gemiddelde -20 -25 aandachtswijken in G 18 -30 -31 -35 -40 -37 -45 -50 -32 -46 -44 Bron: CBS Outcomemonitor Wijkenaanpak 2012 Sociaal en Cultureel Planbureau 4 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Essentie Buurtgegevens lenen zich voor monitoring. Buurtgegevens kunnen ook gebruikt worden om uitspraken over de effectiviteit van interventies te doen. Daarvoor is het monitoren van een trend in de groep wijken met een interventie niet voldoende. Ook het monitoren van een trend in de interventiegroep t. o. v. het stedelijk gemiddelde is niet voldoende. Om iets over het effect van de interventie te kunnen zeggen is het nuttig om de buurten met een interventie te koppelen aan vergelijkbare buurten zonder interventie. Sociaal en Cultureel Planbureau 5 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Effectstudies (1) Effectstudies proberen causale relatie tussen interventie en uitkomstmaat vast te stellen: Heeft invoering van een bepaalde interventie geleid tot effecten? Kwaliteit van effectstudies is onder meer afhankelijk van: -- Interne validiteit -- Externe validiteit Sociaal en Cultureel Planbureau 6 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Effectstudies (2) Verschillende designs beschikbaar om te proberen uitspraken te doen over effectiviteit van interventies. Belangrijk verschil tussen experimenteel design en quasi-experimenteel design is dat bij de laatste geen random toewijzing heeft plaatsgevonden van de interventie. Sociaal en Cultureel Planbureau 7 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Quasi-experimenteel onderzoek Verschillende soorten designs beschikbaar. Maar welk design het meest bruikbaar is hangt onder meer af van de wijze waarop de interventie is opgelegd en je data. Betekent soms veel werk en kan het resultaat zijn dat het gekozen design zich toch niet leent voor jouw data. Sociaal en Cultureel Planbureau 8 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Propensity Score Matching (1) Propensity Score Matching is een voorbeeld van quasi-experimenteel design. Tracht de experimentele groep te koppelen aan een zo goed mogelijkende controlegroep. Sociaal en Cultureel Planbureau 9 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Propensity Score Matching (2) Stappen: 1) Vaststellen van interventie (bijv. herstructurering, aanleg speelvoorzieningen, verkoop sociale huurwoningen, krachtwijkenbeleid), en begin en eind interventie. 2) Vaststellen van uitkomstmaten (waar is beleid op gericht geweest? ) 3) Vaststellen van controlegroep 4) Kwaliteit matching Sociaal en Cultureel Planbureau 10 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Propensity Score Matching (3) Vaststellen van controlegroep Voor elke experimentele wijk vergelijkbare wijk zonder interventie vinden op basis van afzonderlijke buurt kenmerken. Buurt met hoog % huur aan andere buurt met hoog % huur. Probleem a) hoe meer kenmerken gebruikt worden, hoe kleiner kans op match. b) veel interventies ingezet op buurten met stapeling van specifieke kenmerken. Dat experimentele groep verschilt van controlegroep is niet uniek. Begin jaren ‘ 80 Propensity Score Matching ontwikkeld (Rosenbaum en Rubin). Sociaal en Cultureel Planbureau 11 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Propensity Score Matching (4) Alle kenmerken waarop gematcht wordt, worden samengevoegd in 1 score: propensity score. De combinatie van kenmerken in experimentele groep wordt ook waargenomen in controlegroep. 3 a) Bereken propensity score (logistisch model) Afhankelijke variabele: kans op interventie (0=geen ingreep; 1=ingreep). Onafhankelijke variabelen: buurtkenmerken die (mogelijk) invloed hebben op de kans op ingreep en op de uitkomstmaat (gemeten na de interventie). 3 b) Koppel experimentele buurten aan controlebuurten op grond van propensity score (verschillende matchingsalgoritmes). Sociaal en Cultureel Planbureau 12 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Propensity Score Matching (5) Kwaliteit matching 1) Het is van groot belang dat de buurtkenmerken tussen de experimentele groep en controlegroep overeenkomen. Als de kenmerken van de groepen veel verschillen, moet het model herzien worden (toevoegen hogere functies, interacties, andere variabelen). 2) Zijn er veel experimentele buurten die niet gekoppeld kunnen worden? (o. m. overlap; common support) Wat voor buurten zijn dit? SOMS PAST PSM GEWOON NIET BIJ JE DATA…. helaas…. op naar een ander design (regressie-discontinuïteit? ) Sociaal en Cultureel Planbureau 13 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Effecten? Nameting verminderen met voormeting voor de experimentele groep en controlegroep. Hoe verhoudt de ontwikkeling tussen deze twee groepen? Difference in difference. Testen op significantie. Volgens PSM zou je mogen concluderen dat er een effect van de interventie is als de ontwikkeling (bijv. leefbaarheid) in de experimentele groep groter is dan in de controlegroep. Sociaal en Cultureel Planbureau 14 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Illustratie: Herstructurering woningvoorraad (1) In hoeverre is herstructurering effectief geweest bij het verbeteren van leefbaarheid en veiligheid in stadswijken? 1) Vaststellen herstructureringsinterventie in 4 ppc-gebieden en interventieperiode Algemene herstructurering Interventieperiode 1 januari 2000 – 31 december 2006 aandeel onttrokken woningen minimaal 3% van de Interventie woningvoorraad in 2000 + minimaal 100 woningen onttrokken en minimaal 100 woningen nieuwgebouwd Aantal experimentele buurten 100 Aantal experimentele buurten in quasiexperiment 70 Sociaal en Cultureel Planbureau 15 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Illustratie: Herstructurering woningvoorraad (2) 2) Vaststellen uitkomstmaten: wat zijn de doelen van het beleid geweest? -- Leefbaarheid verbeteren (tevredenheid met woonomgeving). -- Veiligheid verbeteren (perceptie op voorkomen van criminaliteit en overlast; onveiligheidsgevoelens). -- Sociale cohesie vergroten. Sociaal en Cultureel Planbureau 16 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Illustratie: Herstructurering woningvoorraad (2) 3) Vaststellen controlegroep schat propensity scores (logistische regressie). Kan in SPSS, maar STATA biedt veel meer opties (m. n. bij de matching hierna!). Sociaal en Cultureel Planbureau 17 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Illustratie: Herstructurering woningvoorraad (3) 4) Koppel de experimentele wijken aan wijken met een vergelijkbare propensity score, die echter niet de interventie opgelegd hebben gekregen (keuze uit verschillende matchingsstrategieën). Experimentele buurt die je kunt koppelen aan een buurt zonder interventie. Controlebuurt die gekoppeld wordt aan experimentele buurt. Sociaal en Cultureel Planbureau 18 postcode herstructurering? nee 3581 nee 3562 ja 3532 nee 3523 ja 3525 nee 3582 ja 3555 nee 3531 nee 3554 nee 3552 nee 3564 nee 3561 nee 3526 nee 3527 propensity score 0, 153 0, 173 0, 187 0, 216 0, 257 0, 281 0, 295 0, 307 0, 321 0, 360 0, 381 0, 418 0, 500 0, 634 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Illustratie: Herstructurering woningvoorraad (4) Uiteindelijk 70 herstructureringsbuurten kunnen koppelen aan vergelijkbare buurten zonder interventie. Voormeting komt overeen, maar nog niet perfect. Ontwikkeling in experimentele buurten gunstiger geweest. Sociaal en Cultureel Planbureau 19 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Problemen bij dit voorbeeld (/PSM algemeen) Conceptueel Inzicht in omvang effecten, maar niet de achterliggende mechanismen. Welke mechanismen zitten achter de effectiviteit van herstructurering? verplaatsing van mensen? Geen duidelijk begin/eind van interventies. Rol van andere interventies? Wat zijn de kosten en de baten van interventies? Modeltechnisch Niet-opgenomen variabelen die kans op interventie beïnvloeden (modelselectie is zeer belangrijk). Groepen komen soms onvoldoende met elkaar overeen na matching Sociaal en Cultureel Planbureau 20 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
Literatuur Propensity scores for the estimation of average treatment effects in observational studies (L. Grilli & C. Rampichini) Some practical guidance for the implementation of propensity score matching (M. Caliendo & S. Kopeinig) Propensity Score Matching for social epidemiology (M. Oakes & P. J. Johonson) Matching and Propensity Scores (M. Oakes, in P. M. Steiner) Sociaal en Cultureel Planbureau 21 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013
- Slides: 21
