GGD Amsterdam Wegen en corrigeren voor design effecten

GGD Amsterdam Wegen en corrigeren voor design effecten in gezondheidsenquêtes Daan Uitenbroek GGD Amsterdam Quantitativeskills/Quakunde 2/20/2021 Daan Uitenbroek, Designeffecten 1

De presentatie Bronnen over wegen en designeffecten Wegen, waarom en hoe in het kort Oorzaken van designeffecten Hoe groot zijn designeffecten Corrigeren voor designeffecten Met de nadruk op SPSS-Complex Samples 2/20/2021 Daan Uitenbroek, Designeffecten 2

Bronnen Deze presentatie en nog wat andere zaken: http: //www. quantitativeskills. com/ggd/wegen. htm Literatuur: Uitenbroek DG. Design, wegen en het designeffect in GGD gezondheidsenquêtes Verschijnt in TSG, Engels talige versie op Quantitativeskills. com van den Brink C. e. a. Richtlijn wegen voor epidemiologen. Bilthoven, RIVM: 2009. Kish L. Weighting for Unequal Pi. J Off Statistics 1992; 8: 183 -200. Kish L. Methods for Design Effects. J Off Stat 1995; 11: 55 -77. http: //www. quantitativeskills. com/manuals/weighting. htm SPSS Complex Samples manual, gratis op: http: //sw. cs. uoguelph. ca/dsoft/SPSS 15 Manuals/SPSS%20 Complex%20 Samples%2015. 0. pdf Wesvar Manual, gratis op: 2/20/2021 http: //www. westat. com/wesvar/ Daan Uitenbroek, Designeffecten 3

Wegen, waarom en hoe Gezondheidsenq-van een GGD 2002 De sign Aalsmeer pi design Ni Be volking Pi bevolking ni Steek proef pi steekproef 750 0, 143 16559 0, 088 483 0, 148 Amstelveen 1500 0, 286 55283 0, 295 935 0, 286 Haarlemmermeer 1500 0, 286 87232 0, 466 907 0, 278 Ouder amstel 750 0, 143 9234 0, 049 447 0, 137 Uithoorn 750 0, 143 19060 0, 102 492 0, 151 5250 1, 000 187368 1, 000 3264 1, 000 Totaal wi= Pi/pi ni*wi p^i Wi=Ni/ni ni*Wi P^i Aalsmeer 0, 597 288, 5 0, 088 34, 3 16559, 0 0, 088 Amstelveen 1, 030 963, 0 0, 295 59, 1 55283, 0 0, 295 Haarlemmermeer 1, 675 1519, 6 0, 466 96, 2 87232, 0 0, 466 Ouder amstel 0, 360 160, 9 0, 049 20, 7 9234, 0 0, 049 Uithoorn 0, 675 332, 0 0, 102 38, 7 19060, 0 0, 102 Gemiddeld/totaal 0, 867 3264 1, 000 . -. 187368 1, 000 2/20/2021 Daan Uitenbroek, Designeffecten 4

Wat voor design effecten en wat betekent dat Het design effect ontstaat bij wegen doordat je a) Kleine groepen relatief belangrijk maakt (precisie verlies) b) Grotere groepen relatief minder belangrijk (precisie winst) Verlies a is groter dan winst b, je algemene schatters worden minder precies Gevolg: • Betrouwbaarheidsintervallen worden breder • Verschillen worden minder snel significant Design effect (variantie inflatie) -> deff -> var (y)^ = var (y)*deff -> effectieve N^ = (1/design effect) * gerealiseerde N Design factor (error inflatie) -> deft -> x + 1. 96 * deft * s. e. (x) Deft=√deff 2/20/2021 Daan Uitenbroek, Designeffecten 5

Wat betekent dat in de praktijk, hoe belangrijk is dat Tabel 1. Voorbeelden van designs van gezondheidsenquêtes uitgevoerd door GGD’en. Monitor Design (bij benadering) wi, range DEFF Zuid Holland Zuid, 2006 Leeftijd 19+, 4% uit 14 gemeenten 1, 00 -1, 00 Groningen, 2006. Leeftijd 20+, 2% uit 25 gemeenten 1, 00 -1, 00 Groningen, 2002. In de leeftijd 20 -64 1% in 21 gemeenten en 2% in 4 gemeenten; in de leeftijd 65+ 2% in 22 gemeenten, 4% in 2 gemeenten en 5% in 1 gemeente. 0, 33 -1, 64 1, 14 Amstelland 2002 Zie tabel 2 0, 34 -1, 63 1, 21 Noord Kennemerland, 2006. Omstreeks 480 per gemeente uit 8 gemeenten, 19 -65 jaar 0, 14 -2, 97 1, 71 Gooi en Vechtstreek, 2004. Omstreeks 1500 per gemeente uit 9 gemeenten, leeftijd 19+ 0, 24 -3, 17 1, 72 Hollands Midden, 2005. Omstreeks 500 per gemeente, 13 gemeenten. Leeftijd 19 t/m 64 jaar. 0, 42 -3, 92 1, 80 Amsterdam, 2004. Circa 200 per groep uit 20 groepen naar 5 leeftijden en 4 etnische groepen, 18 jaar en ouder 0, 04 -3, 21 1, 85 Amsterdam, 2008. Circa 200 uit 56 groepen naar 4 leeftijden en 14 stadsdelen, extra 600 per groep uit 4 leeftijdsgroepen 0, 06 -7, 7/ 0, 2 -5, 0 2, 02/ 1, 93 2/20/2021 Daan Uitenbroek, Designeffecten 6

Wat betekent dat in de praktijk, hoe belangrijk is dat Tabel 2. Design voor de gezondheidsenquête Amstelland de Meerlanden, berekening designeffect, gewichten en effect van design op vaststellen van het percentage inwoners dat geluidshinder van vliegtuigen ervaart. ni omvang design Ni Bevolki ng Ni * Ni / ni mi omvang steekproef Aantal in steekproef met hinder Geschat aantal in bevolking met hinder Aalsmeer 750 16559 365578, 6 483 34, 3 89 3063 Amstelveen 1500 55283 2037437 935 59, 1 182 10780 Haarlemmermeer 1500 87232 5072948 907 96, 2 110 10555 Ouder amstel 750 9234 113689 447 20, 7 58 1191 Uithoorn 750 19060 484378, 1 492 38, 7 88 3393 Totaal 5250 187367 8074030 3264 528 28982 Wi Designeffect DEFF = Σ (Ni 2/ ni) * n/N 2 = 8074030 * 5250 / (187367 *187367) = 1, 21 (DEFFT= √ 1. 21 = 1. 1) Gemiddelde ongewogen=528/3264=0, 1617; Gemiddelde gewogen=28982/187367=0, 1542 95% BI ongewogen = 16, 2 ± 1, 96 * √ (p(1 -p )/m) = 16, 2 ± 1, 96 * √ (0, 162(1 -0, 162 )/3264)*100=16, 2 ± 1, 26 95% BI gewogen = 15, 4 ± 1, 96 * √ (p(1 -p )/m*DEFF) = 15, 4 ± 1, 96 * √ (0, 154 (1 -0, 154)/3264*1, 21)*100=15, 4 ± 1, 36 Deze tabel is gebaseerd op tabel 2. 1 uit Ten Brinke JM. , Verhagen CE. Hoe gezond is de regio? Gezondheidspeiling 2002; en tabel 5. 3 uit: Hoe gezond is de regio? Supplement. Gezondheidspeiling 2002. Beide: Amstelveen: GGD Amstelland de Meerlanden. 2/20/2021 Daan Uitenbroek, Designeffecten 7

Berekenen en toepassen designeffect • De rekenwijze verschilt per statistiek, • Je hebt dus meerdere verschillende designeffecten binnen een studie. Berekening voor designeffect Deff voor één gemiddelde • op de hand (zoals in de voorgaande dia) • met SISA-weights (SISA onemean voor de betrouwbaarheidsintval) Berekening Deff voor de vergelijking van twee gemiddelden (t-test) • op de hand • met SISA-weights (SISA t-test voor de significantie van het verschil) 2/20/2021 Daan Uitenbroek, Designeffecten 8

Berekenen en toepassen designeffect Voor alle andere statistieken met een speciaal programma • Epi Info Complex Samples (gratis, redelijk vriendelijk maar beperkt) • SPSS Complex Samples (kost geld, zeer vriendelijk en uitgebreid) • Survey in R (gratis, uitgebreid, maar zeer zeker niet vriendelijk) • Wesvar (tegenwoordig gratis, uitgebreid, niet zeer vriendelijk) • STATA, SAS, Sudaan etc, ken ik niet, weet ik niet 2/20/2021 Daan Uitenbroek, Designeffecten 9

Voorbeeld met SISA weights 2/20/2021 Daan Uitenbroek, Designeffecten 10

Betrouwbaarheidsinterval met SISA Onemean 2/20/2021 Daan Uitenbroek, Designeffecten 11

Zó doe je het in Epi-Info 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Je kunt Epi-Info downloaden via: http: //www. cdc. gov/epiinfo/ Save je data in SPSS als een DB-IV file neem tenminste de variabelen strata, cluster en een weight variabele mee. Heb je geen strata neem dan compute strata=1, iedere respondent komt van hetzelfde strata. Heb je geen clusters neem dan het respondent nummer, iedere respondent is een eigen cluster. Je kan zoveel afhankelijke variabelen meenemen als je maar wil. Open in Epi. Info het “analysis” menu. Doe options->set-> statistics advanced Importeer je data in Epi. Info analysis als een DB-IV file. Epi. Info neemt de variabelen namen over maar niet de labels. Dus hou goed bij wat variabelen waarden betekenen. Kies een van de drie “complex sample procedures”. Specificeer de afhankelijke variabele, waar je in geïnteresseerd bent. Eventueel de onafhankelijke variabele, bijvoorbeeld bij een kruistabel, hangt van de procedure af Specificeer de strata, de cluster en het gewicht Druk op analyse 2/20/2021 Daan Uitenbroek, Designeffecten 12

SPSS Complex Samples Advies van de werkgroep Voordelen, een zeer uitgebreid en gebruikersvriendelijk pakket dat betrekkelijk eenvoudig te leren is. Efficient in gebruik. Nadelen, het kost geld, hoe je daarover denkt hangt van jou af Wat ga ik nu doen Wat heb je nodig/moet je weten om het te laten werken Vervolgens ga ik het demonstreren aan de hand van een data set uit de Amsterdamse Gezondheidsmonitor 2004 2/20/2021 Daan Uitenbroek, Designeffecten 13

SPSS Complex Samples maakt niet de gewichten. • • Gewichten moet je maken met spreadsheets. SISA weights (wordt nog verbeterd, tips en suggesties krijg ik graag) Wat je nodig hebt is: • • Een data set met inhoudelijke variabelen (roken, alcohol gebruik, geslacht etc. ) In die data set een (of meerdere) variabelen “weight” Een of meerdere variabelen “strata” Een planfile die het design omschrijft (in epi info is dat een stuk duidelijker, daar heb je één strata en één cluster. Strata betreft alle gefixte design effecten, cluster alle random design effecten) 2/20/2021 Daan Uitenbroek, Designeffecten 14

SPSS Complex Samples het kan waarachtig complex Wat kan je doen: Uit je GGD regio neem je alle gemeenten In iedere gemeente sample je 3 scholen Dan neem je in iedere school alle klassen En vervolgens sample je drie leerlingen per klas Wat gaan we nu doen: Een demonstatie van Complex Samples voor het eenvoudigste design: 1 strata 1 set gewichten Meestal het design dat wordt gebruikt bij Gezondheids Enquêtes 2/20/2021 Daan Uitenbroek, Designeffecten 15

SPSS Complex Samples gewichten voor het één strata voorbeeld 1 strata over 2 dimensies, een met 2 categorien en een met 3 categorien 　 2/20/2021 gender age population sample Wi=Ni/ni 1 male young 34705 165 210, 3 2 female young 25659 560 45, 8 3 male middle 21773 557 39, 1 4 female middle 27967 205 136, 4 5 male old 22471 185 121, 5 6 female old 29318 193 151, 9 Daan Uitenbroek, Designeffecten 16

SPSS Complex Samples één strata, soms moeilijk Groningen, 2002: In de leeftijd 20 -64 1% in 21 gemeenten en 2% in 4 gemeenten; in de leeftijd 65+ 2% in 22 gemeenten, 4% in 2 gemeenten en 5% in 1 gemeente. Voorbeeld Gezondheidsprofiel Voorbeeld 　 Rotterdam 2008, …… uitspraken doen over de groep Kaapverdianen en Antillianen in Rotterdam zijn ……. …… het Cluster Jeugd en op verzoek van deelgemeente Hoek van Holland een relatief kleine …… …… 16 tot en met 54 jaar en 55 jaar en ouder is in Hoek van Holland een steekproef van 200 …… …… deelraad Pernis is voor Pernis een aparte steekproef getrokken van 200 personen …… …… In 2008 is ervoor gekozen om de steekproef voor Rotterdam per buurt op te hogen …… …… een steekproef van 100 19 tot en met 54 jarigen getrokken. …… …… Van alle 55 -plusser is een steekproef van 3000 getrokken…… 2/20/2021 Daan Uitenbroek, Designeffecten 17

SPSS Complex Samples bron van gewichten hoeft te zijn strata regio Gesl. Lft. 1 Heyplaat (wel in Rotterdam) Man 19 -54 23 356 2 . Vrouw 19 -54 26 373 3 Hoogvliet Zuid (wel in Rotterdam) Man 19 -54 20 4218 4 . Vrouw 19 -54 28 4622 5 Rotterdam Man 16 -18 268 9249 6 Rotterdam jongeren Vrouw 16 -18 342 8868 7 Rotterdam ouderen Man 55+ 61713 8 Hoek van Holland (niet in Rotterdam) man 16 -18 58 175 9 Hoek van Holland man 19 -54 44 2067 10 Hoek van Holland man 55+ 1452 11 Hoek van Holland vrouw 16 -18 103 2/20/2021 Daan Uitenbroek, Designeffecten ni 748 63 Ni 185 18

SPSS Complex Samples moet bvk. wel uitsluitend en uniek zijn strata Regio/ethn. Gesl. Lft. ni Ni 1 Antillianen Man 16 -54 28 5501 2 Antillianen 55+ 34 686 3 Antillianen 16 -54 42 6238 4 Antillianen 55+ 47 868 5 Stadsdriehoek Man 19 -54 19 4458 Vrouw 19 -54 26 3859 Man 19 -54 10 2416 Vrouw 19 -54 21 2226 19 -54 20 1755 19 -54 17 1385 Vrouw 6 7 8 9 10 2/20/2021 Oude Westen Cool + CS-Kwartier Man Vrouw Daan Uitenbroek, Designeffecten 19

SPSS Complex Samples dan heb je een strata variabele nodig Een variabele met hele nummers, labels zogezegd, van 1, 2, 3. Meestal laat je de strata en gewichten overlappen Je kunt meer strata hebben dan gewichten Meestal niet minder if ((geslacht=1) and (lft=1) and (etn=1)) strata= 1. if ((geslacht=1) and (lft=1) and (etn=2)) strata= 2. if ((geslacht=1) and (lft=2) and (etn=1)) strata= 3. if ((geslacht=1) and (lft=2) and (etn=2)) strata= 4. Enz. 2/20/2021 Daan Uitenbroek, Designeffecten 20

SPSS Complex Samples de weeg syntax ziet er dan zo uit De gewicht syntax voor SPSS complex samles ziet er dan zo uit, Het zijn de grote gewichten Wi, die aangeven hoeveel respondenten een gewicht representeerd, dus decimale getallen altijd groter dan 1. if if 2/20/2021 ((geslacht=1) ((geslacht=2) and and (lftcat=1)) (lftcat=2)) strata=210, 3. strata=45, 8. strata=136, 4. strata=121, 5. Daan Uitenbroek, Designeffecten 21

SPSS Complex Samples vervolgens heb je een plan file nodig CSPLAN ANALYSIS /PLAN FILE='M: dataaanieuwplan. csaplan' /PLANVARS ANALYSISWEIGHT=weight 2 /SRSESTIMATOR TYPE=WR /PRINT PLAN /DESIGN STRATA= strata /ESTIMATOR TYPE=WR. 2/20/2021 Daan Uitenbroek, Designeffecten 22

SPSS Complex Samples plan file kan je maken in SPSS 2/20/2021 Daan Uitenbroek, Designeffecten 23

SPSS Complex Samples dan je analyse in complex samples CSTABULATE /PLAN FILE = 'M: dataaanieuwplan. csaplan' /TABLES VARIABLES = rook 1 /CELLS POPSIZE TABLEPCT /STATISTICS SE CIN(95) COUNT DEFFSQRT /MISSING SCOPE = TABLE CLASSMISSING = EXCLUDE. 2/20/2021 Daan Uitenbroek, Designeffecten 24

SPSS Complex Samples Resultaat, rechte telling 2/20/2021 Daan Uitenbroek, Designeffecten 25

SPSS Complex Samples en dan een kruistabel * Complex Samples Crosstabs. CSTABULATE /PLAN FILE = 'M: dataaggd. csaplan' /TABLES VARIABLES = BMI BY sf 01 /CELLS POPSIZE ROWPCT COLPCT /STATISTICS SE CIN(95) COUNT DEFFSQRT /TEST ODDSRATIO RELRISK INDEPENDENCE /MISSING SCOPE = TABLE CLASSMISSING = EXCLUDE. 2/20/2021 Daan Uitenbroek, Designeffecten 26

SPSS Complex Samples zo een kruistabel syntax maak je ook in SPSS 2/20/2021 Daan Uitenbroek, Designeffecten 27

Kruistabel in Complex Samples 2/20/2021 Daan Uitenbroek, Designeffecten 28

Statistisch testen Kruistabel Tests of Independence Measures of Association gezondheid algemeen * bmicat Pearson Likelihood Ratio Chi-Square Adjusted F df 1 df 2 32, 423 19, 660 1 1680 31, 634 19, 181 1 1680 Sig. , 000 The adjusted F is a variant of the second-order Rao-Scott adjusted chi-square statistic. Significance is based on the adjusted F and its degrees of freedom. 95% Confidence Interval Lower Estimate gezondheid algemeen * bmicat Odds Ratio Relative Risk For cohort bmicat = , 00 For cohort bmicat = 1, 00 Risk Difference For cohort bmicat = , 00 For cohort bmicat = 1, 00 Upper 1, 976 1, 458 1, 329 1, 155 , 672 , 569 , 164 , 090 -, 164 -, 238 Lower 2, 679 1, 529 , 795 , 238 -, 090 Statistics are computed only for 2 -by-2 tables with all cells observed. 2/20/2021 Daan Uitenbroek, Designeffecten 29

SPSS Complex Samples een efficient programma 2/20/2021 Daan Uitenbroek, Designeffecten 30

Samenvatting wegen en design effecten in gezondheidsenquêtes Als je gaat wegen krijg je design effecten, de betrouwbaarheid van je studie wordt minder Je krijgt bredere betrouwbaarheidsintervallen Verschillen zijn minder snel significant Voor een gemiddelde is het nog wel op de hand te doen Voor alle andere statistieken adviseren wij een gespecialiseerd programma De werkgroep wegen adviseerd SPSS Complex Samples Dit programma maakt niet de gewichten, gebruik een spreadsheet Het is goed te gebruiken voor een betrouwbaarheidsinterval of een vergelijking tussen twee groepen, bij een omvangrijke analyse, zeker efficient. Er zijn goede mogelijkheden voor complexere designs(/EMOVO) En multivariate statistiek (bijv Logistische regressie) 2/20/2021 Daan Uitenbroek, Designeffecten 31