De bootstrap Een fundamentele inleiding in de inductieve

De bootstrap Een fundamentele inleiding in de inductieve statistiek 1

Leidend voorbeeld Onderzoeksvraag: Drinken mannelijke Ru. G studenten gemiddeld meer bier dan vrouwelijke Ru. G studenten? Onderzoek: Trek steekproef van 50 m en 50 v en meet biergebruik Je vindt: m gemiddeld 8. 98 glazen bier per week v gemiddeld 7. 14 glazen bier per week Conclusie: Mannelijke studenten drinken gemiddeld 1. 84 glazen meer dan vrouwelijke Inductieve Statistiek: Hoe zeker weten we dit? Wat zijn onzekerheidsmarges? 2

Op grond van steekproeven schatten we mannelijke studenten: gemiddeld 8. 98 glazen bier, vrouwelijke studenten: gemiddeld 7. 14 glazen bier. Maar hoe zeker weten we dit? Wat als we een andere steekproef zouden hebben gehad? GEEN IDEE ! maar, statistiek is er voor om je enig idee te geven. 3

Een gedachte-experiment vooraf: Stel we kennen volledige populatie: Van alle 10200 Mann. studenten aan Ru. G kennen we ‘biergebruik’ (en idem van vrouwelijke studenten) 4

Wat kan er gebeuren als we een random steekproef van 50 m. studenten trekken? populatie 10 7 8 11 11 7 10 10 6 1010 9678 9 9 11 8 8 9 8 10 10 7 9 6 9 7 6 11 8 10 6 12 9 7 10 9 8 7 87 9 gem. = 9. 0 10 9 8 steekproef (n=50) 1012 7 2 e steekproef (n=50) 10 7 8 7 9 98 7 11 11 10 8 6 11 7 8 9 11 10 10 8 10 gem. = 8. 98 gem. = 9. 08 5

. . . na bijv. 1000 steekproeven. . . 1. Steekproefgemiddelde varieert! 2. Meestal tussen 8. 7 en 9. 3 Populatiegemiddelde “steekproefgemiddelde is vaak ongelijk aan populatiegemiddelde, maar wijkt maar in 5% van de steekproeven meer dan 0. 3 af ” 6

. . . dus omgekeerd. . . 7

Het populatiegemiddelde ligt maar in 5% van de steekproeven meer dan 0. 3 af van het steekproefgemiddelde • Stel: steekproefgemiddelde is 8. 8. • Uitspraak: we zijn 95% zeker dat populatiegemidelde ligt tussen 8. 8± 0. 3, dus tussen 8. 5 en 9. 1 • Gevonden dankzij: marge van steekproefgemiddelde rond populatiegemiddelde waarin 95% van steekproefgemiddelden valt 8

• Dus nodig: marge van steekproefgemiddelde rond populatiegemiddelde waarin 95% van steekproefgemn valt • Te verkregen via herhaald stkprftrekken uit populatie • Maar: 1000 maal een (n=50) steekproef trekken? ? Praktijk: • 1 (n=50) steekproef!!! • Idee: gebruik alleen huidige steekproef om schatting te krijgen van marges 9

Vergelijk. . . de Baron Munchausen … toen nu … trok zichzelf uit moeras aan de lussen van zijn laarzen (bootstraps) 10

Bootstrap-procedure • Doel – Verkrijgen van marge van steekproefgemiddelde rond populatiegemiddelde • Nodig – weten wat andere steekproeven voor gemiddelden kunnen opleveren • Concrete vraag – wat wordt gemiddelde als score van iedere persoon in huidige steekproef vervangen door score van willekeurig persoon uit populatie? • Wat is willekeurig persoon uit populatie? 11

Bootstrap filosofie: Wat is willekeurige persoon? Doet er niet toe: Alleen diens scores nodig! Wat zijn willekeurige scores? • scores die voorkomen in steekproef! (realistisch!) • sommige scores gangbaarder dan andere! willekeurige scores: scores die je willekeurig uit eigen steekproef trekt! 12

Bootstrap aanpak: 10 9 8 9 10 9 Steekproef 10 10 8 1010 9 788 9 109 9 8 10 8 9 11 9 9 9 7 9 11 9 8 10 9 10 gem. = 8. 98 12 9 7 8 9 9 879 10 9 8 score freq 7 4 8 10 9 20 10 13 11 2 12 1 score 7 8 9 10 11 12 freq 3 8 19 16 2 2 9 9 8 98 99 8 10 9 9 9 10 8 10 10 109 10 10 7879 10 89 10 12 10 9 8 910 8 109 810 8 11 8 9 10 1089 11 79 10 10 9 9 11 7 10 9 9 9 12 10 8 7 12 10 8 9 9 10910 989 9 9 8 107 9 108 10 9 gem. = 9. 02 Maak alternatieve steekproef door willekeurig scores uit 13 oorspronkelijke te trekken frequenties ongeveer zelfde! Bootstrap steekproef

Bootstrap aanpak: “Bootstrap- steekproef” Herhaal deze procedure vaak (bijv. 1000 keer): 1. Trek nieuwe steekproef met teruglegging van grootte n uit oorspronkelijke steekproef 2. Bereken gemiddelde Resultaat: 1000 bootstrapsteekproefgemiddelden • Geeft idee van gebruikelijke marge rond steekproefgemiddelde bij herhaald trekken uit steekproef (als stand-in voor populatie)! • We nemen aan dat dit idee geeft van gebruikelijke 14 marge rond populatiegemiddelde!

Voorbeeld: Gemiddelden van 100 bootstrapsteekproeven: 15

Histogram van gemiddelden van 100 bootstrapstkprn frequentie In 95% van bootstrapstkprn ligt gemiddelde tussen 8. 8 en 9. 2. marge (95%) rond originele steekproefgemiddelde is dus 0. 2 bootstrapsteekproefgemiddelde originele steekproefgemiddelde (8. 98) 16

• (95%)marge van bootstrapsteekproeven rond originele steekproefgemiddelde is 0. 2 • Aanname: plug-in voor populatie scoreverdeling in steekproef = scoreverdeling in populatie dus variatie in bootstrapsteekproeven groot als in steekproeven uit populatie 17

Conclusie: “voor plug-in populatie liggen 95% van steekproefgemiddelden binnen marge 0. 2 rond plug-in gemiddelde” “voor echte populatie liggen 95% van steekproefgemiddelden binnen marge 0. 2 rond populatiegemiddelde” Slotconclusie: 95% betrouwbaarheidsinterval • we vonden in steekproef 8. 98 • in 95% van gevallen wijkt steekproefgemiddelde niet meer dan 0. 2 af van populatie-gemiddelde • dus zal populatiegemiddelde met 95% zekerheid niet onder 18 8. 78 of boven 9. 18 hebben gelegen!

95% betrouwbaarheidsinterval (95%bhi): = steekproefgemiddelde ± gevonden marge Wat wordt bedoeld met 95% ? per steekproef uit populatie: 95% kans stkprfgemiddelde binnen marge rond pop. gem. Praktijk: 100 steekproef uit verschillende popul. steekproefgemiddelde ca. 95 binnen (telkens andere) marge rond populatiegemiddelde omgekeerd: populatiegemiddelde ca. 95 binnen 95%bhi met 95%BHI zit je dus ca. 95 goed (en 5 fout…!) 19

Voorbeeld van 100 steekproeven en 95%bhi uit populatie met zelfde gemiddelde Meeste intervallen dekken populatiegemiddelde, maar 6 zitten er naast 20

Bootstrap voor allerlei maten • Bootstrap-procedure alom toepasbaar: – mediaan, Q 1, trimmed mean, correlatie, regressiegewicht, etc. • Aanpak in het algemeen: – trek groot aantal bootstrapsteekproeven (bijv. 1000) uit steekproef – bereken gewenste maat in alle bootstrapstkprn – bepaal gewenste percentieleninterval (benadering van betrouwbaarheidsinterval) • Voor bepaalde maten (efficiëntere) ‘klassieke aanpak’ beschikbaar 21