HET EINDE VAN HET TIJDPERK STATISTISCHE SIGNIFICANTIE Michiel

HET EINDE VAN HET TIJDPERK ‘STATISTISCHE SIGNIFICANTIE? ! Michiel de Boer. Afdeling gezondheidswetenschappen, VU.

Programma • Een aantal concepten uitgelegd • P-waardes • Betrouwbaarheidsintervallen • NHST en replicatie • NHST, publicatiebias en effectgroottes • Wat nu? • Het einde van een tijdperk? !

Stelling I • Als een effect/verband statistisch significant is, dan is aangetoond dat het bestaat

Kansrekenen • Zuivere dobbelsteen: • Een keer werpen: Kans op 6? • Twee keer werpen: vooraf kans op eerst een 6 en dan een 2? • Twee keer werpen: voorafkans op een 6 en een 2 (onafhankelijk van volgorde)?

Inverse inferentie: de pot met knikkers • Stel we hebben een pot met 50 witte en 50 rode knikkers • We pakken hieruit blind 10 knikkers • Wat is de kans dat 7 of meer van deze knikkers rood zijn? • H 0 = ?

Inverse inferentie: de pot met knikkers • Pr = 0. 17 • NB: tweezijdige kans = 0. 34 • Stel nu dat ik niet weet hoeveel rode en witte knikkers er in de pot zitten. • We pakken blind 10 knikkers uit de pot. Zeven van de 10 blijken rood te zijn. Wat is dan de kans dat er 50 rode en 50 witte in zitten? 0. 34?

Interpretatie van p-waardes • We starten vanuit het idee dat het populatie-effect is zoals gesteld onder H 0 P = p(data|H 0) • P-waarde gaat over de data (of extremer) gegeven H 0 , maar onze conclusie gaat (meestal) over H 0 of zelfs HA (er is een effect/verband!)

Stelling II • Een betrouwbaarheidsinterval geeft de kans dat ‘het werkelijke effect / verband) ergens tussen de grenzen van BI ligt.

Interpretatie van BI’s

NHST en replicatie • Simulaties die uitkomsten van twee niveaus van blootstelling vergelijken. • We veronderstellen een ‘werkelijke gestandaardiseerde effect size van 0. 5 (doorgaans beschouwd als matig effect)

NHST en replicatie

Kans op replicatie van statistisch significante bevindingen • Power 18%: 0. 18 * 0. 18 = 0. 03 • Power 48%: 0. 48 * 0. 48 = 0. 23 • Power 80%: 0. 8 * 0. 8 = 0. 64 • Power 94%: 0. 94 * 0. 94 = 0. 88

NHST, publicatiebias en effectgroottes • We gebruiken resultaten van hetzelfde simulatie- onderzoek

Overeschatting van effectgroottes/verbanden • Effecten met p<0. 05 worden vaken gepubliceerd (publicatie bias) • Effecten met p<0. 05 worden vaker gerapporteerd (reporting bias) • Effecten met p<0. 05 komen vaker terug in de conclusie (‘inferentie’ bias) • Dit leidt tot overschatting van effectgroottes • Wordt erger naarmate power van studies lager wordt!

Wat nu? • NHST aanpassen: gebruik p<0. 005 als grens voor stat significantie. • Geeft minder fout positieven, maar meer fout negatieven -> power omlaag • Minder replicatie • Meer overschatting van effectgroottes • Alle andere problemen van NHST blijven in stand: inverse inferentie, dichotmomania, verontachtzaming effectgrootte, …

Wat nu: bruikbare alternatieven • Meer nadruk op beschrijvende statistiek en effectsizes (Met BI’s) • Met steekproeven die voldoende groot zijn om preciese schatting te geven onafhankelijk van de grootte van het effect. • Of Bayesiaanse statistiek • Lost probleem van inverse inferentie op • Geeft ook wat nieuwe problemen • En pas op voor de oude ‘valkuilen’

Het einde van een tijdperk? ! • De discussie over NHST is niet nieuw, maar lijkt (zover ik kan beoordelen) breder gevoerd dan in verleden • Kritiek op NHST breed gedragen, maar ook wel verschillen in kritiek: • NHST is invalide methode vs NHST wordt op invalide manier gebruikt • Verschil van mening over wat dan wel: • NHST op ‘juiste’ manier gebruiken, totdat er iets beters is • Geen NHST: • effectschattingen (met BI’s) • Baysesiaans • Likelyhood procedure

Einde van een tijdperk? ! • Eigen indruk: • Een paradigma verandering is mogelijk en zal in meer of mindere mate plaatsvinden in komende 10 -15 jaar: • Essentieel om toegepaste wetenschappers ‘mee te krijgen’ • Gedragsverandering (extreem) lastig te bewerkstelligen • Essentieel om onderwijs op gebied van statistiek te hervormen

Wat betekent een paradigma verschuiving voor Gezondheidsraad? • Resultaten van ‘single studies’ zullen nog wel een tijdje in termen van statistische significantie beschreven worden • Bij meta-analyses doorgaans effectschatting op basis van voldoende grootte onderzoekspopulatie, maar: • Publicatie en reporting bias leiden tot overschatting effectsizes • Vertekening in primaire studies leiden (meestal) tot overschatting effect sizes • Let ook op klinische heterogeniteit studies • Belangrijke vraag: Wat is minimaal klinisch / public health verschil/effect/verband?

Contact • E-mail: m. r. de. boer@vu. nl • Twitter: @deboermichiel 96 @Mythof. NHST • Website: www. themythofnhst. com

Another look at inverse inference • Look at the diagnostic two by two table below Test Gold standard PV Yes No Yes TP FP positive No FN TN negative total prevalence 1 -prevalence • Sensitivity = TP / prevalence PPV = TP / positive test • Specificity = TN / 1 -prevalence NPV = TN / negative test • Prevalence = prior probability

Another look at inverse inference • Compare: Statistical test True relationship PV Yes No Yes 1 -β α positive No β 1 -α negative total prevalence 1 -prevalence

PPV as a function of prevalence power Statistical test True relationship alpha PV Yes No Yes 0. 8 *0. 8 0. 05 * 0. 2 0. 64/0. 65 =98% No 0. 2 *0. 8 0. 95 * 0. 2 0. 19/0. 35 =54% total 0. 8 0. 2 prevalence

PPV as a function of prevalence Statistical test True relationship PV Yes No Yes 0. 8 *0. 5 0. 05 * 0. 5 0. 40/0. 425 =94% No 0. 2 *0. 5 0. 95 * 0. 5 0. 475/0. 575 =83% total 0. 5

PPV as a function of prevalence Statistical test True relationship PV Yes No Yes 0. 8 *0. 2 0. 05 * 0. 8 0. 16/0. 20 =75% No 0. 2 *0. 2 0. 95 * 0. 8 0. 76/0. 80 =95% total 0. 2 0. 8

PPV as a function of power Statistical test True relationship alpha PV Yes No Yes 0. 8 *0. 5 0. 05 * 0. 5 0. 40/0. 425 =94% No 0. 2 *0. 5 0. 95 * 0. 5 0. 475/0. 575 =83% total 0. 5 prevalence

PPV as a function of power Statistical test True relationship alpha PV Yes No Yes 0. 5 *0. 5 0. 05 * 0. 5 0. 25/0. 275=91% No 0. 5 *0. 5 0. 95 * 0. 5 0. 475/0. 725=66% total 0. 5 prevalence