Externe validatie van klinische predictiemodellen voor pneumonie in

Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse Alwin Schierenberg, Arts-onderzoeker Julius Centrum, UMC Utrecht

Achtergrond Pneumonie • Aanzienlijke bijdrage in mortaliteit in ontwikkelde landen [1, 2] • Gerichte behandeling [3] • Onderscheid met andere lagere luchtweg infecties (LLWI) is lastig (in de eerste lijn) • Thoraxfoto is niet wenselijk/mogelijk bij alle patiënten Shutterstock. com

Achtergrond Pneumonie [2] • Huisarts diagnosticeert pneumonie op basis van klinische presentatie ?

Rationale • Verschillende klinische predictie modellen gepubliceerd voor pneumonie • Terugdringen antibiotica gebruik en resistentie [4– 8] • Overzicht ontbreekt • Nieuwere modellen niet gevalideerd; • Essentieel alvorens implementatie in praktijk: • Kwantificeren (over)optimisme van model [16] • Evalueren kwaliteit ontwikkelingsstudie model • Prestatie model in andere (maar vergelijkbare) patiënten [10, 13, 17]

Doel • Evaluatie statistische robuustheid • Alle op symptomen gebaseerde predictie modellen (“klinische modellen”) • Voor diagnose pneumonie • In externe databronnen • Met gemengde eerstelijns patiënten populatie Welk model is het meest geschikt voor de eerste lijn ?

Methoden 1. Systematische zoekopdracht 2. Database samenstellen 3. Externe validatie

Methoden 1. Systematische zoekopdracht • Eerstelijns patiënten met acute hoest • Diagnostiek naar pneumonie (e. g. thoraxfoto)

Methoden – Zoekopdracht • Pub. Med, EMBASE, Cochrane: 1. Alle klinische predictie modellen voor eerste lijn 2. Zo veel mogelijk geschikte individuele patiënten data (IPD)

Diehr et al. Singal et al. Heckerling et al. Melbye et al. Hopstaken et al. van Vugt et al. Total predictors in model History Absence of asthma Duration of illness Symptoms Chest pain Coryza (absence) Cough (dry) Diarrhea Dyspnea Fever Myalgia Phlegm Sore throat Sweats (night) Signs Crackles Diminished breath sounds Fever Tachycardia Tachypnea Total • Zes predictiemodellen [19, 20, 30– 33] • 3 -6 predictoren per model • Variatie in geïncludeerde predictoren Model Methoden – Modellen 6 3 5 6 3 6 • 1 1 1 3 2 1 1 1 4 2 5 2 1 • • • • • • • •

Methoden – Individuele Patiënten Data (IPD) • IPD van acht gepubliceerde studies (N=5308) [18, 20, 31, 32, 34– 37] • Verschillende settings • Variatie in inclusiecriteria • Diagnose pneumonie dmv. thoraxfoto Setting Aantal of patiënten Pneumonie Melbye et al. Hopstaken Flanders et al. Graffelman Holm et al. Rainer et al. Steurer et al. van Vugt et Alle datasets et al. al. HAP HA SEH HA, SEH HA 402 243 168 129 364 561 621 2820 5308 5% 13% 12% 20% 13% 43% 21% 5% 12%

Methoden • Systematische zoekopdracht • Database samenstellen • Externe validatie

Methoden – Database • Identificatie niet gemeten predictoren • Geen imputatie • Dus: validatie van elk model in elke dataset niet mogelijk! Validation dataset Van Vugt et al. Hopstaken et al. Steurer et al. Melbye et al. Rainer et al. Singal et al. Holm et al. Diehr et al. Graffelman et al. Heckerling et al. Flanders et al. Van Vugt et al. Hopstaken et al. Model Melbye et al. + + + D - + + + D + + + - + + + - D + + + Aantal “validaties” 3 4 3 7 3 4

Methoden – Database • Identificatie missende waarden • Enkelvoudig imputatie (SI) op dataset niveau • Predictoren of uitkomst voorspellen o. b. v. aanwezige data • Voorkomt bias

Methoden • Systematische zoekopdracht • Database samenstellen • Externe validatie 1. Discriminatie 2. Kalibratie

Methoden – Externe validatie • Discriminatie • Vermogen tot het differentiëren van een model tussen zieke en niet zieke patiënten • Gepoolde “Area Under the ROC Curve” (AUC) • Gewogen gemiddelde van AUCs per model • Delta AUC https: //shocktalkvenue. wordpress. com/ 2+11/+4/23/why-discrimination-is-good/ • Verschil in AUC tov. het gemiddelde van alle AUCs één de dataset Sensitiviteit (%) Perfecte discriminatie Goede discriminatie “Coin flip” 1 - Specificiteit (%)

Resultaten – Discriminatie [1] Gepoolde AUC Validation dataset Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Melbye et al. Van Vugt et al. 0. 78 - 0. 89 0. 60 - - - D 0. 79 (0. 74 -0. 85) Heckerling et al. 0. 69 - 0. 89 0. 62 - - - 0. 66 0. 72 (0. 68 -0. 76) Diehr et al. - 0. 57 0. 76 - - 0. 64 - - 0. 65 (0. 61 -0. 68) Singal et al. 0. 68 0. 62 0. 81 0. 63 0. 62 - 0. 61 0. 64 (0. 61 -0. 67) Melbye et al. D 0. 57 0. 62 0. 49 - - 0. 56 (0. 49 -0. 63) Hopstaken et al. - D 0. 58 0. 61 - 0. 52 - 0. 56 0. 53 (0. 50 -0. 56) Model Pooled AUC (95% CI)†

Resultaten – Discriminatie [2] Delta AUC

Methoden – Externe validatie • Kalibratie • Overeenkomst tussen voorspelde kans en de aanwezigheid van pneumonie • Kalibratie plots • 3 risicogroepen, kans pneumonie: • <10% • 10 -30% • >30 % Test card Philips PM 5544

Resultaten – Kalibratie • Twee modellen “acceptabele” kalibratie Model Singal et al. Geobserveerde Kans Model van Vugt et al. 100% 80% Optimal calibration 10% 60% 30% 40% 20% 0% 0% 20% 40% 60% Voorspelde Kans 80% 100% 0% 0% 20% 40% 60% 80% • Extreme kansen problematisch • Overige modellen “slechte” kalibratie 100%

Discussie • Geen validatie mogelijk in alle IPD door ontbrekende predictoren • Geen volledige head-to-head vergelijking • Heterogeniteit in IPD-studies • Setting • Inclusie criteria • Thoraxfoto geen gouden standaard

Conclusie • Predictie modellen kunnen helpen discrimineren tussen patiënten met en zonder pneumonie • Echter: toewijzen extreme kansen lastig • Klinische model door van Vugt et al. beste discriminatie, en aanvaardbare kalibratie in de IPD van verschillende studie populaties • Dit model met de predictoren rhinorroe, benauwdheid, crepitaties, verm. ademgeruis, koorts en tachycardie is de voornaamste kandidaat voor gebruik in de eerste lijn

Met dank aan: Begeleiders: Joris AH de Groot 1 Margaretha C Minnaard Alma C van de Pol 1 Berna DL Broekhuizen 1 Niek J de Wit 1 Johannes B Reitsma 1 Theo JM Verheij 1 Co-auteurs: Rogier M Hopstaken 2 Saskia F van Vugt 1 Arie Knuistingh Neven 3 Aleida W Graffelman 3 Hasse Melbye 4 Timothy H Rainer 5 Johann Steurer 6 Anette Holm 7 Ralph Gonzales 8 Geert-Jan Dinant 9 Ondersteuning: Reto Kofmehl Cangel Chan Karin Aretz Susan van Hemert-Glaubitz Scott Flanders Judy Maselli Peter Zuidhof Bianca Kramer 1. UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijnsgeneeskunde, Utrecht, Nederland. 2. Saltro Diagnostisch Centrum, Utrecht, Nederland. 3. Leiden UMC, Departement of Public Health and Primary Care, Leiden, the Netherlands. 4. University of Tromsø, Department of Community Medicine, Tromsø, Norway 5. Chinese University of Hong Kong, China. 6. Universeit Zurich, Horten Centre for Patient Oriented Research and Knowledge Transfer, Zurich, Zwitserland. 7. Odense University Hospital, Department of Infectious Diseases, Odense, Denemarken 8. University of California, San Francisco, United States of America 9. Departement of General Practice, CAPHRI School for Public Health and Primary Care, Maastricht University Medical Centre, Maastricht, The Netherlands.

Referenties 1. 2. 3. 4. 5. 6. 7. 8. 10. 13. 16. 17. 18. Mortensen EM, Coley CM, Singer DE, Marrie TJ, Obrosky DS, et al. (2002) Causes of death for patients with community-acquired pneumonia: results from the Pneumonia 19. Patient Outcomes Research Team cohort study. Arch Intern Med 162: 1059– 1064. Niederman MS, Mandell LA, Anzueto A, Bass JB, Broughton WA, et al. (2001) Guidelines for the management of adults with community-acquired pneumonia. Diagnosis, assessment of severity, antimicrobial therapy, and prevention. Am J Respir 20. Crit Care Med 163: 1730– 1754. Smucny J, Fahey T, Becker L, Glazier R (2004) Antibiotics for acute bronchitis. Cochrane Database Syst Rev: CD 000245. 30. Bradley JS, Guidos R, Baragona S, Bartlett JG, Rubinstein E, et al. (2007) Anti-infective research and development--problems, challenges, and solutions. Lancet Infect Dis 7: 68– 78. Tacconelli E, De Angelis G (2010) Fighting antibiotic resistance all over Europe. Expert 31. Rev Anti Infect Ther 8: 761– 763. Cals JWL, de Bock L, Beckers P-JHW, Francis NA, Hopstaken RM, et al. (n. d. ) Enhanced communication skills and C-reactive protein point-of-care testing for respiratory tract infection: 3. 5 -year follow-up of a cluster randomized trial. Ann Fam Med 11: 157– 164. 32. Cals JWL, Butler CC, Hopstaken RM, Hood K, Dinant G-J (2009) Effect of point of care testing for C reactive protein and training in communication skills on antibiotic use in 33. lower respiratory tract infections: cluster randomised trial. BMJ 338: b 1374. 34. Steyerberg EW, Moons KGM, van der Windt DA, Hayden JA, Perel P, et al. (2013) Prognosis Research Strategy (PROGRESS) 3: prognostic model research. PLo. S Med 10: e 1001381. Altman DG, Royston P (2000) What do we mean by validating a prognostic model? Stat 35. Med 19: 453– 473. Collins GS, de Groot JA, Dutton S, Omar O, Shanyinde M, et al. (2014) External validation of multivariable prediction models: a systematic review of methodological 36. conduct and reporting. BMC Med Res Methodol 14: 40. Bleeker SE, Moll HA, Steyerberg EW, Donders ART, Derksen-Lubsen G, et al. (2003) 37. External validation is necessary in prediction research: : A clinical example. J Clin Epidemiol 56: 826– 832. Graffelman AW, le Cessie S, Neven AK, Willemssen FEJA, Zonderland HM, et al. (2007) Can history and exam alone reliably predict pneumonia? J Fam Pract 56: 465– 470. Heckerling PS, Tape TG, Wigton RS, Hissong KK, Leikin JB, et al. (1990) Clinical prediction rule for pulmonary infiltrates. Ann Intern Med 113: 664– 670. Van Vugt SF, Broekhuizen BDL, Lammens C, Zuithoff NPA, de Jong PA, et al. (2013) Use of serum C reactive protein and procalcitonin concentrations in addition to symptoms and signs to predict pneumonia in patients presenting to primary care with acute cough: diagnostic study. BMJ 346: f 2450–f 2450. Woodhead M, Blasi F, Ewig S, Garau J, Huchon G, et al. (2011) Guidelines for the management of adult lower respiratory tract infections - Full version. Clin Microbiol Infect 17: E 1–E 59. Hopstaken RM, Muris JW, Knottnerus JA, Kester AD, Rinkens PE, et al. (2003) Contributions of symptoms, signs, erythrocyte sedimentation rate, and C-reactive protein to a diagnosis of pneumonia in acute lower respiratory tract infection. Br J Gen Pr 53: 358– 364. Melbye H, Straume B, Aasebø U, Dale K (1992) Diagnosis of pneumonia in adults in general practice. Relative importance of typical symptoms and abnormal chest signs evaluated against a radiographic reference standard. Scand J Prim Health Care 10: 226 – 233 Singal BM, Hedges JR, Radack KL (1989) Decision rules and clinical prediction of pneumonia: evaluation of low-yield criteria. Ann Emerg Med 18: 13– 20. Rainer TH, Chan CP, Leung MF, Leung W, Ip M, et al. (2009) Diagnostic utility of CRP to neopterin ratio in patients with acute respiratory tract infections. J Infect 58: 123– 130. Steurer J, Held U, Spaar A, Bausch B, Zoller M, et al. (2011) A decision aid to rule out pneumonia and reduce unnecessary prescriptions of antibiotics in primary care patients with cough and fever. BMC Med 9: 56. doi: 10. 1186/1741 -7015 -9 -56. Holm A, Nexoe J, Bistrup LA, Pedersen SS, Obel N, et al. (2007) Aetiology and prediction of pneumonia in lower respiratory tract infection in primary care. Br J Gen Pract 57: 547– 554. Flanders SA, Stein J, Shochat G, Sellers K, Holland M, et al. (2004) Performance of a bedside C-reactive protein test in the diagnosis of community-acquired pneumonia in adults with acute cough. Am J Med 116: 529– 535. De Groot JAH, Dendukuri N, Janssen KJM, Reitsma JB, Bossuyt PMM, et al. (2011) Adjusting for Differential-verification Bias in Diagnostic-accuracy Studies: A Bayesian Approach. Epidemiol March 2011 22: 234– 241.