Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van

Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen

Cfr. www. uzleuven. be/lag/ onder ‘Opleiding’

Klinische Biologie = ? • ‘laboratoriumgeneeskunde’, ‘in vitro diagnostiek’ • ‘laboratory medicine’, ‘clinical pathology’, ‘medical biopathology’ • Medisch Specialisme: – – – opleidingsduur = 5 j. truncus communis =2 j. , hogere opleiding =3 j. omvat hematologie, chemie, microbiologie

Klinische Biologie = ? • volgens Belgisch Staatsblad dd. 7 -9 -1984: – het geheel van de kennis van laboratorium technieken die ter beschikking van de geneesheer staan, – zowel op het gebied van de profylaxe, als op dat van de pathologie, om • de diagnose te stellen, • een balans op te maken van de werking van een orgaan • of de uitslag van een behandeling te beoordelen

Ontwikkeling van Laboratoriumgeneeskunde • Positief, nl. onmisbaar in medische praktijk voor: – – – ziekte (predispositie) opsporing voor diagnose, differentiele diagnose voor patient opvolging • Negatief: – neiging voorbijgaan klinisch onderzoek, reeds bestaande gegevens – onoordeelkundig gebruik leidt tot irrelevante test aanvragen, onnodig verhoogde kosten, data overload, nutteloze en zelfs mogelijks schadelijke bijkomende onderzoeken en verontrusten van de patient

RATIONEEL GEBRUIK, KOSTENBEHEERSING BERUSTEN PRIMAIR OP AANVRAGERS VAN LABTESTS

Evidence-Based Medicine Vereist KWANTITATIEVE gegevens omtrent: 1. 2. Ziekte frequentie (ziekte prevalentie) Diagnostische (on)zekerheid (pre-test en post-test probabiliteit of odds) 3. Performantie van diagnostische tests (LR, gevoeligheid, specificiteit, voorspellende waarde, ROC) 4. Effect van behandeling 5. Effect op patient ‘outcome’

• Diagnose = ? – – – LEER DOELEN onzekerheid uitgedrukt in probabiliteit of odds pre-test probabiliteit, odds -> post-test probabiliteit, odds diagnostische test performantie • Test resultaten vertonen spreiding: frequentieverdeling curven – cfr. analytische bron van spreiding – cfr. biologische bron van spreiding • Het concept referentiewaarden (‘normale waarden) voor test • • resultaten Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie

Diagnose = verminderen van onzekerheid pre-test p patient, na anamnese, KO individu gericht screening bijkomende onderzoeken lab andere revisie van p post-test p test resultaten

Hoe onzekerheid kwantitatief weergeven? • probabiliteit (kans, waarschijnlijkheid) uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen” • odds: uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden

Hoe onzekerheid kwantitatief weergeven? 1 • probabiliteit (p): 1/10 = 0, 1 • odds: 1/9 • odds = p/(1 -p) • p = odds/(1+odds) 9

Diagnose van wat? • ‘normaal’ versus ‘ziek’? • differentieel diagnose: WELKE ziekte? • EBM terminologie: ‘TARGET CONDITION’: – – a particular disease, a disease stage, a health status, any other identifiable condition within a patient, such as staging a disease already known to be present, – a health condition that should prompt clinical action such as the initiation, modification or termination of treatment.

Diagnose in EBM terminologie • = Onderscheid maken tussen – AAN-wezigheid van target conditie (T+) versus – AF-wezigheid van target conditie (T-) • = Revisie, op basis van test resultaat, van pre-test p(T+) tot post-test p(T+)

Diagnostische performantie van een (lab) test pre-test p revisie post-test p mate waarin test resultaat toelaat probabiliteit/odds voor target conditie te wijzigen test resultaat

Hoe op basis van test resultaat de pretest probabiliteit/odds wijzigen? (1) Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van Taantal T+ personen test resultaat aantal Tpersonen

Spreiding in de test resultaten bij zowel T+ als T- personen!! (1) frequentieverdeling curven! aantal T+ personen spreiding aantal Tpersonen test resultaat

Spreiding in de test resultaten bij zowel T+ als T- personen!! (2) Overlap!! aantal T+ personen test resultaat aantal Tpersonen

Hoe op basis van test resultaat de pretest probabiliteit/odds wijzigen? (2) Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

• Diagnose = ? LEER DOELEN – onzekerheid reduceren – diagnostische test performantie • Test resultaten vertonen spreiding: frequentieverdeling curven – cfr. analytische bron van spreiding – cfr. biologische bron van spreiding

Bronnen van SPREIDING in de test resultaten • Meerdere metingen op EENZELFDE monster leveren verschillende resultaten op: ANALYTISCHE bron van spreiding • Cfr. Belang van meetmethode standardizatie! • Cfr. Begrippen analytische juistheid en imprecisie

Analytische bronnen van spreiding • Precisie: mate van reproduceerbaarheid van meetresultaat ingeval van herhaalde metingen op eenzelfde monster • Juistheid: mate waarin het gemiddelde van herhaalde metingen de juiste waarde benadert • Nauwkeurigheid: mate waarin het resultaat van een enkelvoudige meting de juiste waarde benadert

Analytische variatie niet juist wel meer precies niet precies wel juist(er)

Bronnen van spreiding in de test resultaten • Analytische spreiding • Biologische spreidingsbronnen – INTRA-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op meerdere individuele monsters van eenzelfde persoon – INTER-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op individuele monsters van verschillende personen • Biologische spreiding aanwezig zowel bij gezonden als • • bij zieken Biologische spreiding includeert de analytische spreiding Naarmate de biologische spreiding kleiner is moet ook de analytische spreiding kleiner gehouden worden!

Biologische spreiding (1) • Oorzaken van intra-individuele spreiding – – – Dag/nacht ritme Seizoen variaties Menstruele cyclus, zwangerschap Groei, ontwikkeling, veroudering Effecten van voeding Effecten van houding, immobilisatie, inspanning • Belang van pre-analytische standardizatie, keuze gepaste referentiewaarden

Intra-individuele biologische, fysiologische spreiding (CVi) voor frequent gebruikte labtests Test 1 SD as % of mean ALT 28 osmo 1, 3 AST 13 totaal eiwit 3 CK 20 totaal cholesterol 6 ALP 7, 5 HDL cholesterol 8, 5 AMY 7, 9 Triglyceriden 21, 3 GGT 15 urinezuur 8, 2 Albumine 3, 2 ureum 12, 7 Totaal Ca 2 fosfaat 7, 9 K 4, 3 Totaal bilirubine 20 Na 0, 8 glucose 7, 6 Cl 1, 3 Fe 23

Intra-individuele biologische, fysiologische spreiding voor totaal cholesterol CVi= 6, 7% d. w. z. 1 SD = 6, 7 mg/d. L ingeval mean = 100 mg/d. L Homeostatisch setpoint (mean), mg/d. L 95% confidentie interval (mean -/+2 SD) 140 121 - 159 160 139 - 181 180 156 - 204 200 173 - 227 220 191 - 249 240 208 - 272 260 225 - 295 280 242 - 318 300 260 - 340

Biologische spreiding (2) • Oorzaken van inter-individuele spreiding – – – geslacht leeftijd bloedgroep ras lichaamsgrootte, spiermassa • Belang van keuze gepaste referentiegroep voor referentiewaarden

Testresultaat verdeling curve t. g. v. biologische en analytische variatie bij fysiologische homeostasis

LEER DOELEN • Diagnose = ? – onzekerheid reduceren – diagnostische test performantie • Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen • Het concept referentiewaarden

Berekening van referentie waarden 1. Bepaling d. m. v. parametrische statistiek • ‘Parametrisch’: berust op veronderstelling dat de frequentieverdeling curve een welbepaalde vorm heeft, bv. een standaardnormale, zgn ‘Gaussiaanse’ vorm (al of niet na transformatie van de test resultaten • Referentiewaarden berekend als 95% confidentie interval, begrensd door gemiddelde minus 2 SD (genoemd LLN, lower Limit of Normal) en gemiddelde plus 2 SD (genoemd ULN, Upper Limit of Normal). De gegevens voor de berekening worden bekomen door een steekproef uit de referentie populatie • 5% van de personen in de referentie groep hebben test resultaten buiten het referentie interval!! 2, 5%<LLN 2, 5%>ULN

Testresultaat verdeling curve bij fysiologische homeostasis: REFERENTIEWAARDEN concept

Berekening van referentie waarden 2. Bepaling d. m. v. niet-parametrische statistiek, bv percentiel waarden • ‘Niet-parametrisch’: er wordt GEEN veronderstelling gemaakt over de vorm van de frequentieverdeling curve • Rangschik in stijgende volgorde de test resultaten • • bekomen in steekproef uit ‘normale’ populatie (referentiegroep) Bereken voor elke testwaarde het % individuen met testwaarden <of = de testwaarde Voor elke testwaarde, uitgezet in de X-as, wordt het corresponderende % uitgezet in de Y-as: zo bekomt men een cumulatieve frequentiecurve

Percentiel methode voor bepaling van referentiewaarden

Referentiewaarden: samenvatting • Er is spreiding in test resultaten, t. g. v. analytische en biologische bronnen, bij gezonde personen en zeker ook bij patienten -> frequentieverdeling curven • Referentiewaarden (‘normale’ waarden) – operationeel gedefinieerd als 95% referentie interval – Meestal berekend met parametrische methode als 95% CI • Misleiding door ‘abnormale’ waarden – ‘normale waarden’ sluiten per definitie 5% gezonden uit – bij tegelijk uitvoeren van meerdere (n) onafhankelijke tests stijgt aantal ‘abnormale’ resultaten: kans = 1. 0 – 0. 95 n • Bij n=4, dan 19% kans op ‘abnormaal’ resultaat • Bij n=8, dan 34% kans op ‘abnormaal’ resultaat • Bij n=12, dan 46% kans op ‘abnormaal’ resultaat

LEER DOELEN • Diagnose = ? – onzekerheid reduceren – diagnostische test performantie • Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen • Het concept referentiewaarden • Het concept Likelihood Ratio

Hoe op basis van test resultaat de pretest probabiliteit/odds wijzigen? Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

Likelihood Ratio (LR) • Is een directe maatstaf van de diagnostische test performantie • Toont voor elke meetwaarde, of groep van meetwaarden, volgende verhouding: frequentie van T+ personen/frequentie van T- personen • Belangrijke voorwaarde: geteste populatie bevat evenveel T+ als Tm. a. w. p(T+)=p(T-)=0, 5 of odds = 1

Likelihood Ratio: LR (1) voor welbepaald testresultaat • LR = (gaussiaanse) hoogte target+ / (gaussiaanse) • ` hoogte target. Let erop dat beide (gaussiaanse) verdelingscurven even groot moeten zijn, m. a. w. pre-test odds = 1/1 !!

Likelihood Ratio: LR voor een welbepaald testresultaat

Likelihood Ratio: LR (2) voor een welbepaald interval

Likelihood Ratio: LR (3) voor meerdere intervallen

LR curve ingeval van meerdere testresultaat intervallen

Dichotome test resultaten • In sommige gevallen wordt de test ‘dichotoom’ gerapporteerd: het resultaat is ‘positief’ of ‘negatief’ • Test resultaten gerapporteerd als continue variabele worden dikwijls ‘dichotoom’ geinterpreteerd: nl. transformatie naar ‘positief’ of ‘negatief’ d. m. v. een afkap-waarde

Transformatie naar dichotome test resultaten FN TN TP FP

Samenvatting van dichotome test resultaten in ‘ 2 x 2 tabel’

LR voor dichotome test resultaten • LR+ = TP rate/FP rate (steeds >= 1) beter naarmate dichter bij oneindig!

Likelihood Ratios: LR+

LR voor dichotome test resultaten • LR- = FN rate / TN rate (steeds <= 1) beter naarmate dichter bij zero!

Likelihood Ratios: LR-

The easy way: bereken LRs uit kolom percenten!

LEER DOELEN • Diagnose = ? – onzekerheid reduceren – diagnostische test performantie • Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen • Het concept referentiewaarden • Het concept Likelihood Ratio • Diagnostische gevoeligheid en specificiteit; ROC curven

Diagnostische (klinische) Gevoeligheid/Sensitiviteit (Sn) • Sensitiviteit = TP rate = TP/(TP + FN)

Diagnostische (klinische) Specificiteit (Sp) • Specificiteit = TN rate = TN/(TN + FP)

Inverse relatie tussen Sensitiviteit en Specificiteit

Receiver Operating Characteristic: ROC curve (1)

ROC curve (2)

ROC curve voor verschillende tests

Hoe van pre-test probabiliteit naar post-test probabiliteit d. m. v. LR?

Van pre-test naar post-test probabiliteit, via odds en LR (1)

Van pre-test naar post-test probabiliteit, via odds en LR (2)

Post-test odds = pre-test odds x LR bij testresultaat dichotomie • Post-test odds = c/d = 1/5 = pre-test odds x LR+

Post-test odds = pre-test odds x LR bij testresultaat dichotomie • Post-test odds = c/d = 1/5 = pre-test odds x LR-

Odds: ‘too odd’ voor de praktijk!!? ? Hoe van pre-test p naar post-test p? • Hoe van pre-test p naar pre-test odds? odds = p/(1 -p) • Hoe van post-test odds naar post-test p? p = odds/(1+odds) • Ter hulp: het Fagan nomogram

Interpretatie Likelihood Ratios • LR=1 wijst op afwezigheid diagnostische kracht • LR+ >10 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AANwezigheid van T+ conditie • LR- <0. 1 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AFwezigheid van T+ conditie

LR+ = 10 10% 50% 92% 55%

Paired forest plots of likelihood ratios: tests of pulmonary embolism Ruling out Ruling in Tachycardia D-Dimer assay Helical CT 0. 05 0. 1 LR of a negative result 0. 5 1 2 3 10 LR of a positive test 20

LEER DOELEN • Diagnose = ? • • – onzekerheid reduceren – diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven • Het concept predictieve waarde • Gewenste test eigenschappen voor opsporing, voor confirmatie

‘Predictive value’ (PV) concept bij testresultaat dichotomie • PPV = TP/(TP+FP)

‘Predictive value’ (PV) concept bij testresultaat dichotomie • NPV = TN/(TN+FN)

En nog meer termen …. • Diagnostic Odds Ratio (DOR) = LR+/LR= (TPx. TN)/(FPx. FN) • Number Needed To Diagnose = 1/{sensitivity – (1 - specificity)} = 1/{TP rate – FP rate)}

Diagnostic performance measures: practical applications (BMJ, vol 329, 17 July 2004, p. 168 -9) • For discussion about tests, threshold decisions: sensitivity, specificity – Screening: hoge sensitiviteit vereist – Confirmatie: hoge specificiteit vereist • For interpretation of specific result: LR and PPV, NPV • As summary measure: DOR, ROC AUC

http: //www. clinchem. org/info_ar/info_authors. shtml#stard

http: //www. cche. net/usersguides/diagnosis. asp

http: //www. ncbi. nlm. nih. gov/books/bv. fcgi? rid=hstat 1 b. s ection. 65247