Le metanalisi chi come dove quando perch ovvero

  • Slides: 88
Download presentation
Le metanalisi: chi, come, dove, quando, perché ovvero le metanalisi nel loro contesto Angelo

Le metanalisi: chi, come, dove, quando, perché ovvero le metanalisi nel loro contesto Angelo A. Bignamini

If, as is sometimes supposed, science consisted in nothing but the laborious accumulation of

If, as is sometimes supposed, science consisted in nothing but the laborious accumulation of facts, it would soon come to a standstill, crushed, as it were, under its own weight. The suggestion of a new idea, or the detection of a law, supersedes much that has previously been a burden on the memory, and by introducing order and coherence facilitates the retention of the remainder in an available form. Lord Reyleig, 1884

 • ci sono voluti 100 anni per iniziare a sistematizzare questo approccio in

• ci sono voluti 100 anni per iniziare a sistematizzare questo approccio in medicina: – Cynthia Mulrow: The medical review article: state of the science. Ann Int Med 1987; 106: 485 -488; – Andy Oxman: Guidelines for reading literature reviews. Can Med Assoc J 1988; 138: 697 -703.

– le metanalisi sono lo strumento "to introduce order and coherence" – ma se

– le metanalisi sono lo strumento "to introduce order and coherence" – ma se le metanalisi possono ridurre la variabilità statistica, possono suggerire che esistono bias nelle revisioni sistematiche, NON possono tuttavia evitare il bias:

. . . the diamond used to represent a summary statistic cannot be assumed

. . . the diamond used to represent a summary statistic cannot be assumed to be the jewel in the crown! Matthias Egger

 • Il processo per “mettere in contesto” le metanalisi implica quindi: a. evitare

• Il processo per “mettere in contesto” le metanalisi implica quindi: a. evitare o almeno rilevare il bias nelle revisioni sistematiche; b. stimare la variabilità tra studi ed entro studi; c. utilizzare le revisioni sistematiche nella pratica.

 • Non esamineremo: – le revisioni sistematiche di studi osservazionali (leggermente a rischio

• Non esamineremo: – le revisioni sistematiche di studi osservazionali (leggermente a rischio di falsi positivi):

Gli studi osservazionali producono un gran numero di associazioni plausibili ma da confermare in

Gli studi osservazionali producono un gran numero di associazioni plausibili ma da confermare in adeguati studi ben disegnati per controllare il bias, ma questi risultati sono subito riportati dai mezzi di comunicazione di massa e spesso in maniera distorta (vignetta di Jim Borgman).

 • Non esamineremo: – – le revisioni sistematiche di metodi diagnostici, per le

• Non esamineremo: – – le revisioni sistematiche di metodi diagnostici, per le quali si richiedono tecniche di analisi molto specifiche; i metodi statistici e il software di analisi perché temi eccessivamente specialistici in questo contesto.

 • Per approfondire: – – – Systematic Reviews in Health Care (Egger M,

• Per approfondire: – – – Systematic Reviews in Health Care (Egger M, Smith GD, Altman DG Eds). BMJ Books, 2001. Evaluating drug literature. A statistical approach (Slaughter RL, Edwards DJ Eds). Mc. Graw-Hill, 2001. Meta-analysis, decision analysis and cost-effectiveness analysis. (Petitti DB). Oxford, 1994. Cochrane Collaboration Methods Groups Newsletter. Cochrane Handbook for Systematic Reviews of Interventions (2006).

Introduzione • le revisioni sistematiche sono uno strumento essenziale nella sanità (professionisti, ricercatori, politici)

Introduzione • le revisioni sistematiche sono uno strumento essenziale nella sanità (professionisti, ricercatori, politici) per mantenersi aggiornati sulle evidenze accumulantesi nel proprio campo specifico; • le revisioni sistematiche permettono una valutazione più oggettiva dell'evidenza rispetto alle tradizionali reviews narrative e possono contribuire a risolvere incertezze quando gli studi sperimentali, le revisioni tradizionali e gli editoriali (o le posizioni da consenso) sono in disaccordo;

Introduzione • l'analisi statistica combinata delle informazioni derivanti da revisioni sistematiche (ovvero, la metanalisi)

Introduzione • l'analisi statistica combinata delle informazioni derivanti da revisioni sistematiche (ovvero, la metanalisi) migliora la precisione di stima degli effetti, riducendo la probabilità di falsi negativi. Ciò può permettere l'introduzione/rimozione più tempestiva di tecniche efficaci/pericolose.

Metanalisi cumulativa degli RCT sulla streptokinasi EV nell'infarto, con numero di pazienti inclusi e

Metanalisi cumulativa degli RCT sulla streptokinasi EV nell'infarto, con numero di pazienti inclusi e anno di autorizzazione. La metanalisi cumulativa era già stabile dal 1979, la prima registrazione è del 1985. L’aumento di casi da ~7000 a >18000 (1986) ha prodotto il guadagno di un solo decimale nella significatività statistica senza spostare i termini del beneficio. [a] inserimento del GISSI-1; [b] inserimento dell'ISIS. adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 16.

Introduzione – la revisione sistematica permette analisi esploratorie, p. es. analisi di sottogruppi altrimenti

Introduzione – la revisione sistematica permette analisi esploratorie, p. es. analisi di sottogruppi altrimenti impossibili o prive di significato, che generano nuove domande cui dare risposte sperimentali (MAI delle risposte da analisi esploratorie!):

Trarre conclusioni dall’analisi dell’endpoint primario, significa inferire dai dati; trarre conclusioni dall’analisi non pianificata

Trarre conclusioni dall’analisi dell’endpoint primario, significa inferire dai dati; trarre conclusioni dall’analisi non pianificata di sottogruppi, significa infierire sui dati! Angelo A. Bignamini

Introduzione – la revisione sistematica può dimostrare obiettivamente la mancanza di evidenze adeguate e

Introduzione – la revisione sistematica può dimostrare obiettivamente la mancanza di evidenze adeguate e quindi identificare aree in cui sono necessari ulteriori studi.

Glossario • revisione sistematica • metanalisi cumulativa revisione di lavori singoli preparata usando un

Glossario • revisione sistematica • metanalisi cumulativa revisione di lavori singoli preparata usando un approccio sistematico per minimizzare i bias e gli errori casuali, documentata in una sezione di materiali e metodi. analisi statistica dei risultati provenienti da studi indipendenti, mirata di solito a produrre una stima unica dell'effetto del trattamento. La metanalisi può essere o non essere parte di una revisione sistematica. La revisione sistematica ha senso proprio anche quando combinare dati da studi diversi può essere discutibile o fuorviante (si veda: O'Rourke et al. J Clin Epidemiol 1989; 42: 1021 -1024). esecuzione ripetuta di una metanalisi ogni volta che si rende disponibile un nuovo studio appropriato (secondo i criteri definiti nei materiali e metodi della revisione sistematica), si veda p. es. , la Antiplatelet Trialists' Collaboration.

1. Evitare o almeno rilevare il bias nelle revisioni sistematiche

1. Evitare o almeno rilevare il bias nelle revisioni sistematiche

Principi e procedure delle revisioni sistematiche • le revisioni sistematiche e le metanalisi sono

Principi e procedure delle revisioni sistematiche • le revisioni sistematiche e le metanalisi sono progetti di ricerca a pieno titolo e come tali devono essere accuratamente pianificate predisponendo un protocollo scritto dettagliato:

Principi e procedure delle revisioni sistematiche

Principi e procedure delle revisioni sistematiche

Principi e procedure delle revisioni sistematiche • i punti critici per una revisione sistematica

Principi e procedure delle revisioni sistematiche • i punti critici per una revisione sistematica di alta qualità sono: – formulazione della domanda da sottoporre a revisione (univoca); – definizione a priori dei criteri di inclusione degli studi; – ricerca completa e sistematica di tali studi. Si noti che studi non pubblicati e tesi di dottorato possono aiutare a contenere il "bias da pubblicazione". Utili i registri di studi controllati (p. es. , http: //www. controlled-trials. com/);

Principi e procedure delle revisioni sistematiche • i punti critici per una revisione sistematica

Principi e procedure delle revisioni sistematiche • i punti critici per una revisione sistematica di alta qualità sono: – valutazione della loro qualità metodologica con criteri predefiniti. Anche se la questione è in continua evoluzione, l'applicazione omogenea di una tecnica di valutazione (da parte di almeno due reviewers) è indispensabile.

Principi e procedure delle revisioni sistematiche • la presentazione grafica dei risultati degli studi

Principi e procedure delle revisioni sistematiche • la presentazione grafica dei risultati degli studi individuali su una scala comune (e. g. , forest plot) permette l'esame qualitativo di eventuali eterogeneità. Per risultati binari la scala è semplice (odds ratio per studi retrospettivi, rischio relativo per studi prospettici se esiste un riferimento standard, altrimenti ancora odds ratio). Per risultati continui il problema è più complesso e non sempre immediatamente superabile.

Forest plot degli studi sul vaccino antitubercolare in funzione della latitudine alla quale sono

Forest plot degli studi sul vaccino antitubercolare in funzione della latitudine alla quale sono stati eseguiti, senza metanalisi. Si osserva una evidente eterogeneità. adattato da: Colditz GA et al. , JAMA 1994; 271: 698 -702.

Forest plot della mortalità negli studi di prevenzione secondaria postinfarto con beta-bloccanti e risultati

Forest plot della mortalità negli studi di prevenzione secondaria postinfarto con beta-bloccanti e risultati della metanalisi. Non si osserva eterogeneità evidente. adattato da: Freemantle N at al. , BMJ 1999; 318: 1730 -1737,

Principi e procedure delle revisioni sistematiche • ci sono diversi metodi statistici per combinare

Principi e procedure delle revisioni sistematiche • ci sono diversi metodi statistici per combinare dati in una metanalisi (p. es. , usando modelli con effetti fissi o effetti casuali); nessuno è per definizione quello "giusto". Bisogna sempre applicare analisi di sensibilità per valutare la robustezza della stima combinata in relazione a differenti presupposti, metodi e criteri di inclusione e comunque ricercare la potenziale influenza di bias; • nell'interpretare i risultati si deve considerare l'importanza di effetti positivi e negativi in termini in primo luogo assoluti e solo in seconda istanza relativi, nonché l'impatto economico e le implicazioni per le future ricerche.

Risultati di coppie discordanti di metanalisi da piccoli studi (condotti presumibilmente con metodologia inadeguata)

Risultati di coppie discordanti di metanalisi da piccoli studi (condotti presumibilmente con metodologia inadeguata) e grandi studi singoli (presumibilmente condotti con metodologia valida). adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 44.

Problemi e limiti nel condurre revisioni sistematiche • il bias di pubblicazione può distorcere

Problemi e limiti nel condurre revisioni sistematiche • il bias di pubblicazione può distorcere i risultati perché i risultati statisticamente significativi hanno maggiore probabilità di essere pubblicati prima:

Metanalisi dei risultati, in termini di probabilità di pubblicazione, di quattro studi di coorte.

Metanalisi dei risultati, in termini di probabilità di pubblicazione, di quattro studi di coorte. Finanziamenti esterni e significatività statistica sono i principali predittori indipendenti della probabilità di pubblicazione. adattata da: Dickersin K. , AIDS Educ Prev 1997; 9: 15 -21.

Tempo alla pubblicazione di 66 studi clinici nell'HIV negli USA in funzione dei risultati

Tempo alla pubblicazione di 66 studi clinici nell'HIV negli USA in funzione dei risultati positivi o negativi. adattata da: Ioannidis JPA, JAMA 1998; 279: 281 -286.

Problemi e limiti nel condurre revisioni sistematiche • tra gli studi pubblicati, quelli con

Problemi e limiti nel condurre revisioni sistematiche • tra gli studi pubblicati, quelli con risultati statisticamente significativi hanno maggiore probabilità di essere pubblicati in riviste più diffuse, di essere citati e di essere pubblicati più volte, quindi di essere identificati e inclusi nelle revisioni:

Effetto del bias da pubblicazioni multiple. Nell'uso profilattico di ondansetron IV, i risultati di

Effetto del bias da pubblicazioni multiple. Nell'uso profilattico di ondansetron IV, i risultati di 3/19 studi sono stati duplicati in ulteriori 6 pubblicazioni. L'NNT dai 16 studi non duplicati era 9, 5; quello dai 3 studi duplicati era 3, 9. La duplicazione abbassa l'NNT calcolato dalla metanalisi da 6, 4 (solo originali) a 4, 9 (tutte le pubblicazioni). adattata da: Tramér MR et al. , BMJ 1997; 315: 635 -640.

Problemi e limiti nel condurre revisioni sistematiche • la scelta dell'esito descritto può essere

Problemi e limiti nel condurre revisioni sistematiche • la scelta dell'esito descritto può essere influenzata dai risultati. In genere si riporta l'esito con i risultati più favorevoli e anche questo introduce bias; • i criteri di inclusione degli studi in una revisione possono essere influenzati dalla conoscenza dei risultati di alcuni degli studi potenzialmente includibili:

Criteri arbitrari di selezione degli studi possono escludere specificamente gli studi con risultato non

Criteri arbitrari di selezione degli studi possono escludere specificamente gli studi con risultato non concordante con quanto atteso; questi studi, inoltre, sono generalmente poco menzionati e facilmente persi alla revisione, come nella metanalisi degli effetti sulla mortalità della riduzione del colesterolo dopo infarto. La metanalisi incluse 7 studi che indicavano un trend favorevole, escludendone 11 e perdendone 1 che indicavano un trend sfavorevole. Questi bias possono aver distorto i risultati della metanalisi. adattata da: Rossouw JE et al. , N Engl J Med 1990; 323: 1112 -1119.

Problemi e limiti nel condurre revisioni sistematiche • per ridurre il bias in misura

Problemi e limiti nel condurre revisioni sistematiche • per ridurre il bias in misura maggiore rispetto alle revisioni narrative sono cruciali: – la definizione dei criteri di eligibilità degli studi; – una ricerca sistematica e completa di tali studi; – una valutazione obiettiva o comunque standardizzata della loro qualità metodologica.

Glossario: bias di informazione • bias di la pubblicazione o non-pubblicazione dei risultati di

Glossario: bias di informazione • bias di la pubblicazione o non-pubblicazione dei risultati di una ricerca in pubblicazione funzione della natura e della direzione dei risultati. • bias di ritardo la pubblicazione precoce o ritardata dei risultati in una ricerca in • • funzione della natura e della direzione dei risultati. bias di la pubblicazione una volta sola o più volte dei risultati di una duplicazione ricerca in funzione della natura e della direzione dei risultati. bias di citazionela citazione o non-citazione dei risultati di una ricerca in funzione bias di lingua della natura e della direzione dei risultati. la pubblicazione in una specifica lingua, più o meno accessibile ai revisori, dei risultati di una ricerca in funzione della natura e della direzione dei risultati. bias di selezione esiti la descrizione selettiva di alcuni e non di altri esiti di una ricerca, in funzione della natura e della direzione dei risultati.

Problemi e limiti: identificazione degli studi • il punto cruciale di una buona revisione

Problemi e limiti: identificazione degli studi • il punto cruciale di una buona revisione sistematica, e quindi della relativa metanalisi se appropriato, è l'identificazione completa di TUTTI gli studi pertinenti; • la ricerca e identificazione degli studi richiede una strategia combinata digitale e manuale, entrambe eseguite professionalmente;

Problemi e limiti: identificazione degli studi • la sequenza di ricerca per identificare gli

Problemi e limiti: identificazione degli studi • la sequenza di ricerca per identificare gli studi da valutare in revisioni sistematiche include: – il Cochrane Controlled Trials Register; – MEDLINE e EMBASE, tenendo conto dei limiti di questi database; – altri database specialistici come necessario (p. es. , AMED [medicina non convenzionale], BIOSIS, CINAHL [aspetti infermieristici], etc. ); – riviste specialistiche in cartaceo (specie i supplementi); – proceedings di congressi; – riferimenti bibliografici dagli articoli in extenso recuperati con i metodi precedenti; – fonti di studi in corso e/o non pubblicati, p. es. i database dei Ministeri;

Problemi e limiti: identificazione degli studi • le procedure di ricerca devono essere progettate

Problemi e limiti: identificazione degli studi • le procedure di ricerca devono essere progettate accuratamente per la sensibilità; la specificità si ricerca successivamente per eliminazione dall'esame degli studi reperiti, preferibilmente esaminati in extenso e preferibilmente da almeno due revisori.

Esempio di ricerca bibliografica molto sensibile per identificare pubblicazioni di studi randomizzati controllati in

Esempio di ricerca bibliografica molto sensibile per identificare pubblicazioni di studi randomizzati controllati in MEDLINE.

Problemi e limiti: qualità degli studi • studi empirici mostrano che studi di qualità

Problemi e limiti: qualità degli studi • studi empirici mostrano che studi di qualità inadeguata possono distorcere i risultati di metanalisi e revisioni sistematiche; • quindi nelle metanalisi e nelle revisioni sistematiche si deve esaminare di routine l'influenza della qualità degli studi inseriti. La tecnica più affidabile è l'analisi di sensibilità; • l'uso di punteggi globali da scale di qualità è problematico. I risultati dipendono dalla scelta delle scale e l'interpretazione dei risultati è difficile:

Metanalisi di 17 studi di confronto tra LMWH ed UH nella prevenzione della DVT,

Metanalisi di 17 studi di confronto tra LMWH ed UH nella prevenzione della DVT, stratificati per qualità secondo 25 diverse scale di valutazione (cerchi pieni: alta qualità). Si noti l'eterogeneità introdotta da alcune scale. adattata da: Jüni P et al. , JAMA 1999; 282: 1054 -1060.

Problemi e limiti: qualità degli studi • nelle metanalisi è preferibile esaminare l'influenza di

Problemi e limiti: qualità degli studi • nelle metanalisi è preferibile esaminare l'influenza di singoli fattori della qualità metodologica piuttosto che "pesare" gli studi per indice di qualità:

Metanalisi degli stessi 17 studi sulle eparine stratificati per componenti della qualità (cerchio pieno:

Metanalisi degli stessi 17 studi sulle eparine stratificati per componenti della qualità (cerchio pieno: qualità superiore). I singoli componenti pesano diversamente sulla eterogeneità dei risultati. La cecità di valutazione dell'esito introduce una eterogeneità significativa (la noncecità esagera gli effetti di LMWH). adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 101.

Problemi e limiti: qualità degli studi • su base teorica ed empirica, gli elementi

Problemi e limiti: qualità degli studi • su base teorica ed empirica, gli elementi primari di qualità da valutare sono: – cecità rispetto all'allocazione del trattamento:

Problemi e limiti: qualità degli studi • su base teorica ed empirica, gli elementi

Problemi e limiti: qualità degli studi • su base teorica ed empirica, gli elementi primari di qualità da valutare sono: – cecità rispetto alla valutazione dell'esito; – gestione dei casi persi al follow-up nell'analisi. • alcune di queste problematiche possono essere superate utilizzando la raccolta centrale dei dati dei singoli pazienti, ma a rischio di introdurre altri problemi. La questione è in discussione.

Elementi di valutazione della qualità proposti da Jadad (Jadad AR, Moore RA, Carroll D,

Elementi di valutazione della qualità proposti da Jadad (Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJ, Gavaghan DJ, Mc. Quay HJ. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials 1996; 17: 1 -12. ) • randomizzazione: descritto come randomizzato? • cecità: • perdita di casi: sequenze di allocazione generate in modo appropriato? descritto come doppio-cieco? trattamento di controllo descritto come indistinguibile? casi persi descritti per ciascun gruppo con le motivazioni?

2. Stimare la variabilità tra studi ed entro studi

2. Stimare la variabilità tra studi ed entro studi

Perché e come esaminare le fonti di eterogeneità • l'eterogeneità clinica degli studi può

Perché e come esaminare le fonti di eterogeneità • l'eterogeneità clinica degli studi può facilmente introdurre una certa eterogeneità statistica nei risultati:

Forest plot degli studi sulla scleroterapia endoscopica per ridurre la mortalità nei pazienti con

Forest plot degli studi sulla scleroterapia endoscopica per ridurre la mortalità nei pazienti con cirrosi e varici esofagee. Gli studi erano eterogenei sotto il profilo clinico (selezione, gravità, tecniche, durata follow-up). Questa eterogeneità clinica si riflette in una evidente (e significativa) eterogeneità statistica. adattata da: Pagliaro L et al. , Ann Intern Med 1192; 112: 59 -70.

Perché e come esaminare le fonti di eterogeneità • esaminare le fonti potenziali di

Perché e come esaminare le fonti di eterogeneità • esaminare le fonti potenziali di eterogeneità è una componente importante di una metanalisi; • i metodi statistici appropriati in funzione delle caratteristiche degli studi includono la regressione pesata e devono tenere conto dell'eterogeneità residua:

Riduzione del rischio di malattia ischemica per una riduzione di 0. 6 mmol/L di

Riduzione del rischio di malattia ischemica per una riduzione di 0. 6 mmol/L di colesterolo in 10 studi prospettici di prevenzione secondaria. Si osserva una significativa eterogeneità confermata all'analisi statistica (P<0. 001) impedendo una stima complessiva. adattata da: Law MR et al, BMJ 1994; 308: 367 -373.

Analisi degli stessi dati della figura precedente stratificati per età all'evento di inclusione (generando

Analisi degli stessi dati della figura precedente stratificati per età all'evento di inclusione (generando quindi 26 sotto-studi). Anche se l'eterogeneità statistica rimane, è molto meno rilevante e permette di stimare un effetto dell'intervento in funzione dell'età. adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 162.

Perché e come esaminare le fonti di eterogeneità • i risultati delle analisi di

Perché e come esaminare le fonti di eterogeneità • i risultati delle analisi di eterogeneità devono essere interpretati con cautela, anche perché i test di eterogeneità hanno scarsa potenza (NOTA: non si può mai confermare l’omogeneità, ma solo la sua assenza); • la ricerca attenta delle fonti di eterogeneità in una metanalisi ne aumenta la rilevanza clinica e scientifica.

Esame e gestione dei bias: esame • un "funnel plot" asimmetrico (esaminato per via

Esame e gestione dei bias: esame • un "funnel plot" asimmetrico (esaminato per via grafica e/o statistica) generalmente indica o un bias di pubblicazione, o un effetto eccessivo del trattamento in piccoli studi di bassa qualità:

Funnel plot (teorici) e influenza del bias. a. simmetrico: assenza di bias (cerchi bianchi:

Funnel plot (teorici) e influenza del bias. a. simmetrico: assenza di bias (cerchi bianchi: piccoli studi che non indicano effetti significativi); b. asimmetrico per effetto di bias di pubblicazione (i piccoli studi senza effetto significativo non sono stati pubblicati); c. asimmetrico per bias metodologico (i piccoli studi di bassa qualità tendono a esagerare l'effetto atteso). adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 191.

Esame e gestione dei bias: esame • stime di meta-regressione possono indicare associazioni tra

Esame e gestione dei bias: esame • stime di meta-regressione possono indicare associazioni tra misure chiave di qualità dello studio ed entità di effetto del trattamento; • stime di meta-regressione possono anche evidenziare altre possibili spiegazioni dell'eterogeneità; • se disponibile, si possono anche esaminare le associazioni tra l'entità dell'effetto e modifiche di marker biologici o l'aderenza al trattamento:

Grafici di regressione lineare dell'effetto del trattamento di 18 ipotetici studi contro la proporzione

Grafici di regressione lineare dell'effetto del trattamento di 18 ipotetici studi contro la proporzione di aderenza al trattamento. In assenza di bias l'intercetta cade molto prossima a 1, 0 (a); in presenza di bias l'intercetta mostra un effetto anche in assenza totale di aderenza (b). adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 195.

Regressione della riduzione di pressione con la differenza di escrezione urinaria di sodio in

Regressione della riduzione di pressione con la differenza di escrezione urinaria di sodio in studi randomizzati sulla riduzione di sodio nella dieta. La presenza di un effetto sulla pressione anche quando non c'è differenza di escrezione di sodio fra trattati e controlli, suggerisce la presenza di bias. adattata da: Midgley JP et al, JAMA 1996; 275: 1590 -1597.

Esame e gestione dei bias: gestione • se c'è evidenza di bias, ciò va

Esame e gestione dei bias: gestione • se c'è evidenza di bias, ciò va detto con la stessa evidenza data alla stima combinata dell'effetto; • analisi di sensibilità possono stabilire se la stima dell'effetto è abbastanza robusta rispetto ad ipotesi ragionevoli sull'effetto del bias; • si può considerare di escludere gli studi di bassa qualità; • se l'analisi di sensibilità mostra che la conclusione può essere seriamente influenzata dal bias, allora si deve prendere in esame l’opzione di considerare l'evidenza insufficiente o decisamente non valida.

Esame e gestione dei bias: metodi statistici • la metanalisi è un processo a

Esame e gestione dei bias: metodi statistici • la metanalisi è un processo a due stadi – calcolo di una statistica riassuntiva appropriata per ciascuno degli studi (anche quando si esegue una metanalisi con dati dei pazienti individuali); – combinazione di queste statistiche in una media pesata; • i metodi disponibili permettono di combinare odds ratio, risk ratio, differenze di rischio per dati binari, e hazard ratio per dati di tempo all'evento; • per dati continui si possono combinare le differenze di medie o, quando siano state usate scale diverse, differenze standardizzate tra medie;

Esame e gestione dei bias: metodi statistici • i modelli ad effetto fisso combinano

Esame e gestione dei bias: metodi statistici • i modelli ad effetto fisso combinano le statistiche riassuntive pesandole secondo la quantità di informazione che contengono (varianza inversa, Mantel-Haenszel [poco efficienti in presenza di pochi eventi], Peto); • i modelli ad effetto casuale incorporano una stima dell'eterogeneità tra studi nel calcolo (Der. Simonian & Laird accessibile anche ai non statistici; gli altri meno); • la selezione dei metodi per una particolare metanalisi è dettata dal problema specifico.

Considerazioni sui metodi • la scelta della statistica riassuntiva dipende da: – tipo di

Considerazioni sui metodi • la scelta della statistica riassuntiva dipende da: – tipo di dati da analizzare (binari, continui, tempo all'evento); – coerenza delle stime dell'effetto fra studi e sottogruppi; – facilità di interpretazione della statistica riassuntiva; • la scelta del metodo di pesatura dipende da: – affidabilità del metodo quando i campioni sono piccoli; – affidabilità del metodo quando ci sono pochi eventi; – grado di sbilanciamento fra i rapporti di allocazione negli studi;

Considerazioni sui metodi • le considerazioni di eterogeneità possono influenzare: – se si debba

Considerazioni sui metodi • le considerazioni di eterogeneità possono influenzare: – se si debba prendere in considerazione una metanalisi, in funzione della similarità delle caratteristiche degli studi; – se la statistica globale ha un significato ragionevole, in funzione del grado di disaccordo tra studi; – se sia più utile usare un modello casuale per giustificare le variazioni residue tra studi e per affinare le stime di significatività e precisione dell'effetto complessivo; – se l'impatto di altri fattori sull'effetto può [deve] essere esaminato per mezzo di analisi stratificate e tecniche di metaregressione.

3. Utilizzare le revisioni sistematiche nella pratica

3. Utilizzare le revisioni sistematiche nella pratica

Misure dell'effetto in studi con esito binario • L'effetto globale in studi con esito

Misure dell'effetto in studi con esito binario • L'effetto globale in studi con esito binario si può stimare come RD [risk difference], RR [risk ratio], OR [odds ratio], HR [hazard rate]; • l'uso dell’una o dell'altra statistica riassuntiva può far variare anche di molto la stima dei benefici attesi nell'applicazione concreta; • l'uso di RD è più soggetto ad eterogeneità anche importanti rispetto a RR e OR; • la scelta della statistica da utilizzare dipende anche dall'esame della sua eterogeneità (grafico di L'Abbé);

Misure dell'effetto in studi con esito binario • HR si usa per tempo all'evento

Misure dell'effetto in studi con esito binario • HR si usa per tempo all'evento e non si presta a confronti immediati; • OR, RD sono tutte misure riassumibili in termini semplici: NNT e NNH (che non si possono utilizzare direttamente nel calcolo della metanalisi); • RRR e ROR sono altre misure derivate dalla statistica riassuntiva ma facilmente fuorvianti.

Metanalisi e NNT: problemi e cautele • si usa normalmente il valore di NNT

Metanalisi e NNT: problemi e cautele • si usa normalmente il valore di NNT [NNH] per riassumere gli effetti favorevoli [sfavorevoli] di un intervento in modo clinicamente rilevante, tenendo conto sia il rischio basale senza intervento, sia la riduzione di rischio ottenibile con l'intervento; • NNT/NNH sono sensibili ai fattori che modificano il rischio basale: – l'esito considerato:

Effetti delle statine in 5 grandi studi su diversi esiti considerati. Si noti quanto

Effetti delle statine in 5 grandi studi su diversi esiti considerati. Si noti quanto varia l'NNT in funzione dell'esito. Gli esiti combinati sono da considerare con cautela specie quanto le singole componenti sono distribuite in maniera ampiamente disomogenea tra i diversi studi (p. es. , l'esito "tutti gli eventi cardiovascolari" in questo caso, che comprende la mortalità per CHD, variabile in rapporto 1: 16 nei diversi gruppi di controllo). adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 389.

Metanalisi e NNT: problemi e cautele • NNT/NNH sono sensibili ai fattori che modificano

Metanalisi e NNT: problemi e cautele • NNT/NNH sono sensibili ai fattori che modificano il rischio basale: – le caratteristiche dei pazienti inclusi nello studio; – le tendenze temporali di incidenza e letalità:

Variazione del NNT al variare della mortalità per ictus nel corso del tempo, ipotizzando

Variazione del NNT al variare della mortalità per ictus nel corso del tempo, ipotizzando una mortalità per ictus negli ipertesi pari al doppio rispetto alla popolazione generale, e che la riduzione relativa di rischio per mortalità da ictus sotto trattamento antipertensivo sia del 33%. adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 393.

Metanalisi e NNT: problemi e cautele • NNT/NNH sono sensibili ai fattori che modificano

Metanalisi e NNT: problemi e cautele • NNT/NNH sono sensibili ai fattori che modificano il rischio basale: – lo specifico setting clinico:

Variazione del NNT del trattamento antipertensivo negli anziani per lo stesso esito in diversi

Variazione del NNT del trattamento antipertensivo negli anziani per lo stesso esito in diversi setting clinici. adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 394.

Metanalisi e NNT: problemi e cautele • spesso si calcolano e si presentano NNT

Metanalisi e NNT: problemi e cautele • spesso si calcolano e si presentano NNT derivati da metanalisi che usano RRR (facili da calcolare), ma possono essere fuorvianti perché il rischio basale varia anche ampiamente nei diversi studi inclusi:

Effetti di diversi interventi di prevenzione secondaria post-infarto sulla mortalità coronarica. La riduzione relativa

Effetti di diversi interventi di prevenzione secondaria post-infarto sulla mortalità coronarica. La riduzione relativa di rischio è sostanzialmente la stessa ma gli NNT – che considerano la differenza assoluta di rischio – dicono una storia diversa. adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 392.

Metanalisi e NNT: problemi e cautele • per ottenere valori utili di NNT è

Metanalisi e NNT: problemi e cautele • per ottenere valori utili di NNT è preferibile applicare la riduzione cumulativa di rischio relativo calcolata dalla metanalisi al rischio basale dello specifico gruppo di pazienti considerato.

Metanalisi in pratica • La metanalisi di revisioni sistematiche si usa: – per sviluppare

Metanalisi in pratica • La metanalisi di revisioni sistematiche si usa: – per sviluppare linee guida; – per progettare nuovi studi controllati; – per prendere decisioni di politica sanitaria:

There is nothing a politician likes so little as to be well informed; it

There is nothing a politician likes so little as to be well informed; it makes decision making so complex and difficult. J. M. Keynes

Metanalisi in pratica • La metanalisi può però anche essere utile al letto del

Metanalisi in pratica • La metanalisi può però anche essere utile al letto del paziente, purché si utilizzino le informazioni corrette:

Metodi usati per dare i risultati di revisioni sistematiche. Decisioni basate su OR ed

Metodi usati per dare i risultati di revisioni sistematiche. Decisioni basate su OR ed RRR possono essere fuorvianti, quelle basate su NNT/NNH sono direttamente informative. adattata da: Collins R et al. , Lancet 1990; 335: 827 -838.

adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 377.

adattata da: Egger M et al. Systematic Reviews in Health Care 2001, p. 377.

Conclusione Le metanalisi: chi, come, dove, quando, perché

Conclusione Le metanalisi: chi, come, dove, quando, perché

Chi e come • tutti possono eseguire metanalisi, purché: – siano in grado di

Chi e come • tutti possono eseguire metanalisi, purché: – siano in grado di eseguire correttamente la ricerca, selezione ed estrazione dei dati necessari a una revisione sistematica di qualità; – siano in grado di scegliere la tecnica di analisi più adeguata alla situazione specifica; • ovvero: – come sempre, il "chi" è un gruppo collaborativo multidisciplinare.

Dove • una metanalisi è sempre fattibile: – in presenza di revisioni sistematiche adeguatamente

Dove • una metanalisi è sempre fattibile: – in presenza di revisioni sistematiche adeguatamente eseguite di studi qualitativamente validi; – che diano risultati sufficientemente omogenei tra studi all'analisi di sensibilità.

Quando • una metanalisi è utile quando esistono discrepanze di risultati tra studi diversi

Quando • una metanalisi è utile quando esistono discrepanze di risultati tra studi diversi qualitativamente equivalenti, tali da rendere aleatoria una decisione clinica basata su singole prove di fatto;

Perché • una metanalisi eseguita come processo conclusivo di una adeguata revisione sistematica permette:

Perché • una metanalisi eseguita come processo conclusivo di una adeguata revisione sistematica permette: – di dare indicazioni cliniche utili alle decisioni specifiche nel setting specifico; – di avere elementi utili a prendere decisioni di politica sanitaria; – di pesare in modo quantitativo vantaggi e svantaggi (rischi e benefici) di uno specifico intervento; • purché si sia in grado di modellare la situazione clinica nella maniera più ristretta possibile a gruppi di pazienti quanto più omogenei possibile.

Grazie per l’attenzione!

Grazie per l’attenzione!