Mthodes statistiques pour lanalyse des notifications spontanes en

  • Slides: 24
Download presentation
Méthodes statistiques pour l’analyse des notifications spontanées en pharmacovigilance Pascale Tubert-Bitter, Inserm U. 780

Méthodes statistiques pour l’analyse des notifications spontanées en pharmacovigilance Pascale Tubert-Bitter, Inserm U. 780 Travail collaboratif I. Ahmed*, B. Bégaud**, A. Fourrier**, F. Haramburu**, C. Kreft-Jais***, G. Miremont**, F. Thiessard**** *U. 780, **U. 657, ***AFFSSAPS, ****ISPED Journées 2007 du GDR « Statistique et Santé » 26 et 27 novembre 2007

Sommaire • Pharmacovigilance : contexte • Les méthodes de génération automatique de signaux :

Sommaire • Pharmacovigilance : contexte • Les méthodes de génération automatique de signaux : – Méthodes bayésiennes – Estimation du FDR • Simulations • Application à la base française • Discussion

Pharmacovigilance (PV) : Contexte • Surveillance des médicaments après leur mise sur le marché

Pharmacovigilance (PV) : Contexte • Surveillance des médicaments après leur mise sur le marché – Identification de nouveaux effets indésirables (EI) • Non observés au cours des essais cliniques – Rare, délai de latence, restreints à certains sous-groupes – Caractérisation d’un risque potentiel identifié • De la pharmacovigilance à la gestion des risques • Plan de gestion des risques lors de l’AMM (depuis 2005) : – évaluation constante du rapport bénéfice/risque dans les conditions réelles d’utilisation, – études de confirmation d’association évoquées » développement de la pharmacoépidémiologie

Le système de Pharmacovigilance • Déclaration des effets indésirables par les professionnels de santé

Le système de Pharmacovigilance • Déclaration des effets indésirables par les professionnels de santé – En France : • aux 31 Centres Régionaux de Pharmacovigilance ou à l’industrie • les événements sont évalués et enregistrés, • puis transmis à l’AFSSAPS qui coordonne l'ensemble du système • le comité technique de PV se réunit régulièrement ; des enquêtes nationales de PV peuvent être décidées

Pharmacovigilance : les notifications spontanées (NS) • Les cas notifiés : – Sous-notification •

Pharmacovigilance : les notifications spontanées (NS) • Les cas notifiés : – Sous-notification • Variable : type d’effet indésirable (gravité, difficulté de diagnostic, …), type de médicament, ancienneté de l’AMM • Inconnue (mais forte) – Associations suspectes (et non causales) – Proviennent de l’ensemble de la population réellement exposée • Population exposée (taille) pas toujours connue – Données de prescriptions, de ventes • Incidence « de base » de l’événement mal connue

Analyse statistique des notifications spontanées • Les questions : – Identification des EI •

Analyse statistique des notifications spontanées • Les questions : – Identification des EI • Détection de signaux • Evaluation des signaux – Comparaison de médicaments – Recherche des caractéristiques des EI, identification de sous-groupes … • Le degré « zéro » de l’évaluation causale – Mais au commencement de tout …

L’analyse statistique des notifications spontanées Méthodes exploratoires en interne • Génération automatique de signaux

L’analyse statistique des notifications spontanées Méthodes exploratoires en interne • Génération automatique de signaux d’alerte en pharmacovigilance – Un signal est généré pour une association donnée si son nombre de NS dépasse un seuil critique – Enormes bases de notifications spontanées • Médicaments x effets (AFSSa. PS : 300 000 observations d’effets indésirables, FDA : plus de 2 millions, …) – Méthodes d’aide à l’identification de nouveaux effets indésirables : détermination de seuils critiques pour tous les couples médicaments x effets, répétée dans le temps

Génération automatique de signaux d’alerte en pharmacovigilance • Evaluation des méthodes existantes (bayésiennes et

Génération automatique de signaux d’alerte en pharmacovigilance • Evaluation des méthodes existantes (bayésiennes et non bayésiennes) – Il n’y a pas de méthode de référence – Les seuils critiques ont été fixés arbitrairement, sans référence à une évaluation des performances • Amélioration des méthodes existantes, en particulier bayésiennes

Génération automatique de signaux d’alerte en pharmacovigilance • Structure schématisée d’une base de pharmacovigilance

Génération automatique de signaux d’alerte en pharmacovigilance • Structure schématisée d’une base de pharmacovigilance Ev 1 … Evj … __________ M 1 . . : Mi … Nij …. . : : __________ NEvj ° grande proportion de cellules vides NMi Ntot ° indépendance ligne x colonne

Génération automatique de signaux d’alerte en pharmacovigilance • A partir d’une mesure d’association y

Génération automatique de signaux d’alerte en pharmacovigilance • A partir d’une mesure d’association y que l’on compare à une valeur « nulle » de non-association y 0 pour générer un signal – Méthodes fréquentistes (RU, European Medicines Agency) • Reporting odds ratio • Proportional reporting ratio – Méthodes Bayésiennes • Information Component, OMS • Empirical Bayes, FDA

Méthodes bayésiennes : Gamma Poisson Shrinker (GPS) • Modèle Poisson-mélange de 2 gamma •

Méthodes bayésiennes : Gamma Poisson Shrinker (GPS) • Modèle Poisson-mélange de 2 gamma • Distribution a priori des lij (bayésien emprique) • Mesure d’association EB* = E (log 2( lij |������ Nij, eij)) Du. Mouchel, 1999 • Un signal est généré si Q 0. 025 (EB*ij) > 1

Méthodes bayésiennes : Bayesian Confidence Propagation Neural Network (BPCNN) • Modèles beta-binomiaux Nij ~B(Ntot,

Méthodes bayésiennes : Bayesian Confidence Propagation Neural Network (BPCNN) • Modèles beta-binomiaux Nij ~B(Ntot, rij), NMi ~B(Ntot, pi), NEvj~B(Ntot, qj) • Distribution a priori des paramètres qj ~b(1, 1), pi ~ b(1, 1), rij ~b(1, 1/(E*(pi)E*(qj))-1) • Mesure d’association • Un signal est généré si Q 0. 025 (IC*ij) > 0 Approximation normale Bate et al. 1998

Méthodes bayésiennes Estimateur du FDR • Status zij †Î {0, 1} Décision dij †Î

Méthodes bayésiennes Estimateur du FDR • Status zij †Î {0, 1} Décision dij †Î {0, 1} vij = Pr (zij = 1 | Données) = Pr (y* > y 0) • FDR • Estimateur bayésien Müller et al, 2004 • Application – GPS : vij = Pr (EB*ij > 1), BPCNN : vij = Pr (IC*> 0) – Décision : dij = 1[vij > 1 -a] = 1[Qa > y 0]

Simulations • Comparaison des performances deux méthodes • Etude du comportement de l’estimateur bayésien

Simulations • Comparaison des performances deux méthodes • Etude du comportement de l’estimateur bayésien du FDR • 500 bases générées à partir des données de la base française

Plan de simulation • A partir des marges de la base française, des probabilités

Plan de simulation • A partir des marges de la base française, des probabilités marginales) de « travail » sont générées (Dirichlet) • pw ~D (Ntot, NM), qw ~D (Ntot, NEv), rwij = pwiqwj • Des coefficients « risque relatif » RRwij de travail sont générés (logistique : « mimer » les Nij/eij)) • Les Nij sont générés suivant une loi multinomiale M(Ntot, d) • Le statut (zij) s’établit avec RRij = dij/piqj

Simulations : résultats • Pour différentes valeurs de a : – Estimation de la

Simulations : résultats • Pour différentes valeurs de a : – Estimation de la sensibilité, spécificité, FDR, FNR • Moyenne des 500 taux observés – Etude du biais de leur estimateurs bayésiens – Comparaison des deux méthodes (GPS, BPCNN) • Sur l’ensemble des associations présentes dans la base (147 370), puis restreintes aux cellules non vides (44 239)

Sensibilité et spécificité Toutes les cellules GPS : 8603 signaux, Se = 0. 058

Sensibilité et spécificité Toutes les cellules GPS : 8603 signaux, Se = 0. 058 BPCNN : 10144 signaux, Se=0. 068 Cellules avec Nij ≥ 1

FDR et FNR, cellules avec Nij ≥ 1 GPS : FDR = 0. 008

FDR et FNR, cellules avec Nij ≥ 1 GPS : FDR = 0. 008 BPCNN : FDR = 0. 003

Estimateurs bayésiens : sensibilité (Se), Spécificité (SP), cellules avec Nij ≥ 1 BPCNN GPS

Estimateurs bayésiens : sensibilité (Se), Spécificité (SP), cellules avec Nij ≥ 1 BPCNN GPS

Estimateurs bayésiens : FDR*, FNR*, cellules avec Nij ≥ 1 BPCNN GPS

Estimateurs bayésiens : FDR*, FNR*, cellules avec Nij ≥ 1 BPCNN GPS

Application • Table de contingence (ATC 5 - Med. DRA HLT): – 672 classes

Application • Table de contingence (ATC 5 - Med. DRA HLT): – 672 classes de médicaments (Mi) – 820 classes d’événements indésirables (Evj) • Ncell = 551 040 • 57% cellules vides • Ntot = 1 179 094 • Pour a = 0. 025 : – nombre de signaux = 10559 (BPCNN), 8991 (GPS) – FDR*=0. 004 (BPCNN, GPS), FNR* = 0. 43 (BPCNN), 0. 40 (GPS) – Se* = 0. 22 (BPCNN), 0. 20 (GPS) , Sp* = 0. 999 (BPCNN, GPS)

Estimation sensibilité, spécificité, FDR, FNR, cellules avec Nij ≥ 1 Sensibilité, spécificité FDR, FNR

Estimation sensibilité, spécificité, FDR, FNR, cellules avec Nij ≥ 1 Sensibilité, spécificité FDR, FNR

Discussion (1) • Les performances deux méthodes d’après les simulations: – Sensibilités et spécificités

Discussion (1) • Les performances deux méthodes d’après les simulations: – Sensibilités et spécificités comparables (à même nombre de signaux générés) • Pour la règle d’origine (a = 0. 025), GPS génère moins de signaux, avec une sensibilité légèrement plus faible – FDR et FNR comparables (à même nombre de signaux générés) • Pour la règle d’origine, GPS présente un FDR plus faible – Attention : la réalité d’une association dans la base ≠ réalité d’une association

Discussion (2) • Les performances deux méthodes d’après les simulations – Biais des estimateurs

Discussion (2) • Les performances deux méthodes d’après les simulations – Biais des estimateurs bayésiens des performances • BPCNN systématiquement biaisé (sous-estimation Se, FNR ; sur-estimation Sp, FDR), • PBCNN plus fortement biaisé que GPS (Sp non biaisée) : mise en cause de l’approximation normale • D’une manière générale, les faibles FDR invitent à utiliser leur estimation en critère d’évaluation, mais pas comme règle d’arrêt