Tcnicas Estatsticas para Validao de Mtodos qualitativos Dorival

Técnicas Estatísticas para Validação de Métodos qualitativos Dorival Leão

Necessidade Causa Desenvolvimento tecnológico Teste mais rápidos e efetivos Aumento da produtividade Efeito Substituir as metodologias atuais por metodologias de ensaio mais “eficientes” Princípios físicos e/ou químicos distintos

Validação de Métodos • “A validação deve garantir, através de estudos experimentais, que o método atenda às exigências das aplicações analíticas, assegurando a confiabilidade dos resultados” (ANVISA). • “Validação é o processo de definir uma exigência analítica e confirmar que o método sob investigação tem capacidade de desempenho consistente com o que a aplicação requer” (ISO/IEC 17025). • “A validação de métodos assegura a credibilidade destes durante o uso rotineiro, sendo algumas vezes mencionado como o “processo que fornece uma evidência documentada de que o método realiza aquilo para o qual é indicado para fazer” (USP).

Validação de Métodos qualitativos Os resultados são expressos em termos de presença ou ausência, assim como os procedimentos de confirmação e identificação Ensaios para validação Especificidade Exatidão e Precisão Limite de detecção Robustez

Ensaios Microbiológicos Ensaios Presença e ausência de Micro-organismos Contagem de Micro-organismos (Quantitativo Discreto); Tecnologias baseadas Crescimento Viabilidade Componentes celulares Ácido nucleico

Modelo Logístico Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial tal que Para adequarmos a resposta média ao modelo linear usamos a função de ligação que pode ser escrita como

Modelo Logístico

Ensaios Limite de detecção Menor quantidade de micro-organismos presentes na amostra, que consegue ser detectada sob condições experimentais estabelecidas refere-se ao número de micro-organismos presentes na amostra original antes da diluição ou inoculação

Experimento 1 Realizar o teste com uma baixa concentração de micro-organismos e aumentar a concentração até que pelo menos 50% das amostras sejam detectadas no método tradicional Alternativo Alternativo Alternativo Tradicional Tradicional Tradicional 2 2, 5 3 3, 5 4 4, 5 5 5, 5 6 6, 5 30 30 30 30 30 0 3 7 11 14 18 22 25 28 30 0 2 5 8 11 13 15 17 Ensaio Realizado em paralelo.

Modelo Logístico O método de teste alternativo apresenta um limite de detecção maior que o método de teste tradicional (P-valor abaixo de 0, 01%). Intercepto Teste-Tradicional UFC -5, 02 -2, 04 1, 22 0, 453 0, 249 0, 103 -11, 08 -8, 22 11, 86 0 0 0 -5, 904 -2, 531 1, 020 -4, 129 -1, 557 1, 424

Ensaio 2 Executar o teste em paralelo em três (ou duas) concentrações distintas. Alternativo 15 20 16 Alternativo 45 20 20 Tradicional 15 20 12 Tradicional 45 20 19

Modelo Logístico O método de teste alternativo apresenta um limite de detecção similar ao método tradicional(Pvalor de 11%). Intercepto Metodo. T Conc 0, 020 -1, 11 0, 096 0, 83 0, 70 0, 036 0, 02 -1, 60 2, 68 0, 98 0, 11 0, 0074 -1, 61 -2, 48 0, 026 1, 65 0, 25 0, 17

Teste Qui-Quadrado de homogeneidade Ensaio 3: • Determinar uma concentração específica de microorganismos; • Executar um ensaio paralelo entre os dois métodos. Alternativo Tradicional Total 5 17 22 25 13 38 Estatistica X² 8, 68 Graus de Liberdade 1 P-Valor 0, 0032 Estimativa Odds 0, 16 P-Valor 0, 0028 30 30 60 Conclusão: • Tanto o teste exato de Fisher quanto o teste quiquadrado detectaram diferenças entre os dois métodos; • O teste alternativo apresenta maior “chance” de detecção;

Cálculo do Tamanho da Amostra Nível de significância: 0, 05 Poder: 0, 95 Alternativo 0, 8 Tradicional 0, 4 Alternativo 0, 8 Tradicional 0, 6 Alternativo 0, 75 Tradicional 0, 87 Alternativo 0, 8 Tradicional 0, 9 13 26 38 93

Especificidade Crescimento Outros Capacidade de detectar variedades de microorganismos diferentes, que podem estar presentes na amostra. Capacidade de detectar micro-organismos diferenciando-os de partículas externas, não deixando com que elas interfiram no resultado do teste.

Exatidão e Precisão • A exatidão e a precisão de um método alternativo pode ser expressa como a razão relativa de resultados falso positivos e falso negativos entre o método alternativo e o método tradicional, utilizando-se inóculos padronizados com uma baixa concentração de micro-organismos.

A relação entre Teste Alternativo e Teste Tradicional Verdadeiro Positivo Falso Negativo Verdadeiro Negativo

Sensibilidade e Especificidade a Verdadeiro Positivo b Falso Positivo a+b c Falso Negativo d Verdadeiro Negativo c+d a+c b+d a+b+c+d

Sensibilidade Especificidade Probabilidade do teste alternativo detectar dado que o teste tradicional (ou referência) detecta Probabilidade do teste alternativo não detectar dado que o teste tradicional (ou referência) não detecta

Coeficiente Kappa de Cohen • É uma medida estatística da concordância de dois avaliadores quando ambos classificam a mesma amostra;

Grau de Concordância 20 8 28 0 12 12 20 20 40 0, 5 0, 2 0, 7 0 0, 3 0, 5 1 0, 35 0, 15

Grau de Concordância 19 2 28 1 18 12 20 20 40 0, 475 0, 05 0, 525 0, 025 0, 45 0, 3 0, 5 1 0, 2625 0, 15

Robustez • Consiste em medir a capacidade do método apresentar resultados “similares” quando submetido a pequenas alterações intencionais; • Fornece indicação da confiabilidade durante o uso rotineiro.

Ensaio Executar o método com diferentes analistas e temperaturas distintas. Neste caso, realizamos um experimento cruzado totalmente aleatoriazado. A A 30 25 A B 30 23 B A 30 27 B B 30 22

Modelo Logístico Conclusão: Como o P-valor para analistas e temperatura são “grandes”, concluímos que a interferência dos analistas e da temperatura (na faixa de estudo) são desprezíveis. Intercepto Analista. B Temperatura. B A A B B 1, 82 0, 11 -0, 77 A B 0, 44 0, 47 0, 48 0, 86 0, 74 0, 87 0, 76 4, 12 0, 23 -1, 60 0, 76 0, 60 0, 77 0, 62 0 0, 81 0, 11 0, 96 0, 88 0, 97 0, 90 0, 95 -0, 81 -1, 72 0, 05 0, 07 2, 68 1, 03 0, 17

Referências Bibliográficas • PDA, J. of Pharmaceutical Science and Technology, technical report 3, Evaluation, Validation, and Implementation of New Microbiological Testing Methods. • Leão JÚNIOR, D. ; AOKI, Reiko ; SILVA, G. F. . Statistical analysis of proficiency testing results under elliptical distributions. Computational Statistics & Data Analysis, v. 53, p. 1427 -1439, 2009.