VALIDACION Y ESTIMACIN DE LA INCERTIDUMBRE EN EL

VALIDACION Y ESTIMACIÓN DE LA INCERTIDUMBRE EN EL MARCO DE LA NORMA ISO/IEC 17025 PONENTE: GLORIA ESTUPIÑÁN ENERO 2017

TEMARIO TEMA 1 1. 2. 3. 4. 5. 6. 7. Conceptos, Planificación y Parámetros. Conceptos. Tipos: Objetivos de la validación, parámetro y procedimiento. Definición del ensayo. Verificación de equipos. Verificación de materiales y reactivos. Ensayos para el estudio. Definición de criterios de aceptación: Veracidad, precisión (Repetibilidad, Reproducibilidad), Selectividad, Especificidad, Linealidad. Límite de detección, Límite de Cuantificación, Robustez. Incertidumbre.

TEMARIO TEMA 2 üEjecución de validación. üHerramientas estadísticas básicas: promedio, mediana y moda. üMedidas de variabilidad o dispersión. varianza y desviación estándar. Análisis de la varianza. ANOVA con un factor. üEstimación de parámetros y determinación de los intervalos de confianza del modelo de regresión. üMetodologías estadísticas para la verificación de los parámetros de validación. Plan de validación de ensayos. Ejemplos de validación: gravimétrico, volumétrico e instrumental.

CONCEPTOS FUNDAMENTALES üLa validación es objeto de atención por ser requerida en normas como la ISO 17025 sobre requisitos generales para laboratorios de calibración y ensayo. üLa validación de métodos, es frecuentemente materia de controversia , aun cuando para mediciones analíticas, se define la validación de métodos como el proceso de establecer las características de desempeño ü Como alternativa, se establece que la validación de métodos es el proceso de verificar que un método es apropiado para un propósito dado, es decir, para usarse en la solución de un problema analítico particular.

CONCEPTOS FUNDAMENTALES üLa versión según la norma ISO 9000: 2005 [3] establece que la validación es la confirmación y provisión de evidencia objetiva de que se cumplen los requisitos para un uso o aplicación prevista üEn ISO 17025 la validación se define como la confirmación por examen y la provisión de evidencia objetiva de que se cumplen los requisitos particulares para un uso específico propuesto.

EN QUE CASOS SE REQUIERE VALIDAR ? En el caso de : üMétodos Nonormalizados üMétodos Desarrollados por el propio laboratorio üMétodos Normalizados usados fuera de su alcance üMétodos Normalizados modificados

EN QUE CASOS SE REQUIERE VALIDAR ? üTambién debe validarse cuando es necesario demostrar la equivalencia de los resultados obtenidos por dos métodos, por ejemplo, un método recientemente desarrollado y un método normalizados existente.

TIPOS DE VALIDACION 1) Prospectiva : Proceso de validación para metodologías nuevas 2) Retrospectiva : Para métodos utilizados a diario no validados anteriormente y de los cuales se dispone de suficiente documentación para probar los atributos del método.

REVALIDACIÓN CASOS PARA TRATAR EN GRUPO Repetición total o parcial de una validación, por la introducción de algún cambio que se espera afecte a un método ya validado.

DOCUMENTACIÓN DE LA VALIDACIÓN üFuentes de referencia del método. üInforme de la validación del método üRedacción del método validado üRegistros que sustentan los resultados de la validación

OBJETIVOS DE LA VALIDACION üPermite obtener resultados trazables con un nivel apropiado de incertidumbre; para la toma de decisiones de diferente índole: Financieras, regulatorias, relacionadas con el desarrollo y fabricación de productos, así como con la prestación de servicios y otras actividades de importancia en las economías nacionales, regionales e internacionales. üUtilizar métodos de ensayo adecuadamente validados y documentados, para un uso previsto

CRITERIOS PARA LA SELECCIÓN DE PARAMETROS DE DESEMPEÑO DEL METODO üRealización del estudio para la determinación de parámetros de desempeño üEquipos dentro de las especificaciones üEquipos debidamente calibrados üAnalistas competentes (experiencia y conocimiento y aptitudes) üToma de decisiones apropiadas durante el avance del estudio

PARAMETROS DE DESEMPEÑO DEL METODO üSelectividad üEspecificidad üPrecisión üVeracidad üIncertidumbre üLimite de Detección üLímite de Cuantificación üIntervalo de trabajo e intervalo lineal üRobustez üRecuperación

NECESIDAD ANALITICA VERSUS CARACTERISTICAS DE DESEMPEÑO NECESIDAD ANALÍTICA ¿Cuáles son las interferencias probables con los analitos? CARACTERÍSTICA DE DESEMPEÑO RELACIONADA • Selectividad / Especificidad ¿los resultados necesitan compararse con los de oros laboratorios? • Robustez ¿los resultados necesitan compararse con especificaciones externas? • Exactitud • Precisión de reproducibilidad

PROCEDIMIENTO DE VALIDACION • Secuencia lógica de actividades antes, durante y después de la validación ¿Que incluye el procedimiento? : • Objeto y campo de Aplicación TALLER 1 • Términos y definiciones • Desarrollo de las actividades • Verificación de los recursos para la Validación: Equipos, Materiales Reactivos • Elaboración del Plan de Validación

PROCEDIMIENTO DE VALIDACION • • • Aprobación del Plan de Validación Ejecución del Método Evaluación de los Resultados Pruebas Estadísticas preliminares aplicadas a los resultados: Evaluación de la normalidad de los datos Prueba de Anderson Darling, Prueba de Grubbs( Para Datos atípicos) Uso de Herramientas de Tendencia central (Para evaluación de Diferencias significativas) Desarrollo de los Parámetros de Validación/ Criterios de Aceptación Uso de Materiales de Referencia Informe de Validación Comunicación de Resultados

ENSAYO Una operación técnica que consiste en la determinación de una o varias características o el rendimiento de un producto, material, equipo, organismo, fenómeno físico, proceso o servicio dados de acuerdo con un procedimiento especificado 17

VERIFICACION DE EQUIPOS üCriterios üEspecificaciones técnicas üEquipos calibrados

DEFINICION DE CRITERIOS DE ACEPTACION • Los criterios de aceptación para los parámetros de validación se basan en los resultados obtenidos, los cuales se comparan con el dato teórico en los datos teóricos.

MÉTODOS DE ENSAYO Y CALIBRACIÓN Y VALIDACIÓN DE MÉTODOS üMétodos desarrollados por el laboratorio. ü Planificación de actividades para la introducción de métodos desarrollados por el laboratorio. ü Actualización de los planes a lo largo del desarrollo. üMétodos no normalizados. üCuando sea necesario emplear métodos no cubiertos por métodos normalizados, estos deben estar sujetos a acuerdo con el cliente. üEl método debe haberse validado antes de su utilización 20

MÉTODOS DE ENSAYO Y CALIBRACIÓN Y VALIDACIÓN DE MÉTODOS üValidación de Métodos. üAcerca de la definición de la validación. üAcerca de la validación de métodos: no normalizados, métodos diseñados por el laboratorio, los métodos normalizados fuera del alcance previsto y ampliaciones y modificaciones de métodos. 21

TEMA 2

EJECUCIÓN DE LA VALIDACIÓN • Elaboración de un Plan de Validación TALLER

EJECUCION DE LA VALIDACIÓN ELABORACIÓN DEL PLAN DE EVALUACION üDebe contener como mínimo lo siguiente: üOBJETIVO üALCANCE üCONSIDERACIONES GENERALES ü Método usado ü Documentos de Referencia ü Principio del método ü Flujograma del método ü Equipos, materiales y reactivos ü Selección del Equipo de Trabajo

HERRAMIENTAS ESTADISTICAS BASICAS PROMEDIO üEs una medida de tendencia central : ü es el valor obtenido al sumar todos los datos y dividir el resultado entre el número total de datos.

HERRAMIENTAS ESTADISTICAS BASICAS MEDIANA: • Es el valor que se encuentra en el lugar central de todos los datos de un estudio cuando éstos están ordenados de menor a mayor. El símbolo de la mediana se representa por Me. La mediana es por tanto el número central de un grupo de números ordenados por su tamaño.

HERRAMIENTAS ESTADISTICAS BASICAS MODA: ü Es una medida de tendencia central que indica el valor que más se repite en un grupo de números. ü La moda es el valor que tiene mayor frecuencia absoluta. ü Se puede hallar la moda para variables cualitativas y cuantitativas. Si en un grupo hay dos o varias puntuaciones con la misma frecuencia y esa frecuencia es la máxima, la distribución es bimodal o multimodal, es decir, tiene varias modas.

MEDIDAS DE DISPERSION

ANALISIS DE VARIANZA ANÁLISIS DE VARIANZA • El análisis de varianza, también conocido como ANOVA, es el análisis estadístico en el cual se compara mas de dos medias entre si Si F calc > F crit. …. . hay diferencias significativas entre los grupos de datos

PRUEBAS DE SIGNIFICANCIA

ESTADISTICA BASICA Prueba t-Student s. • Esta prueba permite comparar las medias de dos grupo de datos y determinar si entre estos parámetros las diferencias son estadísticamente significativas. • En la prueba t , se procede a determinar el valor t de student calculado, obtenido de la experiencia analítica, y este valor posteriormente se compara con el llamado valor critico, este valor critico se obtiene de la tabla de t-student para un determinado porcentaje de confiabilidad (normalmente se utiliza el 95% de confianza, es decir, un valor a de 0, 05). Si no existen diferencias significativas entre 2 grupos, el t calculado o experimental debería ser inferior al t critico (o conocido también como t de tabla) t-calculado ≤ t-critico …. No existen diferencias entre las medias de los dos grupos de datos

ESTIMACION DE LOS PARÁMETROS Características de desempeño Selectividad Límite de detección (LOD) y límite de cuantificación (LOQ) Intervalo de trabajo Sensibilidad analítica Veracidad: Sesgo, Recuperación Precisión : Repetibilidad: Precisión intermedia y Reproducibilidad Incertidumbre de medida Robustez En sentido estricto, la incertidumbre de medida no es una característica del desempeño de un procedimiento de medida particular pero sí de los resultados obtenidos al usar dicho procedimiento.

DETERMINACIÓN DE LOS INTERVALOS DE CONFIANZA DEL MODELO DE REGRESION • Consiste en el estudio de la relación entre dos variables Cuantitativas. • Considerar: Investigar si existe una asociación entre las dos variables testeando la hipótesis de independencia estadística. • Considerar la medida de asociación denominada coeficiente de correlación. • Estudiar la forma de la relación. Usando los datos proponer un modelo para la relación y a partir de ella será posible predecir el valor de una variable a partir de la otra.

PLAN DE VALIDACION PROTOCOLO DE VALIDACIÓN ü Cada método analítico a validar contará con un Protocolo de validación. ü ü Los Protocolos de validación contarán al menos con la siguiente información: ü Identificación del Laboratorio y/o institución a la que pertenece el mismo. ü Título del estudio de validación. ü Niveles de aprobación del Protocolo. Responsabilidades. ü Objetivo y Alcance de la validación. En caso de que se trate de una revalidación, deberá indicarse la causa de la misma. ü ü Categoría a la que pertenece el método y clasificación según sus características. ü

PLAN DE VALIDACION ü Relación de materiales, reactivos, patrones, equipos y documentos involucrados en el estudio. ü Muestras y procedimiento de muestreo a utilizar. ü ü Fundamento teórico del método y la referencia del mismo. ü Relación de los parámetros a evaluar durante la validación. ü Diseño experimental y criterios de aceptación por parámetro. ü Análisis estadístico a ser utilizado para el procesamiento de los resultados. ü ü Planillas, registros o certificados de validación de los resultados obtenidos, cálculos y procesamiento estadístico, desviaciones, entre otros

CASOS DE EJEMPLOS DE VALIDACION • METODOS GRAVIMETRICOS • METODOS VOLUMETRICOS • METODOS INSTRUMENTALES

SELECCIÓN DE PARÁMETROS SEGÚN DISCIPLINA DE ENSAYOS VOLUMÉTRICOS Y GRAVIMÉTRICOS ENSAYOS INSTRUMENTALES Veracidad X X Precisión X X Selectividad Rango Linealidad Límite de detección Límite de cuantificación Incertidumbre Sensibilidad Robustez X X NO APLICA X X X PARÁMETRO DE DESEMPEÑO DEL MÉTODO

VERACIDAD üProximidad de concordancia entre el valor promedio obtenido de una serie grande de resultados de prueba y un valor de referencia aceptado.

VERACIDAD ORIENTACIONES PARA SU ESTIMACION ü Analizar un MR ü Adicionar el analito a la muestra y luego determinar el %Recuperación del analito. ü Criterio de aceptación: 99. 00% ≤ %Recuperación ≤ 110. 00%, siendo: ü %Recuperación = 100 x(C 1 -C 2)/C 3 ü C 1: concentración del analito en la muestra enriquecida ü C 2: concentración medida del analito en la muestra sin adición ü C 3: concentración de analito adicionado a la muestra enriquecida ü Otras formas de realizar la prueba son: ü Comparando los resultados obtenidos con el método que se está validando, con los resultados obtenidos con un método alternativo aceptable y luego se aplica la prueba “tstudent”. ü Participando en programas de ensayos de aptitud.

PRECISION üProximidad de concordancia entre los resultados de pruebas independientes obtenidos bajo condiciones estipuladas.

PRECISION ORIENTACIONES PARA SU ESTIMACIÓN ü Analizar un MR o blanco de muestra fortificada a varias concentraciones en el intervalo de trabajo. Criterio de aceptación: RSD ≤ RSD*, siendo: RSD: desviación estándar relativa =100 x. S/X RSD*: precisión de referencias bibliográficas S: desviación estándar X: promedio de las mediciones.

SELECTIVIDAD üLa medida hasta la cual otras sustancias interfieren en la determinación de una sustancia de acuerdo a un procedimiento dado.

SELECTIVIDAD ORIENTACIONES PARA SU ESTIMACION Una prueba de Selectividad comúnmente utilizada, consiste en analizar un mínimo de: ü Tres testigos reactivos, ü Tres blancos de matriz y ü Tres muestras o estándares de concentración conocida del analito de interés. Se deben comparar las lecturas (señales de medición) obtenidas para cada caso, y observar si existen variaciones entre los testigos reactivos, blancos de matrices y estándares o muestras con analito. Si se encuentran diferencias significativas deberán ser identificadas y en lo posible eliminadas.

RANGO üEs el intervalo entre la más alta y más baja concentración del analito en la muestra, para la cual se ha demostrado que el método analítico tiene un nivel apropiado de precisión, veracidad y linealidad.

RANGO ORIENTACIONES PARA SU ESTIMACION Que hacer N° DE VECES Chequear la linealidad de 10 los métodos Instrumentales en diferentes concentraciones. Cálculos üSe analiza la respuesta del equipo a diferentes concentraciones. üEn el caso de métodos o de equipos donde se indica la linealidad se tomará esa información como referencia.

RANGO ü Se analiza la respuesta del equipo a diferentes concentraciones. ü En el caso de métodos o de equipos donde se indica la linealidad se tomará esa información como referencia. ü El rango del método es validado verificando que el método analítico proporciona precisión y exactitud aceptable cuando se aplica a concentraciones de analito en los extremos del rango así como dentro del rango

LINEALIDAD üLa habilidad del método para obtener resultados de la prueba proporcionales a la concentración del analito.

LINEALIDAD üORIENTACIONES PARA SU ESTIMACION: • Se analiza la respuesta del equipo a diferentes concentraciones. • Se analiza el conjunto de datos usando mínimos cuadrados o minita • Criterio de aceptación: coeficiente de correlación ≤ 1

LIMITE DE DETECCION üEl menor contenido que puede medirse con una certeza estadística razonable. üLa menor concentración del analito en una muestra que puede detectarse, pero no necesariamente cuantificarse bajo las condiciones establecidas de la prueba

LIMITE DE DETECCION Que hacer N° DE VECES Por comparación del 10 comportamiento de un blanco y blancos enriquecidos concentraciones bajas del analito, estableciéndose el mínimo nivel al cual el analito puede ser detectado Cálculos Se calcula mediante la desviación estándar “s” de los resultados de análisis de las 10 muestras independientes

LIMITE DE DETECCION

LIMITE DE CUANTIFICACION • La concentración mínima que puede determinarse con un nivel aceptable de exactitud y precisión.

LIMITE DE CUANTIFICACION ORIENTACIONES PARA SU ESTIMACIÓN ü Fortificar alícuotas de un blanco de muestra a varias concentraciones del analito cercanas al Lo. D ü Expresar Lo. Q como la concentración mínima del analito que puede ser determinada con un nivel aceptable de incertidumbre

LIMITE DE CUANTIFICACION (Lo. Q) • RECOMENDACIONES PARA SU ESTIMACION Que hacer N° DE VECES Cálculos Por comparación del comportamiento de un blanco y blancos enriquecidos concentraciones bajas del analito, estableciéndose el mínimo nivel al cual el analito puede ser detectado 10 Se calcula mediante la desviación estándar “s” de los resultados de análisis de las 10 muestras independientes

HERRAMIENTAS ESTADÍSTICAS USADAS PARA LA EVALUACIÓN DE DATOS ESTADISTICO CRITERIO DE DECISION Prueba de Normalidad de Anderson Darling hipótesis Nula: H 0 Hipótesis Alterna Ha Escrutinio de datos (valores atípicos) Prueba de Dixon (valores atípicos) p value > 0. 05 se acepta la hipótesis nula z score < 2 Hipótesis nula Q = 0 Hipótesis alterna Q ≠ 0 Si el Q experimental es menor que el Q de tablas no se considera un valor atípico hipótesis Nula: H 0 Igualdad de tendencia central: T de Student de 2 grupos (siempre que tengan distribución normal) Hipótesis Alterna H a Igualdad de Medianas para 2 grupos : p value > 0. 05 se acepta la hipótesis nula Med A = Med B : se acepta la hipótesis Nula Prueba de Mann Withney: ( cuando solo 1 de los Med A ≠ Med B : se acepta la hipótesis alterna grupos no tiene distribución normal

Igualdad de Medianas para 2 grupos : Med A = Med B : se acepta la hipótesis Nula Prueba de Mann Withney: ( cuando solo 1 de los grupos no tiene distribución normal Igualdad de Varianzas: Med A ≠ Med B : se acepta la hipótesis alterna Para tres grupos a mas: Prueba de Barlett, siempre que lo valores tengan distribución normal Hipótesis Alterna Ha hipótesis Nula: H 0 p value > 0. 05 se acepta la hipótesis Nula: H 0 Las varianzas de los grupos son iguales Anova de 1 factor ( para igualdad de varianzas tres hipótesis Nula: H 0 grupo ) Hipótesis Alterna Ha p value > 0. 05 se acepta la hipótesis Nula: H 0. Igualdad de varianzas para 2 grupos los promedios son iguales hipótesis Nula: H 0 Si tiene distribución normal se aplica la prueba F Hipótesis Alterna Ha Si no tiene distribución normal se aplica la prueba p value > 0. 05 se acepta la hipótesis Nula: H 0 de Levenne para igualdad de varianzas

Prueba de Kruskal Wallis ( para igualdad de Medianas) hipótesis Nula: H 0 Hipótesis Alterna Ha p value > 0. 05 se acepta la hipótesis Nula: H 0 : las medianas de los grupos son iguales, por lo tanto los grupos son iguales)