INDICADORES PARA LA EVALUACION DE IMPACTO DE PROGRAMAS

  • Slides: 23
Download presentation
INDICADORES PARA LA EVALUACION DE IMPACTO DE PROGRAMAS DE POBLACION, SALUD Y NUTRICION Eiliana

INDICADORES PARA LA EVALUACION DE IMPACTO DE PROGRAMAS DE POBLACION, SALUD Y NUTRICION Eiliana Montero

DEFINICIONES ¨ ¨ ¨ Indicador: Es la operacionalización de una variable o constructo. Define

DEFINICIONES ¨ ¨ ¨ Indicador: Es la operacionalización de una variable o constructo. Define las operaciones de medición necesarias para obtenerlo. Variable: es una conceptualización, una construcción mental que no requiere de un marco teórico para ser definida, sobre la que hay consenso en general y usualmente es relativamente fácil de medir Constructo: conceptualización que requiere de marco teórico, más difícil de operacionalizar y de medir, a veces no hay consenso incluso en cuanto a la definición conceptual. Ejemplos: desarrollo humano, salud

UN EJEMPLO. . . INDICE DE DESARROLLO HUMANO DE LAS NACIONES UNIDAS

UN EJEMPLO. . . INDICE DE DESARROLLO HUMANO DE LAS NACIONES UNIDAS

Desarrollo Humano Educación Tasa de alfabetismo Tasa de matriculación combinada Longevidad Esperanza de Vida

Desarrollo Humano Educación Tasa de alfabetismo Tasa de matriculación combinada Longevidad Esperanza de Vida Poder Adquisitivo PIB per Cápita

En el caso de la evaluación de programas los indicadores. . . § Son

En el caso de la evaluación de programas los indicadores. . . § Son medidas o valores que se usan para representar los diferentes aspectos del funcionamiento y resultados de un programa § Pueden tomar valores numéricos (un porcentaje, promedio, un rango, número absoluto) o simplemente representar categorías, por ejemplo Si/No (presencia/ausencia)

NIVELES DE MEDICION ¨ Nominal o categórico: Para dos sujetos, A y B solo

NIVELES DE MEDICION ¨ Nominal o categórico: Para dos sujetos, A y B solo se puede decir si son iguales o diferentes (A=B ó A#B). ¨ Ordinal: Se puede establecer relación de orden (A>B ó A=B ó A<B) ¨ Intervalo: Se puede decir cuánto más o cuanto menos ¨ Razón: Existe el cero absoluto

POR EJEMPLO, DEPENDIENDO DE LOS NIVELES DE MEDICIÓN MEDIMOS UNA ASOCIACIÓN POR MEDIO DE.

POR EJEMPLO, DEPENDIENDO DE LOS NIVELES DE MEDICIÓN MEDIMOS UNA ASOCIACIÓN POR MEDIO DE. . . ¨ coeficiente de contingencia ( ), odds ratio ¨ coeficiente de correlación de rangos de Spearman ¨ coeficiente de correlación “r” de Pearson

VARIABLES DUMMY ¨ Son variables instrumentales que se crean para poder introducir variables nominales

VARIABLES DUMMY ¨ Son variables instrumentales que se crean para poder introducir variables nominales o categóricas en un modelo de regresión, típicamente ¨ Se crean mediante la siguiente codificación: ¨ ¨ 1 Presencia de la característica de interés 0 Ausencia de la característica de interés

PARA ANALISIS ESTADÍSTICO PREFERIMOS INDICADORES QUE. . . ¨ Se acerquen, lo más posible

PARA ANALISIS ESTADÍSTICO PREFERIMOS INDICADORES QUE. . . ¨ Se acerquen, lo más posible al nivel de medición de razón ¨ Que tengan “buena” variabilidad, que nos permitan diferenciar entre los sujetos

LOS INDICADORES EN EVALUACION DE MPACTO. . . Deben representar variables y constructos que

LOS INDICADORES EN EVALUACION DE MPACTO. . . Deben representar variables y constructos que involucren resultados de los programas que puedan ser asociados al mejoramiento de la calidad de vida de las personas

“Debe haber una integración de las actividades del proyecto o programa, el marco conceptual

“Debe haber una integración de las actividades del proyecto o programa, el marco conceptual y los indicadores usados para monitoreo y evaluación. Cuando hay una brecha entre estos elementos, se encuentra uno ya sea midiendo algo que no importa u omitiendo la medición de algo de gran importancia. Todo debería estar lógicamente conectado” (Monitoring and Evaluation, Training Module, MEASURE)

FACTORES ADICIONALES QUE INFLUYEN EN LA SELECCIÓN DE LOS INDICADORES – Disponibilidad de datos

FACTORES ADICIONALES QUE INFLUYEN EN LA SELECCIÓN DE LOS INDICADORES – Disponibilidad de datos – Recursos – Necesidades programáticas – Requerimientos de los donantes

DECISIONES QUE SE DEBEN TOMAR ¨ Definir los propios indicadores o usar los ya

DECISIONES QUE SE DEBEN TOMAR ¨ Definir los propios indicadores o usar los ya existentes ¨ Recolectar la información para calcularlos o usar información ya recolectada ¨ Definir indicadores simples o compuestos ¨ Definir indicadores absolutos o relativos

PROPIEDADES FUNDAMENTALES DE UN INDICADOR ¨ Validez ¨ Confiabilidad ¨ Interpretabilidad ¨ No direccional

PROPIEDADES FUNDAMENTALES DE UN INDICADOR ¨ Validez ¨ Confiabilidad ¨ Interpretabilidad ¨ No direccional ¨ Adicionalmente ¨ ¨ Sensitividad Especificidad

¨ Válido: Que mida lo que pretende medir ¨ Confiable: Preciso, estable en repeticiones,

¨ Válido: Que mida lo que pretende medir ¨ Confiable: Preciso, estable en repeticiones, que tenga consistencia ¨ Interpretable: Que sea entendible por las diferentes audiencias ¨ Sensitivo: Que identifique correctamente a los miembros de la población meta ¨ Específico: Que excluya correctamente a aquellos que no forman parte de la población meta

Ejemplo % de establecimientos con al menos un proveedor de salud capacitado en cada

Ejemplo % de establecimientos con al menos un proveedor de salud capacitado en cada una de las zonas geográficas meta de servicio Disponibilidad de servicios de calidad Porcentaje de establecimientos con un puntaje de 85 a 100 en una lista de chequeo de Calidad del Cuidado

EN LOS INDICADORES, DEBEMOS DISTINGUIR ENTRE. . . ¨ Lo que se mide en

EN LOS INDICADORES, DEBEMOS DISTINGUIR ENTRE. . . ¨ Lo que se mide en las unidades individuales de estudio (personas, centros o instituciones) y, ¨ Lo que se construye agregando la información individual ¨ Por ejemplo: Tasa de Alfabetismo ¨ ¿Qué se mide en las unidades de estudio? ¨ ¿Cómo se construye el indicador?

En programas de salud es muy útil la clasificación de Donabedian Indicadores de l

En programas de salud es muy útil la clasificación de Donabedian Indicadores de l l l Estructura Proceso Resultado o producto (ver documento “Marco conceptual para el programa de evaluación continua de las áreas de salud”)

ESTUDIO SOBRE SATISFACCIÓN DE LAS USUARIAS CON LOS SERVICIOS DE PLANIFICACIÓN FAMILIAR EN ESTAMBUL,

ESTUDIO SOBRE SATISFACCIÓN DE LAS USUARIAS CON LOS SERVICIOS DE PLANIFICACIÓN FAMILIAR EN ESTAMBUL, TURQUÍA INDICADORES UTILIZADOS PARA EL ANALISIS ESTADISTICO

Disponibilidad de métodos Usuaria nueva vs antigua Conocimiento acerca del método escogido Disponibilidad de

Disponibilidad de métodos Usuaria nueva vs antigua Conocimiento acerca del método escogido Disponibilidad de personal Calidad de servicios Satisfacción de la Cliente Accesibilidad Continuación & uso apropiado de métodos modernos Tipo de método suministrado Tipo de centro de salud Disponibilidad de materiales IEC Edad Educación Otros determinantes próximos

¨ Disponibilidad de métodos: 1 si el establecimiento proporciona al menos 3 métodos modernos

¨ Disponibilidad de métodos: 1 si el establecimiento proporciona al menos 3 métodos modernos de planificación familiar, 0 en otro caso (nivel de establecimiento) ¨ Conocimiento acerca del método escogido: 1 si la cliente identifica correctamente si el método suministrado la protege o no contra VIH/SIDA ó ETS, 0 en otro caso (nivel individual) ¨ Disponibilidad de personal: 1 si el establecimiento tiene al menos 3 miembros de su personal asignados a servicios de PF y dos de ellos están presentes al momento de la visita, 0 en otro caso ¨ Tipo de método suministrado: Categorías: pastillas, condones, DIU, inyecciones.

¨ Tipo de centro de salud: Categorías: Hospital del Ministerio de Salud, Clínica de

¨ Tipo de centro de salud: Categorías: Hospital del Ministerio de Salud, Clínica de PF del Ministerio de Salud, Centro de Salud del Ministerio de Salud, Hospital del Seguro Social y Hospital Privado ¨ Disponibilidad de materiales IEC: 1 si el establecimiento brinda a la cliente al menos 3 panfletos sobre los métodos de PF, 0 en otro caso ¨ Usuaria nueva vs antigua: 1 si es nueva, 0 en otro caso ¨ Edad de la cliente en años cumplidos ¨ Educación: niveles de educación formal aprobados ¨ Satisfacción de la cliente: Puntaje en un índice construido con 9 preguntas o ítemes acerca de la satisfacción de la cliente con los servicios de planificación familiar

Modelo Final para el Análisis de Regresión Multinivel (R 2=0. 1513)

Modelo Final para el Análisis de Regresión Multinivel (R 2=0. 1513)