EVALUACION DE IMPACTO PREGUNTAS QUE SE HACE LA

  • Slides: 19
Download presentation
EVALUACION DE IMPACTO

EVALUACION DE IMPACTO

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO n n Efectos de mediano y

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO n n Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa ¿Cuáles serán los beneficios con quedará la población beneficiaria una vez que concluya su participación en el programa? n n n Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo 2

OBJETIVOS n n n Conocer si el programa produjo los efectos deseados en los

OBJETIVOS n n n Conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto? 3

METODOLOGIAS n n n Diseño experimental tradicional y aleatorio Método de doble diferencias Métodos

METODOLOGIAS n n n Diseño experimental tradicional y aleatorio Método de doble diferencias Métodos de comparaciones Pareadas (matching) Selección de modelos ( variables instrumentales) Evaluaciones cualitativas 4

METODOLOGIAS n n Requiere de la aplicación de técnicas, que permitan conocer lo que

METODOLOGIAS n n Requiere de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiese puesto en marcha. Identificar las VARIABLES QUE DEBEN SER MEDIDAS para determinar si el Programa ha generado realmente los beneficios o resultados finales o impacto esperados 5

El impacto del programa es: La diferencia en la variable resultado (Y) que registra

El impacto del programa es: La diferencia en la variable resultado (Y) que registra el individuo (i) con y sin la intervención del programa αi = Y 1 i − Yoi αi es el impacto del programa (tratamiento) sobre la persona i, Yoi es resultado potencial que registraría el individuo i sin el tratamiento, Y 1 i es el resultado potencial que registraría el individuo i con el tratamiento. 6

Problema fundamental de identificación n n No es posible observar Yoi e Y 1

Problema fundamental de identificación n n No es posible observar Yoi e Y 1 i, para un mismo individuo en un momento del tiempo. Un individuo i en un momento del tiempo puede presentar solo uno de los dos estados posibles: n n Intervención en el programa No intervención en el programa 7

Problemas metodológicos de la medición n n Medir el impacto esperado o promedio del

Problemas metodológicos de la medición n n Medir el impacto esperado o promedio del programa sobre el conjunto de los individuos. Sesgo de selección: Selección de los individuos que participan en el programa responde a ciertos criterios de focalización u otros. Programa de Capacitación, Ingresos beneficiarios menores antes de la capacitación. En ausencia del Programa los ingresos potenciales de los beneficiarios serán menores a los de los no beneficiarios en el mismo período 8

METODOLOGIAS n n n Se requiere disponer de información para el llamado grupo de

METODOLOGIAS n n n Se requiere disponer de información para el llamado grupo de control o de comparación. Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes. Ambos grupos deben tener las mismas características 9

METODOLOGIAS n n Un grupo de control es básicamente un segmento de no beneficiarios

METODOLOGIAS n n Un grupo de control es básicamente un segmento de no beneficiarios que son parte de la población objetivo, es decir, un grupo que comparte las características sociales, económicas, educacionales, etc, del grupo beneficiario. (dos grupos estadísticamente idénticos entre sí) La única diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participación en el programa. 10

Diseño experimental o aleatorio n n n Aislar los efectos que tienen sobre la

Diseño experimental o aleatorio n n n Aislar los efectos que tienen sobre la variable resultado (Y) factores externos al Programa Selección de individuos beneficiarios del programa sea independiente de sus resultados potenciales. Selección aleatoria de los individuos que se beneficien del programa La medición de impacto consiste en cuantificar, una vez transcurrido el tiempo pertinente de intervención del programa, la(s) variable(s) de impacto, tanto para el grupo de tratamiento y como para el grupo de control – en ambos simultáneamente y para el mismo período de tiempo – para luego analizar las diferencias que existen entre ambos. 11

n Grupo de control aleatorio entre la población de individuos elegibles, garantizándose que en

n Grupo de control aleatorio entre la población de individuos elegibles, garantizándose que en el inicio ambos grupos son estadísticamente iguales en términos de sus características como de sus respectivas distribuciones 12

Diseño experimental o aleatorio n 1=número de individuos en el grupo de tratamiento N

Diseño experimental o aleatorio n 1=número de individuos en el grupo de tratamiento N 0=número de individuos en el grupo de control. Principal distorsión: posibles cambios del grupo de control Durante el período de evaluación (abandono área geográfica en ese lapso=Grupo de control contaminado. Viabilidad política de excluir de la cobertura de un programa aleatoriamente a un grupo de beneficiarios elegibles y como tal 13 necesitan los beneficios del programa

Diseño cuasi experimental Selección de beneficiarios no es aleatoria, se basa en criterios de

Diseño cuasi experimental Selección de beneficiarios no es aleatoria, se basa en criterios de elegibilidad y focalización que establecen diferencias observables como no observables, entre el grupo de tratamiento y los no beneficiarios (grupo de control) Diferencias observables: responden a los criterios de selección del programa Diferencias no observables: características de la población que afectan su participación pero para la cual no hay información (habilidad individual, voluntad de participar, procesos subjetivos y no formales que determinan que una persona acceda a los beneficios del programa 14

Diseño cuasi experimental El impacto del programa no podrá ser estimado a través de

Diseño cuasi experimental El impacto del programa no podrá ser estimado a través de la simple diferencia de medias entre la variable resultado del grupo de tratamiento y el grupo control ya que las diferentes características observables y no observables de los beneficiarios y no beneficiarios implicará la existencia de sesgo de selección, la medición del impacto del programa resultará sesgada. Solución: diseño cuasi-experimental, que permita controlar por las distintas características que posee el grupo de beneficiarios del programa (tratamiento) respecto de los no beneficiarios (grupo control) que pudiesen afectar el resultado o impacto del programa. 15

Metodología Construcción de dos escenarios. Un escenario prefactual, es decir, la identificación y medición

Metodología Construcción de dos escenarios. Un escenario prefactual, es decir, la identificación y medición de las condiciones del grupo de beneficiarios y no beneficiarios (control) antes de la ejecución del programa(construcción de la línea de base o situación sin programa) y un escenario contrafactual, que implica la medición del cambio en las condiciones del grupo beneficiario y grupo control, de modo de estimar lo ocurrido como consecuencia directa de la intervención del programa. n ¿Cuál sería la situación actual de estos beneficiarios si no hubieran participado en el programa? , comparando los resultados finales del programa en los beneficiarios con respecto a un grupo de no beneficiarios de características similares (grupo control), de modo de aislar los efectos de otros factores externos al programa? 16

Condiciones n Existencia de una base de datos (o varias bases que permitan formar

Condiciones n Existencia de una base de datos (o varias bases que permitan formar una común) de beneficiarios y no-beneficiarios, que contenga para ambos grupos información sobre los criterios de elegibilidad del programa: n Condición socioeconómica, tamaño de la familia, escolaridad, ubicación geográfica o cualquier otra característica que se haya utilizado para seleccionar a los beneficiarios) e información sobre las variables que permitirán medir los resultados finales o impactos esperados de la intervención (por ejemplo: nivel de ingresos, condición laboral, nivel de salud, etc. ). 17

Metodologías cualitativas n Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución

Metodologías cualitativas n Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa. n Focus group n Entrevistas a informantes claves 18

USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO RESULTADOS DE EVALUACIÓN DE PROGRAMAS

USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004) DESCRIPCIÓN El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas. RESULTADOS Y EFECTOS VARIABLES DE IMPACTO La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los módulos del programa, lo que se evalúa positivamente. El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en 98% en el año 2003. Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura del programa en relación a acciones educativas, preventivas y curativas de atención dental. 19