La evaluacin de impacto de programas y polticas

  • Slides: 77
Download presentation
La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de

La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de 2015 Jorge Bacallao Gallestey

In God we trust… the rest must bring evidence Anonimous

In God we trust… the rest must bring evidence Anonimous

Las decisiones en cuanto a producción y distribución de alimentos no puede dejarse sólo

Las decisiones en cuanto a producción y distribución de alimentos no puede dejarse sólo en manos de intereses económicos… Los gobiernos deben tomar medidas regulatorias sobre la operación de los mercados: • Restricciones a la propaganda dirigida a los niños • Mensajes de salud • Establecimiento de límites en las grasas saturadas, el azúcar añadida y el contenido de sodio de los alimentos. • Interpretación del etiquetado

El marco de referencia para el cumplimiento de las responsabilidades debe incluir información acerca

El marco de referencia para el cumplimiento de las responsabilidades debe incluir información acerca del logro de las metas así como del progreso en la implementación de los programas y políticas.

Implementar un marco de referencia dentro del cual los progresos en el alcance de

Implementar un marco de referencia dentro del cual los progresos en el alcance de las metas y en la implementación de los compromisos pueda ser monitoreada y que sea un instrumento para el ejercicio de la responsabilidad.

¿Qué es la evaluación de impacto? Es una evaluación CENTRADA EN LOS RESULTADOS Y

¿Qué es la evaluación de impacto? Es una evaluación CENTRADA EN LOS RESULTADOS Y CON CLAROS CRITERIOS DE ATRIBUCIÓN… … que responde a preguntas relevantes, que descansa en un nuevo paradigma de causalidad y que emplea técnicas modernas en la búsqueda de las atribuciones causales.

Glosario mínimo

Glosario mínimo

Centrada en los resultados: Que responde a preguntas relevantes y concretas, con variables de

Centrada en los resultados: Que responde a preguntas relevantes y concretas, con variables de respuesta explícitamente enunciadas y susceptibles de ser medidas. • ¿La instalación de cocinas mejoradas en las regiones altoandinas reduce la frecuencia de la sintomatología respiratoria? • ¿Los “cash transfers” incrementan los controles prenatales y el parto institucional? • ¿El etiquetado responsable de los alimentos revierte o detiene la epidemia de obesidad en los niños?

Atribución: ¿A qué se deben exactamente los cambios observados o los resultados alcanzados? ¿En

Atribución: ¿A qué se deben exactamente los cambios observados o los resultados alcanzados? ¿En qué medida los efectos traen causa de la intervención (el programa, la política) que se evalúa y no de factores externos, factores de “confusión” o circunstancias aleatorias.

El enfoque contrafactual: base conceptual de la evaluación de impacto. ¿ Qué es el

El enfoque contrafactual: base conceptual de la evaluación de impacto. ¿ Qué es el enfoque contrafactual?

Enfoque contrafactual: Es una definición de “causa” que implica comparar algo que ocurrió (lo

Enfoque contrafactual: Es una definición de “causa” que implica comparar algo que ocurrió (lo factual, el resultado del programa o política) con algo que no ocurrió (contrafactual, lo que habría ocurrido sin el programa o política). (with vs without) Comparar algo que se observó con algo que no se observó el impacto (el efecto causal) NO SE PUEDE MEDIR, SÓLO SE PUEDE ESTIMAR

Objetivo Estimar el efecto causal (el impacto) de la intervención (el programa, la política)

Objetivo Estimar el efecto causal (el impacto) de la intervención (el programa, la política) P sobre la variable de respuesta Y P: programa, política o intervención Y: medida de éxito Ejemplos: • ¿Cuál es el impacto de los “cash transfer programs” sobre el acceso de las mujeres a programas de atención prenatal a la embarazada? • ¿Cuál es el impacto del etiquetado normado y responsable sobre las tasas de obesidad infantil?

¿Qué hacer entonces? Estimar lo que le habría ocurrido a Y en ausencia de

¿Qué hacer entonces? Estimar lo que le habría ocurrido a Y en ausencia de P. Ya que a un sujeto se le observa sólo bajo la circunstancia de recibir la intervención, hay que conjeturar qué le habría ocurrido de no haberla recibido. A esto llamamos: “ESTIMACIÓN DEL CONTRAFACTUAL” buena La clave de una es un to c a p im e d n ió c a lu a v e o contrafactual apropiad

Objetivo: Determinar el efecto de la intervención (P=1, la puesta en vigor e implementación

Objetivo: Determinar el efecto de la intervención (P=1, la puesta en vigor e implementación de la legislación sobre alimentación saludable) sobre ɤ, que es un parámetro de interés (Ej: la prevalencia de sobrepeso u obesidad infantil) del resultado Y en una población, en relación con la no intervención (P=0): ɤ 1 - ɤ 0, o ɤ 1/ ɤ 0. Problema: ɤ 1 es observable, pero ɤ 0 no es observable. Solución: Buscar un sucedáneo de ɤ 0. Asumiremos que ɤ 0 = ɤB (B es otra población a la que no se aplicó la intervención). Habrá sesgo en la estimación si ɤ 0 ≠ ɤB

Descomponiendo el efecto… Efecto observado = ɤ 1 - ɤB = (ɤ 1 -

Descomponiendo el efecto… Efecto observado = ɤ 1 - ɤB = (ɤ 1 - ɤ 0) + (ɤ 0 - ɤB) Efecto observado = IMPACTO + SESGO En términos relativos:

Ejemplo: ¿Cuál es el impacto de… Darle a Juan Dinero adicional Sobre su consumo

Ejemplo: ¿Cuál es el impacto de… Darle a Juan Dinero adicional Sobre su consumo de caramelos (P) (Y)?

El perfecto clon de Juan El clon de Juan X 6 caramelos IMPACTO=6 -4=2

El perfecto clon de Juan El clon de Juan X 6 caramelos IMPACTO=6 -4=2 4 caramelos

A escala poblacional… estadísticas Tratamiento Controles X Media Y=6 caramelos Media Y=4 Caramelos IMPACTO=6

A escala poblacional… estadísticas Tratamiento Controles X Media Y=6 caramelos Media Y=4 Caramelos IMPACTO=6 -4=2 Caramelos

La búsqueda de buenos “clones” Deseamos encontrar buenos clones (buenos controles) para los Juanes

La búsqueda de buenos “clones” Deseamos encontrar buenos clones (buenos controles) para los Juanes del estudio Los dos grupos deben comportarse del mismo modo respecto de características relevantes, salvo por el hecho de ser o no beneficiarios del programa o política. . En la práctica, se trata de aplicar reglas válidas de elegibilidad y asignación para identificar adecuados “contrafactuales” Si se identifican controles adecuados, la única razón del hallazgo de un efecto sería la intervención

Recapitulando… La evaluación de impacto. . . “es la medición de los efectos CAUSALES

Recapitulando… La evaluación de impacto. . . “es la medición de los efectos CAUSALES de una intervención programa o política sobre sus beneficiarios. El fundamento de la evaluación de impacto es el paradigma contrafactual de la causalidad y se lleva a cabo con el fin de… § Estimar la diferencia (en relación con “end-points” o variables de respuesta clave) entre lo ocurrido con la intervención, programa o política y lo que habría ocurrido sin ella § Identificar resultados o efectos intermedios o finales atribuibles a la intervención

EJEMPLOS • La construcción e instalación de cocinas mejoradas en la región altoandina para

EJEMPLOS • La construcción e instalación de cocinas mejoradas en la región altoandina para reducir las IRA´S. • La implementación de la estrategia “CRECER”: una estrategia focalizada a áreas pobres del Perú para la reducción de la desnutrición crónica. • El empleo de los “cash transfers” en varios países del mundo para estimular la asistencia de las familias a unidades de atención primaria o secundaria y promover diferentes metas de salud (eg. crecimiento y desarrollo y atención perinatal). • La promulgación e implementación de la ley de alimentación saludable.

¿En qué circunstancias se realiza la evaluación de impacto? En proyectos § Innovadores §

¿En qué circunstancias se realiza la evaluación de impacto? En proyectos § Innovadores § Replicables y escalables § Estratégicamente relevantes para alcanzar metas de salud importantes § Cuando la evaluación podría llenar vacíos importantes de conocimiento § Cuando es posible anticipar que el proyecto o programa tendrán un impacto político sustancial.

Tres preguntas clave § ¿Qué resultados se espera obtener con el programa? § ¿De

Tres preguntas clave § ¿Qué resultados se espera obtener con el programa? § ¿De qué modo se proyecta alcanzar dichos resultados? § ¿Cómo se sabrá si se han alcanzado los resultados proyectados?

Estas preguntas clave obligan a prever… q Los insumos q Las actividades q Las

Estas preguntas clave obligan a prever… q Los insumos q Las actividades q Las salidas q Los resultados

Un ejemplo en el ámbito de la desnutrición Nuevos fondos disponibles para implementar un

Un ejemplo en el ámbito de la desnutrición Nuevos fondos disponibles para implementar un proyecto para la reducción de la desnutrición crónica (insumo) Diseño de campañas informativas acerca de la importancia de la lactancia materna y de las buenas prácticas de alimentación y nutrición (actividad) Información disponible y accesible a los padres acerca de la importancia de la lactancia materna y las buenas prácticas de alimentación y nutrición (salida) Mayor número de mujeres en lactancia materna exclusiva (resultado) Menor incidencia de enfermedades diarreicas en los niños (resultado) Menor prevalencia de retardo en talla para la edad en los niños (resultado)

Otro ejemplo: instalación de cocinas mejoradas Fondos provenientes del programa de la cooperación española

Otro ejemplo: instalación de cocinas mejoradas Fondos provenientes del programa de la cooperación española para países de América Latina y el Caribe (insumo) Una campaña de la primera dama con la participación de ONG´s y gobiernos locales para mejorar condiciones de familias altoandinas (insumo) Instalación de cocinas mejoradas que reducen los niveles de contaminación intradomiciliares (actividad) Charlas educativas a las familias para promover el uso de las cocinas y capacitarlas en su mantenimiento (actividad) Alto porcentaje de aceptación de las cocinas y altos niveles de participación en los cursos (salida) Reducción de los niveles de CO 2 y otros contaminantes dentro del hogar (salida) Disminución de la frecuencia de enfermedades respiratorias crónicas (resultado) Mejoría de las variables espirométricas (resultado)

Un contrafactual inapropiado Antes - Después Y A A-C = 2 ¿IMPACT O? T=0

Un contrafactual inapropiado Antes - Después Y A A-C = 2 ¿IMPACT O? T=0 C (contrafactual) A-B = 4 B T=1 Tiempo

Caso 1: Antes - Después ¿Cuál es el efecto de P sobre Y bajo

Caso 1: Antes - Después ¿Cuál es el efecto de P sobre Y bajo el diseño antes – después? Y (1) Sólo se observa a los beneficiarios (P=1) 268 A (2) Dos observaciones en el tiempo: Y en T=0 y Y en T=1. α = 35 233 B T=0 IMPACTO=A-B= 35 T=1 Tiempo

¿Cuál es el problema del diseño antes – después? Mejora la economía: o Impacto=A-C

¿Cuál es el problema del diseño antes – después? Mejora la economía: o Impacto=A-C o A-B sobrestima el impacto Empeora la economía o Impacto=A-D o A-B subestima el impacto Y 268 A ¿Impacto? α = 35 C? 233 B D? T=0 no Antes – después riantes a v o c s la la o r t n co l tiempo e n ia b m a c e qu ¿Impacto? T=1 Tiempo

Otro contrafactual inapropiado Incluidos vs no incluidos Hay datos post-intervención en: o Los incluidos:

Otro contrafactual inapropiado Incluidos vs no incluidos Hay datos post-intervención en: o Los incluidos: grupo beneficiario o Los no incluidos: grupo control (contrafactual) Fueron elegidos como beneficiarios sobre bases arbitrarias. Resolvieron no participar (no recibir la intervención) Sesgo de selección o La razón para no incluirse puede estar correlacionada con el resultado (Y) Puede haber confusores no observados o La estimación del impacto está sesgada (confundida por otros factores)

Elegibilidad y reclutamiento No elegibles Elegibles No incluidos Incluidos

Elegibilidad y reclutamiento No elegibles Elegibles No incluidos Incluidos

Incluidos y no incluidos Resultados medidos después de la intervención (T=1) No elegibles Elegibles

Incluidos y no incluidos Resultados medidos después de la intervención (T=1) No elegibles Elegibles No incluidos Y=290 Incluidos Y=268 ¿En qué aspectos relevantes pueden diferir los elegibles incluidos y los no incluidos?

A-D Recordar I vs NI Comparar los mismos sujetos antes y después de recibir

A-D Recordar I vs NI Comparar los mismos sujetos antes y después de recibir P Comparar un grupo de sujetos enrolados en el programa con otros no enrolados. Problema: Otras influencias pueden haber ocurrido en el tiempo Problema: Sesgo de selección. No sabemos por qué no se enrolaron o no fueron enrolados Ambos contrafactuales pueden sesgar la estimación del impacto.

DISEÑOS Y RECURSOS ANALÍTICOS PARA LA EVALUACIÓN DE IMPACTO

DISEÑOS Y RECURSOS ANALÍTICOS PARA LA EVALUACIÓN DE IMPACTO

§ Asignación aleatorizada § Uso de variables instrumentales (promoción u ofrecimiento aleatorizados) § Apareamiento

§ Asignación aleatorizada § Uso de variables instrumentales (promoción u ofrecimiento aleatorizados) § Apareamiento basado en puntajes de susceptibilidad (“propensity scores”) § Método de la doble diferencia

Elegir el mejor diseño y el mejor método posibles dado el contexto operacional Mejor

Elegir el mejor diseño y el mejor método posibles dado el contexto operacional Mejor diseño Control de fuentes extrañas de variación ¿En qué contextos serían aplicables los resultados? o Mejor grupo control + menor riesgo operacional o o Validez interna Buen grupo control o o o Validez externa Efecto local vs efecto global La evaluación puede extrapolarse a la población que nos interesa

Tratamientos aleatorizados y comparaciones 3. Asignación aleatoria 1. Población 2. Muestra para evaluación X

Tratamientos aleatorizados y comparaciones 3. Asignación aleatoria 1. Población 2. Muestra para evaluación X Controles Tratados = no elegible = Elegible Validez externa Validez interna

Dos casos posibles I. No. de elegibles > No. de posibles beneficiarios Aleatorización de

Dos casos posibles I. No. de elegibles > No. de posibles beneficiarios Aleatorización de la asignación al programa o o Aleatorizar la condición de beneficiario o control Modo justo, equitativo y ético de asignar posibles beneficios a poblaciones con las mismas necesidades. II. No. de posibles beneficiarios > No. de elegibles Aleatorización del momento de ingreso al programa o o Que cada unidad tenga la misma probabilidad de ingresar primera, segunda, tercera… Comparar los grupos según orden de ingreso al programa

Unidad de aleatorización Elija según el tipo de programa o o Individuo / vivienda

Unidad de aleatorización Elija según el tipo de programa o o Individuo / vivienda Escuela / centro de salud Lotes/Municipios/Comunidades Distrito/Área/Región Aleatorice al mínim o nivel de desagregación p osible Tenga en cuenta o Necesita un número mínimo de unidades para detectar un efecto relevante: POTENCIA o Derrames y contaminación o Costos operacionales

Ejemplo ficticio: aleatorización del ingreso T=0 320 T=1 Tiempo Comunidades beneficiarias 186 Comunidades controles

Ejemplo ficticio: aleatorización del ingreso T=0 320 T=1 Tiempo Comunidades beneficiarias 186 Comunidades controles Tiempo de comparación

Asignación aleatoria ¿Cómo sabemos que tenemos buenos clones? En ausencia de la intervención los

Asignación aleatoria ¿Cómo sabemos que tenemos buenos clones? En ausencia de la intervención los grupos deberían ser idénticos Comparamos sus características basales (T=0)

¿Qué características basales? 1. Las que provoquen un desbalance entre beneficiarios y controles. 2.

¿Qué características basales? 1. Las que provoquen un desbalance entre beneficiarios y controles. 2. Las que puedan influir sobre el resultado (Y) en la población de no beneficiarios. 3. Las que no sean, ni una variable mediadora de la asociación entre P y Y, ni una consecuencia del resultado Y. ¡¡ La identificación de las características basales relevantes se hace sobre la base de criterios teóricos (“grounded theory”) y no mediante artificios estadísticos u otros recursos empíricos

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR INTERVENCIÓN ? Y NO CONTROLAR POSIBLES VARIABLES A CONTROLAR

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR INTERVENCIÓN ? Y NO CONTROLAR POSIBLES VARIABLES A CONTROLAR ? Y NO CONTROLAR

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR INTERVENCIÓN ? Y NO CONTROLAR POSIBLES VARIABLES A CONTROLAR

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR INTERVENCIÓN ? Y NO CONTROLAR POSIBLES VARIABLES A CONTROLAR ? Y NO CONTROLAR

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR ? Y CONTROLAR

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR ? Y CONTROLAR

Balance basal Tratamiento Control X 3 233. 4 41. 6 36. 8 233. 47

Balance basal Tratamiento Control X 3 233. 4 41. 6 36. 8 233. 47 42. 3 36. 8 X 4 2. 9 2. 2 X 5 2. 7 2. 6 X 1 X 2

Balance basal (continuación) X 6 X 7 X 8 X 9 X 10 X

Balance basal (continuación) X 6 X 7 X 8 X 9 X 10 X 11 Tratamiento Control 0. 07 0. 42 5. 7 0. 57 1. 67 109 0. 07 0. 42 5. 7 0. 56 1. 71 106

Recuerde En la asignación aleatoria, las muestras suficiente grandes producen grupos intercambiables. Hemos identificado

Recuerde En la asignación aleatoria, las muestras suficiente grandes producen grupos intercambiables. Hemos identificado el clon ideal. Beneficiario aleatorizado Control aleatorizado Es factible en estudio prospectivos Muchos estudios piloto y nuevos programas caen en esta categoría

EL PRINCIPIO DE LAS VARIABLES INSTRUMENTALES OFRECIMIENTO Y PROMOCIÓN ALEATORIOS

EL PRINCIPIO DE LAS VARIABLES INSTRUMENTALES OFRECIMIENTO Y PROMOCIÓN ALEATORIOS

Una variable instrumental es una variable generada por un mecanismo tal: Ø que no

Una variable instrumental es una variable generada por un mecanismo tal: Ø que no está afectada por variables de control relevantes, Ø que se asocia con la intervención Ø cuyo efecto sobre Y está totalmente mediado por la intervención

A Variable instrumental (VI) INTERVENCIÓN B POSIBLES VARIABLES A CONTROLAR Y C = EFECTO

A Variable instrumental (VI) INTERVENCIÓN B POSIBLES VARIABLES A CONTROLAR Y C = EFECTO TOTAL DE LA VI SOBRE Y = A * B B (IMPACTO) = C / A

Bajo estas circunstancias: ASOCVI-Y = ASOCVI-P * ASOCP-Y = ASOCVI-Y / ASOCVI-P

Bajo estas circunstancias: ASOCVI-Y = ASOCVI-P * ASOCP-Y = ASOCVI-Y / ASOCVI-P

¿Qué hacer si no podemos elegir? No siempre es posible elegir un grupo control.

¿Qué hacer si no podemos elegir? No siempre es posible elegir un grupo control. Por ejemplo: o Programas nacionales para los que todos son elegibles o Programas de participación voluntaria o Programas de los que no se puede excluir a nadie ¿Se puede comparar los incluidos con los no incluidos? ¡Sesgo de selección!

Ofrecimiento o promoción aleatorias Si es posible excluir a algunas unidades pero no obligar

Ofrecimiento o promoción aleatorias Si es posible excluir a algunas unidades pero no obligar a nadie: o o o Ofrezca el programa a una submuestra aleatoria Muchos aceptarán Otros no aceptarán Ofrecimiento aleatorio Si no se puede excluir a nadie, ni obligar a nadie: o o Haga el programa accesible para todos Pero proporcione una promoción adicional o incentivos a una submuestra aleatoria. Información adicional Estúmulos para participar Pequeños incentivos materiales Por ejemplo, transporte si se requiriera Promoción aleatoria

Programas con ofrecimiento o promoción aleatorias Condiciones necesarias: 1. Los grupos (con o sin

Programas con ofrecimiento o promoción aleatorias Condiciones necesarias: 1. Los grupos (con o sin ofrecimieto; con o sin promoción) son intercambiables: • El ofrecimiento o la promoción no se asocia a características relevantes de la población conectadas con el resultado • Normalmente esto lo garantiza la aleatorización 2. El grupo con ofrecimiento o promoción tiene mayor partipación en la intervención. 3. Ni el ofrecimiento ni la promoción afectan directamente el resultado

Programas con promoción y ofrecimiento aleatorios 3 grupos de unidades o individuos Con oferta

Programas con promoción y ofrecimiento aleatorios 3 grupos de unidades o individuos Con oferta o promoción Sin oferta ni promoción Nunca se enrolan Sólo se enrolan con oferta o promoción Siempre se enrolan X X X

Oferta o promoción aleatorias Aleatorice promoción/oferta del programa Elegibles Sin oferta o promociòn Participación

Oferta o promoción aleatorias Aleatorice promoción/oferta del programa Elegibles Sin oferta o promociòn Participación X X Con oferta o promoción Nunca Sólo con oferta o promoción Siempre 0

Oferta y promoción aleatorizadas La oferta/promoción aleatorizada es una “variable instrumental” (VI) o o

Oferta y promoción aleatorizadas La oferta/promoción aleatorizada es una “variable instrumental” (VI) o o La VI se asocia al tratamiento pero no se asocia a ninguna variable controlable. . Su efecto se ejerce sólo a través del tratamiento o intervención. (Promover u ofrecer per se no tienen ningún impacto) UUsando este método estimamos el efecto del tratamiento sobre los tratados o Es un efecto de tratamiento local, válido sólo para ) o En el ofrecimiento aleatorio: tratados=los que recibieron el ofrecimiento y aceptaron o En la promoción aleatorizada: tratados=los que recibieron la promoción y aceptaron

Con oferta o promoción. P=80%; Y=100 Nunca se enrolan Sin oferta ni promoción. P=30%;

Con oferta o promoción. P=80%; Y=100 Nunca se enrolan Sin oferta ni promoción. P=30%; Y=80 Impacto ∆P=50% ∆Y=20 IMPACTO = 20 / 50 = 40 Sólo se enrolan con oferta o promoción Siempre se enrolan

Ejemplo de ofrecimiento aleatorio Grupo al que se ofreció Grupo al que no se

Ejemplo de ofrecimiento aleatorio Grupo al que se ofreció Grupo al que no se le ofreció Impacto Aceptaron = 92% Y media = 268 Aceptaron: 0% Y media = 239 ∆=0. 92 ∆Y=29 Impacto= 29/0. 92 =31 - Nunca aceptan Aceptan si se les ofrece Siempre aceptan - - -

Para recordar Ofrecimiento o promoción aleatorias La promoción aleatoria debe ser una estrategia de

Para recordar Ofrecimiento o promoción aleatorias La promoción aleatoria debe ser una estrategia de promoción efectiva. (Se recomienda prueba piloto previa) La estrategia de promoción contribuirá a la comprensión de cómo incrementar la aceptación además del impacto del programa No se excluye a nadie, pero… La estrategia depende del éxito o la validez del ofrecimiento o la promoción La estrategia estima un efecto promedio local. La estimación del impacto es válida sólo para beneficiarios con sombreros triangulares. (reducida validez externa)

Idea Pareamiento (Matching) Para cada sujeto (familia) beneficiada utilice el mejor “match” posible. ¿Cómo?

Idea Pareamiento (Matching) Para cada sujeto (familia) beneficiada utilice el mejor “match” posible. ¿Cómo? Los “matches” se seleccionan sobre la base de similitudes en características observadas. ¡Problema! Si hay atributos no observados que influyen en la participación, esto entraña sesgo de selección

Apareamiento por puntajes de susceptibilidad (propensity score matching) Grupo de comparación: controles con las

Apareamiento por puntajes de susceptibilidad (propensity score matching) Grupo de comparación: controles con las mismas características observables que los beneficiarios. o El apareamiento de este tipo es impracticable o Puede haber muchas características relevantes. Apareamiento sobre la base de un “propensity score”. Un valor que condensa la información de todas las variables relevantes conocidas.

Distribución de los puntajes de susceptibilidad ensidad No beneficiarios Beneficiario s Área de selección

Distribución de los puntajes de susceptibilidad ensidad No beneficiarios Beneficiario s Área de selección 0 Puntajes de susceptibilidad 1

Pasos en el apareamiento según puntajes de susceptibilidad 1. 2. 3. 4. 5. Suele

Pasos en el apareamiento según puntajes de susceptibilidad 1. 2. 3. 4. 5. Suele usarse en datos obtenidos a partir de encuestas probabilísticas y de gran tamaño Se utiliza un modelo estadístico para construir el puntaje. Restringir la comparación a los casos con similar puntaje de susceptibilidad. Hay dos opciones: aparear según calibres de susceptibilidad o incluir el puntaje de susceptibilidad como variable de control en el análisis Comparar los grupos en relación con las variables de respuesta.

Métodos para la medición de impacto El método de la doble diferencia

Métodos para la medición de impacto El método de la doble diferencia

Diferencias en diferencias Y=Variable de respuesta (proporción) P : Intervención Con intervención Sin intervención

Diferencias en diferencias Y=Variable de respuesta (proporción) P : Intervención Con intervención Sin intervención Antes 0. 74 0. 81 Después 0. 60 0. 78 +0. 14 +0. 03 Diferencia - - Dif en Dif: Impacto=(Yt 1 -Yt 0)-(Yc 1 -Yc 0) = 0. 11

Diferencias en diferencias Y=Variable de respuesta (proporción) P : Intervención Con intervención Antes 0.

Diferencias en diferencias Y=Variable de respuesta (proporción) P : Intervención Con intervención Antes 0. 74 Después 0. 60 Sin intervención -0. 81 -0. 78 Diferencia -0. 07 - -0. 18 = 0. 11 Dif-in-Dif: Impacto=(Yt 1 -Yc 1)-(Yt 0 -Yc 0)

Impacto =(A-B)-(C-D)=(A-C)-(B-D) Sin intervención Y C=0. 81 D=0. 78 A=0. 74 Con intervención Impacto=0.

Impacto =(A-B)-(C-D)=(A-C)-(B-D) Sin intervención Y C=0. 81 D=0. 78 A=0. 74 Con intervención Impacto=0. 11 B=0. 60 T=0 Antes T=1 Después Tiempo

Impact =(A-B)-(C-D)=(A-C)-(B-D) Sin intervención Y C=0. 81 D=0. 78 A=0. 74 Impacto<0. 11 Con

Impact =(A-B)-(C-D)=(A-C)-(B-D) Sin intervención Y C=0. 81 D=0. 78 A=0. 74 Impacto<0. 11 Con intervención B=0. 60 T=0 Antes T=1 Después Tiempo

Tomar en cuenta Doble diferencia combina Con & Sin with Antes & Después Pendiente:

Tomar en cuenta Doble diferencia combina Con & Sin with Antes & Después Pendiente: : Generar un contrafactual para el cambio en Y Las tendencias son iguales en beneficiarios y no beneficiarios (Premisa fundamental) Se necesitan al menos tres observaciones en el tiempo o 2 observaciones antes o 1 observación después