Evaluacin de Impacto y Aprendizaje de Polticas Agustina

Evaluación de Impacto y Aprendizaje de Políticas Agustina Hatrick CAF-banco de desarrollo de América Latina Montevideo 17 -18 diciembre 2018

19 Desde 1970, CAF promueve el desarrollo sostenible y la integración regional a través de sus operaciones de crédito, recursos no reembolsables y apoyo en la reestructuración técnica y financiera de proyectos. Países miembros +20. 000 MM USD en préstamos +80% Préstamos públicos

Créditos Servicios financieros Servicios de conocimiento Cooperación técnica Dirección de evaluación de impacto y aprendizaje de políticas

Evaluación de impacto y aprendizaje de políticas Promovemos el uso de evidencia rigurosa en la toma de decisiones públicas en América Latina Evaluación de impacto como herramienta de gestión pública 1. Permite responder en qué medida un programa logra su objetivo. 2. Permite pensar en posibles ajustes de diseño o de implementación para mejorar su desempeño. 3. Permite instaurar una cultura de aprendizaje en nuestras instituciones públicas.

Sobre la DEIAP Evaluación de Impacto y Aprendizaje de Políticas Principios Relevancia Aprendizajes que sean relevantes para los implementadores Rigor Más altos estándares de calidad técnica Ética Compromiso con el respeto por los derechos y libertades de todos los sujetos de investigaciones científicas

Sobre la DEIAP Evaluación de Impacto y Aprendizaje de Políticas Áreas estratégicas Liderar evaluaciones de impacto de política pública Capacitar funcionarios públicos en evaluación de impacto Acercar y difundir evidencia entre los funcionarios públicos de la región

Evidencia global Evaluación de Impacto y Aprendizaje de Políticas Acercar y difundir evidencia Ayudamos a divulgar en español evidencia rigurosa derivada de las evaluaciones de impacto. 22 100 Documentos sobre evaluaciones de impacto de CAF Traducciones de documentos de síntesis de evidencia de nuestros aliados

Capacitación Evaluación de Impacto y Aprendizaje de Políticas Capacitación Brindamos servicios de formación a los funcionarios públicos de la región TALLERES CAMBIO DE TEORÍA DEL SEMINARIO DE MEDICIÓN DE IMPACTO PARA EL DESARROLLO (SEMIDE) MOOC de INTRODUCCIÓN A EVALUACIÓN DE IMPACTO PARA GESTIÓN PÚBLICA LA LA

Evaluaciones Liderar evaluaciones de impacto a) Proyectos internos: operaciones de crédito de CAF b) Proyectos externos Trabajamos de la mano de los ejecutivos de negocio y clientes de CAF o clientes externos, con un foco especial sobre funcionarios públicos para que promuevan una cultura de aprendizaje en sus organizaciones Evaluación de Impacto y Aprendizaje de Políticas

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas Evaluación de impacto como herramienta de gestión Nuestra prioridad es responder las preguntas de los hacedores de política Es por esto que: - Nos enfocamos en generar información útil para la toma de decisiones públicas. - Apalancamos recursos académicos. - Trabajamos de la mano del hacedor de política, involucrándolo en todo el proceso de evaluación.

Evaluaciones ¿Qué es una evaluación de impacto? Permite identificar los cambios sobre individuos, familias o instituciones causados por un programa, iniciativa, política pública o proyecto específico. La clave es que permite • Cuantificar los cambios. • Aislar otros factores que podrían tener también influencia en los beneficiarios del programa. Pregunta central: ¿Qué hubiese pasado con aquellos que recibieron el programa si no lo hubiesen recibido?

Evaluaciones Pregunta central: ¿Qué hubiese pasado con aquellos que recibieron el programa si no lo hubiesen recibido? Situación con programa vs. Situación sin programa No podemos responder esa pregunta porque: ü Necesitaríamos observar al mismo individuo, con y sin el programa ü …pero es imposible observar al mismo individuo en los dos estados en un mismo momento del tiempo (con y sin programa…)

Evaluaciones Gran reto de la evaluación Construir un grupo de comparación para determinar qué les hubiese sucedido a los beneficiarios del programa en ausencia de este. CONTRAFACTUAL Grupo de Tratamiento • vs. Grupo de Control ¿Podríamos evaluar el impacto comparando a los beneficiarios antes y después del programa?

Comparación de beneficiarios antes y después Variable de impacto Programa ¿Impacto del programa? NO… Necesitamos el contrafactual t = 2018 Antes del programa Tiempo t = 2019 Después del programa

Comparación de beneficiarios antes y después Variable de impacto Programa Con programa -Tratamiento ¡El programa no tiene impacto! Sin Programa- Control t = 2018 Antes del programa Tiempo t = 2019 Después del programa

¿Cómo generamos un grupo comparación (control) adecuado? de • Ambos grupos (tratamiento y control) deberían parecerse lo más posible y solo diferenciarse en que a uno le tocó el programa y al otro no. • La mejor forma de lograr esto es con asignación aleatoria del programa sorteo de beneficiarios Grupo de Tratamiento vs. Grupo de Control • Se comparan los indicadores de impacto entre estos grupos luego de que el grupo tratamiento haya recibido el programa. • Existen otros métodos cuasi-experimentales: diferencias en diferencias, regresión discontinua, matching, etc.

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas Actores que se involucran en el proceso de evaluación Contraparte Asesor académico DEIAP Instituciones públicas de toda la región • Ejecutoras • Unidades de evaluación • Unidades de planificación

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas Actores que se involucran en el proceso de evaluación DEIAP 1. Destinar el recurso humano necesario para el diseño, ejecución, análisis y elaboración de informes asociados al proceso de evaluación 2. Proveer los servicios de asesores académicos en caso de que sean requeridos. 3. Elaborar todos los informes asociados a las etapas del proceso de evaluación.

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas Actores que se involucran en el proceso de evaluación Contraparte 1. Destinar los recursos humanos necesarios para la etapa de diseño, ejecución y análisis de resultados de las evaluaciones 2. Proporcionar de forma oportuna a las partes la información administrativa necesaria para el desarrollo de la evaluación. 3. Respetar el diseño metodológico de las evaluaciones una vez acordado por la totalidad de las partes

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas Actores que se involucran en el proceso de evaluación Asesor académico 1. Brindar asesoramiento en el diseño metodológico de la evaluación. 2. Validar el análisis de información y los métodos utilizados.

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas Nuestra experiencia: Solicitudes de proyectos de evaluación desde el 2013 Proyectos de evaluación activos • +180 solicitudes de proyectos de evaluación de impacto desde el 2013 130 110 • +49 proyectos activos en 10 países de 81 América Latina 52 51 • +20 proyectos concluidos 3 8 8 16 may-13 dic-13 19 50 56 49 24 dic-15 dic-16 dic-17 Nov-18

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas

Evaluaciones Evaluación de Impacto y Aprendizaje de Políticas 49 proyectos activos v Capacidad del Estado 12 9 45% 8 Internos v Educación 6 4 ge n Ar 3 1 1 tin Bo a liv ia Br C as ol om il Ec bia ua Pa dor na Pa m ra á gu ay Pe U ru rú Ve gu ne ay zu el a 1 4 55% Externos 10 8 v Inclusión Social 8 v Infraestructura 13 v Productividad 4 v Seguridad Ciudadana 5 v Energía 1

Líneas de acción Evaluación de Impacto y Aprendizaje de Políticas Convocatorias de propuestas de evaluaciones de impacto 61 6 propuestas 200 1ª Ventana: 8 2ª Ventana: 6 207 1ª Ventana: 4

Líneas de acción Evaluación de Impacto y Aprendizaje de Políticas Fases de una evaluación de impacto 1 Exploración inicial 2 3 Diseño Gestión 4 Difusión de resultados Implementación Publicación Identificación Diseño de la de de pregunta metodología y seguimiento de evaluación Levantamiento y productos de difusión análisis de información 5 6 Cierre Concluido Encuesta de seguimiento de proyectos (+1 año)

Líneas de acción Evaluación de Impacto y Aprendizaje de Políticas Tipos de evaluaciones Evaluación de política • Estudios del impacto final de la intervención. Es decir, estudios para medir los efectos de programas que buscan generar un beneficio en una población objetivo. Evaluaciones de gestión • Estudios sobre cambios en el uso de recursos a lo interno de la institución ejecutora, para mejorar la entrega de servicios. Dicho de otra forma: estudios que miden los efectos de programas que busquen mejorar los procesos dentro de la gestión pública.

Ejemplos Fútbol para el Desarrollo Visitas de recaudación de impuestos Evaluación de Impacto y Aprendizaje de Políticas Programa de fútbol para 1. 731 niños en edades de entre 5 y 11 años, de Lima, Perú. Objetivo de la evaluación: medir si el programa mejora las habilidades cognitivas y socioemocionales de los niños. Visitas personales de funcionarios de la Dirección de Impuestos y Aduanas Nacionales (DIAN) a contribuyentes. Objetivo de la evaluación: medir qué tan efectivas son cartas, emails y visitas personales para aumentar el cumplimiento de los pagos.

Evaluación de Impacto y Aprendizaje de Políticas Evaluaciones de gestión suelen ofrecer ventajas significativas: Menos obstáculos 1 2 3 Bajo costo Resultados rápidos Costo político menor SOMOS CANTOLAO +130 k Levantamiento USD de datos 6 meses Cada ronda de levantamiento Exclusivo No todos los niños pueden participar Día nacional de recaudación de impuestos de la DIAN vs. vs. 0 USD Data administrativa 2 días Descargar y enviar data Inclusivo Todos los contribuyentes son tratados

Evaluaciones de gestión suelen ofrecer ventajas significativas: 4 Se enfocan en generar información útil para la toma de decisiones 5 Es más fácil incluir al policymaker durante todo el proceso de evaluación Evaluación de Impacto y Aprendizaje de Políticas Aumentan la probabilidad de que los aprendizajes derivados del proceso de evaluación sean incorporados Generan capacidades y ayudan a instaurar una cultura de aprendizaje en la institución

Ejemplos Evaluación de Impacto y Aprendizaje de Políticas Evaluación de impacto Programa de conexiones sanitarias domiciliarias Argentina

¿Por qué evaluar el programa? Necesidad de consolidar política pública Analizar la viabilidad de la herramienta/programa Optimización de diseño y fortalecimiento de resultados 31

Ejemplo Evaluación de Impacto y Aprendizaje de Políticas • Descripción del programa Objetivo Brindar asistencia técnica y financiera para facilitar la conexión domiciliaria a redes de desagüe cloacal. Población objetivo Familias de ingresos bajos y medios-bajos de urbanizaciones emergentes y cuyas viviendas se encuentren desconectadas o mal conectadas a la red de desagües cloacales. Diseño de intervención - Crédito con subsidio al capital según ingresos (30%, 60%, 90%) - Abordaje e inserción social - Campañas de comunicación y difusión

Descripción del programa: actores y actividades Promotor 1 Abordaje social en barrios incluidos en el Programa 2 Relevamiento de potenciales beneficiarios 3 Vinculación con los instaladores autorizados 5 Valida proyecto ejecutivo 9 Certifica el fin de obra Usuario 6 Firma el contrato del crédito 3 7 10 Banco Hipotecario y Pro. Cre. Ar Valida elegibilidad de beneficiario Emite adelanto para el instalador Instalador 4 Visita al domicilio y confección de proyecto. 8 Ejecuta la obra Emite el pago final 33

Descripción del programa: etapas El programa va avanzando de manera escalonada COHORTE S 34

Preguntas de la evaluación Impacto ¿Qué efectos tiene el programa sobre la calidad de vida de los beneficiarios? ¿Cuáles son los condicionantes para la adhesión al crédito? Evaluación de impacto Resultados ¿El programa ayuda a incrementar la conexión de la población objetivo? Evaluación de resultados Procesos ¿Qué aspectos se pueden mejorar de la implementación del programa? Evaluación de procesos (SIEMPRO) 35

Preguntas de la evaluación Impacto ¿Qué efectos tiene el programa sobre la calidad de vida de los beneficiarios? Resultados ¿El programa ayuda a incrementar la conexión de la población objetivo? ¿Cuáles son los condicionantes para la adhesión al crédito? ¿La entrega de información sobre beneficios del programa ayuda a incrementar la adhesión al programa? Procesos ¿Qué aspectos se pueden mejorar de la implementación del programa? Evaluación de impacto sobre intervención informativa 36

Limitaciones/desafíos • Esta evaluación de impacto se está realizando sobre un programa piloto e incorpora innovaciones respecto a intervenciones anteriores • Posible desgranamiento, bajo take-up: • Ventaja: podemos detectarlo si se recoge información del programa, o insistir con la estrategia informativa. • Preguntas que no podemos responder: • • • Tamaño “óptimo” del subsidio Efectos de esta intervención sobre contaminación en (toda) la cuenca Efectos de largo plazo ya que toda la población es beneficiada

Desgranamiento VISITA 2 (ENCUESTA) VISITA 3 (ANUNCIO VISITA 4 (inspección de VISITA 5 (firma conjunta BENEFICIO Y SELECCIÓN hogar para Proyecto del proyecto) DE INSTALADOR) Ejecutivo) Validación del PE VISITA 6 (firma del contrato) VISITA 7 (inspección cierre de obra) Obra realizada PE válido Firma el contrato PE no válido (se debe revisar, pero no debería caer) No firma el contrato (H) Firma conjunta Recibe al instalador Elegible y selecciona instalador Encuestado y no tiene cloaca Encuestado y tiene cloaca No encuestado (ausentes o rechazos). Algunos tienen cloacas, otros no (A) Elegible y rechaza beneficio (B) Elegible pero no es posible recontactar (C) No es elegible por ingreso No recibe al instalador (D) No acude el instalador (E) Rechaza presupuesto (F), instalador no presenta proyecto (G) Obra no realizada (I)

Diseño del experimento - Universo: 811 lotes de la cuenca 2 del barrio Villa Fiorito - Unidad de intervención: lotes - Definición de lotes: Registro Nacional de Barrios Populares (RENABAP) con código de identificación

Diseño del experimento - Se aprovecha la intervención escalonada en el tiempo para construir grupos de tratamiento y control - Asignación aleatoria de lotes a cada cohorte - Cohorte 1 y 2: forman el grupo tratamiento - Cohorte 3 y 4: conforman el grupo control - Todos lotes reciben el beneficio Cohorte 1 Cohorte 2 Cohorte 3 Cohorte 4 Total Cantidad de lotes 203 202 203 811 Grupo Tratamiento Control

Diseño del experimento

Diseño del experimento LÍNEA DE BASE SEGUIMIENTO 42

Aprendizajes durante la evaluación • Diagnóstico de los habitantes del barrio • Mejor sistematización de la información que ayuda al seguimiento y gestión del programa • Recomendaciones derivadas de la evaluación de procesos sobre la implementación del programa • Identificación de los lotes • Mejoras en la estrategia comunicacional del programa

Conclusiones Fortalecimiento institucional Creación de grupo de aprendizaje interno Nueva demanda de Evaluación de Impacto Adopción de lecciones y mejora visible Utilidad para la gestión Generación de capacidades durante la evaluación

El objetivo es lograr instituciones que aprendan de su experiencia

• • América Latina necesita instituciones públicas que aprendan de su acción La evaluación de impacto nos puede ayudar a construirlas

Trabajemos juntos para generar evidencia y aumentar el impacto de nuestros proyectos