El esfuerzo emprico y sus problemas cmo medir

El esfuerzo empírico y sus problemas: ¿cómo medir la eficacia de la ayuda internacional? José Antonio Alonso Catedrático de Economía Aplicada Universidad Complutense www. alonsojoseantonio. com

Introducción • 1. - La complejidad de la dinámica del desarrollo y las dificultades para el respaldo empírico (endogeneidad, relaciones no lineales, multiplicidad de causas relacionadas, … • 2. - El papel de la prueba empírica: no tanto por su valor apodíctico, sino como fuente de información para construir un diálogo (siempre inconcluso) entre teoría y realidad • Propósito de la exposición: – demostrar la naturaleza de ese diálogo en el caso de los estudios sobre la eficacia de la ayuda: creatividad y rigor • Pertinencia: – La existencia de un debate encendido sobre la ayuda internacional y su eficacia. La necesidad de buscar soporte empírico robusto a las posiciones en conflicto

Estructura • 1. - La evaluación de las políticas públicas (y de la ayuda internacional) • 2. - Los estudios micro de eficacia de la ayuda internacional • 3. - Los estudios sobre el impacto agregado de la ayuda • 4. - Algunas consideraciones finales

1. - LA EVALUACIÓN DE LAS INTERVENCIONES PÚBLICAS

Razones para la evaluación • 1. - Toda política pública debiera ser evaluada. La evaluación como parte del ciclo de gestión de políticas basadas en resultados (evidence-based public policy) • 2. - Con mayor razón en el caso de la ayuda internacional por: – 1. - Política carente de mecanismos solventes de identificación y corrección del error – 2. - Intervenciones que se realizan fuera de las fronteras nacionales, en entornos de difícil escrutinio para los principales de la política pública – 3. - Actividad abierta al aprendizaje a partir de la experiencia

Principales interrogantes • 1. - Efecto neto de la intervención (hipótesis solvente acerca del contrafáctico) • 2. - Las relaciones de causalidad que cabe establecer entre insumos y actividades propios de la intervención y los impactos derivados de ella. • 3. - Cómo se han distribuido los impactos de la distribución (cómo se distribuyen los costes y beneficios entre los actores sociales – stakeholders- implicados) • Dos tradiciones diferenciadas en sus enfoques, metodologías y capacidades puestas en juego: – Evaluación micro: ¿la intervención ha tenido el impacto que se pretendía? – Evaluación macro: ¿la ayuda ha tenido en un país los efectos deseados?

2. -EFICACIA MICRO

El enfoque del marco lógico • El enfoque del Marco Lógico: una secuencia ordenada de factores a considerar, de acuerdo con una cadena causal establecida – Eficiencia – Eficacia – Impacto – Pertinencia – Sostenibilidad • Valoración: informes descriptivos de limitado contenido analítico

Evaluaciones de impacto • Identificación de las relaciones de causalidad, lo que implica la construcción de un contrafáctico con capacidad de ser sometido a contraste empírico a= (Y/P=1)-(Y/P=0) • Dos vías – Comparaciones intertemporales: comparaciones entre el “antes” y el “después” – Comparaciones intergrupales: comparaciones entre los “implicados” y los “no implicados” • Problema esencial: cómo hacemos para que no haya problemas (sesgos) en la composición de los grupos

Procedimientos experimentales y quasi-experimentales • 1. - Diferencia de diferencias (difference in differences): se eliminan las particularidades que se relacionan con factores estructurales o fijos propios de cada uno de estos grupos • 2. - Correspondencia (matching): identificar para cada observación aquella que tenga el máximos de características semejantes a aquella (salvo por la intervención) • 3. - Regresión discontinua (regression discontinuity design): aprovechar la frontera del umbral de selección para hacer comparaciones entre el grupo de tratamiento y el de control • 4. - Métodos de selección aleatoria (randomized controlled trials): establecer una regla de asignación y proceder de forma aleatoria a la formación de los grupos de tratamiento y control

Random Controlled Trials Treatment group Eligible Population Evaluation Sample Control group Random assignement

Planteamiento analítico

Diferencias en diferencias Impacto C T 0 t

Diferencia en diferencias

Regresiones discontínuas c-h c c+h

Regresión discontínua

Matching

Ejemplos del grado de eficacia

3. - EVALUACIÓN AGREGADA

Métodos • 1. - Cross-country regressions (con o sin variables instrumentales) • 2. - Series temporales aplicados a un caso nacional (con o sin tratamiento de la endogeneidad) • 3. - Paneles estáticos y dinámicos (igualmente con o sin tratamiento de la endogeneidad)

Primera etapa • 1. - Inocencia originaria – Las mediciones de Rosenstein-Rodan (1961) o Milikan y Rstow (1957) – La Comisión Pearson • 2. - Crítica: liberales (Bauer) y dependentistas (Gunder Frank) • 3. - El descubrimiento de la fungibilidad de la ayuda: Griffin (1970) y Griffin y Enos (1970) • 4. - El impacto de la ayuda sobre el ahorro (Gupta, 1970 y 1975; Massell et al. , 1972; Papaneck, 1973) • 5. - El impacto de la ayuda sobre la inversión (Heller, 1975, Levy, 1987, 1988; Khan y Hoshino, 1992; Feyzioglu, et al. , 1998) • 6. - El impacto de la ayuda sobre el crecimiento (Papaneck, 1973; Voivodas, 1973; Gupta e Islam, 1983; Levy, 1988; Mosley et al. , 1987, 1992)

Relaciones dy/yy/y I S A

Relaciones d. Y/Yy/y I S A

Relaciones d. Y/Yy/y I S A

Balance de resultados

Segunda etapa • 1. - Boone (1994, 1996) • 2. - El consenso de Washington y la condicionalidad exante (“el policy gap”) – “Comprar” buenas políticas – Reducir los grados de holgura de los gobiernos locales • 3. - El fracaso de la condicionalidad exante y el tránsito hacia la selectividad (condicionalidad expost) • Burnside y Dollar (2000) • 4. - La reacción frente a la selectividad – Crítica al sentido de “buenas políticas e instituciones” – Grado de robustez de las estimaciones – Coste de las recomendaciones

Relaciones: condicionalidad exante d. Y/Y P A

Relaciones: condicionalidad expost d. Y/Y P AP A

Tercera etapa • 1. - Rendimientos marginales decrecientes de la ayuda – Enfermedad holandesa (Durbarry et al. , 1999; Rajan y Subramanian, 2005 y 2008) – Limitada capacidad de absorción del receptor (Hadjimichael et al. , 1995) – Destrucción institucional (Lensink y White, 2001; Alonso et al. , 2012) • 2. - Incertidumbre e inestabilidad de los flujos (Lensink y Morrissey, 2000) • 3. - Condicionalidad de factores nacionales – Politicas (Dollar y Burnside, 2004) – Precios de exportación (Collier y Dehn, 2001) – Grado de vulnerabilidad de los países (Guillaumont y Chauvet, 2001 y 2004) – Inestabilidad política (Chauvet y Guillaumont, 2004) – Grado de democracia (Svensson, 1999) – Reducida dimensión del gobierno (Economides et al. , 2008)

Efectos de la imprevisibilidad de la ayuda d. Y/Y s. A + A

Efectos de la deoendencia de la ayuda d. Y/Y A 2 + A

Estudios más recientes • 1. - Desagregación de la ayuda – Componentes de medio y largo plazo: Clemens et al. , 2012 – Propósitos de las intervenciones. Bjornskov, 2013 • 2. - Identificación de variables intermedias (capital físico y humano): Arndt et al. , 2013 • 3. - Comportamiento en el tiempo de las variables (paneles dinámicos): Nowak-Lehman et al. , 2012 • 4. - Condicionalidad geográfica (e institucional): Dalggard et al. , 2004) • 5. - Efecto sobre la competitividad y la calidad institucional: Rajan y Subramanian, 2005 y 2008, Djankov et al. , 2008; Alonso et al. , 2013 • 6. - Impacto de largo plazo: Herzer y Morrisey (2009) • 7. - Meta análisis: – Rubin Causal Model: Arndt et al. , 2010 – Meta-Significance Meta Regression Model: Doucouliagos y Paldam (2008 y 2010) – Crítica a sus conclusiones: Mekasha y Tarp (2013)

Externalidades negativas d. Y/Y Comp IQ + A -

Vía instituciones d. Y/Y IQ + A 2 A

CONCLUSIONES

Dificultades • Fundamentación teórica: la ayuda en el proceso de convergencia: – Variables del estado estacionario – Relación entre la ayuda y la inversión • Contraste empírico – Problema de la endogeneidad – Carácter potencialmente no lineal de las relaciones (y sus dificultades) – Muchas variables, altamente relacionadas, con una ayuda pequeña y mal medida (ruido estadístico)

Algunas orientaciones para los gestores • 1. - El efecto de la ayuda se detecta mejor en el corto/medio plazo que en el largo • 2. - La ayuda es más eficaz en contextos en los que ayuda a relajar restricciones a las que se enfrenta el país • 3. - La relación entre ayuda y crecimiento parece sometida a rendimientos decrecientes • 4. - La inestabilidad de la ayuda influye negativamente sobre la eficacia • 5. - La ayuda influye positivamente sobre la calidad institucional y la capacidad recaudatoria, pero con rendimientos decrecientes • 6. - Es posible que factores nacionales influyan en la eficacia de la ayuda, pero no se sabe a ciencia cierta cuáles y cómo influyen