SEMINARIO INTERNACIONAL EXPERIENCIAS Y DESAFOS DEL MONITOREO Y

SEMINARIO INTERNACIONAL “EXPERIENCIAS Y DESAFÍOS DEL MONITOREO Y LA EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE” 201 FACTORES QUE LIMITAN EL USO DE LA INFORMACIÓN DE LA EVALUACIÓN EXTERNA DE PROGRAMAS PRESUPUESTARIOS EN MÉXICO DRA. JAQUELINE ESPERANZA MEZA URÍAS

Contenido 1. 2. 3. La evaluación como concepto teórico 4. 5. Preguntas por responder y posibles respuestas 6. Objetivos y fin último de la evaluación Situación actual del uso instrumental de la evaluación externa en México y en las entidades federativas Principales resultados y Apoyo o rechazo a las respuestas planteadas Recomendaciones y oportunidades en las entidades federativas

La Gestión para Resultados en el Desarrollo (Gp. RD) Planeación para resultados Presupuesto por resultados Seguimiento y Evaluación Liderazgo político (Liderazgo de autoridades superiores) Crear sistemas de información (¿Qué se quiere medir? Involucramiento de actores relevantes Gestión de programas y proyectos Gestión financiera

La Evaluación desde las políticas públicas

Diferentes objetivos de la evaluación externa Técnicos Evaluación Políticos

El fin último de la evaluación Fuente: Eval. Partners (2015, p. 3)

Sin embargo… a. No existe evidencia suficiente que demuestre que siguiendo esta relación causal entre las etapas del modelo se pueda lograr mejorar los niveles de bienestar de las personas a nivel país. b. Se han encontrado estudios de caso donde la información de la evaluación externa ha ayudado a modificar algún aspecto del diseño u operación de programas o de sus resultados, caso del programa Prospera de la SEDESOL

Situación actual del uso instrumental de la evaluación externa en México 1. 2. Según datos del Coneval entre 2007 y 2013 los funcionarios públicos federales reportaron un nivel de conclusión de los ASM de programas de desarrollo social de alrededor del 60%. Adicionalmente, según el Coneval (2014) el porcentaje de recomendaciones, derivadas de evaluaciones externas realizadas a programas sociales en el periodo 2012 -2013, que fueron seleccionadas como ASM fue del 46%

Situación actual del uso instrumental de la evaluación externa a nivel federal Los datos anteriores permiten afirmar que el nivel de uso o utilización de la información de las evaluaciones externas de programas presupuestarios federales en México es limitado.

Situación actual del uso de la información de las evaluaciones externas en las entidades federativas 1. Sólo el 41% de las entidades federativas toma en cuenta los resultados de las evaluaciones para la mejora de los programas 2. Sólo el 47% de las entidades federativas cuenta con un mecanismo formal de seguimiento a las recomendaciones derivadas de las evaluaciones externas Fuente: SHCP (2016). Principales resultados del Diagnóstico Pb. R-SED 2016 en Presentación del Diagnóstico Pb. R-SED 2017. p. 8

Avances del Pb. R-SED 2018 en el estado de Chihuahua: 89. 1%

Evolución del Índice general de avance en Pb. R-SED en el Estado de Chihuahua Año Pb. R-SED (%) 2010 35 2012 57 2014 70. 6 2015 86. 9 2016 84. 6 2017 82. 9 2018 89. 1

Porcentaje de avance por sección 2018 Transparencia % Capacitación % Adquisiciones % Recursos Humanos % PBR-SED 87. 5 100 60 90 Porcentaje de avance por categoría del Pb. R-SED 2018 Marco Jurídico Planeación Programación 100 77. 5 70. 3 Ejercicio y Presupuestación control 94. 7 88. 9 Seguimiento Evaluación 100 93. 7

Preguntas a responder: 1. 2. 3. ¿Cuál es la razón o causas del uso limitado de la información de la evaluación externa? ¿Qué opinan los funcionarios públicos ferales al respecto? ¿Cuál de estas razones o causas están más asociadas o relacionadas con el uso limitado de la información de la evaluación externa?

12 razones teóricas del uso limitado de la evaluación 1. Límites pre-existentes de la evaluación, 2. Factores organizacionales, 3. Contenido y presentación de la información, 4. Características del proyecto, 5. Características externas, 6. Factores de la evaluación, 7. Oportunidad de los reportes, 8. Información en competencia, 9. Factores humanos, 10. Factores de la calidad de la evaluación, 11. Factores normativos y, 12. Factores políticos y/o culturales.

5 razones principales del uso limitado de la evaluación en México Normativos Políticos o culturales Humanos o personales De la calidad de la evaluación Organizacionales

¿Cómo se recolectó la información para responder las preguntas? i. Se elaboró un censo de los funcionarios públicos federales que participan en los procesos de las evaluaciones externas ii. Se envió un cuestionario cerrado vía internet a 660 funcionarios públicos federales, de 28 dependencias y entidades federales con programas presupuestarios evaluados en el periodo 2007 -2013. iii. Se obtuvieron 200 respuestas, de 22 dependencias y entidades federales, una tasa del 30% iv. Para analizar los datos se usó la herramienta estadística SPSS

Principales resultados 1. 2. La mayoría de los funcionarios públicos consideran que el personal de las unidades responsables (UR) de los programas evaluados consideran que tienen más cultura de la evaluación externa y no la perciben como una forma de control legal o presupuestal, Sin embargo, no cuentan con la capacidad de decisión, ni con los recursos humanos suficientes, ni con los instrumentos de gestión necesarios, ni con los recursos financieros requeridos para realizar los cambios sugeridos por la evaluación externa.

Principales resultados 1. 2. Gran parte de los funcionarios opinan que la evaluación externa es muy necesaria para mejorar el desempeño de los programas presupuestarios, asimismo, tienen una apertura a nuevas ideas, Sin embargo, también consideran que la evaluación externa ha incrementado sus cargas de trabajo, lo cual representa un riesgo para sus actividades diarias.

Principales resultados 4. 5. La mayoría de los funcionarios públicos consideran que los evaluadores externos no están comprometidos con el uso de la evaluación. Los evaluadores externos no toman en cuenta la opinión ni establecen relaciones de confianza con el personal del programa evaluado.

Principales resultados 6. Los funcionarios públicos consideran que es necesario el apoyo tanto del titular de la dependencia o entidad responsable del Pp evaluado como del titular de la UR 7. La mayoría de los funcionarios opinaron que a las reuniones de informes finales de la evaluación externa asisten funcionarios de nivel jerárquico “medio”. 8. Gran parte de los funcionarios públicos opinaron que el marco normativo que rige el uso de la evaluación externa no es adecuado para mejorar el desempeño de los programas presupuestarios.

Principales resultados 8. Los tres principales obstáculos mencionados para cumplir con los ASM de los programas presupuestarios fueron: ü El uso de los mismos términos de referencia para evaluar los mismos programas, ü La preocupación por cumplir con los tiempos y formas establecidos por las dependencias coordinadoras de la evaluación, y, ü La mala comunicación entre el evaluador externo, los operadores de los programas evaluados y las dependencias coordinadoras de la evaluación externa.

Principales resultados 9. La mayoría de los funcionarios públicos consideran que las recomendaciones emitidas por los evaluadores externos son claras, 10. Sin embargo dichos funcionarios también opinaron que las recomendaciones no son relevantes, precisas ni factibles de implementarse en un plazo razonable.

Recomendaciones 1. Que las evaluaciones externas impliquen un proceso de investigación que analice la problemática de fondo que se quiere resolver con los programas, 2. Ajustar los términos de referencia (Td. R) de las evaluaciones externas a los programas no sociales, 3. Es necesario mejorar la comunicación y coordinación entre los distintos actores que participan en los procesos de las evaluaciones externas, 4. Explicitar dentro del “Mecanismo de seguimiento a los ASM” quién dará seguimiento e informará sobre los ASM de tipo “interinstitucionales e intergubernamentales”

Recomendaciones 4. La cultura de la evaluación debe permear todos los programas de todas las dependencias y entidades de la Administración Pública Federal, Estatal y Municipal, 5. Es necesario que los avances en materia de sistemas de monitoreo y evaluación no estén concentrados en programas presupuestarios sociales, 6. Se sugiere crear organismos independientes de evaluación por sector, de manera que se amplíen los esfuerzos de evaluación a todos los programas de la Administración Pública, en los tres niveles de gobierno, el federal, el estatal y el municipal.

Recomendaciones 7. Analizar la viabilidad, desde el punto de vista legal y presupuestal de incluir en los Td. R de las evaluaciones externas el enfoque de Patton (2008) “Evaluación enfocada al uso”: ◦ Que el evaluador externo promueva, difunda, impulse o motive el uso de los resultados de la evaluación externa dentro de las dependencias y entidades de los tres niveles de gobierno,

Recomendaciones ◦ Que desde el inicio y en el desarrollo de los trabajos de evaluación, se tomen en cuenta las necesidades específicas en materia de evaluación de los operadores de programas ◦ Que al emitir las recomendaciones derivadas del trabajo de evaluación se consideren aspectos como la relevancia, precisión y factibilidad de las mismas, con el fin de que se incremente el uso de los resultados de la evaluación externa.

Oportunidades en entidades federativas 1. Formalización de los mecanismos para la utilización de la información sobre el desempeño y cómo se utiliza para la planeación, programación y presupuestación. 2. Sistematización en el uso de los resultados y seguimiento de las recomendaciones derivadas de las evaluaciones realizadas a los programas. Fuente: Diagnóstico Pb. R-SED. Elaborado sobre el avance en el artículo 80 de la Ley de Contabilidad Gubernamental, 2016