SEMINARIO INTERNACIONAL EXPERIENCIAS Y DESAFOS DEL MONITOREO Y

SEMINARIO INTERNACIONAL “EXPERIENCIAS Y DESAFÍOS DEL MONITOREO Y LA EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE” EXPERIENCIAS Y DESAFÍOS DEL MONITOREO Y LA EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE DRA. ROSARIO DEL CARMEN BELLO BARROS

Nueva gestión pública El Estado genera valor público Entrega bienes y servicios de calidad. Optimiza resultados con Los recursos invertidos Rinde cuentas públicas y toma responsabilidad de los resultados conseguidos #EVAL 2018 Gestión para Resultados

Optimizar el proceso de generación de valor público MEJORAR LA CAPACIDAD DEL ESTADO PARA PRODUCIR VALOR PÚBLICO Y EVALUARLO SISTEMÁTICAMENTE. insumos procesos Insumos son los recursos con los que contamos para realizar el proyecto. productos Productos son bienes, servicios o regulaciones que recibe la población objetivo de un proyecto. Procesos son las actividades financiadas con los insumos. efectos resultados Resultados son los efectos directos, demostrables y medibles en la población objetivo o su entorno. impact o Impacto son los cambios verificables y atribuibles directamente al proyecto. $ Presupuesto, personal y materiales de limpieza. Calendario de limpieza o un sistema de clasificación de residuos. Servicio de recolección de basura y barrido de calles. Calles y comunidades sin residuos orgánicos, bacterias y plagas. #EVAL 2018 Personas más saludables

Desafío: La planificación de las políticas públicas DEFINA claramente ¿cuál es el valor público que se quiere generar? Desafío: La evaluación de las políticas públicas MIDA ¿con qué calidad, eficacia y eficiencia se genera valor público? #EVAL 2018

ESTRATEGIA DE GESTIÓN PARA RESULTADOS EN EL SECTOR PÚBLICO Planificación para Resultados Monitoreo y evaluación Pilares del ciclo de gestión Gestión de Programas y Proyectos Presupuesto por Resultados Gestión Financiera, auditoría y adquisiciones #EVAL 2018

• MONITOREO Y EVALUACIÓN M&E son funciones transversales del ciclo de gestión Cada uno de los pilares desempeña un papel en su ejecución. Planificación para Resultados Monitoreo y evaluación instrumentos para gestionar el sector público mediante un conjunto de indicadores que verifican el cumplimiento de los objetivos y de las metas Pilares del ciclo de gestión Gestión de Programas y Proyectos #EVAL 2018 Provee información estratégica Establece los objetivos Presupuesto por Resultados Gestión Financiera, auditoría y adquisiciones Establece las metas Provee información de gestión

DESAFÍOS #EVAL 2018

El seguimiento y la evaluación de programas gubernamentales se encuentran bien posicionados en el discurso político y administrativo de una proporción importante de los gobiernos de la región. Desafíos: No ha habido avance entre 2007 -2017 en: 1. Institucionalización del monitoreo y evaluación y el uso 2. Heterogeneidad de instituciones que evalúan con responsabilidades y conceptos diferentes (descordinación) 3. Foco de las evaluaciones (qué se evalúa y para qué) 4. Las capacidades de los recursos humanos de instituciones públicas 5. Control de la calidad de las evaluaciones (estándares) #EVAL 2018

1. Institucionalización del monitoreo y evaluación #EVAL 2018

¿Tiene unidad de M&E? Tiene unidad de evaluación legal y funcionando 32% No tiene unidad de evaluación ; 44% Tiene unidad , No está funcionando 24% ¿Se realiza evaluación de políticas y programas? ¿Tiene indicadores de resultados e impacto? Si 36% Si 40% No 64% #EVAL 2018

Analiza el desempeño en el uso de los recursos públicos Supone tener un sistema de seguimiento y evaluación de la efectividad del gasto público #EVAL 2018

1. Institucionalización del monitoreo y evaluación Desafío: Institucionalizar la Agencia de Evaluación de la política pública, como entidad autónoma y articuladora de las diferentes unidades tanto en el nivel central como federal/local. Sólo un 32% de los países cuentan con agencias de evaluación con sustento legal y normativo en operación. Requiere claridad en la determinación de sus atribuciones, sus objetivos, funciones, la cantidad y el nivel de profesionalización de su personal. #EVAL 2018

Ejemplo: Los sistemas de Costa Rica y Colombia ofrecen ejemplos de intentos de asegurar que la información que generan responda también a las necesidades de las entidades encargadas de ejecutar la política pública. En Costa Rica, la información sobre logro de metas e indicadores se recoge a través de instrumentos consensuados por la Comisión Técnica Interinstitucional (MIDEPLAN, Ministerio de Hacienda y Contraloría General de la República). En Chile, la información sobre logro de metas e indicadores de todo el sector público las recoge la Dirección de Presupuestos, en tres instrumentos de gestión anual: el Balance de Gestión Integral, el Formulario A 1 y Formulario H. Esta información es la base para la discusión y asignación del presupuesto cada año. #EVAL 2018

Chile Articulación Sistemas Información Pública y Presupuesto DEFINICIONES ESTRATÉGICAS (A 1) BALANCE DE GESTIÓN INTEGRAL (BGI) INDICADORES DE DESEMPEÑO (H) #EVAL 2018

FORMULARIO A 1 #EVAL 2018

FORMULARIO H #EVAL 2018

Los Balances de Gestión Integral enviados anualmente al Congreso Nacional como informe de cuenta pública, y puestos a disposición de la ciudadanía en los sitios Web de cada institución y de la Dirección de Presupuestos. #EVAL 2018

1. Institucionalización del monitoreo y evaluación Desafío: Consolidar los sistemas de seguimiento y evaluación de programas públicos a nivel local (estados y municipios), de manera que sean coherentes entre sí y con el del nivel central. A la fecha si bien existen algunas oficinas de evaluación a nivel local, éstas no necesariamente utilizan los mismos conceptos, criterios e instrumentos de evaluación lo que no permite comparaciones entre programas y proyectos públicos. #EVAL 2018

1. Institucionalización del monitoreo y evaluación Desafío: Consensuar cuáles deben ser los objetivos centrales del sistema de Monitoreo y Evaluación: ¿la toma de decisiones al interior del gobierno? , ¿la asignación presupuestal? ¿la rendición de cuentas? ¿el rediseño de programas y proyectos? ¿todos los anteriores o algunos en particular? #EVAL 2018

2. Evaluación de las políticas públicas #EVAL 2018

2. Evaluación de las políticas públicas Desafío: La evaluación de las políticas públicas requiere una mirada integral. No solo compartir información. Un análisis integrado que valore: la efectividad del gasto, la eficiencia de la inversión realizada, la gestión de los procesos, y los resultados (eficiencia, economía, calidad, eficacia). Un análisis intersectorial sobre los temas prioritarios: desigualdad social (educativa, salud, empleo), pobreza y exclusión. #EVAL 2018

Desafío: El sistema de monitoreo y evaluación de cuenta integralmente del desempeño de la cadena de valor que generan las instituciones, los programas y los proyectos de inversión. #EVAL 2018

2. Evaluación de las políticas públicas Desafío: Coordinación de niveles de evaluación Se evalúa principalmente programas presupuestarios más no el vínculo entre metas de la planificación nacional, la sectorial, y la de los programas. Como resultado, las funciones de monitoreo y evaluación de políticas ubicadas en la cima de los sistemas de gestión por resultados que abarcan todo el gobierno no son todavía lo suficientemente creíbles. #EVAL 2018

Ejemplo COSTA RICA #EVAL 2018

SISTEMA DE COSTA RICA: ARTICULACION DE NIVELES OBJETIVO NACIONAL PND OBJETIVOS SECTORIALES Programa/Proyec to 1 Programa/Proyec to 2 Programa/Proyec to n LINEA DE INDICADORES BASE INDICADORES METAS ANUALES Y REGIONALES 2015 -2018 METAS ANUALES 2015 -2018 METAS LARGO PLAZO 2030 METAS ANUALES y REGIONALES 2015 -2018 PRESUPUESTO RIESGOS RESPONSABLE #EVAL 2018 impacto Resultados Producto

I M P A C T O #EVAL 2018

I M P A C T O #EVAL 2018

OBJETIVO NACIONAL PND OBJETIVOS SECTORIALES Programa/Proyec to 1 Programa/Proyec to 2 Programa/Proyec to n LINEA DE INDICADORES BASE INDICADORES METAS ANUALES Y REGIONALES 2015 -2018 METAS ANUALES 2015 -2018 METAS LARGO PLAZO 2030 METAS ANUALES y REGIONALES 2015 -2018 PRESUPUESTO RIESGOS RESPONSABLE #EVAL 2018 impacto Resultados Producto

#EVAL 2018

#EVAL 2018 R E S U L T A D O S

#EVAL 2018 R E S U L T A D O S

OBJETIVO NACIONAL PND LINEA DE BASE OBJETIVOS SECTORIALES LINEA DE BASE Programa/Proyect o 1 Programa/Proyect o 2 Programa/Proyect on INDICADORES LINEA DE INDICADORES BASE METAS ANUALES Y REGIONALES 2015 -2018 METAS ANUALES 2015 -2018 METAS LARGO PLAZO 2030 METAS ANUALES y REGIONALES 2015 -2018 PRESUPUESTO RIESGOS #EVAL 2018 impacto Resultados RESPONSABLE Producto

Programas /Proyectos del Objetivo Sectorial 1 #EVAL 2018

P R O D U C T O S #EVAL 2018

2. Evaluación de las políticas públicas Desafío. Realizar evaluaciones que permitan al menos medir impacto de la inversión en los temas prioritarios de la agenda pública. La articulación que se produce en el PND no se expresa en una evaluación. Los tipos de evaluaciones que se desarrollan (de programas, o de instituciones o de un sector) no permiten establecer relaciones de causalidad (impacto). Ø Las metas de los programas e instituciones sólo reflejan una parte disociada del problema. Ø No hay criterios ni instrumentos comunes parten de conceptos diferentes. #EVAL 2018

2. Evaluación de las políticas públicas Desafío: Reducir los instrumentos, y aumentar los de resultados Los sistemas de monitoreo y evaluación cuentan con un número excesivo de instrumentos. Las instituciones están más preocupadas de contar números de controles, que generar los mecanismos necesarios para mejorar la administración pública; Si antes eran los procedimientos contables los que ocupaban el lugar de los objetivos, hoy es el llenado de instrumentos e indicadores. #EVAL 2018

EVALUACIÓN Y CONTROL Chile. SISTEMA Sistema DE Control de Gestión Pública DE GESTIÓN DEFINICIONES ESTRATÉGICAS DISCUSIÓN PRESUPUESTARIA Ø Documento Propuesta Presupuesto con Ministerio de Hacienda. Ø Documento Ante-Proyecto de Presupuesto a discusión con Congreso. INDICADORES DE DESEMPEÑO Ø Rendición Cuentas cuantitativa logro de objetivos y metas EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES Ø Diseño nuevos Ø Ø Ø programas. Factibilidad de proyectos de inversión. Programas Gubernamentales (EPG). Impacto Programas Comprehensiva del gasto (ECG). Monitoreo de Recomendaciones Ø Programa de Mejoramiento de la Gestión (PMG). Ø Metas de Eficiencia Institucional (resultados anuales x uso recursos) Ø Balance de Gestión Integral (resultados institucionales de gestión). #EVAL 2018 FONDO de modernización de gestión pública

2. Evaluación de las políticas públicas Desafío: el monitoreo de la política social sea sostenible en el tiempo. (La información sobreviva a cambios administrativos o en los directivos de las dependencias de gobierno). En México, el análisis de la continuidad de los indicadores (tasa de permanencia) muestra que de cada 100 indicadores definidos en 2010, se le dejó de dar seguimiento a 70 indicadores para 2013. Es decir, un 70% de los indicadores analizados no tendrán un referente pasado, por lo que la evaluación del desempeño en particular no será comparable cuatro años después. #EVAL 2018

2. Evaluación de las políticas públicas Desafío: el monitoreo de la política social debe ser es sostenible en el tiempo. En Chile, el análisis de la continuidad de los indicadores (tasa de permanencia) muestra que de cada 100 indicadores definidos en 2014, se le dejó de dar seguimiento a 20 indicadores para 2016. Es decir, un 20% de los indicadores analizados no tendrán un referente pasado #EVAL 2018

2. Tipos de evaluación Desafío: Generar evaluaciones del accionar público que además valoren los procesos (cómo lo hace), la calidad de los productos que genera, la eficiencia (los costos) y los atributos del proceso (gestión) a través del cual se consiguen los resultados. #EVAL 2018

2. Evaluación de las políticas públicas Desafío: Incorporar o mantener una mayor proporción de indicadores de resultados para evaluar objetivos estratégicos del Plan Nacional y de los Sectores. En México, el análisis de 593 programas públicos muestra que un 30% son indicadores de resultados. En Chile, sólo un 13% son indicadores de resultados Las evaluaciones se basan principalmente en información de procesos y productos, los que se vinculan superficialmente con las metas superiores del gobierno. #EVAL 2018

3. Uso de la información #EVAL 2018

3. Uso de la información Desafío: Las preguntas de las evaluaciones den respuesta a las necesidades de información de sus destinatarios. #EVAL 2018

Múltiples destinatarios de los resultados del monitoreo y la evaluación #EVAL 2018

3. Uso de la información Desafío: Generar información útil y que mejore la credibilidad de las políticas públicas desarrolladas por los gobiernos. Índice “Voice and Accountability” Elaborado por el Banco Mundial, mide la rendición de cuentas en los países, en un rango que se mueve entre: -0, 25 Débil Rendición de cuentas y 2, 5 Fortaleza en la Rendición de cuentas. Basado en 30 fuentes en los puntos de vista y experiencias de 30 fuentes (ciudadanos, expertos del sector público, privados, empresarios, organismos no gubernamentales, etc. ) #EVAL 2018

#EVAL 2018

#EVAL 2018

Encuesta de Presupuesto Abierto 2017: Informe global www. openbudgetsurvey. org International Budget Partnership www. openbudgetsurvey. org Estudio comparativo del acceso público a la información Presupuestaria del gobierno. #EVAL 2018

3. Uso de la información sobre evaluación Desafío: La información producida por las evaluaciones sea un instrumento para el perfeccionamiento de la calidad, eficacia y gestión de las políticas, programas y proyectos públicos. La información es utilizada por las altas autoridades y sólo marginalmente por los directivos públicos para la gerencia de sus Secretarías. Requiere incorporar a la evaluación como parte de una visión gerencial integral. Fortalecer las nociones del monitoreo y evaluación como procesos gerenciales con responsables claros por el buen desempeño de sus programas y proyectos y las decisiones. #EVAL 2018

#EVAL 2018

#EVAL 2018

3. Uso de la información Desafío: Mejorar el uso sistemático de la información dentro de la gestión de los niveles intermedios del gobierno y dentro de los órganos descentralizados. Los gobiernos de los estados y municipios en México, Chile, Colombia y Brasil ejercen hoy un monto creciente del presupuesto público, sin que este proceso se acompañe de los controles y evaluaciones necesarias. En Argentina, existe una aplicación informática para la administración de proyectos que facilita la organización y el monitoreo de todas las etapas y tareas de los planes, programas y proyectos de los gobiernos locales. #EVAL 2018

3. Uso de la información Desafío: Construir un sistema unificado de información para asegurar el cumplimiento de los compromisos prioritarios del gobierno. Las plataformas tecnológicas, aunque son robustas en lo individual, no permiten integrar información de otras, porque generalmente no son compatibles entre sí. Si bien hay una divulgación amplia y regularmente actualizada de información sobre el desempeño de una gran parte de la acción gubernamental. Tienen distintos niveles de desarrollo generando una heterogeneidad notable en la calidad y la cantidad de información monitoreada o evaluada. #EVAL 2018

3. Uso de la información Desafío: Producir información veraz, actualizada y confiable. Encontrar modalidades de trabajo que conviertan la práctica de sistematización en una herramienta útil y en encontrar incentivos que generen compromisos en los diversos niveles de gobierno. Es posible tener los mejores sistemas de registro e información, pero que resulten inútiles sin la producción de información confiable y sistemática. #EVAL 2018

4. Capacidades de evaluación #EVAL 2018

4. Capacidades de Evaluación Desafío: Mejorar las capacidades de los profesionales públicos en evaluación. Brecha significativa entre la demanda de instituciones por evaluadores y la oferta existente, dada la fuerte presión de mostrar resultados. Brecha de capacidades al interior del sector público para constituirse en una contraparte validada en materia de evaluación. Brechas de capacidades entre, sectores y niveles de gobierno (central subnacional), se expresan en problemas de calidad de las evaluaciones. #EVAL 2018

GRACIAS Rosario Bello rosarito. bello@gmail. com #EVAL 2018