Metodologa de Evaluacin y Seguimiento de las Intervenciones

Metodología de Evaluación y Seguimiento de las Intervenciones Estructurales de la Política Regional de la Unión Europea Rubén Garrido Yserte Juan R. Cuadrado Roura Universidad de Alcalá Instituto Universitario de Análisis Económico y Social - SERVILAB

La evaluación: aspectos esenciales ¿Qué es evaluar? • VALORAR la calidad de las intervenciones públicas. POR TANTO NO ES FISCALIZACIÓN • Resultados netos obtenidos (impactos) • Desviaciones registradas sobre los objetivos previstos (eficacia) • Coste relativo de la eficacia (eficiencia) ¿Qué beneficios? • Claridad en la administración de recursos • Aumento de la “cultura” democrática Anglosajona versus latina • Ha sido una de las aportaciones importantes de la PRC

La evaluación: aspectos esenciales Tipos de evaluación: La UE ha optado por un primer criterio ‘temporal’: 1) Ex ante (previa): sobre la selección de estrategia, objetivos (cuantificación), instrumentos, costes del programa. Fuerte contenido prospectivo 2) On going (seguimiento): a mitad del período (3 a. , con posible ‘puesta al día’ en el 4º año). Atención al nivel de ejecución, grado de cumplimiento objetivos, detección de errores en la programación. Finalidades: a) corregir desviaciones o errores con tiempo suficiente… todavía, y b) recoger información para la evaluación ex post. 3) Ex post (a posteriori). Valoración final de los resultados (año siguiente al Programa), impacto, eficacia, eficiencia. Fuerte contenido retrospectivo. Enfoques básicos: macro (modelos de impacto) micro (estudio de casosseleccionados)

Fases de la Evaluación previa: • Asegurar la evaluabilidad de la programación. • Asegurar la integración de los principios horizontales. • Se apoya en el Programa: pertinencia y previsiones. Evaluación intermedia: • Se apoya en el seguimiento (realizaciones). • Previene desviaciones del Programa y ayuda a su corrección. Evaluación posterior: • Se apoya en la ejecución definitiva (financiera y física). • Atiende a la estimación del impacto.

Evaluación por etapas n Cuatro etapas con objetivos diferenciados: Análisis de la puesta en marcha del programa Valoración de la calidad del diagnóstico y de la programación. n n Análisis de los resultados p/. beneficiarios. n n Técnicas: entrevistas con planificadores; análisis de los programas: estrategia, diagnóstico, justificación de las intervenciones; objetivos, etc. Técnicas: análisis de expedientes administrativos; encuestas a beneficiarios; estudios especiales (coste-beneficio…). Es importante diferenciar entre indicadores físicos (ej. km. autovía construídos); indicadores de resultados (ej. ahorro de tiempo viajes); e indicadores de impacto (ej. mejora accesibilidad del territorio) Análisis eficacia y eficiencia de las intervenciones: Comparación entre objetivos previstos y resultados; análisis del coste de los resultados (resultados : recursos). Restricción: existencia de información admtva. O de recursos para suplirla. n Análisis del impacto socioeconómico intervención: Impacto macro del total intervenciones. Técnicas muy variadas: TI-O, modelos econométricos, análisis factorial, … Restricción: información disponible Conclusión: tarea compleja, costosa en tiempo, pero IMPRESCINDIBLE.

Metodología: Documentos de trabajo Documentos elaborados por la Comisión para guiar el proceso de programación y evaluación de los programas cofinanciados con Fondos Europeos http: //europa. eu. int/comm/regional_policy/sources/doc gener/evaluation_en. htm

La Evaluación Previa La evaluación previa de las intervenciones de los Fondos Estructurales (documento de trabajo 2). Comisión Europea. Dirección General REGIO • Objetivo de la evaluación previa en el contexto de las políticas estructurales. • Componentes clave de la evaluación previa. • Aspectos prácticos de la evaluación previa. • Anexo I: Modelización macroeconómica de los impactos de los principales planes del Objetivo nº 1 en el contexto de la evaluación previa. • Anexo II: Recursos humanos. • Anexo III: Estudio de impacto ambiental. • Anexo IV: Estudio del fomento de la igualdad de oportunidades para hombres y mujeres. • Anexo V: Estudio de los grandes proyectos. • Anexo VI: Documentos.

Los Indicadores de Seguimiento y Evaluación: orientaciones metodológicas (documento de trabajo 3). Comisión Europea. Dirección General XVI. • Disposiciones reglamentarias y marco de programación. • Programación de las intervenciones de los Fondos Estructurales e indicadores de programa, eficacia, eficiencia y rendimiento. • Elaboración de los sistemas de indicadores. • Aplicación de los indicadores de seguimiento. • Indicadores clave, indicadores de rendimiento y lista de indicadores. • Resolución de los problemas derivados de la utilización de indicadores. • Anexos: Ámbitos de intervención e indicadores de seguimiento y evaluación.

La Lógica de las Intervenciones

Algunos conceptos claves de la evaluación • Pertinencia: ¿en qué medida los objetivos del programa son pertinentes en relación con la evolución de las necesidades y las prioridades a escala nacional y comunitaria? . • Eficiencia: ¿cómo se transformaron los recursos en realizaciones y resultados? . • Eficacia: ¿cuál ha sido la contribución del programa a la consecución de los objetivos globales y específicos? . • Utilidad: ¿qué impacto ha tenido el programa en la satisfacción de las necesidades de los grupos o poblaciones a los que se dirigía? . • Durabilidad: ¿en qué medida se espera que los cambios o beneficios del programa se mantengan una vez finalizado el mismo? .

¿Qué solicita la Comisión en materia de evaluación? • • Análisis de los resultados de la evaluación anterior (si la hay) Análisis dirigido a establecer si la evaluación previa sigue siendo válida en lo que se refiere a las ventajas, desventajas y potencial del Estado, región o sector beneficiarios Confirmación de la pertinencia y coherencia de la estrategia Cuantificación de los objetivos, realizaciones, resultados e impactos Evaluación de la eficacia y de la eficiencia hasta el momento, así como de los efectos socioeconómicos previstos, con vistas a una evaluación de la política y a la asignación de los recursos financieros Calidad de la ejecución y de los sistemas de seguimiento La reserva de eficacia Valor añadido comunitario

¿Cómo dar respuesta al marco conceptual elaborado por la Comisión? • Abordar el conjunto de obligaciones con una respuesta Integral y Continua: Sistemas de Seguimiento y Evaluación Continuos • DESARROLLAR CONTINUO SISTEMAS DE SEGUIMIENTO

¿Cuáles son los objetivos principales del Sistema de Seguimiento Continuo? § § § Proporcionar información sobre los resultados financieros y físicos de las intervenciones en curso Mejorar la eficacia y eficiencia en la programación y gestión de las intervenciones Mejorar la calidad de los informes exigidos por la Comisión Facilitar el trabajo de los Coordinadores, Gestores y Evaluadores En definitiva, ser una herramienta de conocimiento y gestión política integrada en las tareas diarias de la Administración

Esquema de distribución de las tareas básicas de seguimiento y de evaluación UNIDAD DE GESTIÓN INDICADORES DE LAS ACTUACIONES sobre todo de ejecución financiera, realizaciones y resultados SISTEMA DE SEGUIMIENTO CONTINUO UNIDAD COORDINADORA INDICADORES DEL CONTEXTO SOCIOECONÓMICO Y AMBIENTAL EQUIPOS DE INVESTIGACIÓN Y EVALUACIÓN INDICADORES DE IMPACTO ANÁLSIS DE PERTINECIA Y COHERENCIA INFORMES EVALUACIÓN R. DE EFICACIA

¿Cuáles son los inputs necesarios para el seguimiento continuo y la evaluación? • Definir el organigrama de la Administración • Definir las acciones (CPO) • Definir los indicadores de seguimiento (realización y resultado) • Definir los indicadores de evaluación (impacto) • Definir los indicadores del contexto Definir los indicadores específicos (Medio Ambiente, Igualdad de Oportunidades) • Resultado del análisis DAFO (PO –CPO) • Árbol de Objetivos • Vincular la asignación presupuestaria •

Outputs esperados del seguimiento continuo y de la evaluación Seguimiento • • • Seguimiento de recursos financieros Seguimiento de las realizaciones Respeto otras políticas comunitarias Sinergias con otras políticas regionales nacionales Participación en los objetivos estratégicos Evaluación • • Análisis de la Pertinencia con el diagnóstico Análisis de Coherencia de la Estrategia (Sinergias) Valoración de la cuantificación de objetivos Valoración de la Eficacia y la Eficiencia Criterios de selección de acciones Calidad de la ejecución y de los sistemas de seguimiento La Reserva de Eficacia Estimación de impactos

Plan de Desarrollo Regional Marco Comunitario de Apoyo Documento Único de Programación Programas Operativos Complemento de Programa Ejes Medidas