Curso Seminario Internacional Polticas Presupuestarias y Gestin Pblica

Curso Seminario Internacional: “Políticas Presupuestarias y Gestión Pública por Resultados” Santiago de Chile, 26 de Noviembre al 7 de Diciembre Indicadores de Desempeño para las instituciones públicas Marianela Armijo Consultora Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela. armijo@cepal. org

EVALUACION DE LA GESTION FOCO DE LA EVALUACION MEDICION DEL DESEMPEÑO LOGRADO POR LAS INSTITUCIONES ELABORACION DE MEDIDAS DE DESEMPEÑO PUEDE ABARCAR TODO EL PROCESO DE PRODUCCION INSUMOS PROCESOS PRODUCTOS RESULTADOS

Indicadores de desempeño n Objetivos del uso de indicadores n Qué son n De que tipo hay n Cómo se diseñan n Que requisitos deben tener

OBJETIVOS USO INDICADORES n n n Induce mejoras en Información Fundamenta la discusión de Resultados Posibilita la Evaluación Apoya el proceso de Formulación de Políticas Facilita el establecimiento de Compromisos de Resultado

Uso de los indicadores y de la evaluación en el Presupuesto Indicadores año n-1 y año +1 Indicadores de Ejecución presupuestaria, Procesos Discusión Aprobación Formulación Ejecución Evaluación de Inversiones Planificación Programación Evaluación Indicadores Evaluaciones Complementarias INFORMES Retroalimentación Para la toma de decisiones Gobierno Sectores/ Ministerios Jerarcas Rendición de Cuentas Asamblea Legislativa Órganos de Control Evaluación de Impacto Evaluación de Programas

INDICADORES DE DESEMPEÑO “Que indica o sirve para indicar” n Del latín “Indicare”, significa: “Mostrar o significar algo, con indicios y señales” Real Academia de la Lengua

INDICADORES DE DESEMPEÑO Es una herramienta que entrega información cuantitativa respecto del logro o resultado en la entrega de productos (bienes o servicios) generados por la institucion, cubriendo aspectos cuantitativos o cualitativos.

Indicadores: que miden n n Un indicador establece lo que será medido a lo largo de varias escalas o dimensiones, sin especificar un nivel determinado de desarrollo. Indicador es una parte del problema Niveles esperados de desempeño o metas a lograr son otra parte.

Ejemplo Indicador Nivel de desempeño (Meta del indicador) Porcentaje de ingresos marginales, derivados de recaudación 2007 Número de días Promedio en entrega De pensión 5% 180

Metas

Pasos básicos para la construcción de los indicadores Tener claro lo que quiero medir: Productos Objetivos estratégicos como referencia para establecer la medición. n n n n Identifico las áreas de desempeño: Eficiencia, Eficacia, Calidad, Economía (Insumo, Producto, Proceso, Resultado Intermedio, Resultado Final) Formulo el indicador para medir el producto u objetivo Describo la fórmula de cálculo. Establezco la línea base. Establezco las metas o el valor deseado del indicador. Periodicidad de la medición Señalo la fuente de información.

Tipos de Fichas para monitoreo de indicadores de desempeño y su integración al presupuesto Chile, Costa Rica, Uruguay, México, Colombia, Brasil

CHILE: MATRIZ DE INDICADORES (*) Producto relevante (bien y/o servicio) al que se vincula Indicador de Desempeño Información Histórica Estimación Meta Fórmula de cálculo 1998 1999 2000 2001 2002 Programa/ Subtítulo/ ítem/ Medios de verificación asignación Eficacia Eficiencia Economía DIMENSIONES DEL DESEMPEÑO Calidad (*) Indicadores de Desempeño. www. dipres. cl

COSTA RICA Productos Objetivos Estratégicos Usuarios Indicador (Producto, Resultado Intermedio, Resultado Final) Fórmula Desempeño histórico Metas del Indicador Monto Estimación Recursos Presupuestarios (millones de colones) Línea Base Eficacia, Eficiencia, Calidad, Economía 2007 Mo nto Fuen te De Dato s Observacione s 2008 FF M o nt o FF Dirección Administr ativa Financier a, RRHH Contar con el personal profesionaliza do y comprometido con altos estándares de calidad Porcentaje de centros PANI que cuentan con sicólogos capacitado s en tratamiento de niños Total de Centros que cuenta n con psicolo gos capacit ados/ Total de Centros Supervi sión y Control Alcanzar altos estándares de calidad de los Centros de atención. Porcentaje de Centros Supervisad os anual Total Centros Supervisados a Nivel Nacional Total Centros con estándar /Total Centros Los estándares de calidad están certificados por norma ISO 9000 Porcentaje de Centros que cumplen con estándares de calidad Centros supervis ados/ Total Centros 2005 2006 2007 2008 2009 2010 10% 15% 30% 50% 60% El financiamiento es a través de transferencia de Ministerio de Trabajo

INDICADORES DE DESEMPEÑO (*) AMBITOS DE CONTROL PROCESO PRODUCTO RESULTADO D I M EFICACIA E N EFICIENCIA S I ECONOMÍA O N CALIDAD E S

TIPOS DE INDICADORES n Indicadores que entregan información del desempeño desde el punto de vista de la actuación pública en la generación de los productos: n n Insumos (Inputs) Procesos o actividades Productos (outputs) Resultados finales (outcomes) n Indicadores desde el punto de vista del desempeño de dichas actuaciones en las dimensiones: n Eficiencia Eficacia, Calidad n Economía. n n

RESULTADOS Resultados Intermedios: cambios en el comportamiento o estado o certificación de los beneficiarios una vez recibidos los bienes o servicios. n Alumnos egresados del nivel de enseñanza media n Hectáreas explotadas n Crecimiento de la recaudación en portal de pagos Resultados Finales o Impacto: Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la población objetivo. n nivel de nutrición-desnutrición n nivel de competencias e ingresos laborales tasa muerte por accidentes en las carreteras niveles de exportaciones n Aumento de ingresos tributarios n n

RESULTADO FINAL O IMPACTO (OUTCOME) ¿Cómo están cambiando las condiciones que estamos interviniendo? ¿ Cuántas unidades de PRODUCTO – (OUTPUT) productos y servicios estamos generando? PROCESO ¿Con qué rapidez lo estamos haciendo? ¿Cuanto nos cuesta? INSUMO (INPUTS) ¿Cuántos recursos invertimos, cuanto personal trabajó en el proceso?

EJEMPLOS Indicador de Producto Indicador de Resultado Intermedio Indicador de Resultado Final Nº de niños matriculados en Educación preescolar pública/Nº de niños entre 3 a 6 años del país Porcentaje de niños de 3 -6 años matriculados que logran terminar la enseñanza preescolar Porcentaje de niños que terminan preescolar logran Manejo de habilidades básicas en lecto escritura Porcentaje de padres y madres satisfechos con la educación impartida

PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL O IMPACTO Porcentaje de reclusos Tasa anual de variación de Porcentaje de desempleo participando en el reclusos contrato de da población reclusa programa de trabajo aprobada reinserción/Total población reclusa potencialmente beneficiaria del Programa Talleres de capacitación Participantes que realizados/Talleres de consiguen certificarse capacitación programados /Total de participantes (Produtividad de los participantes año t Productividad participantes año t-1/Produtividad participantes año t-1)*100

EFICACIA n Indicador de eficacia: nos dice acerca del grado de cumplimiento de los objetivos de la organización, sin referirse al costo de los mismos. Por esta razón podemos obtener indicadores de eficacia, tanto de los productos (outputs), o bien de los resultados ya sea intermedios o finales (impactosoutcomes)

CONCEPTOS EFICACIA n n RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO) FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

EFICACIA (Cobertura)/Producto PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA Area de cultivo incluida en el Programa Area Total del Programa de Cultivo Dirección General de Servicios Agrícolas. Uruguay COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS Controles de emisiones de Buses Interurbanos Total de Buses Inter urbanos Subsecretaria de Transportes Chile PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL Reclusos con actividad industrial Dirección Nacional de Cárceles Uruguay Total de reclusos

PRODUCTO RESULTADO INTERMEDIO Porcentaje de reclusos Tasa anual de variación de participando en el reclusos contrato de programa de trabajo reinserción/Total población reclusa potencialmente beneficiaria del Programa Talleres de capacitación Participantes que realizados/Talleres de consiguen certificarse capacitación programados /Total de participantes RESULTADO FINAL O IMPACTO Porcentaje de desempleo de población reclusa aprobada (Produtividad de los participantes año t Productividad participantes año t 1/Produtividad participantes año t 1)*100

EFICIENCIA n n n Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input, son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes. Los indicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.

EFICIENCIA n Describe la relación entre dos magnitudes: n n La producción física de un producto (bien o servicio) y Los insumos o recursos que se utilizaron para alcanzar ese nivel de producción n n Mayor cantidad de servicios dado el mismo nivel de recursos Alcanzar un determinado nivel de servicios utilizando la menor cantidad de recursos posible

Ejemplos de Indicadores de Eficiencia

EFICIENCIA-Producto Medio Número de inspecciones/número de inspectores Número de expedientes resueltos por semestre/dotación de personal en la tarea Número de inspecciones al transporte de pasajeros/personal que participa en la tarea Número de consultas/número de médicos

Calidad Capacidad de la institución por responder en forma consistente, rápida y directa a las necesidades de los usuarios A) Mediciones Indirectas. Mejorar los atributos y características de los productos. B) Mediciones Directas. Grado de satisfacción de los usuarios.

CALIDAD Calidad-Tiempo de respuesta Tiempo de espera media para atender una consulta Dirección General de Salud Tiempo de tramitación media de solicitudes mineras Dirección General de Geología e Minas Tiempo medio para o estudio de cada Plan de Reforestamiento Dirección General de Recursos Naturales Dias de demora media de trámites de legalización Dirección General de Secretaría

CALIDAD Calidad- Satisfacción de usuarios Porcentaje de aprobación Encuesta de opinión a los usuarios Dirección Nacional de Registos Porcentaje de reclamos/casos atendidos Dirección Nacional de Topografía Asuntos resueltos/ Número de servicios reclamados Subsecretaria de Ministerio de Educación y Cultura Número de servicios reclamados/número total de servicios Hospital de Montevideo

INDICADORES DE CALIDAD Oportunidad Accesibilidad Percepción usuarios Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados. Número de localidades cubiertas por atenciones móviles Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes Porcentaje de reportes económicos entregados en tiempo acordado Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo Número de intervenciones con retraso/ Número de intervenciones totales Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca de Porcentaje de usuarios satisfechos Precisión Porcentaje contratos terminados errores de por Número de fallas reales/ Fallas programadas Nº de usuarios satisfechos/ Total usuarios encuestados Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios Porcentaje de contratos con uno o más errores encontrados por revisiones externas

ECONOMIA n Indicador de economía: mide la capacidad de de la institución para movilizar adecuadamente sus recursos financieros para lograr el cumplimiento de sus objetivos n Porcentaje de recuperación de créditos de corto plazo n Gasto de actividades de apoyo/gastos totales n Aporte de beneficiarios a financiamento/Monto total de inversión del programa n Gasto de funcionamento/gastos ejecutados totales n Recuperación de cobranza/Facturación

ECONOMIA Porcentaje de recuperación de créditos de corto plazo Gasto de actividades de apoyo/gastos totales Aporte de beneficiarios a financiamento/Monto total de inversión del programa Gasto de funcionamento/gastos ejecutados totales Recuperación de cobranza/Facturación

INSUMO CUANTOS RECURSOS OCUPAMOS I N D I C A D O R E S T I P O U S O I N F. Costos planilla Costos unidades de productos Número de funcionarios Licitaciones realizadas Actividades Insumos Inptus Sistema de Información Interna Entidades Contraloría PROCESO CUAN BIEN LO HACEMOS Costo por vivienda Costo por kilómetro construido Tiempo de respuesta inspecciones PRODUCTO QUE HACEMOS Número de viviendas RESULTADO INTERMEDIO COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS RESULTADO FINAL HAY ALGUNA MEJORIA COMO CAMBIAN LAS CONDICIONES INICIALES Porcentaje de viviendas con estándares de calidad en la normal Disminución del déficit habitacional Provincia X Porcentaje de viviendas con entorno urbano mejorado Porcentaje de usuarios que reciben vivienda declaran satisfacción por calidad y entorno Eficacia (Cobertura, Focalización) Calidad Eficacia (Cobertura, Focalización) Eficiencia Calidad Eficacia Eficiencia Calidad Presupuesto Sistema de Información interna (Productos intermedios, Productos finales, no relacionados con O. Estratégicos) Sistema de Información Directivo Kilómetros construidos Inspecciones realizadas Gasto administrativo/ Gasto Total Gasto Ejecutado/Gasto programado Eficiencia Calidad Economía Presupuesto (Productos Finales) Sistema de Información Interna (Productos Intermedios) ORGANISMO DE PLANIFICACION

n CONSTRUCCION DE FORMULAS

DEFINIR LAS FORMULAS O ALGORITMOS n A) BASES DE COMPARACIÓN: Sirve para medir cobertura lograda, cumplimiento programado, cumplimiento solicitado Lo que se hace Nº de usuarios atendidos Lo que debe hacerse Nº de usuarios por atender Nº de certificados emitidos Nº Certificados solicitados Monto inversión ejecutada Monto asignado para inversión

EJEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO LO PROGRAMADO, COMPARACION RESPECTO DEL OBJETIVO DEFINIDO Porcentaje de vías navegables ya habilitadas Fórmula de cálculo 1999 2000 2001 Vías navegables habilitadas año t/ Vías navegables programadas año t s/d (120/143)*100 83, 9%

FORMULAR ALGORITMOS B) DEFINICIÓN DE RATIOS Sirve para medir Costos medios, producto medio, indicadores de eficiencia Costos medios: Costo total consultas/ consultas realizadas Producto medio: Nº inspecciones realizadas/ Nº inspectores

EJEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO TASA DE VARIACION Porcentaje de aumento del parque informático de la Unidad Ejecutora y su conexión en red Fórmula de cálculo: 1999 2000 2001 [(Equipos incorporados y conectados en el año t/ equipos conectados año t-1) -1] *100 53 71 96 33, 9% 35, 2%

EJEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO Tiempo máximo de respuesta de tramitación Fórmula de cálculo: 1999 Sumatoria de N°de días de Tramitación/N°de tramitaciones Realizadas (días) 2000 Meta 18 días 30 días 25 días

ESTABLECER REFERENTES COMPARATIVOS BASES DE COMPARACION: n DESEMPEÑO HISTORICO n OBJETIVOS DEFINIDOS n DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.

RECOPILAR LA INFORMACION NECESARIA PARA LA CONSTRUCCION DE INDICADORES Y CONSTRUIR SISTEMAS DE INFORMACION TIPOS DE INFORMACION n n Información contable-presupuestaria Estadísticas de producción física, cargas de trabajo del personal n Encuestas, estudios especiales n Benchmarking, etc

Validar los indicadores

Cómo seleccionar los indicadores n n Por su relevancia para el cumplimiento de los objetivos de la institución Por la importancia de la variable medida para mejorar el desempeño a partir de la evaluación n Por la disponibilidad de datos que tengo n Por la capacidad de controlar el desempeño

n n n n Requisito a validar SI/ NO ¿Se relaciona el indicador con el objetivo al cual está vinculado? ¿Se relaciona el indicador con el producto al cual está vinculado? ¿Se relaciona el indicador con la misión de la Institución/ Programa? ¿Es importante el indicador para la institución? El indicador tiene claramente una meta o referente para ser medido su resultado El resultado del indicador explica de forma precisa y clara el grado de cumplimiento de la meta o el resultado es ambiguo Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por el responsable

Cuestionario validación de indicadores ¿ Se ha definido la frecuencia de medición del indicador? ¿ La unidad de medición es adecuada para la meta que se espera medir? ¿Es posible recopilar datos confiables y precisos para este indicador? ¿El resultado de este indicador podría estar condicionado solo por factores internos? ¿Está la información de este indicador disponible y accesible a los interesados? (interesados internos y externos, el publico en general, etc. ) • ¿El indicador fue elaborado en forma participativa? (liderazgo y personal de la institución y el programa, grupos de interés públicos, etc. ) • ¿Es importante el indicador para el usuario? • ¿Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por los interesados externos a la institución?

Evitar indicadores que generen incentivos perversos” · Aumento en los porcentajes de recaudación por multas a contribuyentes evasores Puede incentivarse a destinar mayores recursos de los necesarios a las acciones de fiscalización en áreas donde las multas sean más onerosas; desestimando otros que tienen mayor importancia desde el punto de vista de la economía, la competencia, la seguridad para los usuarios, calidad de los productos, etc.

Evitar indicadores que generen incentivos perversos” · Porcentaje de detenciones por delitos Puede incentivarse una acción represiva no acorde con la situación delictiva, o destinar recursos extras para la represión delito, dejando otras acciones preventivas, etc)

Evitar indicadores que generen incentivos perversos” · Disminución de tiempos de respuestas, sin llevar asociado una meta de calidad del producto entregado. Número de fallos judiciales en un tiempo X. , puede implicar que el juicio no se ajuste a derecho, que los fallos sean inapropiados, generando problemas de seguridad, reincidencia, etc)

INTEGRALIDAD DE LA MEDICION Aumentar la cobertura del programa de raciones a un 55% de la población escolar. Llegar a un costos promedio de $5 Alcanzar 1000 calorías por ración INDICADOR DE EFICACIA INDICADOR DE EFICIENCIA INDICADOR DE CALIDAD Población escolar en programa / población escolar total Costo promedio de las raciones: gasto total programa / número de raciones * Calorías por ración. * Porcentaje de aceptación de los escolares (encuesta)

Indicadores que permitan medir continuamente (año a año) variables relevantes en el cumplimiento de la misión y de interés para la ciudadanía n n n n Tasa de escolaridad Porcentaje de recaudación de impuestos Porcentaje de vías en buen estado Porcentaje de delitos contra la propiedad Porcentaje de plagas bajo control Porcentaje de fallos favorables Tiempo de respuesta

Indicadores confiables y verificables n n Que puedan estar sostenidos en bases de datos confiables y auditables Que permitan establecer supuestos para los aspectos no controlables por la institución que pueden alterar la meta