INDICADORES DE DESEMPENHO E EVALUACION DE PROGRAMAS Curso

INDICADORES DE DESEMPENHO E EVALUACION DE PROGRAMAS Curso Políticas Orçamentárias e Gestão Pública por Resultados ILPES/CEPAL Outubro 2006 Marianela Armijo 1

INDICADORES DE DESEMPEÑO INDICADORES DE DESEMPENHO: CONCEITOS PASSOS BASICOS PARA SEU CONSTRUCCION REQUISITOS E CONDIÇÕES DIFICULDADES 2

INDICADORES DE DESEMPEÑO: CONCEPTOS INSTRUMENTOS DE MEDICION DAS VARIÁVEIS SÓCIAS ÀS METAS MEDIDAS QUE DESCREVEM COMO UMA INSTITUCION ESTA ATINGINDO SEUS OBJETIVOS E METAS 3

OBJETIVOS USO INDICADORES(*) Induz melhoras em Informação Fundamenta a discussão de Resultados Possibilita a Avaliação Apóia o processo de Formulação de Políticas Facilita o estabelecimento de Compromissos de Resultado (*) Dirección de Presupuestos. Ministerio Hacienda. Chile. 4

EVALUACION DA GESTION Foco da evaluacion MEDICION DO DESEMPENHO CONSEGUIDO PELAS INSTITUIÇÕES ELABORACION DE MEDIDAS DE DESEMPENHO PODE ABARCAR TODO O PROCESSO DE PRODUCCION INSUMOS PROCESSOS PRODUTOS RESULTADOS 5

RESULTADO FINAL OU IMPACTO (OUTCOME) PRODUTO – (OUTPUT) ¿Cómo están cambiando las condiciones que estamos interviniendo? ¿Quantas unidades de produtos e serviços estamos gerando ? ¿Com que rapidez o PROCESSO estamos fazendo? Quanto nos custa? INSUMO (INPUTS) ¿Quantos recursos investimos, quanto pessoal trabalhou no processo ? 6

Resultados • gente vê os avisos Imediatos • as atitudes da gente se vêem afetadas Intermédios • o comportamento se vê afetado Finais • menor incidência de doenças relacionadas com o tabagismo Produtos • avisos realizando-se na Televisão Processos (Atividades) • desenho e provas dos avisos -produção dos avisos -compra do tempo de aviso comercial Insumos (Inputs) • Custo da campanha de televisão 7

A medição do desempenho é parte de um longo processo de planejamento Missão Medidas de Desempenho Objetivos Quem somos ou que fazemos Como sabemos que chegamos Onde queremos ir Cómo podemos chegar Estratégias 8

PASSOS BASICOS PARA A CONSTRUCCION DE INDICADORES IDENTIFICAR OBJETIVOS E METAS IDENTIFICAR AS AREAS DE MEDICION DE DESEMPENHO CONSTRUIR AS FORMULAS OU ALGORITMOS VALIDAR: APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS RECOPILAR A INFORMACION NECESSÁRIA ESTABELECER RESPONSABILIDADES ORGANIZACIONALES COMUNICAR E INFORMAR 9

Ciclo Básico do Processo de Construção de Indicadores de desempenho 1. Identificação e/ou revisão de Missão Objetivos 2. Estabelecer as medidas de desempenho claves Eficácia, Eficiência, Qualidade, Economia Estratégico Metas 9. Comunicar e informar 8. Analisar e interpretar os resultados 7. Validar os indicadores 3. Atribuir as responsabilidades Estabelecer indicadores em cada nível da organizacion 4. Estabelecer os referentes comparativos 5. Construir as fórmulas 6. Coletar os dados e gerar sistemas de informação 10

IDENTIFICAR OBJETIVOS E METAS ¿TENHO IDENTIFICADA A MISSÃO, OS PRODUTOS E OS USUÁRIOS? ¿ TENHO CLAROS OS OBJETIVOS QUE DEVO CONSEGUIR? ¿ ESTÃO OS OBJETIVOS ALINHADOS COM As PRIORIDADES ESTRATÉGICAS DA ORGANIZAÇÃO? ¿ OS OBJETIVOS ESTÃO EXPRESSADOS EM METAS MENSURÁVEIS? 11

IDENTIFICAR AS AREAS DE MEDIÇÃO DA DESEMPENHO ¿QUE AREAS DO DESEMPENHO RESULTA CONVENIENTE MEDIR ? EFICIÊNCIA EFICÁCIA QUALIDADE ECONOMIA 12

INDICADORES DA DESEMPEHNO (*) AMBITOS DE CONTROLE PROCESSO PRODUTO RESULTADO D i EFICÁCIA m e EFICIÊNCIA n ECONOMÍA s õ QUALIDADE e s (*) Indicadores de Desempeño. www. dipres. cl 13

MATRIZ DE INDICADORES (*) Produco relevante (bien y/o servicio) al que se vincula Indicador de Desempenhoo Fórmula de cálculo Informação Histórica 1998 1999 2000 Estimação Meta Programa/ Subtítulo/ ítem/ 2001 2002 Atribuição Orçamentária Meios de Verificacion Eficácia Eficiência Economia Qualidade (*) Indicadores de Desempeño. www. dipres. cl 14

DEFINIR AS FORMULAS OU ALGORITMOS A) BASES DE COMPARAÇÃO O que se faz Nº de usuários atendidos Nº de certificados emitidos Monto investimento executado O que deve fazer-se Nº de usuários por atender Nº Certificados solicitados Monto atribuído para investimento 15

FORMULAR ALGORITMOS b) Definição de ratios Custos médios: Custo total consultas/ conferes realizadas Produto medio: Nº inspeções realizadas/Nºinspetores c) Definição de padrões % de recomendações aceitadas % de clientes satisfeitos Nº de erros Tempo média de tramitação 16

RECOPILAR A INFORMACION NECESSÁRIA Informação contável-orçamentária Estatísticas de produção física, ônus de trabalho do pessoal Enquetes, estudos especiais Benchmarking, etc 17

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION EFICÁCIA: Mede o grau de cumprimento dos objetivos e metas estabelecidos, através dos produtos ou resultados obtidos, sem referência ao custo de consecução dos mesmos 18

PRODUTO EFICACIA: RESULTADO INTERMÉDIO Percentagem de Taxa anual de reclusos participando variação de reclusos do programa de com contrato de trabalho reinserção /Total RESULTADO FINAL OU IMPACTO Porcentagem de desempleo da poblacao reclusa aprovada população enclausurada potencialmente beneficiária do Programa Ateliês de capacitação realizados/Ateliês de capacitação programados Participantes que conseguem certificarse por concorrência/Total de participantes (Produtividade dos participantes ano t Productividad participantes ano t 1/Produtividade participantes año t 19 1)*100

EFICÁCIA/Cobertura Area de cultivo inclusa no Programa Area Total do Programa de Cultivo Direção Geral de Serviços Agrícolas. Uruguay Controles de emissões Ônibus Interurbanos Total de Ônibus Interurbanos Subsecretaria de Transportes Chile Reclusos com atividade industrial Direção Nacional de Cárceres Uruguay Total de reclusos 20

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION EFICIÉNCIA Estabelece a relação entre a produção física do bem ou serviço e os insumos utilizados para atingir o nível de produto. Maior quantidade de serviços dado o mesmo nível de recursos Atingir um determinado nível de serviços utilizando a menor quantidade de recursos possível 21

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION EFICIÉNCIA Custo médio de produção (Custo por beneficiário, custo por componente) Produtividade média (usuários atendidos por unidade de tempo, fiscalizações por inspetor) 22

EFICIÉNCIA EFICIENCIA-Costo Medio Gastos administrativos programa bolsa/bolsas entregadas Gasto total programa certificação/Caixas vistoriadas Gasto associado a intervenções quirurjicas/número de intervenções Custo total de unidades moradias contratadas/unidades contratadas 23

EFICIÉNCIA EFICIENCIA-Produto Medio Número de inspeções/número de inspetores Número de expedientes resolvidos por semestre/dotação de pessoal na tarefa Número de inspeções ao transporte de passageiros/pessoal afetado à tarefa Número de consultas/número de médicos 24

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION Qualidade Mede a capacidade da organização por cumprir com os requisitos de satisfação do produto que esperam os usuários, em termos de oportunidade, acessibilidade, precisão, etc. 25

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION Qualidade Medições indirectas: Melhorar os atributos e caracteristicas dos Produtos Medições diretas Grau de satisfação dos usuários 26

Qualidade-Tempo de resposta Tempo de espera média para atendimento em consulta Direção Geral de Saúde Tempo de tramitação média de solicitações mineiras Direção Geral de geologia e mineração Tempo média para o estudo de cada Plano de Reflorestamento Direção Geral de Recursos Naturais Dia de demora média de trâmites de legalização 27 Direção Geral de Secretaria

Qualidade- Satisfação do usuário Percentagem de aprovação Enquete de opinião aos usuários Direção Nacional de Registos Percentagem de reclamos/casos atendidos Direção Nacional de Topografia Número de reclamos/assuntos resolvidos Subsecretaria do Ministério de Educação e Cultura Número de serviços reclamados/número total de serviços Hospital de Montevideo 28

INDICADORES DE QUALIDADE Oportunidade Percentagem de respostas aos Parlamentares dentro dos limites lembrados Percentagem de reportes econômicos entregados em tempo lembrado Número de intervenções com atraso/ Número de intervenções totais Accesibilidade Percepcion de usuários Precision Número de localidades cobertas por atendimentos Percentagem de aprovação excelente dos ateliês de trabalho, pelos participantes Percentagem de contratos findos Número de falhas reais/ Falhas programadas móveis Nº de horas que a Biblioteca está aberta fora das horas de trabalho Percentagem de População com necessidades especiais que são membros ativos da Biblioteca Percentagem de usuários satisfeitos Nº de usuários satisfeitos/ Total usuários interrogados por erros Percentagem de Satisfeitos com o contratos com um ou mais erros trato no encontrados por atendimento/ revisões externas Total usuários 29 Nº de usuários

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION Economia Capacidade da instituição por gerar e mobilizar adequadamenteos recursos financeiros de um programa ou instituição. Exemplos: Capacidade de autofinanciamiento Nível de recuperação de empréstimos Capacidade de execução do orçamento 30

ECONOMIA Percentagem de recuperação de créditos de curto prazo Gasto de atividades de apoio/gastos totais. Aporte de beneficiários a financiamento/Monto total de investimento do programa Gasto de funcionamento/gastos executados totais Recuperação de cobranza/Faturação 31

ESTABELECER RESPONSABILIDADES ORGANIZACIONALES Os centros de responsabilidade: Têm produtos estratégicos claramente asignable Têm objetivos concretos a atingir. Tem à cabeça um diretor responsável com pelo cumprimento desses objetivos. Dito diretivo não só conta com a responsabilidade senão que também com a autoridade e as atribuições para tomar as decisões necessárias para o lucro dos objetivos. Tem atribuído recursos humanos, materiais e financeiros. 32

Modelo básico de Unidade de Controle de Gestão 33

APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS Relevância Pertinência Não é possível nem desejável medí-lo todo Custo razoável Medir o correto Independencia Integracion Eficácia, eficiência, qualidades, economia Medir o controlável Homogeneidade Medidas equivalentes Confiabilidad Dados suficientes e demostrables 34

APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS RELEV NCIA DA MEDICION ASSEGURAR-SE QUE ESTOU MEDINDO OS OBJETIVOS VINCULADOS AO ESTRATEGICO INDICADORES QUE ESTEN VINCULADOS COM O DEFINIDO NO PLANO ESTRATEGICO E NO PLANO OPERATIVO “NÃO É POSSÍVEL, NEM DESEJÁVEL MEDÍ-LO TUDO” 35

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES MEDIR O CORRETO: CONHECER O PROCESSO DE PRODUCCION QUESE MEDE, ASEGURANDOSE QUE A MEDIDA DE DESEMPENHO REPRESENTA UM PROCESSO FINQUE PARA A OBTENCION DA META. 36

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES INDEPENDÊNCIA MEDIR O QUE A INSTITUCION SEJA CAPAZ DE CONTROLARCONTAR COM OS DADOS SUFICIENTES E DEMOSTRABLES 37

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES CUSTOS RAZOÁVEIS NA RECOLECCION DE DADOS HOMOGENEIDADE PARA UM MESMO SERVIÇO MEDIDO A NATUREZA DAS PRESTAÇÕES DEVEM SER EQUIVALENTES 38

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES DE DESEMPENHO NÃO SÃO UM FIM EM SE MESMO SENÃO UM MEIO. “A EVALUACION MAS QUE UMA MEDICION É UMA INTERPRETACION DOS RESULTADOS” DEVEM ESPECIFICAR-SE E TER-SE EM CONTA A INTERRELACION DAS DIFERENTES MEDIDAS DE DESEMPENHOSIMPLICIDADE DA MEDICION 39

COMO INTERPRETAR OS RESULTADOS BASES DE COMPARACION: DESEMPENHO HISTORICO: METAS DESEMPENHO CONSEGUIDO EM INSTITUIÇÕES SIMILARES, PROCESSOS OU PROGRAMAS. 40

COMO INTERPRETAR OS RESULTADOS NÃO HÁ UMA MEDIDA UNICA QUE DEMONSTRE POR SE SÓ O DESEMPENHO DA INSTITUCION REQUER-SE UM COMBINACION DE LAS RESULTADOS, IMPACTO, EFICÁCIA, EFICIÊNCIA, QUALIDADE “ CERTOS INDICADORES PODEM SER CONTRADITÓRIOS ENTRE ELES”: 41

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO • GESTION DE ANOS ANTERIORES Percentagem de aumento do parque informático da Unidade Executora e sua conexão em rede Fórmula de cálculo: 1999 2000 2001 [(Equipes incorporadas e conectados nos ano t/ equipes conectadas ano t-1) -1] *100 53 71 96 33, 9% 35, 2% 42

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO UM ESTANDAR DE INSTITUIÇÕES SIMILARES Tempo máximo de tramitação de mediações Fórmula de cálculo: 1999 2000 Meta Sumatoria de N°de dias de Tramitação /N°de tramitações Realizadas (dias) 18 dias 30 dias 25 dias 43

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO O PROGRAMADO, COMPARACION RESPECTO DO OBJETIVO DEFINIDO Percentagem de vias navegáveis já habilitadas Fórmula de cálculo Vias navegáveis habilitadas ano t/ Vias navegáveis programadas ano t 1999 S/d 2000 2001 s/d (120/143)*100 83, 9% 44

INTEGRALIDAD DAS METAS Aumentar a cobertura do programa de rações a um 55% da população escolar. Chegar a um custos média de $5. Atingir 1000 calorias por ração INDICADOR DE EFICÁCIA INDICADOR DE EFICIÊNCIA População escolar em programa / população escolar total Custo média das rações gasto total programa / número de rações INDICADOR DE QUALIDADE Calorias por ração. * Percentagem de aceitação dos escolares (enquete) 45

PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES ARMADILHA DA MEDICION: MOSTRA-SE COMO RESULTADOS (E SE FAZ) SÓ O QUE SE PODE MEDIRTENDE-SE A MEDIR DE ACORDO À INFORMACION DISPONÍVEL, DESCUIDANDO A MEDICION DOS ASPECTOS MAS RELEVANTESSUBVALORACION DAS METAS FRENTE A UM AMBIENTE PUNITIVO DA EVALUACION 46

PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES TENDÊNCIA A MEDÍ-LO TUDO PARA NÃO SUBREPRESENTAR ESFORÇOS DESENVOLVEM-SE INDICADORES MAS NÃO SE USAM PARA A TOMADA DE DECISÕES. 47