AUDITORIA OPERACIONAL TRIBUNAL DE CONTAS DO PARAN PAF

AUDITORIA OPERACIONAL TRIBUNAL DE CONTAS DO PARANÁ PAF SOCIAL AC - Marcio José Assumpção Email: pafsocial@tce. pr. gov. br Fone: 41 -3350 -1719

30/09/2011 Execução da Auditoria Operacional Relatório Monitoramento Cronograma de atividades Técnicas de Diagnóstico

ARNALDO LAPORTE Meio Ambiente AOP MÁRCIO ASSUMPÇÃO Transporte Escolar Aquisição de Medicamentos CAROLINA MARCELINO UENP Jacarezinho FECILCAM Campo Mourão RICARDO ALPENDRE UNIOESTE - Mal. Cd. Rondon FAFIPA Paranavaí ROGÉRIO BARBOSA MACEDO MÁRCIO LUIZ CARRIERI SÉRGIO LUIZ MAYBUK DIONE OLESCZUK SOUTES RONALDA CARVALHO CARGNIN SILVALDO BAGLIE UEPG - Ponta Grossa

Monitoramento Seleção Divulgação CICLO DA AUDITORIA OPERACIONAL Planejamento Apreciação Execução Comentário do gestor Relatório

Para que tantas técnicas? Por que não partir direto para a auditoria? 1. compartilhar idéias, compará-las e tomar decisão 2. formar entendimento claro e comum sobre objetivo da auditoria

3. conhecer o objeto de auditoria e o ambiente em que opera 4. problematizar 5. identificar causas de falhas e de sucessos para formular recomendações 6. sistematizar idéias

Brainstorming Quando não há clareza sobre o tema Para jogar focos de luz sobre o tema e depois escolher o melhor ângulo 8

Brainstorming Para explorar objetos de auditoria, para selecionar o problema de auditoria, para selecionar a abordagem a ser utilizada, para decidir sobre a técnica de análise, para formular recomendações, para identificar benefícios. 9

Brainstorming Dinâmica: muitas pessoas, ambiente relaxado, descontraído, receptivo, sem censura Chave: criatividade 10

Brainstorming 1. Exponha o problema, o que se deseja 2. Escreva-o em local que fique a vista de todos 3. Escreva cada idéia em um papel autocolante e coloque-o a vista de todos 11

Brainstorming 4. Comece a formar esquema inteligível de idéias com o grupo 5. Caso o objetivo seja selecionar idéias e a tarefa esteja difícil, estabeleça com o grupo critérios a serem obedecidos e esquema de pontuação

Brainstorming Uma pessoa deve atuar como facilitadora e outra escrever as idéias e montar o quadro Deve-se encorajar o fluxo Nada de repressão 13

Brainstorming Uma idéia aparentemente tola pode levar a uma solução criativa Entre 20 e 30 min é o suficiente para a primeira fase 14

Análise Stakeholder - Objetivos Conhecer o conceito e a técnica análise stakeholder Estar habilitado a utilizar essa ferramenta nas auditorias de desempenho

Conceito Stakeholder São pessoas, grupos ou organizações com interesse em algum programa ou projeto. São aqueles que influenciam ou são influenciados de forma decisiva ou são importantes para o sucesso do objeto da auditoria

O que é análise stakeholder consiste na identificação dos principais atores envolvidos, dos seus interesses e do modo como esses interesses afetam o risco e o desempenho do objeto da auditoria

Stakeholders primários são aqueles que são afetados tanto positiva como negativamente secundários são os intermediários envolvidos no processo de prestação de serviços stakeholders chave

Stakeholders Doadores, financiadores Legisladores, gestores nacionais, operadores locais, controladores, reguladores Sindicatos, associações profissionais Associações de usuários, ongs

Serve para identificar grupos primários e secundários de interesse no programa papel dos atores envolvidos conflito de interesses entre as partes envolvidas

Serve para identificar possíveis entrevistados, pesquisados, participantes de grupos focais grupos de apoio para introdução a mudanças

Aplicação da técnica iniciar brainstorming para identificar possíveis stakeholders selecionar stakeholders relevantes identificar o interesse de cada stakeholder e seu poder de influência

Aplicação da técnica analisar os impactos (+ ou -) da atividade do objeto de auditoria sobre os stakeholders estimar o impacto nos stakeholders sobre o objeto de auditoria (+ ou -)

Conteúdo da análise Atores Grupo Papel Grau de Interesse Impacto Prioridade Interesse - Estimar o grau de interesse de Identificar o papel do ator. - Analisar e registrar os possíveis Classificar em Classificar o interesse - Levantar o interesse de cada ator e do seu - Listar o maior número possível de cada ator. impactos positivos e negativos ao Possíveis fontes: Primário ou Secundário. da auditoria pelo ator: poder de influência sobre o programa. grupos ou individuos que têm interesse Categorias: (++). . altamente a favor Programa caso este não atenda aos - legislação - Alto no programa. (+). . levemente a favor interesses do ator. - documentos - Médio - Cada ator pode ter mais de um interesse e (0). . . indiferente ou indeciso - entrevistas - Baixo (-). . . levemente contra condições diferenciadas para exercer influência. - Ordenar por importância. (--). . Altamente contrar - percepção

Mapa de Processo O que é um mapa de processo? n Representação gráfica de um processo. n Detalha passos críticos/atividades necessárias.

Mapa de Processo n Contém pontos de decisão, fluxos de informação, dados e documentos e interfaces.

Características de um mapa de processo Descreve um processo passo a passo É um método visual e interativo que envolve os auditores e o pessoal do órgão auditado

Características de um mapa de processo Contém informações sobre quantidades, qualidade e prazos Trata-se de um modelo de insumoproduto

Como deve ser (processo segundo as normas) => conformidade Como está sendo realizado (processo real) Como seria melhor que fosse (forma recomendada) => melhoria de desempenho

Que tipo de informações devem ser apresentadas no mapa de processo? Resposta: depende do escopo da auditoria

Informações apresentadas no mapa de processo Descrição das atividades Pontos de tomada de decisão Movimento de informações e de documentos

Informações apresentadas no mapa de processo Pontos de controle Prazos Relação entre as etapas do processo

Informações apresentadas no mapa de processo O custo de cada passo ou atividade Impacto de inovações tecnológicas Limitações externas Tempo de execução de cada atividade Superposição

Mapa de Processo

35

Análise SWOT e Diagrama de Verificação de Risco S W O T 36

O que significa SWOT? É um acrônimo formado pelas palavras inglesas: S trengths - forças W eaknesses - fraquezas O pportunities - oportunidades T hreats - ameaças 37

Análise SWOT integra as metodologias de planejamento estratégico organizacional ferramenta facilitadora do diagnóstico institucional ferramenta para organizar opinião sobre o ambiente no qual opera o objeto de auditoria

Quando deve ser aplicada a análise SWOT? Análise SWOT Monitoramento Relatório Execução Planejamento Seleção

Análise do ambiente: diagnóstico e cenários Ambiente Interno Forças: características internas que podem afetar de modo positivo o desempenho Ambiente Externo Oportunidades: características externas não controláveis com potencial para ajudar a melhorar o desempenho Fraquezas: características Ameaças: características internas que podem inibir externas não controláveis ou restringir o desempenho que podem comprometer o desempenho.

Exemplos de variáveis ambientes AMBIENTE EXTERNO AMBIENTE INTERNO o o o Sistema de atendimento ao beneficiário; (informação, ouvidoria, linha 0800) Qualidade da operação do serviço Divulgação do programa o o o Tecnologias existentes usadas por outros órgãos/programas Política econômica Legislação Impactos no meio ambiente Sistema financeiro

Exemplos de variáveis ambientes AMBIENTE EXTERNO AMBIENTE INTERNO o o o Infra-estrutura do serviço Sistema de planejamento Controle de custos Distribuição de insumos Pessoal Programas de capacitação o o o Organizações da sociedade civil (Sindicatos, ONGS, Redes de Especialistas) População alvo Infra-estrutura na comunidade beneficiária Fatores geográficos Fatores climáticos Fornecedores de insumos

Fontes de informação Especialistas Gestores Revistas especializadas Mídia Relatórios internos Relatórios contratados Auditorias anteriores Controle interno

Passo a passo da SWOT Em uma folha de papel, desenhar 2 colunas denominadas ”Ambiente Interno e Ambiente Externo”; Na coluna ambiente interno, abrir 2 caixas denominadas “Forças” e “Fraquezas”; 44

Passo a passo da SWOT Na coluna ambiente externo, abrir 2 caixas denominadas ”Oportunidades” e “Ameaças” Utilizando um bloco de “post-it”, iniciar “brainstorming” para o preenchimento do quadro 45

Diagrama de verificação de risco O que é Passos para a elaboração da DVR

O que é verificação de risco? Ferramenta de diagnóstico que ajuda a avaliar a capacidade do auditado de identificar e gerir seus riscos. 47

Para que usar? identificar os riscos que podem afetar o desempenho do programa; auxiliar na formulação do problema de auditoria;

Para que usar? assegurar que áreas de risco do programa serão investigadas com profundidade durante a auditoria; sistematizar e estruturar o conhecimento dos gestores sobre seu meio ambiente.

Modelo de diagrama de verificação de risco Alto Impacto potencial no alcance dos objetivos Baixo Baixa Probabilidade de ocorrência Alta

impacto Áreas de atenção no diagrama de verificação de risco probabilidade

Passos a serem seguidos Identificação dos pontos fracos e ameaças a partir da análise SWOT

Conclusões para a auditoria A partir do DVR, a equipe será capaz de identificar as áreas que poderão ser investigadas com maior profundidade

Quando deve ser elaborado o diagrama de verificação de risco? Monitoramento Diagrama de Verificação de Risco Relatório Execução Planejamento Seleção

1. O que é produto ? 2. Por que se concentrar em produtos? 3. Razões para se elaborar o mapa de produtos 4. Como elaborar o mapa de produtos

Produto é um bem, um serviço ou uma condição resultante de atividade(s) de uma organização ou de um indivíduo Produtos devem ser observáveis Exemplos: vacinas aplicadas, fiscalizações efetuadas, multas lavradas, débitos arrecadados

Razões para se elaborar mapa de produtos Obter quadro claro sobre os objetivos do órgão ou atividade auditada Mostrar as relações de dependência dos diversos produtos

Razões para se elaborar mapa de produtos Identificar as áreas ou setores do órgão responsáveis pelos produtos-chave Orientar o trabalho subseqüente de construção e escolha dos indicadores de desempenho

Como elaborar o mapa de produtos Convide os gestores para oficina de trabalho na qual será usado o brainstorming para identificar os produtos Selecione os produtos (não exagere no número) para a atividade do programa ou organização a ser auditada Identifique a hierarquia de produtos finais, produtos intermediários e insumos

Como elaborar o mapa de produtos Disponha esses produtos de modo a mostrar, por meio de setas, a relação de causa e efeito entre eles Insumos Produtos Intermediários Causa e efeito Produto Final Causa e efeito

Diferenças entre um mapa de processo e um mapa de produtos Um mapa de processo é uma seqüência lógica de tarefas, atividades e do fluxo de documentos em uma organização § É usado para identificar oportunidades de melhoria em um processo § Esses processos contribuem para se chegar aos produtos

Diferenças entre um mapa de processo e um mapa de produtos Um mapa de produto é uma seqüência lógica dos bens e serviços resultantes dos processos § É usado para identificar produtos-chave e construir indicadores de desempenho § Cada seta no mapa de produtos representa um processo § É mais estável. .

MATRIZ DE PLANEJAMENTO O que é? quadro resumo das informações relevantes do planejamento de uma auditoria

MATRIZ DE PLANEJAMENTO Componentes: problema de auditoria; questões de auditoria; informações requeridas; fontes de informação; estratégias metodológicas;

MATRIZ DE PLANEJAMENTO Componentes: métodos de coleta de dados; métodos de análise de dados; limitações; o que a análise vai permitir dizer.

MATRIZ DE PLANEJAMENTO PROBLEMA: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria, de acordo com o planejamento de auditoria previamente realizado.

MATRIZ DE PLANEJAMENTO Por que usar? Equaliza o entendimento da equipe, e demais envolvidos, quanto : ao objetivo do trabalho aos passos a serem seguidos à metodologia a ser adotada

MATRIZ DE PLANEJAMENTO Por que usar? Orienta os integrantes da equipe na fase de execução Facilita a confecção do projeto de auditoria

MATRIZ DE PLANEJAMENTO Como fazer ? 1. Após a aplicação de técnicas de diagnóstico, especificar o problema que será enfocado na auditoria 2. Determinar a linha de investigação, mediante a subdivisão do problema em questões de auditoria

MATRIZ DE PLANEJAMENTO Como fazer ? 3. Determinar, para cada questão de auditoria, o que a análise vai permitir dizer (onde se deseja chegar com a investigação) 4. Identificar as informações requeridas e onde obtê-las

MATRIZ DE PLANEJAMENTO Como fazer ? 5. Escolher as estratégias metodológicas para responder às questões de auditoria 6. Escolher os métodos de coleta e análise de dados que serão empregados 7. Realizar painel de referência

MATRIZ DE PLANEJAMENTO Como fazer ? 8. Apresentar ao gestor a primeira versão da matriz de planejamento 9. Refazer a matriz de planejamento, se for o caso

QUESTÕES DE AUDITORIA São os elementos centrais para determinar o direcionamento da investigação (estabelecem o foco, os limites e as dimensões a serem observadas) São fundamentais para o sucesso das auditorias.

QUESTÕES DE AUDITORIA Devem ser: articuladas e coerentes (o conjunto deve ser capaz de esclarecer o problema de auditoria) viáveis (deve ser possível respondê-las) Deve-se conceber, conjuntamente, os critérios de auditoria

QUESTÕES DE AUDITORIA Tipos de questões: Descritivas: fornecem informações sobre o objeto de auditoria. Exemplo: “Como o Departamento de Arrecadação identifica os devedores inadimplentes? ”

QUESTÕES DE AUDITORIA Tipos de questões: Normativas: tratam de comparações entre o desempenho atual e o estabelecido em norma, padrão ou meta. Exemplo “Os projetos aprovados atendem aos requisitos de preservação ambiental previstos no Acordo de Cooperação Técnica? ”

QUESTÕES DE AUDITORIA Tipos de questões: Avaliativas (ou de causa-e-efeito): referem -se à efetividade do programa Exemplo: “Em que medida o Programa tem contribuído para a melhoria das condições de habitabilidade dos beneficiários ? ”

QUESTÕES DE AUDITORIA Tipos de questões: Exploratórias: Destinadas a explicar eventos específicos, esclarecer os desvios em relação ao desempenho padrão e as razões de ocorrência de um determinado resultado. Exemplo: “Que fatores explicam o aumento expressivo nos gastos com pagamento dos benefícios de auxílio-doença nos últimos dez anos? ”

INFORMAÇÕES REQUERIDAS Devem ser relacionadas todas as informações requeridas para responder à questão da auditoria As informações coletadas e analisadas podem se constituir em evidências dos achados de auditoria

INFORMAÇÕES REQUERIDAS Muitas vezes é recomendável o uso de mais de um tipo de evidência, de forma a fortalecer as conclusões finais Deve-se considerar os custos de obtenção e o valor agregado para a auditoria. (Diretrizes da Intosai 3000/3. 3)

FONTES DE INFORMAÇÃO Devem ser identificadas as fontes de cada item de informação, tais como: órgãos auditados órgãos de pesquisa servidores especialistas beneficiários legislação ONGs imprensa

ESTRATÉGIAS METODOLÓGICAS Métodos requeridos para investigar as questões formuladas Principais tipos: 1. Pesquisa bibliográfica 2. Pesquisa documental 3. Pesquisa (probabilística ou não)

ESTRATÉGIAS METODOLÓGICAS Métodos requeridos para investigar as questões formuladas Principais tipos: 4. Estudo de caso 5. Delineamentos (experimentais, quaseexperimentais e não-experimentais)

ESTRATÉGIAS METODOLÓGICAS Pesquisa bibliográfica Busca de informações e de material já elaborado, como livros, artigos científicos e publicações periódicas.

ESTRATÉGIAS METODOLÓGICAS Pesquisa documental Busca de informações a partir de documentos que não receberam tratamento analítico, escritos (memorandos, ofícios, documentos cartoriais) ou não escritos (fotografias, filmes).

ESTRATÉGIAS METODOLÓGICAS Pesquisa Os dados obtidos a partir de interrogação direta às pessoas ou entidades cujo comportamento ou características se busca conhecer.

ESTRATÉGIAS METODOLÓGICAS Pesquisa Sua utilização permite: obter informações descritivas de uma população ampla; conhecer opiniões de beneficiários, executores e outros atores interessados programas auditados.

ESTRATÉGIAS METODOLÓGICAS Pesquisa Pode ser realizado por meio de questionários enviados pelo correio, Internet, aplicados face a face ou por telefone, ou por meio do exame de registros administrativos.

ESTRATÉGIAS METODOLÓGICAS Estudo de caso “Um estudo de caso é um método para conhecer uma situação complexa, baseado em uma compreensão abrangente da situação, obtida a partir da ampla descrição e análise da mesma, considerada como um todo e no seu contexto. ” (GAO, 1990)

ESTRATÉGIAS METODOLÓGICAS Estudo de caso Suas principais características são: uso de métodos qualitativos de coleta de dados (entrevista; grupo focal; observação direta) não-utilização de amostragem probabilística análise concomitante à coleta de dados

MÉTODOS DE COLETA DE DADOS Definição de como os dados serão coletados. questionários entrevistas grupo focal exame de registros administrativos

MÉTODOS DE COLETA DE DADOS Definição de como os dados serão coletados. consulta a bancos de dados observação direta leitura da bibliografia

MÉTODOS DE ANÁLISE DE DADOS Como os dados são organizados, relacionados e interpretados com o objetivo de proporcionar resposta às questões de auditoria. Envolvem técnicas de análise qualitativa e quantitativa, como análises estatísticas e técnicas específicas de tratamento de dados.

MÉTODOS DE ANÁLISE DE DADOS Principais tipos: análise de conteúdo regressão testes de diferenças entre médias tabulação de freqüências análise de séries temporais

MÉTODOS DE ANÁLISE DE DADOS Principais tipos: triangulação benchmarking (comparações de desempenho e processos) análise do mapa de processos

LIMITAÇÕES Deve-se apontar as limitações inerentes: à estratégia metodológica, método de coleta ou de análise de dados (possibilidade generalização dos resultados do estudo) ou materiais)

LIMITAÇÕES Deve-se apontar as limitações inerentes: aos dados disponíveis (dificuldades de acesso ou sua qualidade ou confiabilidade) condições operacionais de realização da auditoria (recursos humanos ou materiais)

O QUE A ANÁLISE VAI PERMITIR DIZER Deve-se esclarecer precisamente que conclusões ou resultados podem ser alcançados a partir da estratégia metodológica adotada e considerando as limitações existentes.

“Se fizeres planos para um ano, planta arroz. Se fizeres planos para uma década, planta árvores. Se fizeres planos para uma vida inteira, educa uma pessoa. ” Provérbio Chinês