SNTESE Transferncia de Tecnologia Palestrantes Cndida Teixeira Mrcio

SÍNTESE Transferência de Tecnologia Palestrantes: Cândida Teixeira Márcio Barros 15/11/2005

Agenda 1. PSDS - Processo SERPRO de Desenvolvimento de Soluções 2. Requisitos 3. Análise 4. Projeto 5. ETL - Extração, Transformação e Carga

Processo Serpro de Desenvolvimento de Soluções - PSDS

PSDS 1. PSDS - Processo SERPRO de Desenvolvimento de Soluções 1. 1 Projeto Síntese está conforme o PSDS 2. 1. 2 Artefatos produzidos e versionados. 3. 1. 3 Sítio : http: //psds. portalcorporativo. serpro

Requisitos

Requisitos 1. Elicitar Requisitos 1. Ata 2. Documento de Visão - inicial 2. Documentar e Analisar Requisitos 1. Ata 2. Documento de Visão - detalhado 3. Especificação de Requisitos Informacionais 4. Modelo Multidimensional 5. Especificação de Casos de Uso 6. Especificação de Regras de Negócio 7. Matriz de Rastreabilidade 8. Metadados de Negócio 3. Revisar Requisitos 1. Termo de Aceite

Requisitos Elicitar Requisitos A Elicitação corresponde à primeira atividade no ciclo de vida da engenharia de requisitos e tem como seu propósito primordial obter conhecimento relevante para o problema a ser resolvido. Elicitar requisitos é um processo de descoberta dos requisitos para um sistema através da comunicação com clientes, usuários finais e demais partes interessadas do sistema.

Requisitos Elicitar Requisitos • Efetuar levantamento inicial com cliente Reuniões presenciais (entrevistas) no período de 09/AGO à 08/OUT/2004, as quais envolveram representantes do TCU e SERPRO. Pelo TCU, participaram: • SEMAG • ADFIS • SECOB • SEFIP • ADCON • SETEC • Elaborar o Documento Visão - Versão inicial; • Detalhar Requisitos

Requisitos Ferramenta: Req. Pro Ferramenta para Gerência de Requisitos Ferramenta de apoio na captura de requisitos e na sua organização, permitindo a gerência de escopo e de mudança. Artefatos: Ata SINTESE-001 -AR-20040810 -ADFIS-SEMAG. doc Documento de Visão SINTESE-001 -DV. doc Metadados de Negócio ds. Contabil. html

Requisitos Documentar e Analisar Requisitos A análise de requisitos tem como objetivo descobrir problemas com os requisitos. É um processo que deve envolver pessoas hábeis e experientes, que deverão ler cuidadosamente os requisitos do software, observando as implicações das declarações neles contidas. Depois que os requisitos do sistema são analisados, eles devem ser documentados com um nível apropriado de detalhe. Em geral, é necessário que o documento de requisitos seja entendível por todos os envolvidos no processo de engenharia de requisitos, pois ele servirá como um contrato entre usuários e desenvolvedores.

Requisitos Documentar e Analisar Requisitos • Análisar os Requisitos • Elaborar o Documento de Requisitos de Software (DRS e MMD) • Definir Matrizes.

Requisitos Documento de Visão 1. Objetivo O propósito deste documento é coletar, analisar e definir as necessidades de alto-nível e características do projeto de software SINTESE-001 , SINTESE – Sistema de Inteligência e Suporte ao Controle Externo, focando nas potencialidades requeridas pelos interessados e usuários-alvo, e como estes requisitos serão abordados no projeto de software. A Visão do projeto documenta o ambiente geral de processos a ser desenvolvido para o sistema durante o projeto, fornecendo a todos os envolvidos uma descrição compreensível deste e suas macro-funcionalidades. O Documento de Visão do Projeto documenta apenas as necessidades e funcionalidades do sistema que estarão sendo atendidas no projeto de software.

Requisitos Especificação de Requisitos Informacionais 1. 1. SÍNTESE 2. Requisitos Informacionais - Neste documento estão cadastrados os requisitos informacionais definidos pelo Tribunal de Contas da União - TCU para a construção da 1ª Fase do SINTESE. A construção do SINTESE terá diversas etapas. 3. 4. 3. Requisitos Contemplando 40% do Siafi 5. 3. 1. Execução Orçamentária e Patrimonial 1. 3. 1. 1. Itens de Informação e Grupo de Itens Ter disponível os parâmetros (para consultas) gerais e específicos identificados nos contas corrente (16 – Célula Despesa, 26 – Empenho, 31 - Célula da Despesa com ND detalhada e 33 - Célula SOF). ● Ter um Assistente que permita a elaboração de relatórios de modo que garanta a filtragem e apresentação apenas dos parâmetros pertinentes a partir da consulta aos lançamentos e saldos existentes; ●

Requisitos Especificação de Requisitos Informacionais 1. 2. 3. 2. Tabelas de Apoio Ter disponível as informações referentes as tabelas identificadas para os ● contas corrente (16 -Célula Despesa, 26 – Empenho, 31 - Célula da Despesa com ND detalhada e 33 - Célula SOF). 1. 3. 3. Documentos Ter disponível as informações referentes a Nota de Dotação – ND ● Ter disponível as informações referentes a Movimentação de Crédito – NC ● Ter disponível as informações referentes a Empenho - NE. ● Ter disponível as informações referentes aos lançamentos documentos e gerar saldos contábeis na base de dados do SINTESE. (Para os conta correntes : 16 – Célula Despesa, 26 – Empenho, 31 - Célula da Despesa com ND detalhada e 33 - Célula SOF) ●

Requisitos Especificação de Requisitos Informacionais 1. 3. 4. Análise pelos Classificadores Orçamentários ● ● Análise Funcional - Programática: ● Função ● Subfunção ● Programa ● Ação ● Localizador de Gasto Análise por Natureza Despesa - Categoria Econômica ● Grupo de Natureza da Despesa ● Modalidade de Aplicação ● Elemento de despesa ● Subitem

Requisitos Especificação de Requisitos Informacionais 1. 3. 4. Análise pelos Classificadores Orçamentários (Cont. ) Análise por Fonte de Recursos: ● ID uso ● Grupo Fonte ● Fonte de Recurso Reduzida ● Detalhe da Fonte ● Selecionar Programas por Função de Governo; ● Indicar os Programas relacionados a mais de uma Esfera de Governo, Órgão, UG; ● Identificar o poder de compra (Grupo de Natureza da Despesa, exceto 1, 2 e 6) de cada Órgão/UG. ●

Requisitos Especificação de Requisitos Informacionais 1. 3. 5. Empenhos ● Análise de Empenho por Modalidade de licitação; Análise de Empenho por Fornecedor, Contratante, Valor, Período, Modalidade, Elemento de Despesa; ● ● Verificar se há reforço de Empenho ordinário;

Requisitos (MMD) MMD

Requisitos Especificação de Casos de Uso 1. Criar Relatório Consulta NE 2. Objetivo Descrever os fluxos de execução das regras de negócio (SINTESE-001 -ERNCriar. Relatorio. Consulta. Nota. Empenho. NE). 3. Tipo de Caso de Uso Concreto. 4. Atores 5. Pré-condições Base de Dados carregada.

Requisitos 6. Fluxo Principal 7. Fluxos Alternativos Especificação de Casos de Uso

Requisitos Especificação de Casos de Uso 7. Fluxos Alternativos

Requisitos Especificação de Casos de Uso 8. Fluxos de Exceção Identificação de erro nas regras de negócio Encontradas situações de erro nas regras de negócio, o sistema deve apresentar a mensagem correspondente à regra infringida. 9. Pós-condições Não se aplica. 10. Requisitos Não-Funcionais Nenhum requisito identificado. 11. Ponto de Extensão Não se aplica.

Requisitos Especificação de Casos de Uso 12. Critérios de Aceite 13. Freqüência de Utilização Média. 14. Observações A aplicação deve fornecer link para o Manual do Usuário. 15. Referências Regras de Negócio, vide SINTESE-001 - ERN-Criar. Relatorio. Consulta. Nota Empenho. NE.

Requisitos Especificação de Regras de Negócio 1. Objetivo Descrever as regras de negócio específicas da Consulta a Nota de Empenho. Esta consulta visa permitir recuperar informações de Empenhos, disponibilizando para os usuários, facilidades de seleção para localizar os de seu interesse. 2. Criar Relatório Consulta NE Essa consulta pesquisa as informações de empenhos, por meio da utilização de atributos da NE. Regra geral de apresentação: - Os campos numéricos que contenham ZERO a esquerda devem ser apresentados completos, ou seja, com zeros a esquerda. Exemplo: UG, Gestão, Órgão, Número Documento. - Campos numéricos devem ser centralizados; - Valores devem ser alinhados a direita - Campos alfanuméricos devem ser alinhados a esquerda.

Requisitos Especificação de Regras de Negócio 2. 1. Filtros de Atributos - Permitir o usuário em tempo de execução informar o dado ou selecioná-lo a partir de uma lista de elementos. - Nenhum dos filtros deve ser obrigatório. Mas para que a apresentação do espelho Contábil seja mais rápida o Usuário deve informar o Número do Documento.

Requisitos Especificação de Regras de Negócio 2. 1. Filtros de Atributos 2. 2. Apresentação da Relação de NE Apresentar na saída do relatório as informações conforme abaixo:

Requisitos Especificação de Regras de Negócio 2. 3. Apresentação NE Referência (Empenho de Reforço e/ou Anulação) 2. 3. 1. Relação dos Empenhos de Reforço e/ou Anulação Referentes ao Empenho Consultado

Requisitos Especificação de Regras de Negócio 2. 4. Apresentação Detalhada das Informações de NE Apresentar os atributos relacionados no detalhamento da NE da “linha de Evento” no cabeçalho de página e os atributos após a linha de Evento devem ficar no corpo do relatório.

Requisitos Especificação de Regras de Negócio 2. 4. Apresentação Detalhada das Informações de NE

Requisitos Especificação de Regras de Negócio 2. 4. 1. Relação de Itens de Empenho Os atributos UG Emitente, Exercício do Documento, Empenho e data Emissão devem ser apresentados no cabeçalho de página

Requisitos Especificação de Regras de Negócio 2. 5. Apresentação do Espelho Contábil Na apresentação do Espelho Contábil separar (paginar) os dados do relatório a partir dos atributos: - UG Emitente - Gestão Emitente - Data de Emissão - Documento (Concatenando: Exercício, Grupo Tipo Documento e Nota de Empenho) - Dia Lançamento

Requisitos Matriz de Rastreabilidade

Requisitos Metadados de Negócio Constituem os metadados de negócio o modelo dimensional, mostrando a organização dos dados, a definição de cada item de dado disponível, . . . etc. Exemplo: Conta Contábil: Tem o propósito de atender, de maneira uniforme e sistematizada, ao registro contábil dos atos e fatos relacionados com os recursos do Governo Federal sob responsabilidade dos Órgãos da Administração Direta e Indireta, de forma a proporcionar maior flexibilidade no gerenciamento e consolidação dos dados e atender às necessidades de informações em todos os níveis da Administração Pública Federal.

Requisitos Metadados de Negócio Ferramentas: • HTML - para construção de páginas; • Adobe Photoshop – para construção das Fatos e Dimensões. Referências: • Siafi Operacional (ajuda, manual e Predict); • Manual Técnico de Orçamento - MTO 2004; • Constituição Federal; • Leis; • Decretos-Leis; • Normas; • Leis Complementares; • Instruções Normativas, etc.

Requisitos (MMD)

Requisitos Revisar Requisitos A atividade de revisão de requisitos engloba subatividades para certificar se o documento de requisitos foi elaborado corretamente e se está consistente com as necessidades dos usuários, além de, quando pertinente, submeter artefatos selecionados para reuso • Verificar Modelo de Requisitos • Requisitos Informacionais X MMD • Validar Modelo de Requisitos • Termo de Aceite

Requisitos (MMD)

Análise

Análise 1. Definir Arquitetura 1. Documento de Arquitetura de Software 2. Definir Modelo de Dados 1. Modelo Multidimensional 3. Revisar Análise

Análise Definir Arquitetura Esta atividade serve para iniciar a arquitetura geral do sistema, além de mostrar a navegabilidade entre os módulos, caso existam.

Análise Documento de Arquitetura de Software 1. Objetivo -Fornecer uma visão geral das principais decisões e estruturas do projeto; 2. Representação Arquitetural Arquitetura em 3 camadas: - Camada de Acesso via Internet/Web; - Camada OLAP, onde são executados os processamentos analíticos dados recuperados do banco; - Camada de Banco de dados, onde os dados são armazenados. 3. Objetivos e Restrições Arquiteturais - A interface com o usuário deve ser amigável e permitir a interação com softwares de serviços específicos (automação de escritórios); - Flexibilização nos documentos do SIAFI; - Visões das informações sob os diversos enfoques; - Análise de tendências, projeção e simulação de cenário; - Recuperação das informações gerenciais;

Análise Documento de Arquitetura de Software 3. Objetivos e Restrições Arquiteturais - Tratamentos das informações históricas; - Exportação de dados; - Importação, transformação e carga de dados; - Atualização em lotes; - Documentação do sistema; - Capilaridade. 4. Visão dos Casos de Uso Significativos - Subsistema ETL; - Subsistema de consultas; - Subsistema de envio, recepção e validação de arquivos externos. 5. Visão de Subsistema de Apoio - Serviço de busca;

Análise Documento de Arquitetura de Software 6. Visão Lógica - Visão Geral; - Visão Geral - Pacotes e Subsistemas; - Subsistema de Envio, Recepção e Validação de Arquivos Externos (RAE);

Análise Documento de Arquitetura de Software 8. Visão de Implantação

Análise Documento de Arquitetura de Software 9. Visão de Implementação - Camada Visual - responsável pela apresentação dos resultados das consultas aos usuários e pela composição (confecção) das mesmas; - Camada OLAP - responsável por receber os pedidos de consultas dos usuários, submetelos à camada de banco e fazer manipulações analíticas nos dados - Camada de Banco - armazena os dados a serem consultados. É a camada de persistência. 10. Visão de Dados - Banco de dados relacional único; - Não é permitida: - Exclusão física ou lógica dos dados; - Atualização dos dados pelos usuários;

Análise Definir Modelo de Dados Esta atividade tem como propósito iniciar o Modelo de Dados a partir dos diagramas classes com estereótipo de entidade. Este Modelo de Dados pode ser relacional, hierárquico, orientado a objeto ou dimensional.

Análise (MMD)

Análise Revisar Análise Esta atividade tem por objetivo revisar tudo o que foi gerado em Análise, validando com os requisitos e com as partes interessadas que irão se relacionar com os artefatos elaborados.

Análise (MMD)

Projeto

Projeto 1. Definir Modelo Físico de Dados 1. Modelo Físico de Dados 2. Origem de Dados 3. Scripts de Banco 2. Revisão

Projeto Modelo Físico de Dados - O modelo físico foi construído na ferramenta Rational Rose, onde foram incluídas todas as definições associadas aos atributos das origens de dados; - A ferramenta permite gerar scripts SQL de criação dos objetos do modelo físico; - Os scripts foram apenas complementados com os atributos físicos necessários à criação de objetos no banco de dados; - Através do gerador de relatórios Soda foi gerado o documento de OD (Origem de Dados) a partir de comentários inseridos por atributos de dimensão, fornecendo o mapeamento entre origem e destino no template origem de dados.

Projeto Siafi Operacional - Extraídos domínios

Projeto DDMs Origem do ADABAS

Projeto Programas Natural

Projeto - Modelo Físico de Dados

Projeto Documento de Origem de Dados

Projeto Documento de Origem de Dados 1. Objetivo - Registrar a forma de obtenção e atualização dos dados

Projeto Documento de Origem de Dados

Projeto Documento de Origem de Dados

Projeto Documento de Origem de Dados

Projeto - Scripts de Banco

Projeto - Scripts de Banco

Projeto - Scripts de Banco CREATE TABLE WD_EMPENHO ( ID_DOCUMENTO VARCHAR 2 ( 23 ) NOT NULL, ID_TIPO_NE NUMBER ( 5 ), ID_ESPECIE_NE NUMBER ( 5 ), ID_EMPENHO_REF VARCHAR 2 ( 23 ) NOT NULL, ID_CONTRA_ENTREGA NUMBER ( 5 ), ID_UGR NUMBER ( 10 ) NOT NULL, ID_MODALIDADE_LICITACAO NUMBER ( 6 ), ID_LOCALIDADE_BENEFICIADA VARCHAR 2 ( 11 ) NOT NULL, ID_ORIGEM_MATERIAL NUMBER ( 5 ), ID_PRE_EMPENHO VARCHAR 2 ( 23 ) NOT NULL, NR_NE NUMBER ( 6 ), INCISO VARCHAR 2 ( 2 ), AMPARO_LEGAL VARCHAR 2 ( 8 ), NUM_PROCESSO VARCHAR 2 ( 20 ), REFERENCIA_DISPENSA VARCHAR 2 ( 20 ), MES_LANCAMENTO NUMBER ( 2 ), SISTEMA_ORIGEM VARCHAR 2 ( 10 ), OBSERVACAO VARCHAR 2 ( 234 ), ID_NAT_DESP NUMBER ( 10 ) NOT NULL, ID_ESF_ORC NUMBER ( 5 ) NOT NULL, ID_FR_DETA NUMBER ( 14 ) NOT NULL, VALOR NUMBER ( 18, 2 ), VALOR_EMPENHADO NUMBER ( 18, 2 ), VALOR_LIQUIDADO NUMBER ( 18, 2 ), VALOR_A_LIQUIDAR NUMBER ( 18, 2 ), VALOR_PAGO NUMBER ( 18, 2 ), VALOR_RP_INSCRITO_LIQUIDO NUMBER ( 18, 2 ), VALOR_RP_A_PAGAR NUMBER ( 18, 2 ), VALOR_RP_PAGO NUMBER ( 18, 2 ), ID_PI VARCHAR 2 ( 20 ) NOT NULL, ID_PTRES NUMBER ( 10 ) NOT NULL, CONSTRAINT PK_WD_EMPENHO 221 PRIMARY KEY (ID_DOCUMENTO), CONSTRAINT TC_WD_EMPENHO 4237 UNIQUE (ID_DOCUMENTO) ) /

ETL - Extração, Transformação e Carga

ETL 1. Infra-Estrutura de Banco 2. ETL 1. Extração 2. Transformãção 3. Carga

ETL Infra-Estrutura de Banco • Servidor de banco Máquina Intel com 4 processadores com S. O. Linux Red Hat • Banco de dados Oracle 10 G

ETL Extração - Consiste na leitura de dados sistemas de origem, gerando saídas em arquivos texto; - Na Fase I do Síntese, foram utilizados dados provenientes do SIAFI e SIASG; - Os dados de origem estão em bancos ADABAS e suas extrações são feitas mediante a execução de programas Natural; - Os programas Natural são executados por chamada de JOB; - Foram reutilizadas, no processo de ETL do Síntese, rotinas de migração de dados do SIAFI Operacional para o Gerencial.

ETL Extração -> DDMs Origem do ADABAS

ETL Extração -> Programas Natural

ETL Extração -> Job Extração

ETL Transformaçao - Os arquivos gerados pelo processo de extração são transferidos, via ftp, para o Servidor de Banco de Dados do Síntese; - O processo de transformação e carga tem início no Servidor de Banco de Dados; - Para cada tabela destino há um arquivo de dados correspondente, bem como um script (em PL/SQL) que efetuará a transformação e carga destes dados; - O processo de transformação é feito, em sua maioria, na plataforma Oracle sendo, também, utilizados programas Natural para este fim.

ETL Carga - A carga das dimensões precede a das tabelas de fatos; - Na carga da Fato Lançamento faz-se necessário a remoção de todos os índices bitmap criados nesta tabela. Sendo este índices recriados ao seu final; - Em função do excessivo volume de lançamentos de um exercício, estes foram carregados separadamente por mês; - Ao término da carga da fato lançamento são criadas as agregadas de dia, mês e ano; -É realizado o acompanhamento de todos os processos de carga através de indicadores armazenados em tabelas de controle. Estes indicadores informam o número de registros processados, inseridos, atualizados e descartados bem como o porquê de suas dispensas, além de informações relativas à duração do processo e data de carga.

ETL Ferramenta - Atualmente, está sendo realizado o projeto de construção de toda a fase de transformação e carga na ferramente de ETL (Power. Center); - Este projeto consiste em transformar todos os scripts de transformação e carga, implementados em PL/SQL, em processos automatizados e mapeados dentro da ferramenta; - Somente o “TL” será executado pela ferramenta, mantendo-se a forma atual de extração dos dados, uma vez que não foi disponibilizada a funcionalidade de conexão com o banco ADABAS para execução das extrações.

ETL Ferramenta

Obrigado!!!

Obrigado!!! FIM. . . Contatos e maiores informações: Cândida Maria Teixeira Guimarães candida. teixeira@serpro. gov. br (85) 4008 -3041 Márcio Ferreira Barros marcio. barros@serpro. gov. br (85) 4008 -2983 Guilherme Monteiro Andrade de Sena guilherme. sena@serpro. gov. br (85) 4008 -2904 Angélica Maria Ribeiro Angelica. ribeiro@serpro. gov. br (85) 4008 -3025 Material de Referência: Site do Projeto Síntese (http: //200. 198. 211. 33/asp/); Site de Publicação - SÍNTESE (http: //gestaosintese. serpro. gov. br/); Site do Processo SERPRO de Desenvolvimento de Software.