INTELIGNCIA EMPRESARIAL Aula 10 Processo Datawarehousing INTELIGNCIA EMPRESARIAL
- Slides: 39
INTELIGÊNCIA EMPRESARIAL Aula 10 - Processo Datawarehousing
INTELIGÊNCIA EMPRESARIAL Conteúdo Programático desta aula § Processo de construção do Data Warehouse INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL PROCESSO DATAWAREHOUSING Fontes externas DBM Simulação CRM BDs operacionais Extração Transform. Carga DW Metadados (funções) A c e s s o à i n f o r m a Queries ç Relatórios, ã OLAP, Mining o Metadados (repositório) Gerenciador de Processos (cargas, manutenções) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Transformação e Carga) Responsável por integrar, transformar importando sua fonte nem seu destino. e salvar • Os dados são submetidos a severas disponibilizados de forma normalizada dados, não transformações e • Dependendo da periodicidade de atualização dos dados devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Transformação e Carga) EXTRAÇÃO TRANSFORMAÇÃO CARGA INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL EXTRAÇÃO DE DADOS - Primeiro passo na obtenção de dados para o ambiente do DW - Busca dados nas diversas fontes de origem e os transporta para a área de transformação de dados - Na construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - Após a extração de dados deve existir o tratamento destes dados. - O primeiro passo deste tratamento refere-se à limpeza, ou filtragem dos dados, cujo objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolve-las. - É maior preocupação da área de TI pois, se não existir uma estratégia adequada, o Data Warehouse pode falhar INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - LIMPEZA - Tem por objetivo deixar os elementos de dados padronizados (uniformizados), não duplicados, corretos, consistentes e espelhando a realidade. - Dentre as atividades executadas podemos citar a correção de inconsistências de códigos e caracteres especiais, solução de problemas de conflito de domínios, recuperação de dados perdidos e a correção de valores duplicados ou errados. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Depois de transformados e “limpos” os dados estão aptos para serem carregados no Data Warehouse. Esta etapa também demanda muita atenção de TI pois exige uma série de cuidados, por exemplo: • Integridade dos dados • Tipo de carga a ser realizada • Otimização do processo de carga • Suporte completo ao processo de carga INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Integridade dos dados: Assim como nos bancos de dados operacionais, é preciso assegurar que as regras de integridade das chaves estrangeiras sejam respeitadas no momento da carga. Tipo de carga a ser realizada: incremental ou total A carga incremental normalmente é feita para tabelas de fatos e a carga total é feita em tabelas de dimensão onde o analista terá que excluir os dados existentes e incluí-los novamente INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Otimização do processo de carga: Todo banco de dados possui um conjunto de técnicas para otimizar o processo de carga, tais como evitar a geração de log durante o processo, criar índices e agregar dados. Suporte completo ao processo de carga: O serviço de carga também precisa suportar as exigências antes e depois da carga atual, como eliminar e recriar índices e particionamento físico de tabelas e índices. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Externas : Ø Prazos muito curtos; Ø Relacionamento com outras equipes: • falta de tempo dos analistas OLTP • falta de paciência dos usuários; Ø Falta de documentação; Ø Necessidade de reduzir custos do projeto. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Internas: Ø Extração Ø Transporte Ø Transformação Ø Carga do Dados INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Extração: • Erros humanos como troca de nomes e tipos de variáveis; • Uso de regras de extração em desarmonia com as regras necessárias; • Dados não esperados sendo extraídos (tipo, tamanho, formato e conteúdo). INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transporte: • Incompatibilidade entre ambientes operacionais diferentes; • Necessidade de quebrar o processo em etapas gerando dados estocados. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transformação: • Inserção de erros de transformação (escala de valor ou unidade); • Uso de equações matemáticas. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Carga do Dados: • Aplicação de seleções não planejadas no momento da carga; • Erros de codificação, tipo e formato de dados; • Diferença entre modelagens de dados. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL TIPOS DE IMPLEMENTAÇÃO DO DW As abordagens de implementação de Data Warehouse em uso pelas organizações são três: Top down, Bottom up e Intermediária. A escolha de um destes tipos é influenciada por fatores como: infraestrutura de TI, arquitetura escolhida, escopo da implementação, recursos disponíveis e, principalmente, pela necessidade ou não de acesso aos dados corporativos, recursos disponíveis e velocidade de implementação. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Padrão inicial do conceito de Data Warehouse Exige maior planejamento e demanda um trabalho maior de definições conceituais de tecnologia antes de iniciar-se o projeto propriamente dito. As decisões sobre fontes de dados que serão utilizadas, segurança, estruturas de dados, qualidade de dados, padrões de dados e os vários modelos de dados sistemas transacionais atuais devem estar completos antes do início da implementação. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN O processo se inicia com a extração, a transformação e a integração das informações dos sistemas transacionais e dados externos para um ODS ou diretamente das fontes operacionais. A seguir, os dados e metadados são transferidos para o Data Warehouse, a partir do qual são extraídos para os Data Marts. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Sistemas Transacionais DM 1 ETL DW DM 2 DM N Fontes Externas OLAP Server Data Mining (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Permite o planejamento dos Data Marts sem esperar que a infraestrutura corporativa do Data Warehouse seja definida. Tem por objetivo a construção de um Data Warehouse incremental a partir do desenvolvimento de Data Marts independentes. Bem aceita pelos executivos por possuir um retorno de investimento rápido. Seu processo inicia com a extração, a transformação e a integração dos dados para um ou mais Data Marts. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Sistemas Transacionais DM 1 DM DM 2 DM DM N DM (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Integra a implementação Top Down com a Bottom Up. Efetua-se a modelagem de dados do Data Warehouse com visão macro. A partir daí, cada Data Mart pode ser gerado a partir do macromodelo de dados do Data Warehouse e integrado ao modelo físico do Data Warehouse. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Data Warehouse DM DM DM (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Planejamento Levantamento das Necessidades Passos Críticos Modelagem Dimensional Projeto Físico dos BD’s Projeto de ETL Desenvolvimento de Aplicações Passos passíveis de muitos problemas Validação e Testes Treinamento Implantação (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Planejamento definição do escopo do projeto, considerando-se as áreas críticas da empresa e as necessidades mais permanentes de informações gerenciais. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Levantamento de Necessidades Identificados os modelos de projeto: o modelo dimensional e o modelo relacionado às fontes das informações. Modelo dimensional: representa os blocos conceituais de dados necessários para atender os objetivos do sistema de suporte à decisão. Modelo relacionado às fontes das informações: permite avaliar a qualidade e a integridade dos dados-fonte, além da sua duração histórica. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Modelagem Dimensional Projeto de quais os indicadores (medidas) que serão analisados, e as dimensões de análise, considerando quais indicadores são necessários para gerenciar o negócio. Deve considerar quais são os dados disponíveis para gerar os indicadores, e aqueles que precisam serem disponibilizados (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto Físico dos BDs Definição das tabelas Fato e Dimensão e seus relacionamentos e indices Implantação de regras associadas. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL Definição dos vários elementos que irão compor as atividades do processo de ETL: • Filtro de Dados procedimentos e condições para se eliminar os elementos de dados indesejáveis no modelo dimensional (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL • Integração de Dados define a forma de se correlacionar informações existentes em fontes distintas, e que deverão ser integradas no Data Warehouse • Condensação de Dados define a forma de se reduzir volumes de dados visando a obter informações resumidas e sumarizadas (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL • Conversão/Integração de Dados define os procedimentos para padronizar dados que se encontram com unidades, formatos e dimensões diferentes. Exemplo: vendas de produtos no mês, produção de componentes por dia e compra de materiais por semana • Derivação de Dados define os meios e fórmulas para produzir dados virtuais, a partir de dados existentes. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Desenvolvimento de Aplicações O objetivo final do Data Warehouse é o ambiente de consultas OLAP. Este ambiente deve ter uma interface amigável e simples, onde o usuário pode construir suas consultas, de acordo com sua necessidade ou intuição. As aplicações ou ferramentas deste ambente devem possibilitar a visualização de dados em formas variadas e a importação dos dados obtidos para ferramentas do usuário final, como por exemplo, planilhas e processadores de textos. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Validação e Teste do sistema é testado considerando-se, o máximo possível, as simulações de volume e de processamentos. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Treinamento Todos os usuários envolvidos com a atividade gerencial de negócio deverão ser treinados, não apenas ferramentas/aplicações, mas também nos conceitos associados ao Data Warehouse. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Implantação Acompanhamento de uso das aplicações disponibilizadas. A equipe do projeto deverá incentivar os usuários a apresentarem críticas e sugestões de melhorias para as próximas versões do sistema. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - MITOS Ø Os dados não mudam na migração; Ø Os dados são migrados apenas uma vez; Ø Tudo está bem documentado; Ø Toda a documentação está disponível; Ø A conversão e a movimentação de dados é fácil; Ø A transformação é uma pequena parte do projeto. INTELIGÊNCIA EMPRESARIAL – AULA 10
INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - FATOS Ø Os dados antigos não são conhecidos ou entendidos; Ø Muitas aplicações encontram-se em sistemas proprietários; Ø A data de entrega é normalmente estabelecida antes da análise do problema; Ø Há uma complexidade e diversidade de sistemas e de culturas; Ø Não há controle dos processos do negócio; Ø Não há especialização em muitas das linguagens e banco de dados; Ø Fontes de dados externas são necessárias INTELIGÊNCIA EMPRESARIAL – AULA 10
- Gimnasio superior empresarial bilingüe aula virtual
- Gimnasio superior empresarial bilingüe aula virtual
- Elemento 2 del plan contable
- Escuela empresarial mintzberg
- Marco legal
- Lmi único empresarial
- Responsabilidad social empresarial
- Conclusiones de un restaurante
- Posiciones futuras que deseamos lograr
- Coaching empresarial
- Objetivo del protocolo empresarial
- Introduccion responsabilidad social empresarial
- Rol ampliado + prótese especial 20
- Gastos por arrendamiento actualidad empresarial
- Diagnostico empresarial concepto
- Arquitectura empresarial
- Calculo de isr persona fisica con actividad empresarial
- Orientador empresarial
- Instituto tecnologico superior de mulege
- Unidad 9 potenciacion de la imagen empresarial solucionario
- Currículum empresarial constructora
- Centro empresarial pellas
- Sde
- Faciapes
- Etiqueta institucional
- Calidad aplicada a la gestion empresarial
- Fontes do direito empresarial
- Control empresarial ejemplos
- Cultura empresarial japonesa
- ética e legislação trabalhista e empresarial
- Sistema de gestão empresarial
- Calidad aplicada a la gestion empresarial
- Data warehouse empresarial
- Direito empresarial
- Language
- Ejemplo de estrategia de operaciones
- Secuencia universal de mejoramiento
- Concepto empresarial
- Elementos de gestion empresarial
- Mapa conceptual de control empresarial