INTELIGNCIA EMPRESARIAL Aula 10 Processo Datawarehousing INTELIGNCIA EMPRESARIAL

  • Slides: 39
Download presentation
INTELIGÊNCIA EMPRESARIAL Aula 10 - Processo Datawarehousing

INTELIGÊNCIA EMPRESARIAL Aula 10 - Processo Datawarehousing

INTELIGÊNCIA EMPRESARIAL Conteúdo Programático desta aula § Processo de construção do Data Warehouse INTELIGÊNCIA

INTELIGÊNCIA EMPRESARIAL Conteúdo Programático desta aula § Processo de construção do Data Warehouse INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL PROCESSO DATAWAREHOUSING Fontes externas DBM Simulação CRM BDs operacionais Extração Transform. Carga

INTELIGÊNCIA EMPRESARIAL PROCESSO DATAWAREHOUSING Fontes externas DBM Simulação CRM BDs operacionais Extração Transform. Carga DW Metadados (funções) A c e s s o à i n f o r m a Queries ç Relatórios, ã OLAP, Mining o Metadados (repositório) Gerenciador de Processos (cargas, manutenções) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Transformação e Carga) Responsável por integrar, transformar importando sua

INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Transformação e Carga) Responsável por integrar, transformar importando sua fonte nem seu destino. e salvar • Os dados são submetidos a severas disponibilizados de forma normalizada dados, não transformações e • Dependendo da periodicidade de atualização dos dados devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Transformação e Carga) EXTRAÇÃO TRANSFORMAÇÃO CARGA INTELIGÊNCIA EMPRESARIAL –

INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Transformação e Carga) EXTRAÇÃO TRANSFORMAÇÃO CARGA INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL EXTRAÇÃO DE DADOS - Primeiro passo na obtenção de dados para o

INTELIGÊNCIA EMPRESARIAL EXTRAÇÃO DE DADOS - Primeiro passo na obtenção de dados para o ambiente do DW - Busca dados nas diversas fontes de origem e os transporta para a área de transformação de dados - Na construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - Após a extração de dados deve existir o

INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - Após a extração de dados deve existir o tratamento destes dados. - O primeiro passo deste tratamento refere-se à limpeza, ou filtragem dos dados, cujo objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolve-las. - É maior preocupação da área de TI pois, se não existir uma estratégia adequada, o Data Warehouse pode falhar INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - LIMPEZA - Tem por objetivo deixar os elementos

INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - LIMPEZA - Tem por objetivo deixar os elementos de dados padronizados (uniformizados), não duplicados, corretos, consistentes e espelhando a realidade. - Dentre as atividades executadas podemos citar a correção de inconsistências de códigos e caracteres especiais, solução de problemas de conflito de domínios, recuperação de dados perdidos e a correção de valores duplicados ou errados. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Depois de transformados e “limpos” os dados estão aptos

INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Depois de transformados e “limpos” os dados estão aptos para serem carregados no Data Warehouse. Esta etapa também demanda muita atenção de TI pois exige uma série de cuidados, por exemplo: • Integridade dos dados • Tipo de carga a ser realizada • Otimização do processo de carga • Suporte completo ao processo de carga INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Integridade dos dados: Assim como nos bancos de dados

INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Integridade dos dados: Assim como nos bancos de dados operacionais, é preciso assegurar que as regras de integridade das chaves estrangeiras sejam respeitadas no momento da carga. Tipo de carga a ser realizada: incremental ou total A carga incremental normalmente é feita para tabelas de fatos e a carga total é feita em tabelas de dimensão onde o analista terá que excluir os dados existentes e incluí-los novamente INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Otimização do processo de carga: Todo banco de dados

INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Otimização do processo de carga: Todo banco de dados possui um conjunto de técnicas para otimizar o processo de carga, tais como evitar a geração de log durante o processo, criar índices e agregar dados. Suporte completo ao processo de carga: O serviço de carga também precisa suportar as exigências antes e depois da carga atual, como eliminar e recriar índices e particionamento físico de tabelas e índices. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Externas : Ø Prazos muito curtos; Ø Relacionamento

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Externas : Ø Prazos muito curtos; Ø Relacionamento com outras equipes: • falta de tempo dos analistas OLTP • falta de paciência dos usuários; Ø Falta de documentação; Ø Necessidade de reduzir custos do projeto. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Internas: Ø Extração Ø Transporte Ø Transformação Ø

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Internas: Ø Extração Ø Transporte Ø Transformação Ø Carga do Dados INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Extração: • Erros humanos como troca de nomes

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Extração: • Erros humanos como troca de nomes e tipos de variáveis; • Uso de regras de extração em desarmonia com as regras necessárias; • Dados não esperados sendo extraídos (tipo, tamanho, formato e conteúdo). INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transporte: • Incompatibilidade entre ambientes operacionais diferentes; •

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transporte: • Incompatibilidade entre ambientes operacionais diferentes; • Necessidade de quebrar o processo em etapas gerando dados estocados. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transformação: • Inserção de erros de transformação (escala

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transformação: • Inserção de erros de transformação (escala de valor ou unidade); • Uso de equações matemáticas. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Carga do Dados: • Aplicação de seleções não

INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Carga do Dados: • Aplicação de seleções não planejadas no momento da carga; • Erros de codificação, tipo e formato de dados; • Diferença entre modelagens de dados. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL TIPOS DE IMPLEMENTAÇÃO DO DW As abordagens de implementação de Data Warehouse

INTELIGÊNCIA EMPRESARIAL TIPOS DE IMPLEMENTAÇÃO DO DW As abordagens de implementação de Data Warehouse em uso pelas organizações são três: Top down, Bottom up e Intermediária. A escolha de um destes tipos é influenciada por fatores como: infraestrutura de TI, arquitetura escolhida, escopo da implementação, recursos disponíveis e, principalmente, pela necessidade ou não de acesso aos dados corporativos, recursos disponíveis e velocidade de implementação. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Padrão inicial do conceito de Data Warehouse Exige maior

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Padrão inicial do conceito de Data Warehouse Exige maior planejamento e demanda um trabalho maior de definições conceituais de tecnologia antes de iniciar-se o projeto propriamente dito. As decisões sobre fontes de dados que serão utilizadas, segurança, estruturas de dados, qualidade de dados, padrões de dados e os vários modelos de dados sistemas transacionais atuais devem estar completos antes do início da implementação. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN O processo se inicia com a extração, a transformação

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN O processo se inicia com a extração, a transformação e a integração das informações dos sistemas transacionais e dados externos para um ODS ou diretamente das fontes operacionais. A seguir, os dados e metadados são transferidos para o Data Warehouse, a partir do qual são extraídos para os Data Marts. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Sistemas Transacionais DM 1 ETL DW DM 2 DM

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Sistemas Transacionais DM 1 ETL DW DM 2 DM N Fontes Externas OLAP Server Data Mining (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Permite o planejamento dos Data Marts sem esperar que

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Permite o planejamento dos Data Marts sem esperar que a infraestrutura corporativa do Data Warehouse seja definida. Tem por objetivo a construção de um Data Warehouse incremental a partir do desenvolvimento de Data Marts independentes. Bem aceita pelos executivos por possuir um retorno de investimento rápido. Seu processo inicia com a extração, a transformação e a integração dos dados para um ou mais Data Marts. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Sistemas Transacionais DM 1 DM DM 2 DM DM

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Sistemas Transacionais DM 1 DM DM 2 DM DM N DM (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Integra a implementação Top Down com a Bottom Up. Efetua-se

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Integra a implementação Top Down com a Bottom Up. Efetua-se a modelagem de dados do Data Warehouse com visão macro. A partir daí, cada Data Mart pode ser gerado a partir do macromodelo de dados do Data Warehouse e integrado ao modelo físico do Data Warehouse. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Data Warehouse DM DM DM (Fonte: Adaptado de Oliveira, S.

INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Data Warehouse DM DM DM (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Planejamento Levantamento das Necessidades Passos

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Planejamento Levantamento das Necessidades Passos Críticos Modelagem Dimensional Projeto Físico dos BD’s Projeto de ETL Desenvolvimento de Aplicações Passos passíveis de muitos problemas Validação e Testes Treinamento Implantação (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Planejamento definição do escopo

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Planejamento definição do escopo do projeto, considerando-se as áreas críticas da empresa e as necessidades mais permanentes de informações gerenciais. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Levantamento de Necessidades Identificados

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Levantamento de Necessidades Identificados os modelos de projeto: o modelo dimensional e o modelo relacionado às fontes das informações. Modelo dimensional: representa os blocos conceituais de dados necessários para atender os objetivos do sistema de suporte à decisão. Modelo relacionado às fontes das informações: permite avaliar a qualidade e a integridade dos dados-fonte, além da sua duração histórica. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Modelagem Dimensional Projeto de

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Modelagem Dimensional Projeto de quais os indicadores (medidas) que serão analisados, e as dimensões de análise, considerando quais indicadores são necessários para gerenciar o negócio. Deve considerar quais são os dados disponíveis para gerar os indicadores, e aqueles que precisam serem disponibilizados (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto Físico dos BDs

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto Físico dos BDs Definição das tabelas Fato e Dimensão e seus relacionamentos e indices Implantação de regras associadas. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL Definição dos

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL Definição dos vários elementos que irão compor as atividades do processo de ETL: • Filtro de Dados procedimentos e condições para se eliminar os elementos de dados indesejáveis no modelo dimensional (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL • Integração

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL • Integração de Dados define a forma de se correlacionar informações existentes em fontes distintas, e que deverão ser integradas no Data Warehouse • Condensação de Dados define a forma de se reduzir volumes de dados visando a obter informações resumidas e sumarizadas (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL • Conversão/Integração

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL • Conversão/Integração de Dados define os procedimentos para padronizar dados que se encontram com unidades, formatos e dimensões diferentes. Exemplo: vendas de produtos no mês, produção de componentes por dia e compra de materiais por semana • Derivação de Dados define os meios e fórmulas para produzir dados virtuais, a partir de dados existentes. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Desenvolvimento de Aplicações O

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Desenvolvimento de Aplicações O objetivo final do Data Warehouse é o ambiente de consultas OLAP. Este ambiente deve ter uma interface amigável e simples, onde o usuário pode construir suas consultas, de acordo com sua necessidade ou intuição. As aplicações ou ferramentas deste ambente devem possibilitar a visualização de dados em formas variadas e a importação dos dados obtidos para ferramentas do usuário final, como por exemplo, planilhas e processadores de textos. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Validação e Teste do

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Validação e Teste do sistema é testado considerando-se, o máximo possível, as simulações de volume e de processamentos. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Treinamento Todos os usuários

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Treinamento Todos os usuários envolvidos com a atividade gerencial de negócio deverão ser treinados, não apenas ferramentas/aplicações, mas também nos conceitos associados ao Data Warehouse. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Implantação Acompanhamento de uso

INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Implantação Acompanhamento de uso das aplicações disponibilizadas. A equipe do projeto deverá incentivar os usuários a apresentarem críticas e sugestões de melhorias para as próximas versões do sistema. (Fonte: Adaptado de Oliveira, S. R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - MITOS Ø Os dados não mudam na

INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - MITOS Ø Os dados não mudam na migração; Ø Os dados são migrados apenas uma vez; Ø Tudo está bem documentado; Ø Toda a documentação está disponível; Ø A conversão e a movimentação de dados é fácil; Ø A transformação é uma pequena parte do projeto. INTELIGÊNCIA EMPRESARIAL – AULA 10

INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - FATOS Ø Os dados antigos não são

INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - FATOS Ø Os dados antigos não são conhecidos ou entendidos; Ø Muitas aplicações encontram-se em sistemas proprietários; Ø A data de entrega é normalmente estabelecida antes da análise do problema; Ø Há uma complexidade e diversidade de sistemas e de culturas; Ø Não há controle dos processos do negócio; Ø Não há especialização em muitas das linguagens e banco de dados; Ø Fontes de dados externas são necessárias INTELIGÊNCIA EMPRESARIAL – AULA 10