DATA WAREHOUSE Mestrando Vinicius Prodocimo Professor Alcides Calsavara

DATA WAREHOUSE Mestrando: Vinicius Prodocimo Professor: Alcides Calsavara

Data Warehouse - Agenda o Introdução o Características o Arquitetura o Modelos de Dados o Desenvolvimento de um Data Warehouse (DW) o Extração de Informações de um DW o Conclusão

Data Warehouse - Introdução o Crescimento de dados relacionados aos negócios mas não relacionados entre si promoveram o surgimento do DW; o Características: 8 Utilização de dados estratégicos: apoio à tomada de decisões através de fatos históricos (anteriormente utilizava-se a experiência dos administradores do negócio); 8 Banco de Dado especializado em integração: BD corporativos e fontes externas; 8 Não é um produto pronto; 8 Consultas à sua base não afetam as bases que o alimentam 8 Fornece recursos e informações suficientes para um Sistema de Apoio à Decisão; 8 Possui novas formas de armazenamento, processamento paralelo e distribuído; 8 Integra dados de diferentes plataformas.

Data Warehouse - Características o Dados classificados por assunto o Integração de representação para facilitar as consultas o Variação no tempo o Dados não são modificados o Localização o Credibilidade dos dados o Granularidade temporal das informações

Data Warehouse - Características ÔOrientação por assunto o Qual a informação mais importante para a organização? o Análise direcionada à necessidade da organização o Ex. : Uma empresa que vende produtos alimentícios no varejo tem seu maior interesse no perfil de seus compradores e não em quais produtos vende. Portanto o DW deve ser direcionado para o perfil dos compradores.

Data Warehouse - Características ÔIntegração da representação o Característica mais importante do DW o Representação única para as informações provindas de diversos sistemas. o Ex. : Representação do sexo de uma pessoa: AMBIENTE OPERACIONAL DATA WAREHOUSE Aplicação X - M ou F Aplicação Y - H ou M Aplicação Z - 0 ou 1 M ou F

Data Warehouse - Características ÔVariação no tempo o Informações atualizadas em períodos de 24 horas; o Pode apresentar-se como: 8 Em um DW os dados podem estar presentes em horizontes maiores de 5 anos podendo chegar até o limite de idade dos dados; 8 O metadados também possuem relação temporal; 8 Os dados não são mais atualizados.

Data Warehouse - Características ÔVariação no tempo o Os dados em um DW podem ser considerados como: 8 Dados detalhados atuais: m Acontecimentos mais recentes; m São em grandes volumes; m Tem baixo nível de granularidade; m São armazenados em meios de rápido acesso. 8 Dados detalhados antigos: m Acontecimentos mais antigos; m São normalmente armazenados em fitas.

Data Warehouse - Características ÔNão volatilidade o Não existem alterações no DW; o É feita somente a carga e consultas posteriores.

Data Warehouse - Características ÔLocalização o Os dados podem estar fisicamente armazenados como: 8 Um único local, centralizando o DW; 8 Distribuído por áreas de interesse (arquitetura federativa); 8 Distribuídos por níveis de detalhe (dados altamente resumidos, dados detalhados, . . . ).

Data Warehouse - Características ÔLocalização Dados altamente resumidos S Í N T E S E Dados levemente resumidos DADOS DETALHADOS ATUAIS Dados detalhados antigos E N V E L H E C I M E N T O

Data Warehouse - Características ÔCredibilidade dos dados o Precisão: grau de informações que estão corretas; o Abrangência: grau de dados requisitados e atendidos; o Consistência: consistência dos dados/liberdade de contradição; o Coerência: coerência lógica que permite criar relações; o Tempo de resposta: tempo entre o pedido e a resposta; o Singularidade: percentual dos dados que têm valores dentro dos domínios de valores permitidos.

Data Warehouse - Características ÔGranularidade o Diz respeito ao nível de detalhe dos dados numa unidade; BAIXA Produto Data A 1 13/09/98 B 1 14/09/98 A 1 16/09/98 Qtd 10 15 20 90 Valor 100, 00 150, 00 200, 00 890, 00 ALTA Mês/Ano Produto Qtd Valor 09/98 A 1 120 1190, 00 09/98 B 1 15 150, 00

Data Warehouse - Características ÔMetadados o São dados sobre os dados; o Podem ser apresentados em três camadas: 8 Metadados operacionais; 8 Metadados centrais do DW; 8 Metadados do nível do usuário.

Data Warehouse - Características ÔMetadados o Podem ser classificados como: 8 Mapeamento; 8 Histórico; 8 Miscelânea; 8 Algoritmos de sumarização; 8 Padrões de acesso.

Data Warehouse - Características ÔMetadados o Mantém informações sobre: 8 A estrutura dos dados segundo a visão do programador; 8 A estrutura dos dados segundo a visão do analista SAD; 8 A fonte de dados que alimenta o DW; 8 A transformação sofrida pelos dados, na migração p/DW; 8 O modelo de dados; 8 O relacionamento entre o modelo de dados e o DW; 8 O histórico das extrações de dados.

Data Warehouse - Arquitetura o A arquitetura deve ser constituída de forma à: 8 Coletar dados de forma eficiente e rápida; 8 Manipular dados de forma eficiente e rápida; 8 Representar dados de forma eficiente e rápida.

Data Warehouse - Arquitetura o Arquitetura genérica segundo Orr: USUÁRIO DW ACESSO À INFORMAÇÃO AO DADO DW ACESSO TRANSPORTE A DADOS BD OPERAC. BD EXTERNAS METADADOS GERENCIADOR DE PROCESSOS META DADOS

Data Warehouse - Arquitetura o Arquitetura segundo Chaudhuri (fluxos de dados): Componente front-end Data Warehouse (SGBD) Repositório de metadados Fontes Internas Componente back-end Fontes Externas

Data Warehouse - Arquitetura o Arquitetura segundo Valente: CONSULTAS Data Warehouse (SGBD) INTEGRADOR EXTRATOR Fontes Internas EXTRATOR Fontes Externas

Data Warehouse - Modelo de Dados o Modelo de dados segundo R. Kimball; o Modelo de dados segundo W. H. Inmon;

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball o É dividido em: u Modelo empresarial; u Modelo dimensional; u Modelo físico.

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball - Empresarial o Primeiro passo: análise do modelo de dados para construir um modelo E-R normalizado para as regras do negócio; o Não importa como as informações serão recuperadas ou utilizadas; o Foco nas estruturas da informação: atributos e relações; o Quais são os dados relevantes para o DW;

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball - Empresarial o Segundo passo: normalização do modelo; o O modelo empresarial não será implementado; o Terceiro passo: desenvolver um modelo E-R normalizado das regras de negócio e a definição das regras de integridade.

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball - Dimensional o Visão dos dados em diferentes perspectivas (dimensões); o A forma de como as agregações são armazenadas podem ser vista em termos de dimensões e coordenadas, dando origem ao modelo multidimensional; o Armazenamento em estruturas relacionais: Modelo Estrela

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball - Dimensional MODELO ESTRELA u Facilita o entendimento dos termos de negócio para o usuário; u Composto: p Tabela de fatos ao centro (tabela dominante) p Tabelas de dimensão (tabelas conectadas aos fatos) u A tabela de fatos contém milhares ou milhões de valores

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball - Dimensional MODELO ESTRELA DIMENSÃO PRODUTO chave_produto descrição marca categoria FATOS VENDAS chave_tempo chave_produto chave_loja reais_vendidos unidades_vendidas DIMENSÃO LOJA chave_loja nome_loja endereço tipo

Data Warehouse - Modelo de Dados éModelo de dados segundo R. Kimball - Físico o Propósito: alcançar os objetivos de desempenho; o Depende de: u SGBD u Configuração de Hardware o Utilização de processamento paralelo.

Data Warehouse - Modelo de Dados éModelo de dados segundo W. H. Inmon o Dividido em: u Modelo de alto nível; u Modelo de nível intermediário; u Modelo de baixo nível.

Data Warehouse - Modelo de Dados éModelo de dados segundo W. H. Inmon - Alto nível o Apresenta-se somente as entidades e seus relacionamentos; o Mais alto nível de abstração. CLIENTE PEDIDO ESTOQUE PRODUÇÃO

Data Warehouse - Modelo de Dados éModelo de dados segundo W. H. Inmon - Nível Intermediário o Criado à partir de áreas de interesse ou entidades; o Para cada área de interesse ou entidade é criado: u Agrupamento primário: atributos que aparecem uma vez; u Agrupamento secundário: atributos que aparecem mais de uma vez; u Conector: representa os relacionamentos; u Tipo dos dados.

Data Warehouse - Modelo de Dados éModelo de dados segundo W. H. Inmon - Nível Intermediário PRODUTO chave_produto descrição marca categoria AGRUPAMENTO PRIMÁRIO PRODUTO_VENDA nr_venda chave_produto VENDAS chave_tempo nr_venda reais_vendidos AGRUPAMENTO SECUNDÁRIO CONECTOR

Data Warehouse - Modelo de Dados éModelo de dados segundo W. H. Inmon - Baixo Nível o Expande o nível intermediário para que: u Apresente chaves; u Características físicas; u Características de desempenho.

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Remoção dos dados puramente operacionais: MODELO E-R MODELO DW #ID Nota Fiscal Data de Emissão ID Consumidor Mensagem Descrição Termos Status #ID Nota Fiscal Data de Emissão ID Consumidor DADOS OPERACIONAIS

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Adição de um elemento de tempo na estrutura da chave: MODELO E-R MODELO DW #ID Consumidor Nome Data de Nascimento Estado Civil Limite de Crédito #ID Consumidor #Data do Snapshot Nome Data de Nascimento Estado Civil Limite de Crédito

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Introdução de dados derivados: MODELO E-R MODELO DW #ID Nota Fiscal # Item Código do Produto Quantidade Preço Unitário Total Comprado Custo do Produto DADOS DERIVADOS

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Transformação de Relacionamento entre dados em artefatos de dados: MODELO E-R MODELO DW PRODUTO # Código do Produto Descrição Unidade de Medida FORNECEDOR PROD. # Código do Produto # Código do Consum. Fornecedor Preferido PRODUTOS #Código do Produto Descrição Unidade de Medida Fornecedor Preferido Cidade do Fornecedor Estado do Fornecedor

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Acomodação dos diferentes níveis de granularidade: MODELO DW MODELO E-R ATIVIDADE DE ENTREGA Data da Entrega Código da Entrega Enviado por Enviado para Quantidade CÓDIGO DO PEDIDO INVENTÁRIO POR ITEM ENTREGAS MENSAIS #Ano/Mês Número de Entregas Valor da Entrega MODELO DW SUMAR. POR PRODUTO #Ano/Mês # Produto Número de Entregas Valor da Entrega

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o União dos dados comuns de diferentes tabelas: êDevem ser respeitadas as seguintes condições: u As tabelas compartilham uma chave comum(ou parcial) u Os dados das diferentes tabelas são usados juntos u O Padrão de inserção nas tabelas é o mesmo.

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Criação de arrays de dados: MODELO E-R #COD. Previsão Gasto Mensal/Anual Valor do Gasto MODELO DW #COD. Previsão Gasto # Ano Valor em Janeiro Valor em Fevereiro. . . Valor em Dezembro

Data Warehouse - Modelo de Dados Estratégia de conversão do modelo E-R para o modelo DW o Separação dos atributos de dados de acordo com sua estabilidade: TABELA DE PREÇOS Código Descrição Principal substituta Quantidade atual Unidade de compra Fornecedor Prazo de entrega Taxa de rejeição Transportadora Local última entrega Manifesto carga Raramente é Alterada Regularmente é Alterada Freqüentemente é Alterada

Data Warehouse - Desenvolvimento o Funções no desenvolvimento de um DW: êGerente do DW êArquiteto de Dados êAdministrador de metadados êAdministrador de BD êUsuário de nível gerencial êAnalista de processos e aplicações êEspecialista em Aplicações Operacionais êAnalista e programador de conversões êEspecialista em suporte técnico êInstrutor

Data Warehouse - Desenvolvimento “Muitas empresas iniciam o processo de Data Warehouse a partir de uma área específica que normalmente é uma área carente de informações e cujo trabalho seja relevante para os negócios da empresa, criando Data Marts, para depois ir crescendo aos poucos, seguindo uma estratégia bottom-up ou assunto-por-assunto e assim obtendo um Data Warehouse corporativo” Adriano Dal’Alba - Universidade Federal de Caxias - RS http: //www. geocities. com/Silicon. Valley/Port/5072 Dezembro 1998

Data Warehouse - Desenvolvimento “Empresas que têm exigências mais modestas, como as que necessitam construir DW para departamentos individuais podem escolher em construir pequenos Data Marts que utilizam uma arquitetura baseada em rede” Adriano Dal’Alba - Universidade Federal de Caxias - RS http: //www. geocities. com/Silicon. Valley/Port/5072 Dezembro 1998

Data Warehouse - Desenvolvimento “Pela complexidade de fatores que envolvem um DW corporativo integral, a construção do projeto é lenta e cara Para equilibrar os gastos e oferecer resultados em prazos mais curtos é possível construir Data Marts que são pequenos DW departamentais. Entre as principais vantagens da utilização de Data Marts está a redução de tempo de implementação (120 dias) e o fator preço (US$ 50 mil a US$ 1 milhão). Sendo que um DW leva cerca de um ano para ser concluído e gastos iniciais em torno de US$ 2 milhões” Adriano Dal’Alba - Universidade Federal de Caxias - RS http: //www. geocities. com/Silicon. Valley/Port/5072 Dezembro 1998

Data Warehouse - Desenvolvimento X Y DATA MART Z Vendas DATA MART Compras Marketing Outros W DATA WAREHOUSE

Data Warehouse - Extração de Informações o Formas de extração de dados de um DW: êRelatórios êConsultas ê EIS êFerramentas de OLAP êFerramentas de Data Mining o Todas estão com tendências de integração com a WEB

Data Warehouse - Extração de Informações o Formas de acesso ao DW: êAcesso direto êAcesso indireto

Data Warehouse - Extração de Informações é ACESSO DIRETO: u É uma ocorrência rara u Sofre uma série de limitações: l Uma solicitação pode levar 24 horas para ser atendida l A solicitação deve ser referente a qtde mínima de dados l Deve existir compatibilidade entre DW e Ambiente Oper. l Não deve existir formatação de dados

Data Warehouse - Extração de Informações é ACESSO DIRETO: APLICAÇÃO OPERACIONAL CONSULTA DATA WAREHOUSE RESULTADO DA CONSULTA

Data Warehouse - Extração de Informações é ACESSO INDIRETO: u O que normalmente se utiliza u Eficiente u Muito rápido

Data Warehouse - Extração de Informações é ACESSO INDIRETO: APLICAÇÃO OPERACIONAL ARQUIVO DE INFORMAÇÕES DATA WAREHOUSE PROGRAMA DE ANÁLISE

Data Warehouse - Conclusões o Vantagens: éSimplicidade éQualidade dos dados éAcesso rápido éFacilidade de uso éSepara as operações de decisão das de produção éVantagem competitiva éCusto de operação éAdministração do fluxo das informações

Data Warehouse - Conclusões o Vantagens (continuação): éHabilidade de processamento paralelo éInfra-estrutura computacional éValores quantitativos éSegurança

Data Warehouse - Conclusões o Desvantagens: éComplexidade de desenvolvimento éTempo de desenvolvimento éAlto custo de desenvolvimento e administração éTreinamento éDificuldade na coleta de dados éDimensão de discos e CPUs

Data Warehouse - Bibliografia o Data Warehouse - Monografia Adriano Dal’Alba - Universidade Federal de Caxias - RS http: //www. geocities. com/Silicon. Valley/Port/5072 Dezembro 1998 o Building a Data Warehouse for Decision Support Vidette Poe - Prentice Hall ISBN 0 -13 -371121 -8 o The Intranet Data Warehouse Richard Tanler - Wiley ISBN 0 -471 -18004 -1