FUNDAMENTOS DE SISTEMAS DE INFORMAO David Nadler Prata

  • Slides: 48
Download presentation
FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO David Nadler Prata

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO David Nadler Prata

Fundamentos de Sistemas de Informação Universidade Federal do Tocantins Curso: Ciência da Computação Disciplina:

Fundamentos de Sistemas de Informação Universidade Federal do Tocantins Curso: Ciência da Computação Disciplina: Fundamentos de Sistemas de Informação Professor: David Nadler Prata

TECNOLOGIA E SISTEMAS DE INFORMAÇÃO

TECNOLOGIA E SISTEMAS DE INFORMAÇÃO

 Após a “carga de dados” em um DW, segue -se a etapa mais

Após a “carga de dados” em um DW, segue -se a etapa mais importante do processo de BI: O Data Minning.

Data Minning ou Mineração de Dados: O que é Data mining: � “Data mining

Data Minning ou Mineração de Dados: O que é Data mining: � “Data mining (mineração de dados), é o processo de extração de conhecimento de grandes bases de dados, convencionais ou não. � Utiliza técnicas de inteligência artificial que procuram relações de similaridade ou discordância entre dados. � Seu objetivo é encontrar, automaticamente, padrões, anomalias e regras com o propósito de transformar dados, aparentemente ocultos, em informações úteis para a tomada de decisão e/ou avaliação de resultados. Fernando S. Goulart Júnior & Robson do Nascimento Fidalgo (1998)

Data Minning ou Mineração de Dados: Exemplo: • Conclusões: • Produtos azuis são de

Data Minning ou Mineração de Dados: Exemplo: • Conclusões: • Produtos azuis são de alto lucro ou • Arizona é um lucro baixo

Data Minning ou Mineração de Dados: Uma empresa utilizando data mining é capaz de:

Data Minning ou Mineração de Dados: Uma empresa utilizando data mining é capaz de: � Criar parâmetros para entender o comportamento do consumidor; � Identificar afinidades entre as escolhas de produtos e serviços; � Prever hábitos de compras; � Analisar comportamentos habituais para detectar fraudes.

Data Minning ou Mineração de Dados: Data mining X Data warehouse: Data mining extração

Data Minning ou Mineração de Dados: Data mining X Data warehouse: Data mining extração inteligente de dados; � Data warehouse repositório centralizado de dados; � Data mining não é uma evolução do Data warehouse; � Data mining não depende do Data warehouse, mas obtém-se melhores resultados quando aplicados em conjunto; � Cada empresa deve saber escolher qual das técnicas é importante para o seu negócio. (Uma, outra ou as duas); � Data Warehouse aliado a ferramentas estatísticas desempenham papel semelhante ao data mining, mas não descobrem novos padrões de comportamento. (a não ser empiricamente). �

Data Minning ou Mineração de Dados: Como fazer Data Mining ? Aprendizagem computacional (Machine-

Data Minning ou Mineração de Dados: Como fazer Data Mining ? Aprendizagem computacional (Machine- learning) Automação do processo de aprendizagem, através da construção de regras baseadas em observações dos estados e transações do ambiente. Examina os exemplos e seus resultados e aprende como reproduzi-los e como fazer generalizações sobre novos casos

Data Minning ou Mineração de Dados: Aprendizagem indutiva: Faz análise nos dados para encontrar

Data Minning ou Mineração de Dados: Aprendizagem indutiva: Faz análise nos dados para encontrar padrões � Agrupa objetos similares em classes � Formula regras � � Aprendizagem supervisionada – � (A. S. ) Aprende baseando-se em exemplos (“professor” ajuda a construir um modelo def. classes e fornecendo exemplos de cada classe formular a descrição e a forma da classe) Aprendizagem não supervisionada (A. Ñ. S. ) – Aprende baseando-se em observações e descobertas (não se def. classes, deve-se observar os exemplos e reconhecer os padrões por si só uma descrição de classes para cada ambiente).

11 007 2 o Junh ggets) u (kdn MAP Alípio Jorge

11 007 2 o Junh ggets) u (kdn MAP Alípio Jorge

Exemplos Áreas de aplicações potenciais: � Vendas e Marketing Identificar padrões de comportamento de

Exemplos Áreas de aplicações potenciais: � Vendas e Marketing Identificar padrões de comportamento de consumidores Associar comportamentos à características demográficas de consumidores Campanhas de marketing direto (mailing campaigns) Identificar consumidores “leais”

Exemplos Áreas de aplicações potenciais: � Bancos Identificar padrões de fraudes (cartões de crédito)

Exemplos Áreas de aplicações potenciais: � Bancos Identificar padrões de fraudes (cartões de crédito) Identificar características de correntistas Mercado Financeiro ($$$)

Exemplos Áreas de aplicações potenciais (continuação): � Médica Comportamento de pacientes Identificar terapias de

Exemplos Áreas de aplicações potenciais (continuação): � Médica Comportamento de pacientes Identificar terapias de sucessos para diferentes tratamentos Fraudes em planos de saúdes Comportamento de usuários de planos de saúde

Exemplos Exemplo (1) - Fraldas e cervejas � O que as cervejas tem a

Exemplos Exemplo (1) - Fraldas e cervejas � O que as cervejas tem a ver com as fraldas ? � homens casados, entre 25 e 30 anos; � compravam fraldas e/ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa; � Wal-Mart otimizou às gôndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas; � Resultado: o consumo cresceu 30%.

Exemplos Exemplo (2) - Lojas Brasileiras (Info 03/98) � Aplicou 1 milhão de dólares

Exemplos Exemplo (2) - Lojas Brasileiras (Info 03/98) � Aplicou 1 milhão de dólares em técnicas de data mining � Reduziu de 51000 produtos para 14000 produtos oferecidos em suas lojas. � Exemplo de anomalias detectadas: – – Roupas de inverno e guarda chuvas encalhadas no nordeste Batedeiras 110 v a venda em SC onde a corrente é 220 v

Exemplos Exemplo (3) - Bank of America (Info 03/98) � Selecionou entre seus 36

Exemplos Exemplo (3) - Bank of America (Info 03/98) � Selecionou entre seus 36 milhões de clientes Aqueles com menor risco de dar calotes Tinham filhos com idades entre 18 e 21 anos Resultado em três anos o banco lucrou 30 milhões de dólares com a carteira de empréstimos.

Exemplos Empresas de software para Data mining: � SAS http: //www. sas. com �

Exemplos Empresas de software para Data mining: � SAS http: //www. sas. com � Information Havesting http: //www. convex. com � Red Brick http: //www. redbrick. com � Oracle http: //www. oracle. com � Sybase http: //www. sybase. com � Informix http: //www. informix. com � IBM http: //www. ibm. com

Data Minning ou Mineração de Dados: Corresponde ao ato de extrair informações do DW,

Data Minning ou Mineração de Dados: Corresponde ao ato de extrair informações do DW, a fim de identificar tendências, padrões de negócio e cenários. É possível realizar simulações e fazer testes de hipótese. Para efetuar a mineração é necessário um conjunto de ferramentas denominadas OLAP que serão descritas a seguir.

On line Analytical Processing Systems – Sistemas OLAP Nas palavras de Strum (2000, p.

On line Analytical Processing Systems – Sistemas OLAP Nas palavras de Strum (2000, p. 5) “um sistema OLAP é uma ferramenta que permite executar complicadas análises sobre dados históricos usando estruturas multidimensionais armazenadas em um Data Warehouse (DW)”. STRUM, J. Data Warehousing with Microsoft SQL Server 7. 0 Technical Reference. Washington: Editora Microsoft Press, 1. ed. 2000. 446 f.

On line Analytical Processing Systems – Sistemas OLAP O DW serve como base para

On line Analytical Processing Systems – Sistemas OLAP O DW serve como base para sistemas OLAP e permite o compartilhamento de informações por toda a organização. Um sistema de CRM, por exemplo, pode utilizar um Data Mart, o qual assemelha-se a um DW, com a pequena diferença de que os dados armazenados nessa estrutura pertencem a um determinado nicho de negócio dentro de uma organização � como por exemplo informações sobre os clientes para efetuar o Marketing de Relacionamento Como a idéia do OLAP é trabalhar sobre os dados históricos, de preferência em um conjunto separado da estrutura de dados operacionais, torna-se necessária a transição de dados entre as bases, permitindo assim alimentar a estrutura OLAP com informações atuais seguindo qualquer regra previamente definida para uma análise. Isso é o chamado DTS (Data Transformation Service – Serviço de Transformação de Dados).

On line Analytical Processing Systems – Sistemas OLAP Dentre todas as características, a que

On line Analytical Processing Systems – Sistemas OLAP Dentre todas as características, a que ressalta com significativa expressividade é o fato de que com uma ferramenta ou serviço OLAP pode ser criado um único sistema que se responsabilize por efetuar toda análise sobre os dados, ao invés de existirem sistemas diferentes realizando análises diferenciadas. Outra vantagem é a eficiência da análise que permite o usuário, de maneira muito interativa, ter respostas para perguntas como � “quantos produtos X foram vendidos no mês Y nas cidades de A e B para clientes com idade acima de 30 anos? ”. Tais pesquisas podem ser feitas esporadicamente, o que de fato caracteriza um sistema de análise empresarial, um Sistema de Suporte a Decisão (SSD).

On line Analytical Processing Systems – Sistemas OLAP

On line Analytical Processing Systems – Sistemas OLAP

OLAP Na figura observamos os seguintes elementos: � � � DTS – Data Transformation

OLAP Na figura observamos os seguintes elementos: � � � DTS – Data Transformation Server: Responsável por extrair os dados operacionais e externos e colocá-los em um formato padão para o DWH, fazendo a “carga” dos dados ou seja a transferência. OLPT – On-Line Processing Transaction: São Sistemas de Processamento de Transação (SPT) que operam em modo online. Serviço Pivot Table: Estrutura de dados / Arquivos para cruzar dados e permitir a construção de modelos gráficos e multidimensionais das informações que se pretendem extrair

On line Analytical Processing Systems – Sistemas OLAP A construção de sistemas desse porte

On line Analytical Processing Systems – Sistemas OLAP A construção de sistemas desse porte busca atender segundo Strum (2000) os seguintes pontos: � Informações com profundidade, com a estrutura em níveis hierárquicos; � Comparar grupos de informações sob condições definidas pelo usuário; � Gerar informações utilizáveis; � Prover informações no tempo certo e preciso; � Análises rápidas; � Informações acessíveis, permitindo acesso de qualquer lugar, que sejam inteligíveis ou familiares ao usuário final. STRUM, J. Data Warehousing with Microsoft SQL Server 7. 0 Technical Reference. Washington: Editora Microsoft Press, 1. ed. 2000. 446 f.

Componentes de um sistema OLAP Conforme visto, uma ferramenta OLAP é composta por um

Componentes de um sistema OLAP Conforme visto, uma ferramenta OLAP é composta por um repositório de dados, podendo ser um DW ou um Data Mart. Além de uma estrutura para armazenamento de dados, ela conta com uma poderosa máquina matemática para efetuar cálculos, e de uma ferramenta que permite a visualização

Componentes de um sistema OLAP O processador matemático é utilizado para efetuar consultas ao

Componentes de um sistema OLAP O processador matemático é utilizado para efetuar consultas ao banco de dados não padronizadas tais como: somas, cálculos de freqüências, cálculos temporais, estatísticas e categorização. Outras operações mais complexas como fórmulas ou algoritmos, conversões e modelagens, além de consultas mais elaboradas são outras capacidades disponíveis por essa ferramenta.

Componentes de um sistema OLAP Uma das diferenças cruciais entre sistemas OLAP e OLTP

Componentes de um sistema OLAP Uma das diferenças cruciais entre sistemas OLAP e OLTP é que o segundo possui um conjunto prédeterminado de consultas a executar, sabendo exatamente o que deve retornar. Já o primeiro não. Este sabe que tipos de dados serão analisados, mas não como será feita a análise, gerando as consultas sob demanda. A utilização de uma base de dados não normalizados, baseada em uma estrutura multidimensional, pode melhorar a performance da análise.

Exemplos de consultas OLAP: Quais foram os produtos mais vendidos no mês passado? A

Exemplos de consultas OLAP: Quais foram os produtos mais vendidos no mês passado? A média salarial dos funcionários de informática com menos de 5 anos de experiência é maior do que a mesma para funcionários de telecomunicação? Qual foi o total de vendas o mês passado por região de vinhos tintos importados da Europa? Por quais semanas, quais produtos e quais cidades, a variação de venda de produtos em promoção em comparação da semana anterior sem promoção foi 15%

Elementos de um modelo lógico de dados multidimensional: exemplo Hierarquia: 1. Geografia 2. País

Elementos de um modelo lógico de dados multidimensional: exemplo Hierarquia: 1. Geografia 2. País 3. Estado 4. Cidade 5. Dimensões Cubo Etc. . . Medidas: É representada por uma dimensão especial utilizada para realizar comparações. Inclui membros como: custos, lucros ou taxas. Membros

FERRAMENTAS OLAP Exemplos de ferramentas de mercado

FERRAMENTAS OLAP Exemplos de ferramentas de mercado

Cognos Business Intelligence Platform w Servidores OLAP: Servidor DOLAP e ROLAP w Tipo de

Cognos Business Intelligence Platform w Servidores OLAP: Servidor DOLAP e ROLAP w Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad-hoc – Cognos Power. Play. l Linguagem de Interrogação: SQL. Módulo de Reporting - Cognos Report. Net l Tipo de Relatórios: Parametrizável l Tipo de Navegação: Suporta Navegação http: //www. cognos. com/products/businessintelligence/

Cognos Business Intelligence Platform w Ferramenta Web e não Web: Browsers e Não Web:

Cognos Business Intelligence Platform w Ferramenta Web e não Web: Browsers e Não Web: Excell. w Sistemas Operacionais Windows 95/98/NT/2000/ME/XP; HP/UX; IBM AIX; Solaris/Sun OS. w Bases de Dados: Microsoft Access; Oracle RDB; NCR Teradata; Sybase; Oracle; Red Brick; Microsoft SQL Server; Informix; IBM DB 2; Nota: Interrogações a Base de Dados (suporte nativo): Oracle; DB 2/UDB; SQL Server; DB 2/390; DB 2/400; Sybase; Informix; Nota: Interrogações a Base de Dados (via ODBC): B 2/400; Redbrick; Sybase; MS Access; Teradata http: //www. cognos. com/products/businessintelligence/

Micro. Strategy 7 i Platform w Servidores OLAP Servidor ROLAP e recentemente MOLAP w

Micro. Strategy 7 i Platform w Servidores OLAP Servidor ROLAP e recentemente MOLAP w Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad-hoc – Micro. Strategy OLAP Services e MDX Adapter. Linguagem de Interrogação: SQL e MDX. Módulo de Reporting - Micro. Strategy Report Services l Tipo de Relatórios: Parametrizável l Tipo de Navegação: Suporta Navegação l http: //www. microstrategy. com/

Micro. Strategy 7 i Platform w Ferramenta Web e não Web: Browsers e E-mail

Micro. Strategy 7 i Platform w Ferramenta Web e não Web: Browsers e E-mail e Não Web: ficheiros. w Sistemas Operacionais Windows 95/98/NT/2000/ME/XP; HP/UX; IBM AIX; Solaris/Sun OS. w Bases de Dados JDBC; OLE-DB; ODP. NET; Oracle. http: //www. microstrategy. com/

Oracle 10 g w Servidores OLAP Servidor ROLAP, MOLAP e HOLAP w Tipo de

Oracle 10 g w Servidores OLAP Servidor ROLAP, MOLAP e HOLAP w Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad-hoc – Oracle Olap l Linguagem de Interrogação: SQL e PL/SQL; OLAP DML (equivalente a PL/SQL mas para multidimensional). Módulo de Reporting – Oracle Reports l Tipo de Relatórios: Parametrizável l Tipo de Navegação: Suporta Navegação http: //otn. oracle. com/products/reports/index. html

Oracle 10 g w Ferramenta Web e não Web: Browsers e E-mail Não Web:

Oracle 10 g w Ferramenta Web e não Web: Browsers e E-mail Não Web: ficheiros e Excell. w Sistemas Operacionais Windows 95/98/NT/2000/ME/XP; HP/UX (PA-RISC e Itanium); IBM AIX; Solaris (SPARC). w Bases de Dados Oracle. http: //otn. oracle. com/products/reports/index. html

Applix w Servidores OLAP Servidor ROLAP e MOLAP w Tipo de ferramenta Front-End Módulo

Applix w Servidores OLAP Servidor ROLAP e MOLAP w Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad hoc – TM 1 e TM 1 Web e Integra l Linguagem de Interrogação: Não referenciada, possívelmente SQL e/ou outra linguagem proprietária Módulo de Reporting – TM 1 Web l Tipo de Relatórios: Sem informação l Tipo de Navegação: Suporta Navegação (drilldown) http: //www. applix. com/solutions/

GEAC w Servidores OLAP Servidor de outro proprietário (dependência) w Tipo de ferramenta Front-End

GEAC w Servidores OLAP Servidor de outro proprietário (dependência) w Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad hoc – Sem informação l Linguagem de Interrogação: Sem informação Módulo de Reporting – Pervasive 2000 SP 2 a e Crystal Reports 8. 0 ou 8. 5 l Tipo de Relatórios: Dependendo da ferramenta do proprietário l Tipo de Navegação: Dependendo da ferramenta do proprietário http: //www. performance. geac. com/decision. cfm

Hyperion BI Platform w Servidores OLAP Servidor ROLAP e MOLAP w Tipo de ferramenta

Hyperion BI Platform w Servidores OLAP Servidor ROLAP e MOLAP w Tipo de ferramenta Front-End Módulo de Ad-Hoc Queries – Hyperion Intelligence l Linguagem de Interrogação : SQL, Max. L Módulo de Reporting – Hyperion Reports l Tipo de Relatórios: Parametrizável l Tipo de Navegação: Sem informação http: //www. hyperion. com/products/bi_platform/

Hyperion BI Platform w Ferramenta Web e não Web : Browsers, E-Mail, Não Web:

Hyperion BI Platform w Ferramenta Web e não Web : Browsers, E-Mail, Não Web: Excel, PDF, Lotus w Sistemas Operacionais Microsoft Windows 2000 Server; Microsoft Windows 2003 Server ; Solaris Sparc 8. x e 9. x; IBM AIX, Linux w Bases de Dados Oracle 8 i e 9 i, IBM DB 2, MS SQL SERVER 2000, MS SQL SERVER 7, Informir, Sybase, Teradata, outros http: //www. hyperion. com/products/bi_platform/

Business Objects w Servidores OLAP Servidor ROLAP e MOLAP w Tipo de ferramenta Front-End

Business Objects w Servidores OLAP Servidor ROLAP e MOLAP w Tipo de ferramenta Front-End Módulo de Ad-Hoc Queries – Suporta Ad-Hoc Queries l Linguagem de Interrogação : SQL, MDX Módulo de Reporting – Suporta Reports l Tipo de Relatórios: Parametrizável l Tipo de Navegação: Drill-Down, Slicing and Dicing, Pivoting, Ranking, Sorting, Alerts e Filter Helps http: //www. techsupport. businessobjects. com

Business Objects w Ferramenta Web e não Web : Browsers, E-Mail, Não Web: Excel,

Business Objects w Ferramenta Web e não Web : Browsers, E-Mail, Não Web: Excel, PDF w Sistemas Operacionais IBM AIX, Solaris, Unix, MAC OS e todas a versões do Windows w Bases de Dados Sem informação http: //www. techsupport. businessobjects. com

Mais ferramentas. . . w w w w Panorama Nova. View BI Platform http:

Mais ferramentas. . . w w w w Panorama Nova. View BI Platform http: //www. panoramasoftware. com Crystal Analysis and Reports - http: //www. businessobjects. com MIS on. Vision - http: //www. misag. com Arcplan in. Sight and dyna. Sight http: //www. arcplan. com Soft. Pro Manager - http: //www. softpro. hr SPSS Olap Hub Information Intelligence Platform http: //www. spss. com/olap_hub Targit Analysis - http: //www. targit. com Databeacon - http: //www. databeacon. com/ Q 4 bis - http: //www. q 4 bis. com/ Hummingbird - http: //www. hummingbird. com/products/bi/index. html Vista - http: //www. beyond 2020. com/products/Vista. html Delta. Master - http: //www. bissantz. de/index_e. html Strategy Analyzer - http: //www. strategycompanion. com USoft - http: //www. u-soft. com. cn

Desempenho 2003 – The OLAP Survey 3 Melhores Tempos de Carregamento e Processamento de

Desempenho 2003 – The OLAP Survey 3 Melhores Tempos de Carregamento e Processamento de Dados:

Mas os líderes são. . . http: //www. olapreport. com/market. html

Mas os líderes são. . . http: //www. olapreport. com/market. html

Considerações Finais Com o volume de informações gerado pelos diversos sistemas, aumenta o potencial

Considerações Finais Com o volume de informações gerado pelos diversos sistemas, aumenta o potencial de aperfeiçoamento e inovação da organização através de um processo de inteligência denominado de Business Intelligence. Na prática o BI necessita de um conjunto de ferramentas e técnicas como os Data Marts, agrupados em um Data Warehouse sendo minerados por ferramentas OLAP.

Atividade Assista ao filme: Ameaça Virtual (2001) e discuta sobre a falta de ética

Atividade Assista ao filme: Ameaça Virtual (2001) e discuta sobre a falta de ética no processo de BI nas organizações de informática.