Gesto de Negcios Virtuais Prof Ms Claudio Benossi
Gestão de Negócios Virtuais Prof° Ms. Claudio Benossi Aula 06 Administração de Empresas
Big Data Dados • Dados como um conceito abstrato pode ser explicado como o mais baixo nível de abstração a partir do qual as informações e, em seguida, o conhecimento são derivados. • Informações em forma bruta ou desorganizada (como letras, números ou símbolos) que se referem ou representam, condições, ideias ou objetos. Os Dados são ilimitados e presentes em todo o universo.
Big Data Tipos de Dados • Dados Relacionais (Tabelas / Transação / Legacy Data) • Texto de Dados (Web) • Semi-estruturados de dados (XML) • Gráfico de Dados de Redes Sociais, semanticweb (RDF) • Data Streaming -Você só pode digitalizar os dados uma vez
Big Data • Big data é um enorme volume de dados estruturados e não estruturados. • O volume é tão grande que é impossível processar com técnicas de banco de dados e software tradicionais.
Big Data • Big data é o termo utilizado para uma coleção de conjuntos de dados tão grande e complexo que se torna impossível processar usando ferramentas de gerenciamento de banco de dados ou aplicações de processamento de dados tradicionais.
Big Data • Big data são dados cuja escala, diversidade e complexidade exigem novas arquiteturas, técnicas, algoritmos e análises para gerenciá-los e extrair valor e conhecimento oculto deles.
Onde está o Big Data • Walmart lida com mais de 1 milhão de transações de clientes a cada hora. • Facebook processa 40 bilhões de fotos a partir de sua base de usuários. • Decodificação do genoma humano originalmente levou 10 anos para processar; Agora isto pode ser conseguido em uma semana. • Google processava 20 PB por dia em 2008 • Facebook tem 2, 5 PB de dados de usuários + 15 TB / dia em 2009 e. Bay tem 6, 5 PB de dados do usuário + 50 TB / dia
Big Data
Big Data VOLUME DE DADOS • Aumento de 44 x entre 2009 e 2020 • De 0, 8 zettabytes para 35 zb • O volume de dados está crescendo exponencialmente
Big Data Variedade • Vários formatos, tipos e estruturas • Texto, imagens, áudio, vídeo, sequências, séries temporais, dados de mídia social, matrizes multi-dimensão, numéricos, entre outros. • Dados estáticos versus fluxo de dados • Uma única aplicação pode estar gerando / coletando muitos tipos de dados
Big Data Velocidade • Dados é começar gerado rápido e precisam ser processadas rapidamente • Análise de dados online • Decisões tardias perdem oportunidades • E-Promoções: Com base na sua localização atual, o seu histórico de compras, o que você gosta, enviar promoções agora para uma loja perto de você.
Big Data Velocidade EXEMPLOS • Monitoramento em Saúde: sensores de monitoramento de suas atividades corporais. • As medições anormais exigem reação imediata.
Big Data Evolução do conceito de Big Data
Big Data +1 V
Big Data Quem está Gerando Big Data? • Redes de Mídias Sociais (Todos nós geramos dados)
Big Data Quem está Gerando Big Data? • Instrumentos Científicos (coletando todos os tipos de dados)
Big Data Quem está Gerando Big Data? • Dispositivos Móveis (Rastrando todos os objetos o tempo todo)
Big Data Quem está Gerando Big Data? • Redes de sensors de tecnologia (Medindo todos os tipos de dados)
Big Data Dados Mudam Constantemente Instrumentalização Tudo que pode ser medido será medido. •
Big Data Dados Mudam Constantemente Consumerização Funcionários e clientes esperam mais interações pessoais, mas não ao custo de sua privacidade. •
Big Data Dados Mudam Constantemente Experimentação AS companhias mais inovadoras adotam a experimentação e agilidade. •
Big Data Implantação de Big Data Tecnologias de DBMS Paralelas • Proposto no final dos anos oitenta • Amadurecido ao longo das últimas duas décadas • Indústria Multi-bilionária: Motores DBMS proprietários como solução de Data Warehousing para grandes empresas
Big Data Map Reduce • Google foi o pioneiro • Yahoo! popularizou (Hadoop)
Big Data O que é Hadoop? • É um Sistema distribuído, tolerante a falhas e altamente escalável para processamento e armazenamento de dados
Big Data O Hadoop possui dois principais componentes: • Hadoop Distributed File System (HDFS). • Auto recuperável, grande capacidade de armazenamento de dados em clusters. Resiliente, redundante, otimizado para tratamento de grandes arquivos.
Big Data • O Hadoop possui dois principais componentes: • Map Reduce. Processamento distribuído e tolerante a falhas. Módulo programável para processamento de conjuntos de dados. Mapeia entradas para saídas e reduz a saída de multiplos Mappers para 1 (uma ou algumas respostas). • Opera com dados estruturados ou não estruturados • Possui um extenso eco sistema de aplicações.
Big Data Desafios para o Big Data A integração do Big Data é multidisciplinar • Menos de 10% do mundo Big Data é genuinamente relacional • Significa que a integração de dados no real, desarrumado e complexo mundo de Big • Data, banco de dados e web semantica usam métodos multi-disciplinares e multitecnologias.
Big Data Desafios para o Big Data Extratificação de dados abertos • Mapeamento, Classificação, Visualização, Correspondencia de chaves • Demonstrar o valor da semantica: deixe a integração de dados direcionar a correta tecnologia de DBMS • Grandes volumes de dados heterogêneos, como em links de dados
Big Data Desafios para o Big Data • A automatização de pesquisas altera a definição do conhecimento • Objetividade e precisão das informações • Grande volume de dados não garante dados melhores
Big Data Desafios para o Big Data • Nem todos os dados são equivalentes. • Só porque o dado é acessível não significa que seja ético • O acesso limitado ao Big Data cria novas divisas digitais
Big Data Quem está coletando o Big Data
Big Data Qual a finalidade dos dados coletados? Companhias de cartões de crédito vão aprimorar seus produtos e ofertas baseados no comportamento de consumo das pessoas.
Big Data Qual a finalidade dos dados coletados?
Big Data Por que coletar estes dados? Mercado Alvo • Enviar catálogos exatamente com a mercadoria que você normalmente compra. • Sugerir medicamentos que correspondem precisamente seu histórico médico. • Oferecer os canais de televisão específicos no seu pacote, em vez de esperar que você solicite. • Enviar anúncios personalizados de acordo com o seu perfil nesses canais.
Big Data Por que coletar estes dados? Informação Específica • Saber o que você precise antes de você baseado em seus hábitos de consumo. • Notificar você que sua habilitação está prestes a expirar ou sobre recargas em cartões ou celulares.
Big Data - Conclusão • Big Data e Big Data Analytics não são apenas para grandes empresas • Big Data não se trata de apenas construir bancos de dados gigantes • Mover o processamento para a fonte dos dados traz muitos ganhos • Escolha o cenário de Big Data mais apropriado
Big Data - Conclusão • Um cenário completo de dados com conjuntos de dados inteiros podem ser devidamente tratados e fatorados em processamento analítico, com tecnologias de processamento de banco de dados inmemory ou tecnologia de grid.
Big Data - Conclusão • Para situações em que o uso conjunto de dados não é tecnicamente viável ou acrescenta pouco valor, um cenário de dados segmentados pode usar analytics e ferramentas de gerenciamento para determinar o dado correto a ser alimentado em modelos analíticos.
Big Data - Conclusão • Big data não é apenas sobre ajudar uma organização a ser mais bem sucedida – Mas para o mercado tornar suas operações de negócios mais eficazes.
Big Data - Conclusão • Analytics de alta performance foi concebido para apoiar iniciativas de Big Data com bancos de dados in-memory, e opções de computação em grid.
Big Data - Conclusão • As organizações podem se beneficiar da computação em nuvem, onde a análise de grandes volumes de dados são entregues como um serviço e recursos de TI podem ser ajustados rapidamente para atender às demandas de negócios. .
Big Data - Conclusão • O modelo On Demand prove aos clientes a opção de impulsionar as analyses de big data para eliminar ou reduzir o tempo, o capital investido e custos com manutenção associados a infraestruturas on-premises.
Gestão de Negócios Virtuais • Dúvidas?
- Slides: 43