Sidney Cirqueira Raiane Lins Carregando dados para Azure

Sidney Cirqueira Raiane Lins Carregando dados para Azure SQL Data Warehouse com Data Factory e Polybase #azureconferencemt

Patrocinadores Apoio: SQL Server MT

Apresentação do Palestrante Raiane Lins • Trabalha com Banco de Dados há 7 anos; • DBA na empresa SICOOB Confederação; • Colaboradora do Blog Comunidade SQL Server. Sidney Cirqueira • Trabalha com Banco de Dados há 5 anos; • Analista de Banco de dados na empresa WIZ Soluções; • MCSA – SQL 2016 Database Administration • Participante da comunidade SQLServer. DF, Brasilia. Data. Group e BSB IA, Data Science, Big. Data & Analytics.

Agenda • • Azure SQL Data Warehouse; ELT (Extract, Load and Transform); Polybase; Data Factory. Objetivo • Conhecer brevemente cada estrutura dessa solução; • Carregar informações das fontes do SQL Server e do blob storage para o SQL Data Warehouse.

Azure SQL Data. Warehouse Azure Data. Factory Polybase

Azure SQL Data Warehouse É um sistema MPP (Massively Parallel Processing), diferente do sistema de armazenamento tradicional, onde, em vez de tudo consolidado em uma única máquina, é na verdade um sistema distribuído em que diferentes computadores, chamados nós, trabalham juntos para fornecer dados para suas consultas.

Arquitetura MPP

Azure Storage • Hash Melhor desempenho de consulta para junções e agregações em tabelas grandes. • Round Robin Melhor desempenho para tabelas de carga. • Replicate Melhor desempenho de consulta para tabelas pequenas.

ELT com Azure SQL Data Warehouse e Polybase É o processo pelo qual o dados são carregados de um sistema de origem para um Data Warehouse de destino.

O que é o Polybase? • É uma tecnologia que acessa dados fora da base de dados do SQL Server via T-SQL; • A partir do SQL Server 2016 isso permite você rodar consultas em dados externos no Hadoop ou importar/exportar dados de um Azure Blob Storage; • No SQL Server 2019 CTP 2. 0 é possível acessar dados externos no SQL Server, Oracle, Teradata e Mongo. DB; • Opções para carregamento de dados: TSQL, SSIS, Data. Factory e Databricks.

Integração Polybase com o Azure Permite que o SQL Data Warehouse import/export dados do Azure Blob Store e Azure Data Lake.

Demos:

Referências: • https: //docs. microsoft. com/en-us/azure/sql-data-warehouse/ • https: //docs. microsoft. com/en-us/azure/data-factory/introduction • https: //azure. microsoft. com/en-us/services/sql-datawarehouse/? wt. mc_id=DXLEX_EDX_AZURE 207 X • https: //docs. microsoft. com/en-us/sql/relationaldatabases/polybase-guide? view=sql-server-2017 • https: //courses. edx. org/courses/coursev 1: Microsoft+DAT 220 x+2 T 2018/course/ • https: //azure. microsoft. com/en-us/blog/create-alerts-toproactively-monitor-your-data-factory-pipelines/ • https: //feedback. azure. com/forums/270578 -azure-data-factory

Obrigado! Raiane Lins e Sidney Cirqueira Linkedin: https: //www. linkedin. com/in/raiane- flores-borba-lins-07567463/; https: //linkedin. com/in/sidneyoliveiracirqueira/; E-mail: nanelp@gmail. com; sidneyocirqueira@gmail. com