Acclrez vos entrepts de donnes avec les Appliances

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft 2

Agenda • Data Warehousing – Data Warehouse aujourd’hui & Challenges Associés • Vision Microsoft • Appliance ? ? ? • Solutions Techniques – SQL Server Fast Track Data Warehouse • Qu’est ce que SQL Fast Track Data Warehouse • Futur – SQL Server Parallel Data Warehouse • Architecture Matérielle • Architecture Logicielle • Distributed Data Warehouse Architecture • Etapes suivantes 3

1 2 3 4 5 1 > 10 TB 17% 34% 4 2 57% 3 92% Appliances 78% 5 Massive Parallel Processing 82 % Croissance Marché 4 Source – TDWI, “Next Generation Data Warehouse Platforms”

Vision Microsoft Data Warehouse Faire de SQL Server la plus rapide et la plus abordable des bases pour tous les clients quelle que soit la taille de base Evolutivité Massive à prix réduit Choix et flexibilité Solution Data Warehouse Complete Adminsitration Simplifiée du Data Warehouse 5

Appliance ? ? ? Définition & DWH • Définition générale – Dispositif, outil ou système conçu pour un usage particulier • Transposition aux Entrepôts de Données : – Infrastructure matérielle dédiée – Logiciel SGBD dédié / Configuration optimisée – Service dédié (Assemblage/Installation/Maintenance…) 6

SQL Server Read Ahead Rate A B DISK HBA Port Rate A A B STORAGE CONTROLLER CACHE FC HBA A B FC SWITCH CPU CORES WINDOWS SQL SERVER CACHE SERVER CPU Feed Rate FC HBA A B Switch Port Rate 7 LUN DISK B SP Port Rate DISK LUN Read Rate Disk Feed Rate

Appliance ? ? ? Avantages • Avantages – Réduction des risques – Usage simplifié – Réduction drastique du « Time to Value » • Système opérationnel en quelques heures – Performances garanties – Pas de dégradation de performances pour les autres utilisateurs du stockage – Meilleur ratio prix/performance 8

Pour aller là 9

Les écueils potentiels HBA • Où placer les cartes ? 10

La bonne configuration HBA • 1 sur 2 avec 2 slot 4 x et 2 8 x occupés 11

Les écueils potentiels Câblage Server 4 x Qlogic QLE 2562 8 Gbit dual port HBAs Storage 6 x AX 4 -5 F DP Array Fabric 2 x Qlogic Sanbox 5802 V 8 Gb Fibre Switch 8 x 8 Gb SPF (SPF 4 -SW-JD 4) 6 x 4 Pack 4 Gb SPF (SPF 8 -SW-1 PK) Où placer les SFPs? Comment connecter les SFPs au serveur et au SANs? 12

La bonne configuration Câblage Chaque switch à une connection vers chaque HBA 8 GBit Ports 8 Gbit attachés au serveur Connected to Switch 1 Connected to Switch 2 13

La bonne configuration A B FC HBA A B FC SWITCH FC HBA SAN 1 A B STORAGE PROCESSOR A STORAGE PROCESSOR B SAN 6 A FC SWITCH SERVER Câblage 14 B A B STORAGE PROCESSOR A STORAGE PROCESSOR B

Câblage Les risques Problème facile à diagnostiquer Pas si facile 15

Pour aller là 16

Offres Appliance Microsoft SQL Server Fast Track SQL Server Parallel Data Warehouse • Solutions livrées prêtes à l’emploi ! • Utilisation immédiate • Performance du matériel et de la configuration logicielle garanties 17

Solutions Microsoft Data Warehousing Scalable and reliable platform for Data Warehousing on any hardware Ideal for data marts or small to mid-sized EDWs Reference Architectures offering best price performance for data warehousing Scalable and reliable platform for Data Warehousing on any hardware Ideal for large data marts or mid-sized EDWs Ideal for data marts or small to mid-sized DWs with scan centric workloads Appliance for high end Data Warehousing requiring highest scalability, performance or complexity Offers flexibility in hardware and architecture Software only Reference Architectures (Software and Hardware) DW Appliance (Fully integrated Software and Hardware) Scale-Up DW Scale-Out DW with MPP 4 – 48 TB 10 s - 100 s of TB 10 s of TB Services and Support 18

SQL Server Fast Track Data Warehouse 19

SQL Server Fast Track Data Warehouse Solution pour accélérer les déploiements data warehouse § méthode § configurations § Des Best practices 20

Composants Fast Track Data Warehouse Software: • SQL Server 2008 Enterprise • Windows Server 2008 Configuration guidelines: • Physical table structures • Indexes • Compression • SQL Server settings • Windows Server settings • Loading Hardware: • Tight specifications for servers, storage and networking • ‘Per core’ building block 21

Fast Track Data Warehouse 2. 0 22

Configurations de Référence Fast Track 2. 0 Configurations 2 Processeurs 4 – 12 TB − − − Configurations 4 Processeurs 12 – 24 TB − − − Configurations 8 processeurs 16 – 48 TB − − 23

Fast Track 3. 0 • Machines 2 et 4 processeur disponibles (et testables !!!) • Disponibilité 8 processeurs estimée à mi février 2011 SAN 0, 3 GB/sec v 2. 0 v 3. 0 3, 5 comp 2 Proc FT approx 1, 8 GB/sec approx 3, 5 GB/sec 12, 25 GB/sec 4 Proc FT approx 4 GB/sec approx 7 GB/sec 24, 25 GB/sec 8 Proc FT approx 8 GB/sec Testing => ? ? GB/sec ? ? ? ? Testing ? ? GB/sec ? ? ? Higly Tuned SAN 1, 5 GB/sec MPP N * Débit Nominal d’ 1 noeud 24

Vidéo • Fast Track en action (Centre de performance HP de Boebligen) 25

SQL Server Parallel Data Warehouse 26

Introduction à Parallel Data Warehouse • Offre appliance Enterprise Data Warehouse High End – Haute évolutivité - Dizaine à centaines de terabytes – Haute performance grâce à un système MPP • Flexibilité et choix – Plusieurs Fournisseurs matériel possibles – Possibilité de déploiement au travers d’architecture distribuées • Solution la plus complète – Solution data warehouse complète couvrant le poste de travail, data warehouse d’ enterprise (EDW), et les data marts – Intégration forte avec l’offre de business intelligence Microsoft – Outillage complet: BI, ETL, MDM, et streaming data 27

Une nouvelle vision du Data Warehouse “High Scale “ Data High End Enterprise Flexibilité et choix Warehouse • Architecture “Ultra shared nothing” • Plusieurs choix matériels Pas de contrainte fournisseur • Performance et évolutivité grâce à l’exécution en parallèle des opérations • Support des data marts, implémentations Fast Tracks, et hubs MPP • Interopérabilité avec les solutions BI existantes • Options de stockage et traitement adaptable à vos besoins 28 Solution la plus complète • Tire parti des solutions data marts et data warehouse existantes • Configurations pré-testées pour réduire le risque d’implémentation • Solution BI complète

Data Rack Control Rack Compute Nodes Control Nodes Storage Nodes SQL Control Nodes Active / Passive SQL SQL SQL Dual Infiniband Landing Zone Dual Fiber Channel Management Servers SQL Built-in Landing Zone. Backup SQL SQL Backup Node SQL Spare Compute Node Private Network 29

Appliance Parallel Data Warehouse Architecture matérielle Storage Nodes Compute Nodes SQL Control Nodes Active/Passive Client Drivers SQL SQL Star Schema Landing Zone ETL Load Interface Dual Infiniband Data Center Monitoring SQL Or Dual Fiber Channel Management Servers Normalized Data SQL Data stored on servers SQL Backup Node SQL Corporate Backup Data Solution Corporate Network Spare Database Server Private Network 30

Apports PDW– Traitement parallèle massif Control Rack Data Rack Storage Nodes Compute Nodes Control Nodes SQL Requête 1 SQL Landing Zone Backup Node Dual Infiniband Management Servers ? ? ? ? ? SQL SQL Dual Fiber Channel Active / Passive SQL SQL SQL Spare Compute Node Private Network 31 La requête 1 est soumise à SQL Server sur le Control Node La requête est exécutée sur les 10 noeuds Le résultat est envoyé au client

Apports PDW– Traitement parallèle massif Control Rack Data Rack Storage Nodes Compute Nodes Control Nodes Active / Passive ? SQL Landing Zone ? ? ? Backup Node SQL PDW supporte le requêtage pendant le chargement de données SQL Dual Infiniband ? ? SQL ? ? ? ? Servers Management ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Dual Fiber Channel ? SQL Requêtes multiples exécutées simultanémen sur tous les noeuds SQL SQL SQL Spare Compute Node Private Network Performance hors normes grâce à la parallélisation massive des requêtes sur des nœuds ultra shared nothing 32 hautement performants.

Architecture Data Warehouse distribuée Flexibilité et alignement Business La technologie de copie rapide de données permet des mouvements de données rapide et la consistance entre l’ EDW et les Data Marts Permet le support de groupe utilisateurs ayant des SLA différents: • Performance • Capacité • Chargement • Concurrence • Sécurité Création de Data Marts SQL Server 2008, Fast Track Data Warehouse, et SQL Server Analysis Services Une architecture distributée permet la flexibilité d’ajouter ou changer des workloads ou groupes d’utilisateurs variés, tout en maintenant la consistance des données au travers de l’entreprise. 33

Vidéo • Parallel Data Warehouse en action (Centre de performance HP de Boebligen) HP : Jour 3 - 13: 00 - 14: 00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au Data. Warehouse (PAR 229) 34

Microsoft Data Warehousing Column Store Enterprise ETL Services Massively scalable DW appliance Star Join Query Optimizations 2008 MPP with Shared nothing architecture 2009 2010 “Denali” Data Quality Services Enhanced ETL Capabilities 2011 Beyond Fast Track Data Warehouse 3. 0 Fast Track Data Warehouse v. Next DW Reference Architectures Predictable performance at low cost Faster time to solution Managed Self-Service BI Application & Multi-Instance Management Master Data Services Stream Data Processing 35

MERCI !!! • Pour en savoir plus ou aller plus loin – Microsoft Technology Center (Issy) – Microsoft Data Warehousing portal – Pages Web Fast Track et Parallel Data Warehouse – Tech. Net - SQL Server DW Portal – Sessions techdays » BULL : Jour 1 – 13 : 00 – 14 : 00 - Optimisation de flux de données sous Fast Track, système BI haute performance : le témoignage de Gérard Scemama, Directeur de Recherche à l’INRETS, avec les experts Bull et Intel. (PAR 104) » HP : Jour 3 - 13: 00 - 14: 00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au Data. Warehouse (PAR 229) OU otolon@microsoft. com 36