Nouveauts Windows HPC Server 2008 R 2 et

Nouveautés : Windows HPC Server 2008 R 2 et le vol de cycles Mercredi 9 Février : 11 H 00 à 12 H 00 Muriel BARTHELEMY– Commerciale Technical Computing Thomas VARLET – Expert Technical Computing Microsoft France 2

Agenda Initiative Technical Computing Windows HPC Server 2008 R 2 Administration/surveillance du cluster Ajouter de la puissance au cluster Utilisation du cluster Développement d’applications parallèles 3

Initiative Technical Computing 4

Tendances dans le HPC Plus de puissance de calcul Explosion des données • • Gestion des données Analyse des données Rendre le HPC plus accessible • • Tendances ayant un impact sur le HPC • • • Contrôler et aligner les couts • • Rendre l’accès plus facile pour les utilisateurs d’organisations de toutes tailles Utiliser les compétences des équipes IT pour administrer les ressources HPC 5 Plateforme Multi-coeur Cloud computing GPU Coût total Unifier l’infrastructure d’entreprise et le HPC

Vision de Microsoft pour le HPC Fournir une plateforme, des outils et un écosystème, le tout intégré et complet pour réduire les coûts et la complexité du HPC. Offrir une vision claire et complète du futur. Réduire la complexité Mainstream HPC Faciliter le déploiement des clusters de calculs Adresser les besoins traditionnels du HPC Simplifier la gestion de clusters de toutes tailles Adresser les technologies émergeantes Intégrer les clusters avec l’infrastructure existante Offrir un accès simple aux puissances fournies par le HPC 6 Ecosystème large Augmenter les nombre d’applications parallèles Offrir un large choix d’outils de dev. /langages /bibliothèques Construire un univers plus large d’administrateurs / de développeurs et d’utilisateurs

Windows HPC aujourd’hui 2006 2008 2010 HPC hautement « scalable » et efficace Ø Ø Construit à partir de Windows Server 2008 R 2, Extensible à des milliers de serveurs, Eléments d’administration personnalisable pour un meilleur contrôle Evolution du modèle SOA pour une programmation plus facile et une plus grande extensibilité Ø Développement parallèle avec VS 2010 &. NET 4. 0 Ø HPC Services pour Excel ® 2010 Ø Extension des capacités via les stations de travail et Windows Azure 7

Windows HPC Server 2008 R 2 • Une plateforme complète et intégrée de cluster HPC • Construit à partir de Windows Server 2008 R 2 64 -bit • Répond aux besoin actuels et futurs du HPC Windows Server 2008 R 2 HPC Edition • Securisé, fiable, testé • Support de hardware haute performances (x 64, réseaux rapides, GPU) Microsoft HPC Pack 2008 R 2 Enterprise Microsoft Windows HPC Server 2008 R 2 Suite • Ordonnanceur • Gestion des ressources • Gestion du Cluster • Message Passing Interface • Support de Windows 7 • Support de Windows Azure • Propose une solution complète • Rentabilise les investissements sur l’administration Windows et ses outils • Rend les opérations aussi faciles que sur un seul système 8

Windows HPC Server 2008 R 2 Suite Excel Cluster SOA Applications HPC Middleware Pack HPC Edition Système d’exploitation Cluster utilisant un hardware standard 9 MPI ISV /OSS Applications SOA

Client Cluster Une machines avec un seul espace d’adressage mémoire Nœuds multiples, Mémoire distribuée Cloud Nœuds multiples, Mémoire distribuée, Capacité à la demande Microsoft Technical Computing 10

Windows HPC et le Cloud On-premise Desktop Compute Cloud via Idle Workstation Cores HPC Head Node Desktop User HPC Cluster Broker Node(s) Azure Compute Proxies Azure Compute Instances 11

Windows HPC Server 2008 R 2 12

Windows HPC Server 2008 R 2 • MPI • Job en batch • Mode interactif (SOA) • Calculs distribués • « Business Critical » SOA • Excel et apps ISV • Politique d’utilisation du cluster 1000 s de machines Scale Modèles d’application multiples Administration Outils de dev. Parallèle & Cluster Technologies nouvelles Partners Secure • IDE intégré • Debugger MPI • Profiler MPI • debugger SOA • Task Parallel Library, PLINQ • Support intégré des GPU • Déploiement • Configuration • Monitoring • Diagnostics • Trouble Shooting • Diskless & Dual-boot • Reporting • Tuning de Performance 13 • Private clouds • Public clouds • HPC comme un service • Big Data Analytics • Visualisation • Workflow intégré 13

Architecture d’un cluster HPC Active Directory HPC Clients Compute Nodes Head Nodes Jobs Requests Jobs Windows HPC Server 2008 R 2 cluster 14

Rôles dans WHPCS R 2 • Head Node Serveur qui permet d’administrer et d’utiliser les ressources de calcul du cluster, c’est l’interface du cluster • Broker Node Serveur(s) qui dirige(nt) les appels aux services WCF depuis les clients SOA vers les services SOA sur les computes nodes • Compute Node Serveurs sous WS 2008/WS 2008 R 2 x 64 qui fournissent de la puissance de calculs aux utilisateurs Toujours disponibles • Workstation node PC sous Windows 7 qui fournit de la puissance de calcul additionnelle au cluster Disponibilité variable en fonction des choix de l’organisation • Azure node SP 1 Ressource supplémentaire provisionnée dans Windows Azure 15

Mise en oeuvre des rôles Active Directory Azure Node Jobs HPC Clients Compute Nodes Head Nodes Jobs Broker Nodes Jobs WCF request Workstation Nodes Jobs 16 Jobs

Administration et surveillance du cluster 17

Administration du cluster • Une seule console pour TOUTES les taches d’administration Interface GUI, Power. Shell, Command Prompt Déploiement Monitoring Diagnostics • Gestion des utilisateurs/administrateurs du cluster • Gestion des serveurs Etats : Santé : services HPC Statuts : ordonnanceur Organiser : Création de groupes de machines P. Ex. : Groupe machines avec/sans GPU P. Ex. : Groupe machines avec ANSYS Fluent Passer des commandes • Gestion des mises à jours 18

Administration du cluster déploiement • Déploiement rapide de cluster ayant plus de 1000 machines Déploiement Parallèle en utilisant le mode multicast de WDS Surveiller l’état du déploiement • Wizzard de déploiement « To-Do list » montre les étapes • Générer/capturer des images, personnalisation de l’installation • Boot i. SCSI sur le réseau pour des serveurs sans disque local • Dual-boot pour lancer des applications Windows et Linux sur le même cluster Partenariat avec Platform Computing et Adaptive Computing 19 NEW

Administration du cluster Cluster Monitoring • Heatmap montre le statut global du cluster Jusqu’à trois métriques par serveur Onglets personnalisables et multiples pour des vues différentes de la Heatmap. • Voir les machines groupées par hardware; software ou par des attributs personnalisés • Surveillance sans agent des computes nodes • Voir le statut et le progrès des jobs et des tâches 20

Administration du cluster Diagnostics & Reporting • Intégration avec Event Tracing for Windows (ETW) pour du « trouble shooting » . • Tracing SOA , debugging MPI et SOA • Collection de diagnostics qui permettent de vérifier un grand nombre de fonctions du cluster (déploiement, infra, perf, … ) • Framework extensible de diagnostics Ouvert aux développeurs Création de diagnostics personnalisables dans tous les langages de programmation ou scripts. • Infrastructure extensible de reporting Interface d’administration du cluster Les données sont stockées dans une base SQL, elles sont exportables via Power. Shell, SQL Server Reporting services ou Excel. P. ex. : Silverlight reporting samples 21

Haute disponibilté • Les parties clé du cluster sont toujours disponibles Head Node • Active/passif • Cluster haute disponibilité SQL SOA • Broker Node – Active/passifs – MSMQ, MSCS Storage Haute disponibilité sur les requêtes SOA • MSMQ • Jobs Re-soumis si le nœud « fail » 22

Ajouter de la puissance au cluster 23

Ajouter des Workstation au Cluster Etendre la capacité du cluster en utilisant des stations de travail pour lancer des jobs de calculs Sommaire • Ajouter des machines sous Windows 7 comme ressources de calculs • Voir et surveiller les stations comme des computes nodes • Calendrier de disponibilité Prérequis Windows 7 Professional ou Enterprise, 32 ou 64 -bit (nécessite le support Active Directory) Desktops et cluster dans le mm domaine AD 24

Cluster HPC Server 2008 R 2 avec des stations de travail Active Directory Clients HPC / Station de travail Compute Nodes Jobs Head Nodes Jobs Requête Jobs Windows HPC Server 2008 R 2 cluster 25

Workstation Nodes : disponibilité • HPCS R 2 ne déploie pas les stations ! • Disponibilité Manuelle Définie par l’administrateur du cluster • Calendrier Donne la disponibilité des stations sur une semaine • Vol de cycle SP 1 Utilisation quand la station n’est pas utilisée 26

Cluster HPC Server 2008 R 2 avec des Azure Node Active Directory SP 1 HPC Clients Compute Nodes Head Nodes Jobs Broker Nodes Jobs Azure Node Jobs 27 Jobs

HPCS dans Azure: Le Cloud à votre service SP 1 Quatre modèles de déploiement Tout dans le cloud Tout local Toutes les ressources sont locales Toutes les ressources dans Azure Mixe Retour en local Compute Nodes locaux et ajout dynamique de ressources dans le Cloud Début dans Azure, puis ajout en local Deux modèles de stockage Deux modèles d’applications 1. En local, déployé dans Azure. 1. Service SOA du Cluster 2. Tout dans Azure: SQL Azure, Azure Storage 2. Calcul distribué 28

Utilisation du cluster 29

Soumettre des jobs Active Directory HPC Clients HPC GUI Compute Ressources Requête Head Nodes HPC CMD/PS Jobs Requête Jobs Web Interface Apps Requête Jobs Windows HPC Server 2008 R 2 cluster 30

Une plateforme pour tous types d’applications : ordonnanceur • Granularité des ressources core, socket ou server • Gestion des différents types de Jobs SOA, MPI, Batch, Interactive, balayage paramétrique • Support des différents types de politique d’ordonnancement Grow & Shrink, Preemption, Service Balanced, Priority, Backfill • Interfaces Multiples Command Line, GUI, Share. Point, Windows Power. Shell 2. 0, COM, . NET • Support de large cluster (> 1000 serveurs) • Support de matériel hétérogène Groupe de serveur 31

Ordonnanceur : Gestion Fonctionnalités But Resource Matchmaking Permet à l’utilisateur de spécifier ses besoins (cpu, réseau et applications) de manière à ce que l’ordonnanceur puisse bien placer le job Job Profile Permet à l’administrateur de créer des politiques d’utilisation optimales pour l’utilisateur et le cluster Allocation de ressources à plusieurs niveaux Permet à l’ordonnanceur de placer d’une façon optimale les applications intensives pour les accès mémoire et IO Préemption Permet aux job urgents de passer le plus rapidement possible afin de satisfaire les besoins importants pour l’organisation Grow & Shrink Maximiser l’utilisation des ressources et la production du cluster Service Balanced Démarrer le plus de jobs possible afin d’augmenter la production du cluster 32

Performance et extensibilité: Network Direct Une nouvelle interface réseau de type RDMA pour de meilleures performances • • Un design très proche du hardware pour offrir des performances proches des interfaces haute performance des réseaux rapides Socket-Based App MPI App MS-MPI Windows Sockets (Winsock + WSD) Performances équivalentes aux couches optimisées Networking Win. Sock Networking Hardware Network. Direct Hardware Provider Networking Hardware Networking User Mode Access Layer TCP/Ethernet Networking Drivers Network Direct pour les réseau haute performance: RDMA Networking TCP Infiniband Kernel By-Pass • IP 10 Gigabit Ethernet (i. WARP-enabled) NDIS Networking Mini-port Hardware Driver MS-MPI peut utiliser 4 modes: Mémoire partagée Networking Hardware Driver TCP/IP (Ethernet “normal”) Networking Hardware Winsock Direct pour un RDAM basé sur des sockets (ISV) App Interface Network. Direct 33 HPCS 2008 Component OS Component IHV Component User Mode Kernel Mode

Plateforme pour tous types d’applications SOA sur un cluster HPC • Expose les fonctions de calculs comme un service WCF • Applications distribuées • Utiliser la puissance offerte par les cluster aux applications business • Optimisé pour une latence faible (ms) et une charge importante • Debugger et analyser afin de créer des applications robustes • Support pour des applications critiques Tolérance aux pannes du hardware et du réseau Tolérance aux pannes des postes/applications clientes 34

HPC Cluster SOA Organisation des requêtes 2. Le gestionnaire de session démarre le job WCF Broker et le job WCF Service pour le job client 3. requêtes Workstation 6. Réponses Compute Nodes Head Node 1. Crée une Session Broker Node 4. requêtes 5. Réponses Construit sur des Web Service Standards (WS* interop) 35

Accélérer Excel 2010 Client SOA Excel Se connecte au cluster comme un client SOA code VSTO dans un classeur fait appel à un service SOA Entrées et sorties gérées par le développeur Excel Classeur Excel sur un Cluster NEW Tourne de multiples instances Excel 2010 sur Cluster HPC Chaque instance lance une itération du même classeur Peut-être lancé depuis Excel 2010 ou une appli Windows Suppression des boites de dialogue NEW Tourner en parallèle sur un cluster UDF Excel 2010 inclut une nouvelle API et des options pour un cluster HPC Support des fichiers. XLL développés avec le SDK Facile à développer sur un desktop et déployé sur un cluster UDF Excel sur le Cluster 36

Exécuter un classeur Excel vers un cluster Compute Nodes n io ss e te ê qu s de Re ne sig b un r ke Head Node ro che a t e As n d’u n atio ign Spreadsheet Ass So um de issio tac n Rés he ulta ts s R ltat u s é Brokers 37

Exécuter des UDFs sur un Cluster Compute Nodes n io ss te uê UDF e es d UDF q Re e ign s As b un r ke Head Node ro e ’un d n tio na ssig Spreadsheet A So um de issio tac n Rés he ulta ts s R ltat u s é che UDF ta UDF UDF Brokers 38

Accélérer Excel classeurs Excel vs. « Remote » UDFs Classeur Excel sur un cluster Remote UDFs Calculs encapsulés dans une fonction Calculs complexes ou basés sur des feuilles Excel. P. Ex. custom. XLL Des entrées multiples pour produire des sorties multiples Calcul complexe ou gros consommateur de temps Peu de changement sur la fonction dans le temps Une recompilation nécessite un redéploiement sur le cluster Les calculs doivent être indépendants d’autres cellules Quand Excel est utilisé comme un moteur de calcul et pas une « simple » interface Code VBA Fournit une façon simple et nondestructive de porter des classeurs sur un cluster Pas d’interdépendance au sein de la feuille Pas besoin de développer une nouvelle plateforme Programmation Excel Maintenance simple par les utilisateur Gestion des pop-up Excel Extensibilité : limité par le hardware et SOA , pas Excel 39

Développement d’applications parallèles 40

Vue globale: Programmation parallèle sous Windows Ecrire une apps Exécuter Debugger Profiler Gestion • Visual Studio IDE • C++ • Intel Fortran • PGI Fortran • C# • Python • F# • Cygwin env. • Ming. W env. • MPI avec support RDMA • High Performance MPI. NET • Open. MP • GPGPU (Nvidia, ATI) • TPL (. NET parallelization) • PPL (C++ parallelization) • Parallel LINQ • Debugger Cluster MPI • Add-in VS de Allinea • Debugger Multicore • Marmot MPI Analyzer • Visual Studio • ETW: support de MPI • Vampir MPI trace viewer • Xperf ETW viewer et Analyzer • VS/ETW Multicore Profile viewer • Life Cycle mgmt • Bug Tracking • Support de tests • Gestion des version • Metrics • Analyse Une sélection riche et intégrée d’outils/compilateurs/debugger/profiler pour écrire des applications parallèles 41

Windows HPC Server 2008 R 2 Dévelopement d’applications parallèles pour un cluster • Visual Studio et ses add-in pour le développement d’applications parallèles • Support du développement MPI (debugger) • Support du développement d’applications SOA pour un cluster • Parallel LINQ et Task Parallel Library (TPL) inclus dans le. NET Framework 4. 0 • Support du développement pour des GPGPU en partenariat avec NVIDIA Support d’outils et bibliothèques tierces • 42

Développement d’Application NVIDIA Parallel Nsight Accélérer le développement d’applications CPU + GPU • • • GPU computing CUDA C Open. CL Direct. Compute Graphiques Direct. X 10 and 11 Open. GL OS Windows Vista, Windows 7, et Windows Server 2008 Intégration dans Visual Studio 2008/2010 43

Technologies parallèles dans Visual Studio 2010 • • Rendre les applications parallèles plus productives et plus accessibles Abstraction et construction de haut niveau Faciliter et réduire l’impact du développement parallèle sur le code Aider les développeurs à exprimer un parallélisme au sein du code et le faire correspondre aux ressources hardware Inclut des outils de développement avancés qui comprennent les constructions parallèles debugger et profiler 44

Pour nous suivre et participer : • modelingtheworld. com • twitter. com/modelingtw • facebook. com/modelingtheworld • http: //blogs. technet. com/Windows. HPC/ • www. microsoft. com/hpc onglet : communauté, tous les forums pour toutes les questions • HPC sur Technet : http: //technet. microsoft. com/en-us/library/cc 514029. aspx • HPC sur MSDN : http: //msdn. microsoft. com/en-us/library/bb 743248. aspx 45