Prsentation de Windows HPC Server 2008 fonctionnalits cas

Présentation de Windows HPC Server 2008 : fonctionnalités, cas d'emploi et beta de la version R 2 Mardi 9 Février 2010 Thomas VARLET Avant Vente HPC Microsoft France 2

Windows HPC Server 2008 • Fonctionnalités • Cas d’emploi Windows HPC Server 2008 R 2 • Présentation des nouvelles fonctionnalités 3

Windows HPC Server 2008 • Fonctionnalités • Cas d’emploi Windows HPC Server 2008 R 2 • Présentation des nouvelles fonctionnalités 4

Environment HPC Clusters/super computers Infrastructure d’entreprise Equipes Informatiques Technologies Mainstream 5 Réseaux rapides Stockage Scientifiques Ingénieurs Analystes financiers Compilateurs Languages spécialisées Debuggers

High Productivity Computing Fusion des Datacenters HPC et IT, administration du cluster simplifiée Infrastructure combinées Environnement PC et HPC unifiée Utilisateurs avec un accès a de multiples cœurs et serveurs Développement parallèle simplifié Environnement de développement unifié 6

Vision de Microsoft pour le HPC “Fournir une plateforme, des outils et un large écosystème pour réduire la complexité du HPC en rendant le parallélisme plus accessible pour trouver de futurs solutions/produits. Réduire la complexitée Mainstream HPC Large écosystème Faciliter le déploiement de gros cluster Adresser les besoins traditionnels du HPC Augmenter le nombre d’applications parallèle Simplifier l’administration de cluster Adresser les besoins émergeant du calculs Offrir un choix d’outils/ langages / bibliothèques parallèle Intégration avec l’infrastructure existante Permettre aux utilisateurs non techniques d’utiliser la puissance d’une solution de calcul Augmenter le nombre d’utilisateurs/développeurs/ administrateurs 7

Windows HPC Server 2008 Plateforme complète et intégrée de cluster HPC Basée sur la plateforme Windows Server 2008 Environnement intégré de développement Windows Server 2008 HPC Edition • Sécurisé, Fiable, Testé • Support de matériel haute performance (x 86 -64, réseau rapide) Microsoft HPC Pack 2008 • • Ordonnanceur Gestion des Resources Gestion du Cluster Message Passing Interface Windows HPC Server 2008 • Solution intégrée • Consolide les investissements dans l’infrastructure Windows • Sécurise et facilite la gestion de cluster Version d’évaluation disponible sur http: //www. microsoft. com/hpc 8

HPC Pack 2008 Ø Interface fenêtrée (MMC) Ø Interface Power. Shell ØHaute disponibilité des frontales ØWindows Deployment Services ØDiagnostiques/Reporting ØAgent pour SCOM Administration du système Job Scheduling Réseau & MPI Stockage Ø Network. Direct (RDMA) pour MPI Ø Wizzard de configuration du cluster Ø Mémoire partagée pour MPI sur multi-cœur Ø MS-MPI est intégré avec Windows Event Tracing Ø Support pour SOA et WCF ØSélection de la granularité des ressources Ø Scalabilité pour de gros clusters, Ø Gestion de politique de scheduling ØInteropérabilité via HPC Profile ØSupport de système de fichiers parallèle dans Win 2008 ØServer Message Block ( SMB v 2) ØSupport de système de mémoire cache 9

Topologie typique Infrastructure IT Windows Update AD DNS Monitoring Systems Management DHCP Réseau d’entreprise Nœud de calcul Nœud Maitre Admin / User Cons Node Manager WDS MPI Job Scheduler Management MPI Management NAT Réseau Privé Réseau MPI Cluster 10

Faciliter l’administration Simple à installer et à gérer dans un environnement familier Solution clef en main avec nos OEM Simplifie le déploiement de systèmes et d’applications Images de base, patches, drivers, applications Administration : Diagnostics, dépannage et monitoring Interface de gestion familière et flexible Ligne de commandes Extensible : Déploiement, administration, infrastructure Haute disponibilité du nœud maitre Rapport d’utilisation du cluster Intégration dans l’infrastructure d’entreprise Gestion des Patchs System Center Operations Management Power. Shell « Windows 2008 high Availability Services » 11

Faciliter l’utilisation : Ordonnanceur Support toutes les tailles de cluster : Cluster “hétérogènes” Interface du type Linux/Unix Gestion des ressources Mémoire, cœur, socket, applicatif Gestion des utilisateurs Groupe, priorités Gestion des jobs « Grow/shrink » , SOA Interopérabilité : Ordonnanceur du marché File système parallèle Large support d’application : Travail avec les ISV 12

Windows HPC Server 2008 • Fonctionnalités • Cas d’emploi Windows HPC Server 2008 R 2 • Présentation des nouvelles fonctionnalités 13

Centre de Jouys-en-Josas : Laboratoire de Génétique Microbienne "Rapidité de développement, performance, ergonomie, nous disposons d’une architecture matérielle et logicielle qui va nous aider dans le traitement des données", développer des applications clés en main pour les biologistes. Cluster DELL de 8 serveurs sous HPCS cluster Centre de Nancy : Simulations du comportement du bois optimisées « Cet environnement de simulation complet et intégré permet d’exploiter pleinement le calcul parallèle et distribué, nous donne une totale autonomie pour la gestion de la plate-forme et facilite la démarche d’optimisation du code de simulation » Premier cluster DELL de 5 serveurs sous CCS Etendu a 13 serveurs avec IB sous Windows HPC Serveur 14

EURO/CFD : Entreprise spécialisée dans la simulation numérique des phénomènes physiques à Belfort, 11 Ingénieurs, ANSYS Fluent Premier cluster de 24 serveurs (144 cœurs) sous CCS Maintenant, cluster de 35 serveurs (220 cœurs) sous HPCS 15

L'Institut Automobile du Mans (IAM) a pour objectif le développement socio-économique de la filière automobile des Pays de la Loire. Met a la disposition de ses membres de la puissance de calcul sous Windows 4 clusters reconfigurables : 4 frontales Total de 8 serveurs Conseil/Intégration/réalisation : Serviware Solution de calcul ANSYS, Simulia, Altair, … 16

Cluster HP sous Windows HPC Serveurs 2008 8 serveurs dans 4 U 54 cœurs Intel Xéon 5560 Réseau Infiniband Pour nos clients : Démo, Tests, Séminaires HPC 17

Windows HPC Server 2008 • Fonctionnalités • Cas d’emploi Windows HPC Server 2008 R 2 • Présentation des nouvelles fonctionnalités 18

Entrée de Microsoft dans le HPC 2006 Personal Super Computing Ø Ø Ø Ø Windows Server 2003 Entrée de Microsoft dans le HPC Besoin « personnel » ou départemental Application HPC disponible sous Windows Outils de développement parallèle et HPC Facilité d’administration et de déploiement Intégration dans l’infrastructure Microsoft 19

Microsoft HPC Server 2006 2008 Broad Reaching HPC Ø Ø Ø Windows Server 2008 Support du HPC traditionnel et émergeant Support de grand cluster (Top 500) Meilleurs support des outils de développement et SOA Amélioration d’administration et de déploiement Intégration dans l’infrastructure Microsoft 20

Prochain Windows HPC 2010 Parallel Extensions 2006 2010 2008 Highly Scalable, Efficient HPC Windows Server 2008 R 2 Infrastructure extensible jusqu’a 1000+ serveurs Elément d’administration « customisable » pour un meilleur contrôle Evolution du modèle SOA pour une meilleur extensibilité et programmation Ø Modèle de programmation parallèle dans les Extensions. NET Ø Intégration dans l’infrastructure Microsoft Ø Ø 21

Quels nouvelles fonctionalités ATTENTION : ces fonctionnalités peuvent encore changer (ajout/suppression) Version Béta 2 sera complète ! Performance Admin. Système Job Scheduler Modèle SOA Support MPI - Amélioration pour déploiement de grand clusters, - Support de base de donnée distante pour le cluster - Optimisations pour gestion de grand clusters - Extension du modèle de « parameter sweep » -Modèle d’échange de messages en duplex, - Persistance des Messages - Redémarrage automatique des WCF broker ou haute disponibilité - Options de tunning MS MPI Utilisation -Nœuds virtuels - Wizzard de gestion des patchs - Group de serveurs - Customisation de la Heat map Efficassité - Nœuds de calculs sans disque via boot réseau basé sur i. SCSI - Filtres et vue multiples -Diagnostiques/Rapports extensibles - Vue de la progression des jobs -Gestion des priorité des services - Taches de préparation/nettoyage - Amélioration de la gestion des licences - Information sur les jobs en erreurs applicatives - Amélioration de la sécurité - Envoie d’email -Utilisation de PC sous Windows 7 dans le cluster -Vérification/Diagnostiques - JOB SOA : lance et collecte - Diagnostiques extensible - Installation Out-of-the-box des - Corrélation des traces WCF broker - Tracing - Point de configuration unifié via IU - Plus de compteur de perf sur les Broker - Barre de progression intégré -CLI pour voir les sessions - Placement des processus MPI 22

Deploiement Flexible Requête client HPC Server 2008 R 2 Serveurs sans disque • Boot réseau i. SCSCI = disque n’est pas dans le serveur • Support initial : Net. App filers et Windows Storage Server • 1000 serveurs à Université de Southampton Top 500 Upgrade flexible • Upgrade de la frontale vers R 2 Server et HPC Pack R 2 • Guide de migration de la configuration et historique • Support de nœuds de calcul sous Windows Server 2008 et 2008 R 2 Performance de la base de donné du cluster • Sépare les fichiers de données et log à l’installation • Base de donnée du cluster sur un SQL serveur distant Clusters Dual Boot • « Best practices » de nos labs • Déploiement Hybrid ROCKS Linux/Windows de Clustercorp • Ordonancement de cluster Dual boot de Adaptive Computing et Platform Computing 23

Extensibilité Requête client HPC Server 2008 R 2 Performance • • Démontrer l’extensibilité • Tests réguliers sur des clusters de 1000+ serveurs • Conseils sur la configuration de la frontale • Runs Top 500 réguliers Utilisation pour de petits/moyen/gros clusters Performance équivalente à Linux « Hands-on work » avec des ISVs et codes open source Collaboration avec Argonne sur MPI Travail avec l’Alliance Open Fabrics Alliance pour Infiniband sur Windows • Network. Direct pour communications RDMA MPI • • Utilisation de la puissance • de mes stations de travail Customisation de la Heat map et liste des nœuds Groupe de nœuds basé sur la localisation Scripting Powershell pour toutes les actions Extensibilité avec Microsoft Operations Manager Des machines sous Windows 7 pourront rejoindre le cluster pour ajouter de la puissance de calculs 24

Heat Map Flexible 25

Utilisation de stations de travail Augmenter la puissance du cluster HPC en utilisant la puissance libre sur les stations de travails. Principe : HPC Server 2008 R 2 introduit la possibilité d’ajouter des PC sous Windows 7 comme des nœuds de calculs dans un cluster HPCS Vois et surveille les PC comme des nœuds de calculs dédiés. Utilisation pendant des créneaux de disponibilité (nuit, week-end, … ) Les Jobs soumis sur un PC : niveau de priorités bas éviter une interruption de service sur la console. Prérequis Windows 7 Professional ou Enterprise besoin du support Active Directory Ne supporte que la topologie 5 : PC, la frontale et les nœuds de calculs doivent-être sur le même réseau public Même domaines pour PC et serveurs 26

Diagnostiques avancé Requête client HPC Server 2008 R 2 Framework de Diagnostiques • • Progressions des Job • Montre en % la progression du job • Nouvelle API pour les intégrer le rapport dans les applications • Statuts des taches Erreurs et Tracing • • Extensibilité de la base de • données du clusters • Framework diagnostics extensible Ecrire son scripts/code de test Nous travaillons avec ISVs, vendeurs de réseaux, et OEMs Nouvelles diagnostiques pour SOA et réseau Voir tous les messages d’erreurs Sous statuts lors du déploiement Traces pour SOA MPI and SOA debugging Exportation de l’historique des job et des taches pour un rapport personnalisé Analyse avec SQL Server Reporting, Excel, etc 27

Business Critical SOA Requête client HPC Server 2008 R 2 Features Paralléliser facilement les applications • Expose les calculs comme des services WCF • Etendre les applications aux cluster de calcul • Haut débit et faible latence Lance et re-collecte • Client soumet une requête puis se reconnecte pour collecter les résultats • Paradigme de batch SOA • Requêtes et résultats survivent si le client tombe WS-* Interop • Construit sur des services web standard • Exemples pour des clients Java et C/C++ Haute disponibilité du Broker • Déploiement de broker Haute Disponibilité avec «Windows Failover Services » • MSMQ est utilisé pour la persistance des requête et des réponses Gestion des services • Contrôle interactif des applications • Garanti aux applications un nombre minimum de cœurs • Possibilité de « Grow and shrink » avec les ressources disponibles 28 28

Excel 2010 sur Windows HPC Server 2008 R 2 fournis 2 nouveaux mécanisme pour distribuer des calculs Excel sur un cluster HPC Excel client SOA Remote Excel v Excel fonctionne sur le cluster et calculs des classeurs v Lancé depuis un client (Excel/application) v Excel 2010 sur un serveur lancé par un services SOA, v Nécessite HPC Server 2008 R 2 et Excel 2010 Remote UDF v Depuis Excel, envoie les UDF (XLL) existantes sur un cluster v Simple add-in Excel pour lancer les UDF sur le cluster v Nécessite HPC Server 2008 R 2 et Excel 2010 Nouveau v code VSTO dans un classeur appel un service SOA v Entrées et sorties gérés par le développeur Excel 29

Windows HPC Server 2008 R 2 Release Schedule Q 2 2009 Mai Juin Community Technical Preview May 2009 Q 3 2009 Juil. Aout Q 4 2009 Sept Oct CTP 2 Sept 2009 Nov Q 1 2010 Dec Beta Nov 2009 Windows HPC Server 2008 SP 1 RTM Eté 2010 English, Chinese, Japanese 30 Jan Fevr Q 3 2010 Mar Beta 2 Mar 2010 RTM H 2 2010

Pour plus d’informations http: //www. microsoft. com/hpc Liens pour télécharger Beta 1 sur MS Connect Liens pour télécharger des docs sur R 2 http: //technet. microsoft. com/hpc Liens vers des documentations techniques, Blog équipe HPC et forums HPC Mis à jour régulièrement avec des nouvelles documentations, SDKs, exemples, vidéos, et autres infos utiles 31 31

Autres sessions HPC Mardi 9 Février de 17 h 30 à 18 h 30 Microsoft Office Excel 2010 et Windows HPC Server 2008 R 2 : puissance d'un cluster de calcul Excel Des calculs de plus en plus énormes se font dans des feuilles Excel. Il n'est pas rare que ceux-ci durent des heures voire des jours. Il était logique qu'Excel comme les autres applications de calcul puisse tirer parti de la puissance des clusters HPC. Avec la beta de Windows HPC Server 2008 R 2 et Excel 2010 un premier pas important est fait dans cette direction. Venez comprendre et voir les mécanismes mis en oeuvre avec des démos « live » . 32