Journes du Paralllisme 2005 Introduction aux Grilles de

Journées du Parallélisme 2005 Introduction aux Grilles de Calcul UTIC - Heithem ABBES 28 -04 -2005

Plan n n n Introduction. Avantages des grilles de calcul. Applications des grilles de calcul. Évolution technologique et économique. Caractéristiques de la grille. Architecture de la grille. Problématique de recherche. Introduction aux Grilles de Calcul 2

Introduction (1/2) n n n Inspiration de la grille d’électricité (power grid) Disponibilité universelle et économie viable. Par analogie: q q une infrastructure matérielle et logicielle Accès fiable, cohérent et bon marché à des capacités de stockage et de calcul. Introduction aux Grilles de Calcul 3

Introduction (2/2) n Grille de calcul (Grid Computing) q coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations (VO). [I. Foster] n VO : q q q Groupement d’utilisateurs selon leurs différents besoins et intérêts. Politique. Offre une grille de calcul pour ses utilisateurs. Introduction aux Grilles de Calcul 4

Avantages des grilles de calcul n Exploiter les ressources sous utilisées q Taux d’utilisation des PC et des stations de travail n n q Meilleure utilisation de certaines ressources n n n 30% (milieux académiques et industriels) 5% (machines grand public) Partage des ressources spéciales Équipements spécifiques (microscope, bras robotique…) Logiciels dont le prix de la licence est élevé. Fournir une importante capacité de calcul parallèle Assurer la fiabilité et la disponibilité des services q q Dispersion géographique des ressources Mécanismes de contrôle et de gestion n n Fiabilité Continuité Introduction aux Grilles de Calcul 5

Applications des grilles de calcul (1/6) n Supercalculateur réparti (Distributed supercomputing) q q n Calcul haut-débit (High-Throughput Computing) q n Agréger une importante quantité de ressources Fournir une puissance de calcul Exécution parallèle des tâches. Calcul sur demande (On-Demand Computing) q q q Utilisation temporaire de ressources Possession permanente n’est pas rentable. Capacités de calcul, logiciels, bases de données… Introduction aux Grilles de Calcul 6

Applications des grilles de calcul (2/6) n Calcul Collaboratif (Collaborative Computing) q q q n Interaction entre humains. Environnements de simulation en temps réel. Systèmes de réalité virtuelle à objectifs éducatifs. Génération, traitement et stockage d’énormes quantités de données (Dataintensive Computing) q Stockage d’une quantité importante d’informations générées. Introduction aux Grilles de Calcul 7

Applications des grilles de calcul (3/6) n n CERN (European Organization for Nuclear Research) Large Hardron Collider (LHC) en 2007 q n n Plus puissant accélérateur des particules qui n’a jamais été construit. 15 Péta byte chaque année LHC Computing grid (LCG) q q q 5200 CPU 7, 5 TB capacité du stockage 68 sites [ERCIM NEWS, OCTOBER 2004] Introduction aux Grilles de Calcul 8

Applications des grilles de calcul (4/6) n SETI@home q q Recherche de l’Intelligence Extraterrestre. programme qui télécharge et analyse les données du télescope de la radio. Introduction aux Grilles de Calcul 9

Applications des grilles de calcul (5/6) n Prédiction de climat q q Simulation pour la prévision du météo à long terme. 12 semaines pour certaines simulations. Introduction aux Grilles de Calcul 10

Applications des grilles de calcul (6/6) n Bioinformatique q Simulation des molécules et l’analyse de génome et d’ADN. Introduction aux Grilles de Calcul 11

Évolution technologique et économique n Les applications scientifiques demandent: q q q n n n Machine parallèle Super-calculateurs Inconvénients: q q n Rapidité. Puissance calculatoire. Grande mémoire. Coût !!! Performance Évolution des performances q q Serveurs de calcul et de stockage Technologies réseaux et la bande passante Introduction aux Grilles de Calcul 12

Évolution technologique et économique n Réseaux vs. Performance des PC q q n 1986 - 2000 q q n La vitesse des CPU double tous les 18 mois. La vitesse de débit double tous les 9 mois. PC: x 500 Réseaux: x 340, 000 2001 - 2010 q q PC: x 60 Réseaux: x 4000 Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan -2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Introduction aux Grilles de Calcul 13

Évolution technologique et économique Autrefois… Super-calculateur Cluster (par Christophe Jacquet) Introduction aux Grilles de Calcul 14

Évolution technologique et économique …Aujourd’hui (par Christophe Jacquet) Modèle informatique réparti : Grid Computing Introduction aux Grilles de Calcul 15

Caractéristiques des grilles de calcul n Les principales caractéristiques des grilles de calcul: q Existence de plusieurs domaines administratifs n n n q Hétérogénéité des ressources n q Contraintes sur les applications et les algorithmes de gestion de ressources. Nature dynamique des ressources n q Matérielles et logicielles Passage à l’échelle (scalability) n q Distribution géographique des ressources. Différentes organisations avec leurs propres politiques. Respecter les politiques de chaque organisation. Changement du nombre de ressources (retrait/ajout) Tolérance aux pannes Introduction aux Grilles de Calcul 16

Caractéristiques d’une grille de calcul Grille de calcul & Grappe de calculateurs q q q Plusieurs institutions Plusieurs domaines administratifs Hétérogénéité des ressources Passage à l’échelle Dynamicité q q Une seule institution Un seul domaine administratif Introduction aux Grilles de Calcul 17

Architecture d’une grille n n n Modèle en couches. Couches hautes axées sur l'utilisateur. Couches basses plus orientées vers les ordinateurs et les réseaux. Introduction aux Grilles de Calcul 18

Architecture d’une grille n Couche réseau : q Connectabilité des ressources sur la grille. q Niveau matériel Introduction aux Grilles de Calcul 19

Architecture d’une grille n Couche ressources : q constituée des ressources de la grille, q Ordinateurs, systèmes de mémoire, catalogues de données électroniques, capteurs, télescopes… Introduction aux Grilles de Calcul 20

Architecture d’une grille n Couche intergiciel : q Ensemble de fonctions permettant aux ressources (serveurs, mémoires, réseaux, etc. ) de participer à un contexte de grille unifié. q le cerveau de la grille ! q Gestion de ressources q Ordonnancement (scheduling) q Réservation q Services d’information. Introduction aux Grilles de Calcul 21

Architecture d’une grille n Couche application : située au niveau le plus élevé qui comprend: q Types d’applications: scientifiques, techniques, gestion, financières, portails… q C'est la couche des utilisateurs de la grille. Introduction aux Grilles de Calcul 22

Services (1/3) n Service de sécurité et d’authentification q q n Garantir la confidentialité, l’intégrité et l’authentification Clé de réussite ou d’échec de la grille Certificate Authorities Service de désignation q q Grande variété d’objets (ordinateurs, services, données) Espace de noms uniforme et complet à travers l’environnement distribué. User Accounts Introduction aux Grilles de Calcul 23

Services (2/3) n Service d’information q q Environnement dynamique (endroit et type des ressources) Nécessité de la disponibilité des ressources indépendamment de l’emplacement de l’utilisateur. Environnement riche en informations sur la grille Fournir des moyens pour enregistrer et obtenir des informations sur la structure, les services, statut… Introduction aux Grilles de Calcul 24

Services (3/3) n Service de communication q q Protocoles variés prévus pour différents types de trafic Qualité de service n n Gestion des ressources et ordonnancement q q n Garantie de la bande passante. Transparence pour l’utilisateur Optimisation des performances Service de suivie de l’état de la grille et la tolérance aux pannes. Introduction aux Grilles de Calcul 25

Outils pour la gestion de grille Economy Security Uniform access System management Data locality Scheduling and resources allocation Ressources discovery Network Management Introduction aux Grilles de Calcul 26

Étapes de déploiement d’une grille n n Intégration des différents composants matériels et logiciels en une ressource globale à travers le réseau. L’implémentation d’intergiciels offrant une vue transparente et consistante à cette ressource. q n Développement d’outils permettant le contrôle et la gestion de l’infrastructure et des applications. Développement d’applications exploitant cette infrastructure. Introduction aux Grilles de Calcul 27

Problématiques de recherche n Gestion de ressources (Ressources Management) q Ordonnancement Économique Grid Economy Scheduling n Economics Gestion des données (Data Management) q Découverte des services et des ressources. Introduction aux Grilles de Calcul 28

Problématiques de recherche n n n Qualité de service (QOS) q Réservation et co-allocation Datamining & Grid Computing Operating System ? ? ? Introduction aux Grilles de Calcul 29

Grid Computing, une nouvelle vague! Introduction aux Grilles de Calcul 30