Algorithmique pour les plateformes distribues et htrognes LIP

Algorithmique pour les plateformes distribuées et hétérogènes LIP ENS Lyon INRIA Rhône-Alpes Frédéric Desprez – ACI GDS – 22/09/03 1

Plan de la présentation • Membres du projet • Introduction et fondements scientifiques • Présentation globale du projet – Algorithmique et ordonnancement – Ordonnancement pour le calcul creux – Approche client-serveur pour la simulation • Logiciels • Collaborations régionales, nationales et internationales • Contrats et projets • Conclusions et perspectives Frédéric Desprez – ACI GDS – 22/09/03 2

Effectifs • Permanents – – – • Collaborateurs extérieurs – – • J. -M. Nicod (Md. C Besançon) L. Philippe (Prof. Besançon) Détachements, IE, ATER, postdocs, invités – – • E. Caron (Md. C ENS) F. Desprez (DR 2 INRIA, responsable) J. -Y. L’Excellent (CR 2 INRIA) Y. Robert (Prof. ENS Lyon) F. Vivien (CR 1 INRIA) P. Combes (IE INRIA ACI GRID ASP , jusqu’à Sept. 03) – H. Dail (IE INRIA, à partir de Janv. 03) G. Utard (Det. INRIA, jusqu’à Sept. 03) – A. Su (Posdoc INRIA, à partir de Janv. 03) C. Pera (IE ENS RNTL GASP, , jusqu’à Juin. 04) – M. Colin (Postdoc INRIA, jusqu’à Sep. 04) C. Koch Hoffer (IE INRIA VTHD++, jusqu’à Sept. 03) Doctorants – S. Dahan (B), V. Garonne (M), A. Guermouche, B. Del Fabro (B), L. Marshall, P. Kaur Chouhan, A. Legrand, M. Quinson (jusqu’à Sept. 03), H. Renard, A. Vernois Frédéric Desprez – ACI GDS – 22/09/03 3

Introduction et fondements Frédéric Desprez – ACI GDS – 22/09/03 4

Caractéristiques des plateformes cibles ü Hétérogénéité – Réseaux (couches de communications multi-protocoles), processeurs, hiérarchies mémoire profondes – Équilibrage des charges (ordonnancement) – Distribution des données (statique et dynamique) – Évaluation des performances, modélisation des architectures – Simulation ü Dynamicité – – – Découverte de l’architecture Équilibrage des charges (ordonnancement) Distribution des données Évaluation des performances, modélisation Informations sur la charge en temps réel Réactivité ! Frédéric Desprez – ACI GDS – 22/09/03 5

Nouveau projet GRAAL (GRids And ALgorithms) • Focalisation sur les problèmes algorithmiques dans les environnements hétérogènes et distribués – Algorithmique, placement de données et ordonnancement – Algorithmique pour le creux – Approche client-serveur pour l’exécution distribuée • Mots-clés: algorithmique + bibliothèques + applications sur les architectures hétérogènes et distribuées • Un des 5 challenges de l’INRIA : « Maîtriser l’infrastructure numérique en sachant programmer, calculer et communiquer sur l’Internet et sur des réseaux hétérogènes » Frédéric Desprez – ACI GDS – 22/09/03 6

Algorithmique et ordonnancement Y. Robert, F. Vivien Frédéric Desprez – ACI GDS – 22/09/03 7

Algorithmique et ordonnancement : Objectifs • Nécessité d'une approche théorique malgré la difficulté des problèmes d'ordonnancement (minimisation du temps d'exécution) • Injecter une connaissance statique dans un environnement essentiellement dynamique • Étudier l'impact des nouveaux paramètres architecturaux : hétérogénéité, volatilité, hiérarchie • Évaluation des stratégies : rejouer/comparer les heuristiques contre une même charge, simulée mais réaliste Frédéric Desprez – ACI GDS – 22/09/03 8

Algorithmique et ordonnancement : Résultats (1/2) § ALGORITHMIQUE – Extension de Sca. LAPACK aux grappes hétérogènes – Nouveaux résultats de complexité – Redistribution face aux variations de vitesse – Publications marquantes : IEEE TC, IEEE TPDS, livre ALgo. Par § DIVISIBLE LOAD – Maître-esclave hétérogène – Algorithme multi-round : premier résultat de complexité – Publications marquantes : IEEE TPDS, Parallel Computing – Collaboration UCSD : H. Casanova Frédéric Desprez – ACI GDS – 22/09/03 9

Algorithmique et ordonnancement : Résultats (2/2) ORDONNANCEMENT EN REGIME PERMANENT • • • Distribution optimale de tâches indépendantes sur une plateforme complexe Extension au parallélisme mixte Approche féconde : nombreux travaux en cours Publications marquantes : IPDPS, journaux à paraître Collaboration UCSD : L. Carter, J. Ferrante Sim. Grid • • • Extension à un ordonnanceur distribué Découverte et modélisation des réseaux V 2 du logiciel disponible librement Frédéric Desprez – ACI GDS – 22/09/03 10

Algorithmique et ordonnancement : Perspectives § ALGORITHMIQUE – Grappes de grappes – Équilibrage de charge avec partage de bande passante dans les réseaux § ORDONNANCEMENT – Heuristiques hiérarchiques et intégration DIET – Boîte-à-outils maître-esclave hétérogène – Tâches partageant des fichiers – Réplication pour la tolérance aux pannes Frédéric Desprez – ACI GDS – 22/09/03 11

Algorithmique pour le creux J. -Y. L’Excellent, G. Utard Frédéric Desprez – ACI GDS – 22/09/03 12

Méthodes directes pour la résolution de systèmes linéaires creux de grande taille Simulation d’un phénomène physique • Méthodes directes (ex: multifrontale) – – – • Résolution d’un système linéaire creux Ax=b A = LU ou LDLT (Gauss) Résolution : Ly = b puis Ux = y Très robustes si pivotage numérique ( structures de données dynamiques) Heuristiques de renumérotation Remplissage Matrice initiale • Approches dynamiques (placement, ordonnancement) – – Structures de données dynamiques Dynamicité liée aux architectures parallèles actuelles Frédéric Desprez – ACI GDS – 22/09/03 13

Méthodes directes : Axes de recherche (1/2) • Étude des techniques de renumérotation les plus récentes – – • Ordonnancements dynamiques et équilibrage de charge – – – • AMD, AMF, SCOTCH (Sc. Al. Applix), PORD (Univ of Paderborn), METIS (Univ of Minnesota) Impact sur le graphe de dépendance des tâches Impact sur la mémoire Impact sur les performances et le parallélisme Grappes de multiprocesseurs Ordonnanceurs pour optimiser les accès mémoire Extension aux architectures plus hétérogènes Approches out-of-core à Faire face aux défis de la simulation (taille croissante des problèmes) – Factorisation + résolution (anticiper la lecture des facteurs) – Très lié aux aspects ordonnancement Frédéric Desprez – ACI GDS – 22/09/03 14

Méthodes directes : Axes de recherche (2/2) • Accès à nos techniques de résolution au travers de la grille – – • Expérimentation et validation des recherches sur des problèmes industriels de grande taille – – – • Grâce à la plateforme logicielle MUMPS, diffusée dans l’industrie: Boeing, EADS, CEA, Dassault, … Rester à l’écoute des besoins des utilisateurs numériciens Maintenir une plateforme d’expérimentation compétitive Publications – • Mise en place en environnement client-serveur (avec DIET) Site d’expertise (portail Web) avec comparaison à distance d’une large gamme de solveurs creux (ACI GRID TLSE) SIAM J. Matrix Analysis and Applications, ACM Trans. Math. Software, Comput. Methods Appl. Mech. Eng. , Parallel Computing, IPDPS Collaborations – ENSEEIHT-IRIT, CERFACS, PARA//AB (Norvège), NERSC (Berkeley) Frédéric Desprez – ACI GDS – 22/09/03 15

Méthodes directes : Perspectives • Poursuivre les collaborations industrielles – accès à des problèmes réels – contrats d’étude • Algorithmique numérique pour le creux: – out-of-core et liens avec l’ordonnancement – couplage avec des méthodes itératives – phase d’analyse symbolique parallèle, etc. • Environnements très hétérogènes – processeurs/réseaux/mémoire – ordonnancements mixtes statiques/dynamiques • Utilisation des ressources de la grille – accès à distance aux solveurs – valorisation de nos recherches (aspect vitrine) Algorithmique numérique pour le creux, … en ayant pour objectif la grille Frédéric Desprez – ACI GDS – 22/09/03 16

Approche client serveur pour la simulation E. Caron, F. Desprez, J. -M. Nicod, L. Philippe Frédéric Desprez – ACI GDS – 22/09/03 17

Logiciels • Scilab// – Version parallèle de Scilab (PVM, PBLAS, Sca. LAPACK, Net. Solve, DIET) – Surcharge des opérateurs • DIET – Toolkit pour applications utilisant des serveurs de calcul distribués – API pour l’ajout de nouvelles applications – FAST (Fast Agent System Timer) pour l’évaluation de la plateforme • MUMPS – Solveur creux par méthode multifrontale – Collaboration avec le CERFACS, l’ENSEEIHT-IRIT et PARA//AB – Plateforme d’expérimentation et de valorisation • Sim. Grid – Toolkit de simulation à événements discrets pour la simulation d’heuristiques d’ordonnancement – Insertion de traces réelles – Amélioration dans GRAAL (simulation d’agents communicants) – En collaboration avec UCSD Frédéric Desprez – ACI GDS – 22/09/03 23

Contrats et projets nationaux • • ARC INRIA Red. GRID : redistribution de données en environnement hétérogène ACI Grid – – – – • ASP : TLSE : Data. GRAAL : CGP 2 P : GRIPPS : GRID 2 : ARGE : déploiement d’applications sur plateforme DIET site d’expertise pour les matrices creuses gestion de données dans les grilles approche calcul global (Xtrem. Web) recherche de motifs en bioinformatique animation fédération des travaux dans le grand est ACI Grandes Masses de Données – GDS : – Grid Explorer Gestion de données à grande échelle Plateforme de simulation • • • RNTL GASP : développement de la plateforme DIET (avec Sun Labs Europe) RNRT VTHD++ : validation de la plateforme réseau avec nos applications PSMN et Fédération lyonnaise de calcul • En cours de soumission : GRID 5000, RNTL e. Guilde Frédéric Desprez – ACI GDS – 22/09/03 24

Contrats et projets nationaux, européens et internationaux • NSF/INRIA – University of Minnesota, University of Indiana, NESRC, Sc. Al. Applix, ALADIN, ENSEEIHT-IRIT – préconditionneurs parallèles – University of Tennessee – environnements pour la grille – University of California San Diego – ordonnancement hétérogène • Équipe Associée INRIA – – • GRAIL (UCSD) Ordonnancement pour les plateformes hétérogènes Simulation et validation de DIET avec Sim. Grid Échange de chercheurs et organisation workshop STAR Korée – Déploiement de DIET sur une grille nationale + applis • Programme Franco-Bavarois – LRR Lab. , TUM (Munich) – Monitoring grille et application de bioinformatique • Réseau d’excellence – Core. GRID (6ème PRCD) Frédéric Desprez – ACI GDS – 22/09/03 25

Collaborations nationales et internationales • Laboratoires étrangers – – – • University of Tennessee Knoxville, USA University of California San Diego, USA NESRC, Lawrence Berkeley Laboratory, USA PARALLAB, University of Bergen, Norvège TUM Munich, Allemagne University of Sains, Malaisie Projets INRIA – – – – APACHE (Rhône-Alpes) ARES (Rhône-Alpes) RESO (Rhône-Alpes) Résédas/ALGORILLE (Lorraine), ALADIN (IRISA) PARIS (IRISA), Métalau (Rocquencourt) Sc. Al. Applix (Futur) Frédéric Desprez – ACI GDS – 22/09/03 • Laboratoires français – Université de Franche-Comté – La. RIA (Amiens) – ENSEEIHT-IRIT, CERFACS (Toulouse) – LSIIT (Strasbourg) – IBCP – PSMN 26

Positionnement au sein de l’INRIA • APACHE (INRIA Rhône-Alpes) - • SARDES (INRIA Rhône-Alpes) - • Approches différentes (modélisation des applications vs heuristiques d’ordo) Plusieurs collaborations en cours (ARC INRIA, ACI GRID, RNTL) Grand Large (Futur) - • Réutilisation de leurs développements autour de Grid Enabled Corba Plusieurs collaborations en cours (ARC INRIA, ACI GMD) ALGORILLE (Lorraine) - • Utilisation des résultats de SARDES autour des intergiciels pour les plateformes distribuées Object. Web PARIS (INRIA-IRISA) - • Collaboration existante avec l’équipe de D. Trystram autour de l’ordonnancement Intérêt pour le déploiement automatique de logiciels Approches différentes (calcul global dans son ensemble pour Grand Large) Collaborations existantes (CGP 2 P) et possibles (ordonnancement, sécurité, tolérance aux pannes, découverte de services) Sc. Al. Applix (Futur) - Approches différentes (ordonnancement statique vs dynamique), autres applications Collaborations existantes (MUMPS/Pastix, renumérotations, ARC INRIA) Frédéric Desprez – ACI GDS – 22/09/03 27

Conclusions Frédéric Desprez – ACI GDS – 22/09/03 28

Conclusions • Des aspects intergiciels pour les plateformes distribuées et hétérogènes …. • … aux aspects fondamentaux de l’algorithmique parallèle hétérogène et de l’ordonnancement • Implications importantes dans les projets de grilles nationaux, européens et internationaux • Visibilité nationale et internationale • Rester proche des applications: calcul numérique « classique » mais aussi d’autres domaines (data-intensive) • Collaborations industrielles autour des grilles de calcul Frédéric Desprez – ACI GDS – 22/09/03 29

But ultime • Problem Solving Environments – Plus de transparence, généricité, sécurité – Unification des couches logicielles (Grid Forum) – Couplage algorithmique et modèles avec les supports d’exécution et les architectures – Pouvoir traiter à la fois les données et les calculs Production Team Individual Investigator Other Users Interactive User Tools Request Planning and Scheduling Tools Virtual Data Tools Resource Management Services Raw data source Frédéric Desprez – ACI GDS – 22/09/03 Request Execution Management Tools Securityand Policy Services Other. Grid Services Transforms Distributed resources (code, storage, computers, and network) 30

Domaines d’applications • Applications des solveurs creux • Dynamique moléculaire • Modèles numériques de terrain • Simulation de circuits électroniques • Biochimie • Physique • Bioinformatique • Compilation à distance Frédéric Desprez – ACI GDS – 22/09/03 31