GDS Bilan PARIS Gabriel Antoniu IRISA INRIA Rennes

GDS : Bilan PARIS Gabriel Antoniu IRISA / INRIA Rennes Réunion projet GDS 13 octobre 2006

Le projet GDS n n Projet de l’ACI Masses de Données (2003) Objectif : Spécifier, réaliser et valider expérimentalement un service de partage de données pour la grille, adapté au calcul scientifique n Partenaires n n n Projet GRAAL (LIP, Lyon) Projet PARIS (IRISA, Rennes) Projet REGAL (LIP 6, Paris) 2

GDS : objectifs n Propriétés visées n n n Contraintes n n n Accès transparent aux données Persistance des données Extensibilité à l’échelle d’une grille n Quelques milliers de nœuds Cohérence des données répliquées Tolérance aux fautes Performance Conception et validation expérimentale du service sur la plate-forme Jux. Mem (PARIS) et intégration avec l’environnement DIET (GRAAL) 3

GDS : interaction des partenaires GRAAL REGAL • Environnement de calcul sur grille DIET • Accès transparent • Persistance • Ordonnancement conjoint données/calculs • Détecteur hiérarchique de défaillances GDS • Détection de défaillances • Techniques de réplication • Protocoles de cohérence PARIS • Plate-forme de gestion des données Juxmem 4

Etat du projet à T 0+36 n n 12 réunions GDS entre septembre 2003 et octobre 2006 Visites doctorants (sur 2 -3 jours) n n 2 visites de Mathieu Jan (PARIS) chez GRAAL 1 visite de Fabio Picconi (REGAL) chez PARIS 2 visites de Sébastien Monnet (PARIS) chez REGAL Logiciels en cours de développement : n n n PARIS : plate-forme Jux. Mem, outils de déploiement JDF et ADAGE REGAL : simulateur de systèmes à large échelle LS 3, système de fichiers P 2 P Pastis GRAAL : plate-forme DIET, outil de déploiement Go. DIET de visualisation (Viz. DIET) 5

Etat du projet à T 0+36 (suite) n Intégration réussie ! n n n Limitations/commentaires n n n Détecteur hiérarchique de fautes GFD (REGAL) intégré dans Jux. Mem (PARIS) Utilisation de Jux. Mem par DIET n Persistance des données n Accès transparent n Passage des paramètres Grid. RPC par référence n Evaluation avec DGEMM GFD/Jux. Mem : limité à la version Jux. Mem-Java DIET/Jux. Mem : pas encore de validation « dimensionante » avec des applications réelles n Expériences préliminaires avec TLSE n Travail en cours (Mathieu Jan) Aspects non abordés n n Accès parallèles aux données et redistribution Ordonnancement conjoint calcul/données 6

Projet PARIS n Personnels impliqués directement dans GDS n 2 permanents: n n n 3 doctorants n n Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD - GDS) Loïc Cudennec (INRIA/Région Bretagne) 4 stages de Master de recherche/DEA n n n Luc Bougé (Prof. ENS Cachan/Bretagne) Gabriel Antoniu (CR INRIA) Mathieu Jan (DEA, INSA Rennes) Jean-François Deverge (DEA IFSIC) Loïc Cudennec (M 2 RI, INSA Rennes) Voichita Almasan (M 2 RI, ENS Cachan/Bretagne) 4 projets de fin d’études n David Noblet (PFE, UNH) n Chester Tse (PFE, MIT) n Arvind Saraf (PFE, MIT) n Landry Breuil (PFE, ISIMA) 7

Thèse de Mathieu Jan (2003 -2006) n Architecture et mise en œuvre du service de partage de données (plate-forme Jux. Mem) n n n Localisation transparente Persistance Architecture P 2 P Mise en œuvre sur JXTA Validation du modèle d’accès transparent aux données n Environnements Grid. RPC : DIET n Environnements à base composants (CCM, CCA) Adaptation de JXTA pour une utilisation sur grilles n n n Déploiement avec JDF/ADAGE Amélioration des performances des communications de JXTA Utilisation de Padico-TM n Communication zéro-copie 8

Thèse de Sébastien Monnet (2003 -2006) n Architecture découplée générique pour la gestion de la tolérance aux fautes et de la cohérence des données n n n Protocoles hiérarchiques de cohérence Mécanismes hiérarchiques de réplication (gestion de groupe, consensus) Expérimentations multi-protocoles Mise en œuvre dans Jux. Mem Expérimentations multi-cluster sur Grid’ 5000 Réseau logique malléable n n Gestion efficace de groupes de grande taille Collaboration avec Indranil Gupta (UIUC) 9

Publications GDS 2003 -2007 n Publications communes GDS n n n 2 « thèses GDS » à soutenir en 2006 Journaux internationaux n n n 2003 : PACT (WIP) 2004 : CCGRID, Euro-Par 2005 : HPCC 2006 : SRDS, CCGRID (2) 2007 : soumission à IPDPS (avec Sun) Colloques internationaux n n n CCPE (2006), SCPE (2005) Conférences internationales n n Un chapitre de livre (Dagstuhl) Un papier soumis à IPDPS 2007 … ? 2003 : AGRIDM (PACT) 2004 : AGRIDM (PACT) 2005 : GP 2 PC (CC-GRID) 2006 : WCGC (VECPAR), HPDGrid (VECPAR), HPC-GECO (HPDC) Communications nationales n n n 2003 : Ren. Par 2004 : Ecole DRUIDE (3), Grid. USe 2005 : Ren. Par, CDUR 10

Interactions avec d’autres projets n Collaborations internationales et industrielles n n n Grid 5000 n n 2003 GDX – expérimentations sur une grappe de grande taille ACI GRID Data. Graal (animation) n n Evaluations multi-sites à grande échelle ACI MD n n Sun Microsystems : JXTA (Mathieu Jan, Loïc Cudennec) UIUC (Indranil Gupta) : partage de données sur des infrastructures P 2 P pour des applications à base de groupes (Sébastien Monnet) Ecolé thématique DRUIDE 2004 : Distribution de données à grande échelle (CNRS, INRIA, GDR ARP, Univ. Rennes 1), Le Croisic, mai 2004 AS : Algorithmique Distribuée et Applications n Journées thématiques « algorithmique distribuée et applications » , Porquerolles, septembre 2004 11

Et après GDS ? n Vers un modèle unifié de programmation pour les grilles n n Accès transparent aux données, composants, communications efficaces, ordonnancement et déploiement Validation avec de vraies applications ! Projet LEGO (ANR CIGC, 2006 -2009) Auto-déploiement de Jux. Mem n n Applications à caractère dynamique Ajout de ressources à la demande Interaction transparente avec les gestionnaires de ressources des grilles Thèse de Loïc Cudennec (2005 - 2008) 12

Et après GDS ? n Adaptation de Jux. Mem pour des applications collaboratives n n Partage de données pour les applications de fouille de données n n n Projet RESPIRE (ANR MDMSA, 2006 -2009) Projet DISCUSS (PAI avec l’AIST, Japon, 2006 -2007) Collaboration envisagée avec Nanyang Technical University of Singapore/Sun Microsystems Post-doc de Sébastien Monnet (Core. GRID) Collaboration avec Universita di Calabria 3 sujets de Master de recherche… à la recherche des candidats ! n n n Jux. Mem + persistance sur disque / collaboration Gfarm + LEGO Jux. Mem + accès parallèles aux données / LEGO Jux. Mem et applications collaboratives / collaboration Singapour + RESPIRE 13

Pour bien finir : -) n Mise à jour du site GDS (CD à déposer) n n n Principaux résultats scientifiques Publications, logiciels Visites effectuées/reçues Bilan, apports de GDS (1 paragraphe par équipe) Rapport de fin de projet n n Même format que le rapport mi-parcours + un paragraphe « Fait(s) marquant(s) Deadline : 15 novembre 14