Enabling Grids for Escienc E EGEE et son

Enabling Grids for E-scienc. E EGEE et son avenir G. Vetois (CGGVeritas) 3ème rencontre EGEODE Villefranche-sur-Mer 28 -29 Mai 2009 www. eu-egee. org EGEE-II INFSO-RI-031688 EGEE and g. Lite are registered trademarks

Contenu Enabling Grids for E-scienc. E Partage transparent de l’utilisation de ressources massivement distribuées par les utilisateurs des différentes disciplines… “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high computational capabilities. ” (The Grid, I. Foster, C. Kesselman, 1998) • • • Qu’est que c’est une grille? Le projet EGEE Qui l’utilise et pourquoi? Fonctionnalités de g. Lite L'avenir de la grille Conclusions EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 2

Caractéristiques Importantes Enabling Grids for E-scienc. E • La grille peut fédérer des ressources distribuées. – CPU, stockage, algorithmes, expertises • Accès sécurisé entre des domaines administratives différentes. – Confiance entre les administrateurs de système, développeurs des applications, utilisateurs, … • Accès transparente à « toutes » les ressources. – Par des portes d’entrée : User Interface – Les aspects de calcul distribué sont cachés. EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 3

Avantages de la grille Enabling Grids for E-scienc. E • Ressources partagées/fédérées – – Meilleur utilisation des ressources Obtenir (et publier) vos résultats plus rapidement Utilisations des données plus variées Produire les résultats plus précises • La grille utilise les interfaces standardisées : – Coût de développement diminuée – Plusieurs implémentations des services grilles • La grille peut fournir les services de haut niveau : – Eviter vos propre développement des services – Permettre de faire une analyse plus efficacement EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 4

EGEE-II INFSO-RI-031688 Les grilles : la vision Grid “Middleware” Enabling Grids for E-scienc. E EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 5

Types des grilles Enabling Grids for E-scienc. E • Grille des supercalculateurs – DEISA (http: //www. deisa. org/) – Cher, procédure de allocation lourde, bien adapté aux applications fortement parallèle • Grille institutionnelle – EGEE (http: //www. eu-egee. org/) – Moins cher, allocation des ressources fait par les propriétaires, peut accueillir des applications très variées • Grille des « desktop » – BOINC (http: //boinc. berkeley. edu/) – EDGe. S (http: //www. edges-grid. eu/) – Beaucoup moins cher, ressources des bénévoles ( « cycle sharing » ), applications avec les transferts des données minimaux EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 6

Le projet EGEE Enabling Grids for E-scienc. E • Une série des projets européens (2001 - présent) – – European Data. Grid (EDG) Enabling Grids for E-Scienc. E (EGEE) EGEE-II (terminé fin avril 2008, ~36 M€) EGEE-III (jusqu’a mai 2010, ~32 M€) • Buts : – Créer une grille européenne pour la communauté scientifique – Aider les gens qui veulent intégrer leurs ressources dans la grille – Aider les gens qui veulent utiliser la grille – Planifier la transition au EGI EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 7

L’infrastructure EGEE Enabling Grids for E-scienc. E Real Time Monitor http: //gridportal. hep. ph. ic. ac. uk/rtm/ 280 sites ~80 K CPUs 45 countries > 20 PB disk 13000 users > 250 K jobs/day 110 (200) VOs EGEE-II INFSO-RI-031688 Infrastructure de prodcution 24 h/24 h Operationelle ! EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 8

EGEE-II INFSO-RI-031688 Large Hadron Collider (LHC) © CERN Geneva Enabling Grids for E-scienc. E © CERN Geneva 9 Km EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 9

ATLAS Enabling Grids for E-scienc. E EGEE-II INFSO-RI-031688 20 m 7000 tonnes 40 m ATLAS Image: ATL-PHO-GEN-2002 -002 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 10

Données du LHC : le challenge Enabling Grids for E-scienc. E • Taux des données : – – 40 MHz pour les interactions 100 Hz des éventements filtrées 1 -10 Mo per chaque éventement 0. 1 -1 Go/second • Volume des données : – – kilo- K 10^3 mega- M 10^6 giga- G 10^9 tera- T 10^12 peta- P 10^15 E 10^18 exa. LHC : 24 h/24, 7 j/7 (septembre 2008) LHC génère 15 Po des donnés chaque année ! Durée de vie : 15 -20 ans Données simulées plus grande • Challenge : gestion des données – Enregistrement et lecture des données – Gestion des métadonnées – Supporte pour les analyses chaotique EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 11

EGEE-II INFSO-RI-031688 Utilisation en forte croissance Enabling Grids for E-scienc. E Utilisation par les Non-LHC égale a l’utilisation total depuis un an! 6 fois plus de CPU utilisé au fin de EGEE-II EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 12

VOs « actives » Enabling Grids for E-scienc. E • Nombre des VOs « actives » agrandisse! – Très souvent pas les mêmes VOs chaque semaines – Total VOs : 130 enregistrées, 258 visibles EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 13

Disciplines scientifiques Enabling Grids for E-scienc. E • Agrandissement importante des application et disciplines • EGEE est une infrastructure ouverte. 6/2006 2/2007 1/2008 Astron. & Astrophysics 2 8 9 Comp. Chemistry 6 27 21 Earth Science 16 16 18 Fusion 2 3 4 High-Energy Physics 9 11 7 Life Sciences 23 39 37 Others 4 14 21 Total 62 118 117 EGEE-II INFSO-RI-031688 Condensed Matter Physics Comp. Fluid Dynamics Computer Science/Tools Civil Protection EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 14

Succes story : WISDOM Enabling Grids for E-scienc. E • WISDOM (http: //wisdom. healthgrid. org/) – – Développer les nouveaux médicaments in silico Coûts réduits Développement accélérée Malaria, grippe aviaire, … • Trois grosse calculs : – WISDOM-I (Q 3’ 05), 1 M molécules, 1 To – Avian Flu (Q 2’ 06), 300 k molécules, 750 Go – WISDOM-II (Q 4’ 06), 125 M molécules, 2 To • Les calculs WISDOM utilisent Flex. X de Bio. Solve. IT (3 -6 k licences gratuites) et Autodock. EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 15

« Workflow » WISDOM Enabling Grids for E-scienc. E • Docking – Predire comment une petite molécule peut attacher d’une structure 3 D • Projets – – – Proteins@Home Rosetta@home Docking@Home AFRICA@home malariacontrol. net WISDOM EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 16

GEOSCOPE Enabling Grids for E-scienc. E • GEOSCOPE (http: //geoscope. ipgp. jussieu. fr/) – Analyses rapides tremblements de terre Nouveau calcul: • Détermination du bruit • 25 années du données • 28 stations sismiques EGEE-II INFSO-RI-031688 date = 6 Jan. 2008 time = 5: 14: 17 depth = 50. 9 km magnitude = 6. 1 latitude = 37. 150° longitude = 22. 934° EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 17

Utilisation par discipline Enabling Grids for E-scienc. E • Utilisation totale très différente entre les disciplines • Technologie grille adopté par beaucoup des domaines EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 18

Ressources fournis Enabling Grids for E-scienc. E • Les laboratoires décident qui peut utiliser leur ressources. # CEs # SEs • Les sites du EGEE supportent bien les disciplines variées – Les sites souvent déploient plus d’un CE ou SE. – Nombre (pas taille) des ressources! • Les sites typiquement mettent à disposition leurs ressources pour les analyses bien justifiées EGEE-II INFSO-RI-031688 HEP 292 299 LS 113 123 CC 25 41 AA 57 83 Fusion 19 21 ES 42 65 Others 143 149 Unknown 288 327 Infra. 282 306 Total 366 334 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 19

EGEE-II INFSO-RI-031688 Cluster ES Enabling Grids for E-scienc. E Large variety of ES disciplines ( ESR, EGEODE, … VOs) http: //www. eu-degree. eu/ http: //www. euearthsciencegrid. org/ Complex web of sensors EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE

VO EGEODE Enabling Grids for E-scienc. E • EGEODE VO – 6 CNRS laboratories • • • ISTEP - Laboratoire de Tectonique Paris 6 UMR – Géo. Azur UPMC - Sisyphe IPG/EOST - Strasbourg IPGP Jussieu Paris ENS Géologie Paris – UNIL – Université de Lausane – ~30 users – 2000+ Geocluster batch jobs in 2008 – 200 Gb of seismic data EGEE-II INFSO-RI-031688 http: //www. egeode. org EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE

Fonctionnalités de base Enabling Grids for E-scienc. E • Gestion des tâches (jobs) : – Interface uniforme pour les systèmes de batch différents – Ordonnancement intelligente • Gestion des données : – Transferts des données – Réplication de fichiers http: //glite. web. cern. ch – Gestion des meta-données associées • Le « middleware » g. Lite fournisse ces fonctionnalités – Tous les VOs utilisent les services de base de g. Lite. – HEP demande une fiabilité et un « scalability » extrêmes. EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 22

Middleware Services Enabling Grids for E-scienc. E Web Portal APPLICATION-LEVEL Interactivity Replica Catalog HIGH-LEVEL Meta-scheduler Workflow RESOURCE Computing FOUNDATION Registry EGEE-II INFSO-RI-031688 … Pilot Job Frameworks Job Management Database Access File Transfer Service Encrypted Data Metadata Catalog Tools Storage Security Infrastructure EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 23

Types d’applications Enabling Grids for E-scienc. E • • Simulation : batch, pas de gestion de donnée Analyse de données : batch + gestion de données Pseudo-interactif : temps de réponse court Workflow : enchainement de tâches complexes Applications parallèles : MPI Utilisation croissante d’applications commerciales … • Listes référencés des applications sur la grille : – http: //appdb. eu-egee. org/ – http: //grid. ct. infn. it/egee_applications/ EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 24

Fonctionnalités avancées Enabling Grids for E-scienc. E • g. Lite fournisse les fonctionnalités du base. • Plusieurs analyses requissent les services de haut niveau aussi. • Développement au niveau des applications : – NA 4 : HEP, LS, ES, CC, Fusion, A&A, GO – RESPECT : « middleware » externe § http: //egeena 4. lal. in 2 p 3. fr/index. php? option=com_content&task=vie w&id=71&Itemid=63 • Collaborations avec les industriels : – Gaussian, Turbomole – Math. Works (MATLAB) – Interactive Supercomputing EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 25

Développements Enabling Grids for E-scienc. E • AMGA: Metadata catalog. • Ganga: Job submission framework. • DIANE: Master/slave task manager. • Dashboard: VO and user-level monitoring. • MOTEUR: Workflow engine. • MDM: Medical Data Management EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 26

RESPECT Enabling Grids for E-scienc. E • Rec. External Software Pkgs. for the EGEE Community – Identifier des applications tiers fonctionnant correctement avec g. Lite – Disséminer ses informations pour éviter de réinventer la roue – http: //egeena 4. lal. in 2 p 3. fr/index. php? option=com_content&task=v iew&id=71&Itemid=63 • Les softs dans la list : – – – Grid. Way: Grid metascheduler. Ganga: Job submission framework. DIANE: Master/slave task manager. i 2 glogin: Interactive login to grid nodes. GRe. IC: Database access and management. • On discute avec int. eu. grid pour ajouter leur produits dans RESPECT. EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 27

Support Enabling Grids for E-scienc. E • Garantir l’utilisation quotidienne et efficace. • Support aux utilisateurs – Documentation – GGUS = Global Grid User Support – http: //ggus. org • Support pour les organisations virtuelles – Déclaration des VOs – Création et vérification des outils pour les « VO managers » • Aide aux portages d’applications pour la grille – GASu. C = Grid Application Support Centre – http: //www. lpds. sztaki. hu/gasuc/ EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 28

Résultats des User Forums Enabling Grids for E-scienc. E • Programme scientifique très riche et variée http: //indico. cern. ch/conference. Displ ay. py? conf. Id=7247 EGEE-II INFSO-RI-031688 http: //indico. cern. ch/conference. Displa y. py? conf. Id=22351 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 29

Eventements Enabling Grids for E-scienc. E • EGEE'09 21 -25 Sep 2009 : Spain http: //egee 09. eu-egee. org/ • UF 4/OGF 25 http: //egee-uf 4. eu-egee. org – 2 - 6 mars 2009 : Catania, Italie – http: //indico. cern. ch/conference. Time. Table. py? conf. Id=40435 • EGEE’ 08 – 22 -26 septembre 2008 : Istanbul, Turquie – http: //egee 08. eu-egee. org/ EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 30

Les autres projets Enabling Grids for E-scienc. E GIN EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 31

Evolution de la grille Enabling Grids for E-scienc. E • Le projet doit : – Trouver une financement pérenne. – Adopter une modèle comme fournisseur des services. § NA 4 : supporte, « community building » , fonctionnalités avancés. • En France : – L’Institut des Grilles ( http: //www. idgrilles. fr/ ) – « Joint Research Unit » pour EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 32

Organization of EGI Actors Enabling Grids for E-scienc. E • EGI. org – Small central coordination group. – Central office will be located in Amsterdam. • Resource Providers – Federation of National Grid Infrastructures (NGIs). • User Communities – Collection of Specialized Support Centers (SSCs). – Probably both “Scientific” and “Support” SSCs. • Middleware Providers – g. Lite consortium – ARC consortium – Unicore consortium EGEE-II INFSO-RI-031688 http: //web. eu-egi. eu EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 33

EGI. org Enabling Grids for E-scienc. E Members NGI 1, NGI 2, NGI 3, … NGIn User Forum Steering Committee Associate Members Non-voting Representatives e. g. EIROforum member, … extra-EU NGIs, Chair of UFSC, … EGI Council (UFSC) User Forum (UF) EGI. org EGI Director Advisory Committees e. g. Middleware Coordination Board (MCB) EGEE-II INFSO-RI-031688 UCO User Coordination CTO Middleware Maintenance CAO Admin & PR COO Operations User Community Services Middleware Unit Administration & PR Unit Operations Unit EGI EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE

EGI. org Enabling Grids for E-scienc. E NGI NGI EGEE-II INFSO-RI-031688 NGI EGI. org Tasks EGI. org NGI international NGI local EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE

Conclusions Enabling Grids for E-scienc. E • Les chercheurs utilisent la grille : – – Multi-science Collaborer Partager les ressources informatiques Produire meilleurs résultats, plus rapidement • Evolution : – – g. Lite est encore plus stable, plus « scalable » , … Plus des services complémentaires disponible Projet réorienté « fournisseur des services » Plan pour les financement pérenne : EGI • Grille est prête pour vos travaux. EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 36

Liens utiles Enabling Grids for E-scienc. E • Site web de l’activité NA 4 : – http: //egeena 4. lal. in 2 p 3. fr/ • Informations g. Lite : – http: //glite. web. cern. ch/glite/documentation/userguide. asp – http: //glite. web. cern. ch/glite/documentation/default. asp • « User information Group » : – http: //egee-uig. web. cern. ch/egee-uig/ • Matériel formation de l’activité NA 3 : – http: //www. egee. nesc. ac. uk/trgmat/index. html EGEE-II INFSO-RI-031688 EGEE et son avenir - G. Vetois - 3ème rencontre EGEODE 37