La Grille de Calcul du LHC Visite du

La Grille de Calcul du LHC Visite du personnel du centre de calcul de l’ IN 2 P 3/CNRS 1 Frédéric Hemmer Adjoint au Chef du Département IT 1 juillet 2008 La Grille de calcul du LHC – Juillet 2008

Le pari informatique du LHC • L’accélérateur sera terminé en 2008 et fonctionnera 10 -15 ans • Les expériences vont produire environ 15 millions de Gigaoctets de données chaque année (environ 20 millions de CD!) • L’analyse des données du LHC requiert une puissance informatique équivalente à ± 100’ 000 processeurs actuels les plus puissants • Cela nécessite la coopération de plusieurs centres de calcul étant donné que le CERN ne peut fournir que ± 20% de cette capacité 2 La Grille de calcul du LHC – Juillet 2008

La solution: la Grille • Utiliser la Grille pour réunir les ressources informatiques des instituts en physique des particules du monde entier Le World Wide Web fournit un accès simplifié à de l’information stockée en des millions d’endroits La Grille est une infrastructure fournissant un accès simplifié à de la puissance de calcul et de stockage distribué tout autour du globe 3 La Grille de calcul du LHC – Juillet 2008

Comment fonctionne la Grille? • Pour l’utilisateur final, elle donne à de nombreux centres de calcul l’apparence d’un seul système • L’intergiciel, un logiciel de pointe, trouve automatiquement les données et la puissance de calcul nécessaires aux scientifiques • L’intergiciel distribue la charge entre les différentes ressources. Il gère également la sécurité, la comptabilisation, la surveillance et bien plus… 4 La Grille de calcul du LHC – Juillet 2008

Une photo du détecteur ATLAS (en construction) 150 millions de capteurs génèrent des données … … 40 millions de fois par seconde 5 La Grille de calcul du LHC – Juillet 2008

6 La Grille de calcul du LHC – Juillet 2008

7 La Grille de calcul du LHC – Juillet 2008

8 La Grille de calcul du LHC – Juillet 2008

Le projet LHC Computing Grid (LCG) • Plus de 140 centres de calcul • 12 grands centres pour la gestion initiale: le CERN (Tiers-0) et onze Tiers-1 • 38 réseaux de plus petits centres (Tiers-2) • ± 35 pays impliqués 9 La Grille de calcul du LHC – Juillet 2008

La Hiérarchie des Services du LCG Tier-0: l’accélérateur • • • Acquisition de données et traitement initial Archivage à long terme Distribution des données Centres Tier-1 Canada – Triumf (Vancouver) Spain – PIC (Barcelona) France – IN 2 P 3 (Lyon) Taiwan – Academia SInica (Taipei) Germany – Forschunszentrum Karlsruhe UK – CLRC (Oxford) Italy – CNAF (Bologna) US – Fermi. Lab (Illinois) Netherlands – NIKHEF/SARA (Amsterdam) – Brookhaven (NY) Nordic countries – distributed Tier-1: “en ligne” avec l’acquisition des données haute disponibilité • Stockage de masse Données accessibles à la grille • Analyse de données intensive • Support national, régional Tier-2: ~140 centres dans ~3510 pays • Simulation • Analyse par l’utilisateur final - batch et interactif La Grille de calcul du LHC – Juillet 2008

Infrastructure LCG-France en 2008 Tier-2: GRIF • CEA/DAPNIA • LAL • LLR • LPNHE • IPNO Tier-2: Subatech Tier-2: LPC Tier-1: CC-IN 2 P 3 Tier-3: IPHC Strasbourg Nantes Ile de France Tier-3: IPNL Tier-2: LAPP Clermont-Ferrand Lyon Annecy Grenoble 11 Marseille Tier-3: LPSC AF: CC-IN 2 P 3 Tier-3: CPPM La Grille de calcul du LHC – Juillet 2008

12 La Grille de calcul du LHC – Juillet 2008

WLCG en 2007 • • LCG a exécuté ~ 44 M jobs en 2007 – la charge continue d’augmenter La distribution du travail aux Tier 0/Tier 1/Tier 2 illustre réellement l’importance de la grille – Les Tier 2 contribuent a ~ 50%; > 85% est en dehors du CERN • Distribution des données vers Tier 1 s – Les objectifs des taux de transfert maximums ont été obtenus avec des charges de travail réelles pour ATLAS et CMS 13 Frédéric Hemmer, CERN, IT Department La Grille de calcul du LHC – Juillet 2008

Evolution du job rate • En moyenne en mai: (10. 5 M) 340 k jobs / jour • • • Moyenne ATLAS >200 k jobs/jour Moyenne CMS > 100 k jobs/jour avec des pointes à 200 k C’est le niveau requis pour 2008/9 14 Frédéric Hemmer, CERN, IT Department La Grille de La charge continue d’augmenter, maintenant à ~ 230 k jobs/jour, etcalcul va du LHC – Juillet 2008

Fiabilité des Tier 0/Tier 1 Sep 07 Oct 07 Nov 07 Dec 07 Jan 08 Feb 08 All 89% 86% 92% 87% 89% 84% 8 best 93% 95% 15 95% 96% Above target (+>90% target) 9 9 11 10 10 10 La Grille de calcul du LHC – Juillet 2008

Fiabilité des Tier 2 § Fiabilité publiée régulièrement depuis octobre Overall Top 50% Top 20% Sites 76% 95% 99% 89 100 § En février, 47 sites ont eu une fiabilité > 90% § Les site Tier 2 fournissant un rapport: Sites Jan 08 16 %CPU § Top 50% Top 20% Sites>9 0% 72% 40% 70% Parmi les sites Tier 2 sites sans rapport, 12 sont dans le top 20 du CPU fourni La Grille de calcul du LHC – Juillet 2008

Amélioration de la disponibilité des sites CMS en mai 2008 17 La Grille de calcul du LHC – Juillet 2008

Impact de la Grille de Calcul du LHC en Europe • Le projet LCG a donné un coup d’accélérateur au projet européen d’une Grille scientifique multi-usage EGEE (Enabling Grids for E-scienc. E) • EGEE est maintenant un projet global et la plus grande Grille au monde • Cofinancé par la Commission européenne (coût: ± 130 M€ sur 4 ans, financé par l’UE à hauteur de 70 M€) • EGEE est déjà utile à plus de 20 applications dont… 18 Bio-informatique Education, Formation Imagerie Médicale La Grille de calcul du LHC – Juillet 2008

Le projet EGEE • EGEE – Démarré en avril 2004, maintenant dans sa 3ème phase (20082010) avec plus de 240 institutions dans 45 pays Partenaires EGEE-III en France: BT Infrastructures Critiques, CEA, CNRS, CGG Services, CRSA • Objectifs – Etablir une grille productive pour l’e-Science à très grande échelle – Attirer de nouvelles ressources et des utilisateurs issus de l’industrie et de la science – Maintenir et améliorer “g. Lite”, la couche intergicielle pour la Grille Frédéric Hemmer, CERN, IT Department

Applications sur EGEE • Plus de 25 applications dans un nombre croissant de domaines – – – Astrophysique Chimie par modélisation numérique Sciences de la Terre Simulation financière Fusion Géophysique Physique des Haute Energies Sciences de la Vie Multimédia Sciences de la matière …. . Rapport disponible sur : https: //edms. cern. ch/document/722132

Exemple: analyse du sous-sol • Première application industrielle fonctionnant sur EGEE • Développée par la Compagnie Générale de Géophysique (CGG) en France, qui effectue des simulations géophysiques pour le pétrole, le gaz, les mines etc. . . • EGEE a aidé la CGG à mettre en réseau ses ressources informatiques à travers le monde.

Pérennité • Nécessité de préparer une Grille permanente • Garantir un haut niveau de service à tous les utilisateurs • Ne plus dépendre des financements de projet à court terme • Gérer l’infrastructure en collaboration avec les projets nationaux (National Grid Initiatives - NGI) • European Grid Initiative (EGI) 23 La Grille de calcul du LHC – Juillet 2008

Pour plus d’informations sur la Grille: www. gridcafe. org www. eu-egee. org www. cern. ch/lcg 24 Merci pour votre attention! La Grille de calcul du LHC – Juillet 2008