Fedration Irods Pico 2 France Grille Juin 2018

Fedération Irods Pico 2 France Grille Juin 2018 Justin B, Eric F, Benjamin G, Genevieve R

Plan Contexte EOSC Pilot Pico 2 Infrastructure de stockage pour Pico 2 Pourquoi Irods ? Comment ? Status Conclusions www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 2

EOSC Pilot Contexte EOSC Pilot Première étape dans le développement de European Open Science Cloud Les objectifs sont: Proposer un modèle de gouvernance et développer les bonnes pratiques. Mettre en œuvre un certain nombre de démonstrateurs qui intègrent différents services et infrastructures afin d’en démontrer l'interopérabilité. Mettre en commun/en interaction les communautés et les diverses parties prenantes qui permettront l’adoption de l’EOSC. 8 Workpackages, 33 partenaires principaux dont le CNRS, EGI, GEANT, CEA https: //eoscpilot. eu/ www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 3

EOSC Pilot Contexte Work package 6 : interopérabilité et démonstrateurs (CNRS) Tâche 6. 1 : e-infrastructure gap analysis and interoperability architecture Tâche 6. 2 : Research and data interoperability Tâche 6. 3 : Interoperability pilot La principale activité dans cette tache est de mettre en œuvre des démonstrateurs scientifiques pour montrer que l’on peut s'appuyer sur des infrastructures de calcul ou stockage distribuées et hétérogenes. Calcul sur HPC, HTC, Cloud, Cluster, …. . Usage de sources de données diverses (data accessibility) voir distribuées. Avoir un ensemble de pilotes représentatif des diverses communautés scientifiques. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 4

Pilot PICO 2 Code de metabarcoding Caractérisation génétique des plantes. INRA (Alain Franc) L’objectif de PICO 2, dans le cadre qui nous intéresse, est de promouvoir la possibilité pour un workflow “générique” d’utiliser des datacenter divers (Tier 1, Tier 2) afin de gérer ses données et d’exécuter ses tâches. Cela en s’appuyant sur une infrastructure réseau pertinente. Activitée essentiellement Francaise. IDRIS, CC IN 2 P 3, CEA, France Grilles, GEANT, Université de Bordeaux, GRICAD, Université de Grenoble Alpes, INRIA/INRA. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 5

Irods PICO 2 Les aspects stockage ont été identifiés comme prioritaires. Assez vite le choix de s’orienter vers une solution portée par i. RODS a été validé. Les raisons : Un forte connaissance et des compétences dans IRODS de la part de nombreux partenaires. Le workflow PICO 2 tournait déjà en utilisant une instance IRODS. La possibilité avec IRODS de mettre en place une infrastructure fédérative. En s’appuyant sur un réseau “dédié” L 3 VPN. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 6

Irods PICO 2 ZONE IRODS SITE B SITE A Disque IRODS Catalogue IRODS www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 7

Irods PICO 2 ZONE 1 Mise en fédération des zones IRODS ZONE 2 ZONE 3 Disque IRODS Catalogue IRODS www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 8

Irods PICO 2 ZONE 1 Mise en fédération des zones IRODS ZONE 2 Requête ZONE 3 GET/PUT www. eoscpilot. eu Client IRODS The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 9

Irods PICO 2 Les éléments à bien prendre en compte sont : Les exemples de fédérations de zones IRODS sont rares, il a donc été nécessaire d’acquérir une expérience ( et maintenant de la partager). La mise en fédération de zone IRODS nécessite de prendre en compte les aspects ACL entre les diverses zones. Cela implique une organisation entre les différents gestionnaires de zones IRODS. Les versions des piles logicielles IRODS ne sont pas nécessairement compatibles entre elles en ce qui concerne les aspects fédérations. Les aspects réseaux sont important notamment au niveau des ACL d’où l’intérêt de s’appuyer sur une réseau dédié. Une collaboration étroite a été nécessaire entre les différents administrateurs de zones IRODS. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 10

Irods PICO 2 A ce jour il existe une fédération PICO 2 entre GRICAD (Grenoble) et le CC IN 2 P 3 (Lyon) Sous peu vont rejoindre la fédération : LAPP (Annecy) Irods de France Grilles (Instance i. RODS distribuée) Devrait également rejoindre la fédération le site Allemand de DESY (Hambourg). Des aspects réseau doivent encore être résolus. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 11

Irods PICO 2 C’est le workflow du pilot PICO 2 qui doit être validé. Les aspect stockage n’en sont qu’un élément. En parallèle, un travail sur le code pico 2 est en cours pour le rendre exécutable sur divers type de plateforme de calcul ( HPC, HTC, Grille, . . . ) Diverses approches sont validés. La prochaine étapes majeure sera donc de pouvoir déployer le workflow PICO 2 sur des plateformes de calcul hétérogènes en utilisant la fédération de stockage IRODS. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 12

Irods PICO 2 DATA ACCESS HPC : IDRIS HTC : CC-IN 2 P 3 PICO 2 PICO 2 : MPI Poste de travail l’utilisateur PICO 2 www. eoscpilot. eu Grille/cloud: FG PICO 2 The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 13

Conclusion La mise en œuvre d’une fédération de stockage basée sur i. RODS pour le pilot PICO 2 prend forme. Cette fédération s’appuie sur des infrastructures i. RODS de nature diverses Soit dédiées au projet : CC IN 2 P 3, DESY Soit existantes et mutualisées : GRICAD, LAPP Soit existantes et elles mêmes déjà distribuées : France Grille i. RODS Le fait de construire cette fédération sur une infrastructure réseau de type L 3 VPN est un vrai plus dans le cadre de la démonstration d’interopérabilité. www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 14

Irods PICO 2 BACKUP Slide www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 15

www. eoscpilot. eu The European Open Science Cloud for Research pilot project is funded by the European Commission, DG Research & Innovation under contract no. 739563 16