mercredi 29 dcembre 2021 SRB Storage Resource Broker

mercredi 29 décembre 2021 SRB (Storage Resource Broker) Un outil de gestion et de distribution de données réparties Jean-Yves Nief

Vue d’ensemble de la présentation n Introduction à SRB: – Fonctionnalités. n Exemple monde: d’utilisation de SRB dans le – Vue d’ensemble. – Dans le monde biomédical. n Utilisation de SRB au CC-IN 2 P 3. n Bilan et perspective d’utilisation de SRB (Storage Resource Broker) 29/12/2021 2

Introduction à SRB Grand volume d’informations produites par de nombreux projets scientifiques. n Ordre de grandeur: ~ To, ~ Po, ~ Eo, millions de fichiers. n Dans divers domaines: n – – – Physique des hautes énergies. Astrophysique. Sciences de la terre. Sciences du vivant. Sciences humaines. Sciences de l’information et des bibliothèques. Explosion numérique. SRB (Storage Resource Broker) 29/12/2021 3

Introduction à SRB n Collaborations internationales: – Données (publiques, privées) distribuées sur de nombreux sites. – Stockage hétérogène (fichiers/bases de données/flux de données, URL, cartouches/disques). – Systèmes d’exploitation hétérogènes. – Authentification / droits d’accès aux fichiers dans l’organisation virtuelle. – Authentification / droits d’accès à travers différentes organisations virtuelles. SRB (Storage Resource Broker) 29/12/2021 4

Introduction à SRB n Virtualisation du stockage nécessaire: – Vue hiérarchique (organisation logique) de l’ensemble des données. – Applicatif qui gère les données indépendant: 1. des évolutions technologiques des systèmes de stockage. 2. des modifications de l’organisation locale des fichiers (ex: serveurs, points de montage, etc…). SRB (Storage Resource Broker) 29/12/2021 5

Introduction à SRB offre une réponse à ces aspects et à bien d’autres… n Développé au SDSC (San Diego Supercomputer Centre): démarrage en 1998. n Sous licence de l’Université de Californie / General Atomics. n Développeurs au contact permanent des utilisateurs: n – Ajout de fonctionnalités demandées par la communauté. Portage sur un grand nombre d’OS et de plateformes. n Support de nombreux systèmes de stockage ou d’information, non limitatif. n SRB (Storage Resource Broker) 29/12/2021 6

Fonctionnalités de SRB n Organisation logique des données découplée de l’organisation physique: Interfaces accédants à SRB: Application graphique, Web, mode commande (Scd, Smkdir, Sput …), fonctions pouvant être incluses dans du code. n Authentification: mot de passe, certificat. n Organisation des utilisateurs par: n – Type (administrateurs, simples utilisateurs…). – Zones, domaines, groupes. n n ACL sur les objets et les répertoires. Notion de tickets: droits temporaires sur un fichier. SRB (Storage Resource Broker) 29/12/2021 7

Fonctionnalités de SRB Gestion des réplicas et des versions. Accès aux données à partir de leurs attributs au lieu de leur nom et emplacement physique. n Recherche par métadonnées associées aux fichiers. n Annotations possibles sur les fichiers. n Audit: enregistrement de toutes les actions effectuées. n n SRB (Storage Resource Broker) 29/12/2021 8

SRB dans le monde n n Utilisé en: Amérique, Asie, Australie, Europe. Disciplines: – Biologie applications biomédicales (ex: BIRN, BBSRC, IB …). – Astrophysique (NVO), LSST, Sciences de la Terre (ex: NASA, VORB). – Matière condensée (rayonnement synchrotron: UK, Australie). – Bibliothèques numériques (ex: NARA, bibliothèque du Congrès aux USA). – Sciences humaines. – Physique des particules (Ba. Bar, Belle). n Secteur privé: – Rolls Royce (suivi des anomalies sur les réacteurs d’avion). – Version de SRB distribuée par Nirvana (General Atomics). SRB (Storage Resource Broker) 29/12/2021 9

SRB dans le monde biomédical: BIRN Biomedical Informatics Research Network. n Fédère la communauté de neuroscience américaine (31 hôpitaux et universités, 428 utilisateurs). n Mise en commun des données (30 millions de fichiers, 20 To), des outils d’analyse. n Ouverture vers l’étude d’autres organes. n SRB (Storage Resource Broker) 29/12/2021 10

SRB dans le monde biomédical: VL-e n Test bed en Hollande. n Même principe que Lyn. DA. SRB (Storage Resource Broker) 29/12/2021 11

SRB au CC-IN 2 P 3 n Utilisé pour plusieurs collaborations internationales. n CC-IN 2 P 3: site primaire de traitement et de stockage pour de nombreux projets (Tier 0). n Connexions aux serveurs SRB du monde entier. n > 400 To de données ont transité via SRB n Jusqu’à 5 To / jour transitent via SRB (Storage Resource Broker) 29/12/2021 12

SRB au CC-IN 2 P 3 HEP Astrophysique Biomédical Ba. Bar Site « miroir » de SLAC Calice Archivage de données CMOS Archivage de données QCD ~dizaines To / an Antares Tier 0: ~200 To / an Auger Tier 0: ~dizaines To / an Edelweiss Tier 0: ~dizaines To / an SN Factory Au cœur du online: ~Go / j Bio. Emergence Tier 0: Projet européen Mammographie Projet avec le LIRIS (1 thèse) Neuroscience SRB (Storage Resource Broker) ISC, CHU de Lyon, Strasbourg 29/12/2021 13

Conclusion n SRB: – Middleware stable et riche en fonctionnalités. – Communauté d’utilisateurs très diversifiée. n n n ~1 Po enregistré dans SRB vers fin 2008 au CC-IN 2 P 3. Excellente collaboration avec le SDSC. Volonté de fédérer les utilisateurs de SRB en Europe. Contacts et premiers travaux: – UK. – CRS 4 (Sardaigne). – KEK (Japon). Avenir à long terme: i. RODS, successeur de SRB, outil de nouvelle génération. n Le CC-IN 2 P 3 collaborateur du SDSC sur i. RODS. n SRB (Storage Resource Broker) 29/12/2021 14