IDDLS Italian Distributed Data Lake for Science Stato

+ IDDLS: Italian Distributed Data Lake for Science Stato progetto 18/10/2019

+ n The project 2 INFN-GARR collaboration to realize a prototype of an Italian Data. Lake exploiting: n n n Last generation networking technologies provided by GARR n DCI (Data Center Interconnection) equipment n SDN (Software Defined Network) deployment Software for creating scalable storage federations provided by INFN n e. Xtreme-Data. Cloud project (H 2020 - INFN lead) n SCo. RES project (INFN-NA) Real life use cases for testing n CMS n ATLAS Possible topologies of the GARR Network with DCI and n BELLE-II SDN for the Data. Lake n Possibly involving LNGS experiments (XENON) and VIRGO IDDLS status update 18/10/2019

+ Timeline n 3 years project n First year n n n n n Technology scouting for DCI equipment to be deployed by GARR Application (INFN) requirements analysis Network equipment acquisition (INFN and GARR) and Lab testing Deployment on mixed Lab+WAN environment of the networking equipment Creation of the Data. Lake on sites connected with standard networking and first prototype using DCI Second year n 3 Testing of the mixed (Lab+WAN) configuration Final creation of the Data. Lake on the 3 INFN sites with DCI systems Performance evaluation and comparison Possible acquisition of new equipment with increased performance Lab deployment at GARR for testing Third year n n Deployment only on WAN of the networking equipment Optimization of the Data. Lake Performance evaluation Final consideration Mixed Lab+WAN deployment IDDLS status update 18/10/2019

+ Milestone 2019 e stato n Gennaio 2019: Kickoff meeting @GARR n https: //agenda. infn. it/event/17957/ n Gennaio – Giugno: test apparati trasmissivi in Lab GARR (slide successive) n 30/06/2019: Scelta degli apparati di networking per la creazione del Data. Lake n n Apparati GARR testati n Infinera Groove G 30 n Transponder TP 100 GOTN XTM Infinera n Junip. Aer CX 6360 (and MX 240) Switch con porte a 100 Gb per connessione lato datacenter valutati: n Arista 7050 (o 7160) n Extreme Networks SLX 930 n NEXSUS 93180 Capitolato per gara in fase di definizione 31/12/2019: Deployment degli apparati di rete in una configurazione Lab+WAN n n 4 primi portotipi Data. Lake su apparati DCI e standard 31/12/2019: Primi run per la valutazione delle performance sui prototipi IDDLS status update 18/10/2019

+ Apparati lato GARR IDDLS status update 5 18/10/2019

+ Slides from GARR… C A B IDDLS status update Amp 6 18/10/2019

+ Apparati lato INFN n n 7 3 opzioni: n 3 x. Arista 7050 SX 3 -48 YC 8 (48 x 25 Gb/s + 8 x 100 Gb/s) + 9 ottiche a 100 Gb/s n 3 x. Arista 7160 -32 CQ-P (32 x 100 Gb/s, splittabili) + 9 ottiche 100 n 3 x. Arista 7050 SX 3 -48 YC 8 (32 x 100 Gb/s QSFP+ + 2 x 10 Gb/s SFP+) + 9 ottiche 100 Gb/s n 1 anno manutenzione&supporto Da definire apparati di storage per test scala seconda parte da progetto n 3 disk server finanziati dal progetto n Per storage dovremmo recuperarlo da dismissioni/produzione IDDLS status update 18/10/2019

+ 8 Groove G 30 N x 100 gbs Arista 7050 N x 100 gbs Disk server Altri siti Disk server Groove G 30 N x 100 gbs Arista 7050 Altri siti N x 100 gbs Disk server IDDLS status update 18/10/2019

+ Budget Assegnato INFN CSN 5 2019 9 2020 2 switch + 2 server + 2 NIC Anticipo 2019 per 1 server Terzo switch Budget GARR: 200 k in-kind per 3 apparati IDDLS status update 18/10/2019

+ Gruppi di lavoro n n 10 WP 1 – Management n Coordinamento, rapporti CSN 5 e referee, organizzazione meeting n Progress report periodici n Procedure acquisti WP 2 - Studio, definizione e implementazione dei link ad alta velocità n Scouting tecnologico delle soluzioni Data Centre Interconnect (DCI) n Identificazione dei requisiti degli esperimenti INFN n Integrazioni delle componenti HW e SW delle tecnologie DCI n Sperimentazione mista laboratorio e infrastruttura di rete geografica n Condivisione dello spettro in ambiente protetto; n Modelli di provisioning n Modelli di gestione e controllo n Sperimentazione su infrastruttura geografica su 3 siti IDDLS status update 18/10/2019

+ Gruppi di lavoro n WP 3 – Creazione del Data. Lake n n 11 Definizione dello stato dell’arte delle tecnologie esistenti Implementazione del Data. Lake con tecnologie basate su protocollo HTTD/XROOTD con e senza sistemi di caching Implementazione del Data. Lake con tecnologie differenti (eventuali) WP 4 – Testing del Data. Lake n n Definizione della testsuite del progetto basata sul software degli esperimenti rappresentati, almeno CMS, ATLAS e BELLEII Esecuzione della testsuite sul Data. Lake sfruttando sia i siti interconnessi con tecnologie di tipo DCI che di tipo legacy Interazione con sedi INFN o legate all’ente produttrici di dati (i. e. LNGS, CASCINA) che possano essere interessate a testare le soluzioni dell progetto Valutazione delle performance ottenute IDDLS status update 18/10/2019

+ Lake Architecture(s) HTTP federation 12 XROOTD federation + cache Mixed + Qo. S support IDDLS status update 18/10/2019

+ Datalake infrastructure n Storage endpoints deployed on all participating sites n Covering different technologies: DPM, d. Cache? , STo. RM n Data transfer and data management services n n 13 Dedicated RUCIO instance with on Rucio Storage Element (RSE) per storage endpoint n Qo. S n Need to add tape endpoints RUCIO team about how to implement it File Transfer Service (FTS) integration n Recognised Vos? n dedicated IAM instance based on x 509, token integration WIP n Ability to move files with xrootd/http/gsiftp with RUCIO+FTS and CLI/Web. Ui n Simple automated tests ongoing: continuous push+distribute transfers, results collected and displayed n Monitoring: FTS metrics, RUCIO events collected on an ES cluster, visualized through Kibana n Caching technologies: first investigations on XCache (stand-alone installation and monitoring) IDDLS status update 18/10/2019

+ Next WP 3 milestones n Definizione gruppo di lavoro n Identificazione endpoints e storage nei siti n 14 Gestione Qo. S – endpoint tape n Definizione portocolli n Identificazione VO n Installazione di RUCIO e FTS per il testbed IDDLS status update 18/10/2019