Workshop PRIN STOALHC EGI CF Bari 12 Novembre

Workshop PRIN STOA-LHC EGI CF - Bari, 12 Novembre 2015 Report attività ALICE (+ dettaglio BARI e LNL) Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 1

Outline q Attività prevista q Attività svolta e principali risultati q Problematiche e prospettive q Dettagli attività specifica: Ø BA, LNL Ø CA, CT, TO, TS (presentazioni dedicate delle sedi) Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 2

ALICE@PRIN STOA-LHC Attività prevista q Ottimizzazione analisi interattiva (BA*, CA, TO, TS, LNL): Ø programma I e II anno di attività Ø installare e validare infrastrutture per analisi parallela interattiva Ø accesso “elastico” a risorse virtuali disponibili localmente q Ottimizzazione accesso ai dati (BA*, CA, TO, TS, LNL): Ø programma III anno Ø federare le infrastrutture di analisi condividendo risorse storage Ø test di performance su dataset distribuiti nella federazione q UDR di CT: Ø Ø sviluppo di uno Science Gateway per analisi dati ALICE I anno: prima versione, sistema di autenticazione federata II anno: dimostrazione interoperabilità con infrastrutture non-Ali. En III anno: rilascio SG con diverse applicazioni analisi dati ALICE * inizialmente solo CMS, poi sinergia con attività ALICE Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 3

ALICE@PRIN STOA-LHC Attività svolta (I) q Ottimizzazione analisi interattiva (BA*, CA, TO, TS, LNL): Ø in tutte le sedi coinvolte sono state realizzati cluster dinamici di analisi virtuali (Virtual Analysis Facility, VAF) basati su PROOF e integrati nella infrastruttura Cloud locale Ø la possibilità dei cluster di interfacciarsi direttamente con la piattaforma software di gestione del calcolo Cloud ha garantito le richieste caratteristiche di interattività, inclusa la possibilità di modulare le risorse impiegate secondo necessità Ø l’integrazione delle VAF in centri di calcolo multi-purpose ha permesso di studiare l’ottimizzazione delle risorse tramite una infrastruttura di tipo Cloud, dimostrando come diversi tipi di applicazione possano essere associati a diverse macchine virtuali istanziabili secondo necessità e consentendo di destinare risorse interattive inutilizzate ad altre applicazioni e viceversa Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 4

ALICE@PRIN STOA-LHC Attività svolta (II) q Ottimizzazione accesso ai dati (BA*, CA, TO, TS, LNL): Ø è stato implementato un sistema di archiviazione dati federato (Data Federation, DF), distribuito tra tutti i siti coinvolti nello sviluppo VAF, attraverso l’uso del protocollo XRoot. D Ø l’impego di XRoot. D per l’accesso remoto ai dati ha consentito di realizzare un unico catalogo distribuito nazionale in grado di fondere tutte le risorse di storage messe a disposizione dai siti, conferendo allo stesso tempo accesso scalabile e “fault tolerant” Ø i tempi di accesso ai dati (e quindi dell’analisi) attraverso la DF sono risultati vantaggiosi rispetto all’accesso via catalogo centrale ALICE (Ali. En), sulla base di studi condotti in modo coordinato da e tra i diversi siti coinvolti nell’attività q Sviluppo di Science Gateway (vedi presentazione CT) Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 5

ALICE@PRIN STOA-LHC Problemi e prospettive (I) q Problemi risolti e da risolvere : Ø sono stati risolti numerosi problemi relativi all’esposizione della contestualizzazione, alla gestione delle VAF in reti virtuali private e all’ottimizzazione della performance sia di inizializzazione che di elasticità di Open. Stack Ø si è rinunciato all’uso dei dischi locali degli hypervisor come cache storage di secondo livello in quanto tale configurazione si è rivelata problematica da gestire in ambiente Cloud Ø la parte di autenticazione di XRoot. D non è stata ancora attivata, si sta valutando la possibilità di usare lo standard X. 509 Ø si attende che i siti possano mettere a disposizione più server e, laddove possibile, connessi a 10 Gbps: possibilità di avere campioni più estesi, strategico per l’analisi dei gruppi italiani Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 6

ALICE@PRIN STOA-LHC Problemi e prospettive (II) q Opportunità e prospettive: Ø la DF italiana potrebbe ospitare qualunque tipo di dato, non solo proveniente da esperimenti ad LHC, e quindi essere utilizzata da qualunque sistema in grado di gestire il protocollo XRoot. D Ø anche l’uso elastico delle risorse Cloud implementato dalla VAF può essere facilmente esteso e riutilizzato da gruppi non-LHC per implementazioni di framework di analisi diversi da quello di ALICE (esempi in questo senso in alcune sedi) Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 7

ALICE@PRIN STOA-LHC Dettagli attività specifica siti Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 8

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA Virtual Analysis Facility @ BA • A VAF-PROOF cluster has been developed in Bari for the ALICE experiment. Current configuration: – 14 VMs available, VM Flavour: 4 CPU, RAM: 8 GB, Disk Space: 20 GB – Up to 56 Worker Nodes (WNs) available to users • Scalability and elasticity performances have been tested using an I/O intensive analysis • A DATA Federation for VAF users exploiting XROOTD remote data access protocol has been set-up: – The configuration consists of a Global Redirector at Bari and a Local Redirector in each other site belonging to the Federation - Cagliari (CA), Padova-Legnaro (PD-LNL), Torino (TO), Trieste (TS) Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 9

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA Elasticity performance: • The time taken by VMs to complete the boot and join the cluster follow quite the same trend, with a gap of few tens seconds only • Only few minutes to pass from one single worker to a cluster of 18 workers • The time to add a further worker decreases and becomes more stable as the number of workers in the cluster gets higher Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 10

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA Scalability performance: • Analysis time scales increasing the number of the enabled PROOF workers • More than 85% of total WCT reduction passing from a 4 - to a 40 -WNs configuration Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 11

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA XRoot. D-based Data Federation • To reduce remote data access time a Data Federation (DF) storage system for ALICE has been implemented using XRoot. D protocol • The computing sites involved in the DF project are the T 2 s BA, PD- LNL and TO plus CA and TS sites • The DF exploits the high bandwidth and low latency features of the italian GARR network which links all the sites • The XRoot. D hierarchy tested includes a Local Redirector for each site and a Global Italian Redirector located in Bari • The same studies about the total WCT of analysis jobs accessing files from each different site have been performed and compared with those obtained using Ali. En Catalogue access Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 12

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA XRoot. D-based Data Federation Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 13

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA First results: • • • The WCTs obtained accessing data via DF are generally much lower than accessing them via Ali. En; #WNs<20: the splitting in 2 servers available in PD-LNL helps despite the lower bandwidth wrt TO; # WNs >30: the trend of the yellow line keeps pretty constant due to the PD-LNL bandwidth (1 Gbps) which is lower than that of BA and TO (10 Gbps) Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 14

ALICE@PRIN STOA-LHC G. Miniello and G. Vino Dettagli attività BA Conclusions • A VAF for the ALICE experiment at the LHC has been developed at BARI PRISMA Openstack Infrastructure; • A VAF cluster configuration with up to 56 WNs is currently available at BARI; • Elasticity and Scalability features shows that 40 PROOF workers are available in ≈5 min and a reduction greater than 85% of the total analysis time can be achieved passing from a 4 - to a 40 -workers configuration; • A Data Federation for VAF to reduce data access time has been implemented among several italian sites with a Global Redirector set-up in Bari and a Local Redirector for each site: – – – The average WCT of the benchmark analysis has been evaluated accessing files from the different sites An actual decrease of WCTs accessing data via the DF has been observed Aligning the bandwidth of all the sites involved could definitely improve the performance of the DF Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 15

ALICE@PRIN STOA-LHC M. Biasotto, A. Dainese, S. Fantinel and M. Sgaravatto Dettagli attività LNL-PD Sommario • Fondi PRIN: assegno di ricerca biennale LNL a Massimo Venaruzzo, utilizzato per un anno, dal 2/1 al 29/12/2014 • Attività: – Installazione e test sulla Cloud di Area Padovana di una Virtual Analysis Facility e del tool di monitoring, entrambe sviluppate a Torino – Partecipazione all’infrastruttura di storage condiviso tra siti italiani ALICE, basata tu Xroot. D Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 16

ALICE@PRIN STOA-LHC M. Biasotto, A. Dainese, S. Fantinel and M. Sgaravatto Dettagli attività LNL-PD Background: Cloud dell’Area Padovana – Basata su Open. Stack, autenticazione AAI – Risorse distribuite tra Padova e LNL, sul modello del Tier-2 – Dopo fase di test, entrata in “produzione” da fine 2014 Risorse attuali: - 50 TB - 2000 CPU virtuali Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 17

ALICE@PRIN STOA-LHC M. Biasotto, A. Dainese, S. Fantinel and M. Sgaravatto Dettagli attività LNL-PD VAF sulla Cloud dell’area Padovana • L’assegnista PRIN è stato utente pilota della Cloud nella fase di preproduzione e transizione alla fase di produzione • Installazione della Virtual Analysis Facility elasticamente espandibile, sviluppata a Torino e basata su PROOF, Po. D e Cern. VM • Installazione e test tool di monitoring • Staging dataset di TEST (AOD ALICE) e test con analisi ALICE Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 18

ALICE@PRIN STOA-LHC M. Biasotto, A. Dainese, S. Fantinel and M. Sgaravatto Dettagli attività LNL-PD Partecipazione alla Data Federation • LNL partecipa allo storage distribuito nazionale ALICE basato su Xroot. D • Sono stati utilizzati due storage dismessi dal Tier-2, per un totale di 66 TB, e due disk server collegati a 2 GB/s, uno dei quali fa anche da redirector Xroot. D ed è collegato al redirector nazionale di Bari • Tempi di accesso ai dati (da Bari) in linea con quelli per altri siti e ridotti rispetto all’accesso da Grid (alien) vedi grafico report di BA Domenico Elia Workshop PRIN STOA-LHC / EGI CF - Bari, 12. 11. 2015 19