Referaggio Tier 2 Frascati INFN Laboratori Nazionali di

Referaggio Tier 2 Frascati INFN - Laboratori Nazionali di Frascati 20/06/2011

Agenda 2 ¡ Il gruppo di ATLAS dei LNF ¡ Attività del gruppo in breve ¡ Computing Model di ATLAS ¡ Movimentazione dei dati ¡ Cloud italiana ¡ Accounting e performance del Tier 2 di Frascati ¡ La sala calcolo ¡ Infrastruttura di rete ¡ La farm di Frascati ¡ Stima di crescita LNF - 20/06/2011

Il gruppo ATLAS LNF 3 A. Annovi, M. Antonelli(Resp. ), M. M. Beretta, H. Bilokon, E. Capitolo (Tech. ), F. Cerutti, V. Chiarella, M. Curatolo, M. Dreucci, B. Esposito, M. L. Ferrer, C. Gatti, P. F. Laurelli, G. Maccarrone, A. Martini, G. Nicoletti, R. Di Nardo, G. Pileggi (Tech. ), B. Ponzio(Tech. ), V. Russo(Tech. ), A. Castegnaro(Laur), A. Sansoni, M. Testa (Ass. Ric. ), T. Vassilieva (Tech. ), E. Vilucchi, G. Volpi ¡In sostanza : ¡Ricercatori 12. 8 FTE ¡Tecnologi 3. 1 FTE ¡Tecnici ¡Laureandi LNF - 20/06/2011

Attività molto in breve 4 ¡ Si tratta di un gruppo storico(~20 anni) di ATLAS che ha dato un contribuito molto rilevante nel: ¡ progetto, costruzione, test e installazione dello spettrometro a m di ATLAS ¡ Trigger DAQ e calcolo ¡ Recentemente l’attività si è naturalmete riversata su ¡ analisi dei dati, algoritmi di ricostruzione e ottimizzazioni prestazioni del rivalatore ¡ upgrade con trigger all’inizio del 2 o livello con ricostruzione veloce di tracce (FTK) ¡ manutenzione dello spettrometro LNF - 20/06/2011

ATLAS MDT: from LNF to CERN 5 94 BML (Barrel Medium Large) High Precision Chambers of the ATLAS Muon Spectrometer built in LNF with about 26000 tubes. Installation and commissioning of the barrel spectrometer: Overall coordination + Physicists &Technicians contribution ATLAS management deputy project leader MS assembling LNF group developed the full mechanical chamber project used by many other institutes Fully automatic wiring machine BML installation LNF - 20/06/2011

Performances & Physics 6 Relevant contribution to m spectrometer performances study: efficiency, calibration, resolution Muon Analysis Task Force coordination Leading role of coordination and papers editing Relevant contributions to missing ET reconstruction Energy Flow package responsibility Important role in conf/note and papers LNF - 20/06/2011

Performances & Physics 7 Relevant contribution and paper editing for the measurement of J/�suppression in Pb. Pb collisions Measurement of the inclusive muon cross section and p. T spectrum LNF - 20/06/2011

Two time-consuming jobs in tracking: Pattern recognition & Track fitting 8 ¡ Pattern recognition – find track candidates with enough Si hits ¡ 109 prestored patterns (roads) simultaneously see the silicon hits leaving the detector at full speed. ¡ Based on the Associative Memory chip (content-addressable memory) initially developed for the CDF Silicon Vertex Trigger (SVT). Sviluppo di un nuovo AMchip a 65 nm (M. Beretta) Sviluppo di nuove tecniche di pattern matching a risoluzione variabile (G. Volpi, A. Annovi) [G. Volpi, ANIMMA 2011, "A new Variable Resolution Associative Memory for High Energy Physics"] LNF - 20/06/2011

Computing Model originale 9 ¡ Modello di calcolo gerarchico a Tier basato sul paradigma Grid ¡ Un Tier 0 (Cern) ¡ 10 Tier 1 ¡ ~70 Tier 2 ¡ Numerosi Tier 3 ¡ I dati vengono distribuiti gerarchicamente dal Tier 0 ai Tier 1 e dai Tier 1 ai Tier 2. ¡ I Tier 1 comunicano tra loro. I Tier 2 ricevono solo dati dal proprio Tier 1 ¡ I job vanno dove sono i dati LNF - 20/06/2011

Attività dei Tier 10 ¡ Tier 0 (CERN) ¡ Acquisizione dei dati RAW e archivio su nastro ¡ Calibrazione e allineamento ¡ Primo processamento ¡ Distribuzione dei dati ai Tier 1 ¡ Memorizza su nastro una percentuale dei dati RAW ¡ Effettua un riprocessamento dei dati (nuovo software, nuove costanti di calibrazione) ¡ Simulazione ¡ Ospita job di analisi dei gruppi di fisica e degli utenti ¡ Distribuisce i dati ai Tier 2 ¡ Più Tier 2 collegati allo stesso Tier 1 formano una cloud ¡ Attività di simulazione ¡ Analisi utenti e di gruppo ¡ Tier 3 ¡ Test di software, analisi dati, produzione, analisi interattiva (ROOT, Proof) e sviluppo codice. LNF - 20/06/2011

Computing Model: evoluzioni 11 ¡ Sistema di popolarità dei dati per stabilire quali sono i dati più acceduti, ¡ Sistema di cancellazione dei dati (data deletion) in base alla loro popolarità e alla disponibilità di spazio disco (i dati secondari vengono cancellati quando lo spazio disco scende sotto una certa quota) ¡ PD 2 P: Panda Dynamic Data Placement: sistema di replica dei dati popolari per l’analisi ai Tier 2. ¡ Quando lo spazio disco del Tier 2 scende sotto una certa soglia il sistema di cancellazione libera spazio in base alla popolarità. I Tier 2 diventano delle cache di dati. LNF - 20/06/2011

Computing Model dinamico 12 ¡Ulteriore evoluzione: i Tier 2 saranno collegati con i Tier 1 e Tier 2 delle altre cloud. ¡Alcuni Tier 2 di grandi dimensioni, affidabili e connessioni di rete tali da garantire un buon throughput, non saranno solo cache di dati, ma anche sorgenti per il PD 2 P con il preplacement di una quota di dati: Tier 2 Direct (T 2 D) (18 siti tra cui i tre Tier 2 italiani approvati). LNF - 20/06/2011

Distribuzione dei dati 13 ¡Il sistema di movimentazione dei dati è il DDM: Distributed Data Management. L’architettura del DDM è implementata negli attuali tool del DQ 2. ¡Il DDM si fa carico di distribuire i dati, aggregati in dataset, tra i Tier, catalogarli, cancellarli, fornire agli utenti i tool per utilizzarli, ecc… ¡Nei siti i file sono organizzati in aeree chiamate space token. ¡Gli utenti possono chiedere la replicazione dei dataset in un sito specifico nello space token LOCALGROUPDISK. LNF - 20/06/2011

Cloud Italiana 14 ¡Tier 1 ¡ CNAF ¡Tier 2 ¡ Frascati proto-Tier 2 ¡ Milano ¡ Napoli ¡ Roma 1 ¡Tier 3 “Grid enabled” ¡ Genova ¡ Roma 3 ¡ Trieste/Udine ¡ Bologna ¡ Due Tier 3 sudafricani: ZA-UJ, ZA-WITS LNF - 20/06/2011

Attività della cloud italiana 15 ¡ Gestione e monitoraggio delle attività di computing di ATLAS nei siti italiani ¡ Gestione locale dei siti e confronti su problematiche riscontrate, cercando soluzioni comuni del middleware e dell’hardware ¡ Supporto all’analisi degli utenti ¡ Studi delle ottimizzazione dei sistemi comuni, es: ¡ I batch system: tre siti hanno PBS/Torque e Maui, test delle diverse configurazioni del fair share ¡ Milano e il CNAF hanno Storm ¡ Roma 1 e il CNAF hanno LSF ¡ Studio e confronto dei test effettuati nei siti: ¡ Test di funzionalità della rete ¡ Test di funzionalità di analisi: Hammer Cloud test ¡ Test di trasferimento dati ¡ Si tratta di test quotidiani rilevanti al fine dell’attività del sito (balcklist) LNF - 20/06/2011

Attività della cloud italiana 16 ¡ Studio e implementazione di nuove soluzioni al Tier 1 e Tier 2 per: ¡ Attività continua per trovare le soluzioni più performanti per I siti, per hardware e software. Esempio: studio con le HC dell’architettura di rete interna. ¡ Minimizzare le inefficienze della cloud. Esempio: replica con Oracle Data Guard del servizio LFC del CNAF a Roma 1 ¡ Migliorare l’uso delle risorse dei siti. Esempio: studio e implementazione delle Job Priorities, share delle CPU per job con Panda ¡ Analisi dell’accesso e movimentazione dei dati: ¡ Replica dei dati ¡ Cancellazione dei dataset ¡ Problemi nell’accesso ai file ¡ Gestione delle sottoscrizioni all'interno della cloud e informazione degli utenti LNF - 20/06/2011

Attività della cloud italiana 17 ¡Organizzazione supporto cloud: ¡ Phone conference quindicinali per coordinare l’attività della cloud ¡ Shift a rotazione per controllare: ¡ lo stato dei siti e dei servizi offerti ¡ i trasferimenti ¡ le attività di produzione, analisi, re-processing, ecc… ¡ Mailing list: ¡ atlas-it-t 2 -op@lists. infn. it: federazione dei Tier 2 italiani ¡ atlas-support-cloud-it@cern. ch: supporto alla cloud italiana ¡ atl-usercalc@lists. infn. it: utenti di ATLAS italiani LNF - 20/06/2011

Attività della cloud italiana 18 ¡Gare comuni per gli acquisti per i Tier 2 e Tier 1 ¡Test su hardware proposti per gli acquisti: ¡ Misure di throughput storage ¡ Benchmack cpu ¡Successiva verifica, per tutti i siti, dello stato delle installazioni, test e messa in produzione delle risorse acquistate ¡Preparazione di presentazioni per conferenze: Chep, IEEE, ecc… LNF - 20/06/2011

Partecipazione di Frascati alla cloud Italiana 19 ¡Il personale del proto-Tier 2 di Frascati fin dall’inizio ha partecipato attivamente a tutte le attività della cloud italiana precedentemente elencate, dando un contributo al calcolo dell’esperimento che va oltre l’amministrazione della farm di Frascati ¡Inoltre, il personale inserito nelle attività di computing può meglio supportare l’attività del gruppo di analisi locale. LNF - 20/06/2011

Il Tier 2 di Frascati 20 ¡Il Tier 2 di Frascati è più piccolo degli altri Tier 2 (poco meno di un terzo), ma ha sempre partecipato a tutte le attività dell’esperimento riportando alti valori di performance e availability/reliability. ¡È stato quindi pienamente utilizzato dall’esperimento come dimostrano i plot di accounting Sito a maggio 2011 Hep Spec 06 TB Frascati 2331 260 Milano 7374 874 Napoli 8078 872 Roma 1 7878 872 LNF - 20/06/2011

Il Tier 2 di Frascati: availability e reliability Frascati Rel 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 21 Ava ¡ Availability e reliability del Tier 2 di Frascati negli ultimi 12 mesi 9 r-0 Ap 9 l-0 Ju 9 t-0 Oc 0 n-1 Ja r. Ap 10 0 l-1 Ju 0 t-1 Oc 1 n-1 Ja ¡ Novembre 2009 e settembre 2010 sono stati casi particolari in cui si sono presentati problemi dovuti ad apparati vecchi ora in via di dismissione ¡ Alti valori di availability e reliability per il 2011 LNF - 20/06/2011

Il Tier 2 di Frascati: accounting 22 ¡ Wall clock time dei job eseguiti nell’ultimo anno confrontato con le risorse del sito. La linea rossa corrisponde alle risorse effettivamente installate senza aver abilitato l’hypertreading, la lineaa blu corrisponde al numero di job-slot disponibili con hypertreading abilitato, ma a volte, per problemi di spazio disco, il numero di job slot assegnato è stato inferiore. ¡ Accounting dell’ultimo mese LNF - 20/06/2011

Il Tier 2 di Frascati: efficienza 23 ¡ Efficienza della cloud italiana, nell’ultimo anno, per i job di simulazione. Il sito di Frascati riporta tra le efficienze più alte. ¡ # job succ/# job totali ¡ Efficienza per tutti I job, periodo aprile-giuno, superirore al 90% ¡ CPU time/wall time LNF - 20/06/2011

Il Tier 2 di Frascati: uso delle risorse 24 ¡ Sharing delle risorse dei siti italiani per la produzione ¡ Sharing delle risorse dei siti italiani per l’analisi ¡ I plot si riferiscono al numero di job negli ultimi dodici mesi ¡ Frascati contribuisce per un terzo degli altri siti, avendo dimensioni anche minori LNF - 20/06/2011

Il Tier 2 di Frascati: uso delle risorse 5 INFN-FRASCATI 25 ¡Wall clock time (perido aprile-giugno) per tutti I job LNF - 20/06/2011

Il Tier 2 di Frascati: uso delle risorse 26 47, 430 INFN-FRASCATI 65, 489 ¡Job eseguiti nel periodo aprile-giugno INFN-MILANO-ATLASC LNF - 20/06/2011

Il Tier 2 di Frascati: uso delle risorse 27 ¡Processing share ¡ Oltre alla buona percentuale di share, notare anche la continuità di attività del sito LNF - 20/06/2011

Il Tier 2 di Frascati: la sala calcolo Altri experim Calcolo Nastri utenti Tier 2 28 Kloe Garr LNF - 20/06/2011

Il Tier 2 di Frascati: la sala calcolo Altri experim Calcolo 29 Kloe QE Nastri utenti Garr Blindosbarre Tier 2 Fancoils QE Quadro Elettrico LNF - 20/06/2011

Il Tier 2 di Frascati: infrastruttura di rete 30 ¡ Rack dei server: switch 3 Com 4500 G, 48 porte, Gigabit Ethernet e due uplink a 10 Gigabit Ethernet per interconnessione tra i rack. ¡ Dedicata network IP pubblica di classe C per la raggiungibilità sulla rete Internet (indirizzo 192. 84. 128. 0/24) e una privata per l’accesso alle console e la gestione degli apparati (indirizzo 192. 168. 222. 0/24). ¡ In uno switch configurate ulteriori porte a 10 Gbps per collegare i server di disco, mentre l’altro è connesso allo switch centrale del servizio di calcolo tramite una porta Gigabit Ethernet. LNF - 20/06/2011

Il Tier 2 di Frascati: connettività verso la rete geografica dei LNF 31 ¡Per la connettività verso la rete geografica, i Laboratori hanno il POP GARR nell’edificio Calcolo. La connessione fisica è in fibra ottica (1 Gbps, aumentabile a 2 Gbps) e la banda impegnata è mediamente 500 Mbps (BGA). Il POP GARR a sua volta è connesso al nodo di Roma con 2 link di backbone a 2. 5 Gb/s. ¡È prevista l’upgrade del nodo del GARR a GARR-X, che prevede un’infrastruttura di backbone a 10 -40 Gbps con capacità di accesso a 10 Gbps. LNF - 20/06/2011

Connettività verso la rete geografica dei LNF 32 Swkloe 1 – Swkloe 2 2 x Cisco 6509 HSRP Garr VLAN 26 Gigabit. Ethernet 1 Gb/s Verso il GARR VLAN 2 – Kloe Altre VLAN Swlat Cisco 6006 VLAN 3 (Tier 2) Swcalc 1 – Cisco 6509 Swcalc 2 – Cisco 6506 HSRP Lnfgw Cisco 7606 VLAN 192, 195 e 197 VLAN 130 VLAN 80 – LNF network principale VLAN 131 Swlabmaster – Cisco 4506 VLAN 228 VLAN 160 VLAN 161 LNF - 20/06/2011

Il Tier 2 di Frascati: la farm 33 ¡ Risorse computazionali: ¡ 26 WNs Blade/Twin, Intel Xeon E 5430 2. 66 GHz, E 5520 2. 27 GHz, E 5620 2. 4 GHz ¡ 352 job slot, 2321 Hep. Spec ¡ Sistema di storage ¡ Tre sistemi configurati in RAID 6 e file system XFS su volumi di ~ 9 TB, per un totale di 192 TB raw, ~150 TB netti attualmente installati ¡ 260 TB netti con l’ultima gara effettuata ¡ Middleware: g. Lite 3. 1/3. 2 (su SL 4/5), release INFN-Grid ¡ Servizi ospitati ¡ ¡ ¡ ¡ CE: lcg-CE, CREAM CE SE: DPM con 4 pool node Batch system: torque Site-BDII HLR: accounting (D-GAS) UI Ganglia e Nagios (del calcolo e del CNAF) per monitoring e allarmistica LNF - 20/06/2011

La farm di Frascati: calcolo locale 34 ¡ Il gruppo locale ha a disposizione una user interface collegata a disco non inserito nella Grid ¡ La UI ha: ¡ Tool dq 2 per il data management: gli utenti possono gestire dati nella Grid ¡ Tool per sottomettere job di analisi distribuita tramite il WMS: Ganga ¡ Tutti i tool della Grid per sottomettere job, recuperare dati, consultare l’IS, ecc… ¡ Gli utenti possono ¡ Sottomettere job in interattivo ¡ Sottomettere job alla Grid ¡ Movimentare dati della Grid e salvare gli output dei job sulla Grid o sul disco locale ¡ A breve: sottomettere job ad un sistema di code locali LNF - 20/06/2011

Il Tier 2 di Frascati: ipotesi di sviluppo 35 ¡Share della cloud italiana: ~10% ¡In base alle previsioni di calcolo dei prossimi anni possiamo ipotizzare, per il Tier 2 di Frascati, la seguente crescita fino al 2013 ¡I numeri per il 2012/13 sono i valori medi di un Tier 2 italiano e sono stati usati per dimensionare la sala 2011 2012 2013 CPU (Hep Spec 06) 2321 7000 8000 Disco (TB) 260 1000 1300 LNF - 20/06/2011

Il Tier 2 di Frascati: ipotesi di sviluppo 36 ¡Ipotizziamo per gli apparati di calcolo e di storage i consumi sotto riportati: ¡ Server dual quad-core: circa 300 W; ¡ Server di calcolo twin pari a due macchine dual quad-core con 200 HS di capacità di calcolo, oppure pari a due macchine dual esa-core con 300 HS di capacità di calcolo: circa 500 W; ¡ Sistema raid da 108 dischi da 2 TB completo di quattro server (cioè circa 170 TB netti): circa 3 k. W. 2011 2012 2013 CPU(k. W) 5. 8 13. 6 15. 3 Disco (k. W) 4. 6 17. 6 23 TOTALE k. W 10. 4 31. 2 38. 3 Contingenza del 20% per switch, vecchi apparati, ecc… 13 38 46 LNF - 20/06/2011

Il Tier 2 di Frascati: Conclusioni 37 ¡Il sito di Frascati ha dimostrato di essere performante e a livello dei migliori siti di ATLAS per numerosi anni (2005)… ¡L’esperimento è soddisfatto del suo funzionamento… ¡Abbiamo un’infrastruttura che potrà ospitare un Tier 2… ¡…qundi siamo pronti per essere un Tier 2 ufficilale!!! LNF - 20/06/2011

Backup 38 LNF - 20/06/2011

Computing Model: limitazioni 39 ¡Eccessiva richiesta di spazio disco ¡Eccessiva proliferazione di formati di dati, ¡Repliche di dati mai utilizzati che vengono solo copiati e cancellati, ¡Impossibilità a fornire tutti I dati ad ogni cloud (sopratutto le più piccole), ¡Trasferimenti tra le cloud attraverso salti multipli tra i Tier ¡Non viene ottimizzato l’uso delle CPU LNF - 20/06/2011

Distributed Data Management: DDM/DQ 2 40 ¡ L’architettura del DDM è implementata negli attuali tool del DQ 2 ¡ L’unità di storage che viene trasferita è il dataset ¡ Un dataset contiene tutti i file con eventi statisticamente equivalenti ¡ DDM si fa carico di: ¡ ¡ ¡ Distribuire i dati prodotti nel Tier 0 ai Tier 1 e Tier 2 Distribuire i dati simulati e riprocessati prodotti nei Tier 1 e Tier 2 Distribuire i dataset richiesti dagli utenti e dai gruppi Gestire la movimentazione dei dati generata dall’attività di produzione Catalogare i dataset (file, dimensione, sito, ecc…) Verificare la consistenza tra i cataloghi di ATLAS LFC, I database degli SRM locali e I file realmente residenti su dischi e nastri ¡ Fornire informazioni sull’uso di ciscuna replica di dataset: popolarità ¡ Cancellare repliche di dataset obsolete o non necessarie dai dischi se non usate ¡ Fornire agli utilizzatori finali tool per lavorare con I dataset (import/export, move, ecc…) LNF - 20/06/2011

Come sono organizzati I dati nei siti 41 ¡ I dati sono aggregati in dataset e container di dataset e possono essere trasferiti solo come parte di un dataset attraverso un servizio di sottoscrizioni per copiare una replica in un determinato sito ¡ I file memorizzati nei siti sono organizzati in aeree chiamate space token: ¡ DATADISK/DATATAPE ¡ GROUPDISK gruppi di fisica) ¡ HOTDISK ¡ LOCALGROUPDISK ¡ MCDISK/MCTAPE ¡ PRODDISK ¡ SCRATCHDISK real data group analysis data (dati di analisi dei dati a cui si accede spesso dati del gruppo di analisi locale dati Monte Carlo (risultati delle simulazioni) buffer per i dati di produzione (input) dati temporanei per l’analisi ¡ Gli utenti possono chiedere la replicazione dei dataset nello space token LOCALGROUPDISK ¡ I risultati dei job di analisi devono essere memorizzati nello space token SCRATCHDISK, gli utenti poi sono responsabili della replicazione dei dataset nei siti LNF - 20/06/2011

Test dei siti 42 ¡ I siti sono continuamente testati sia come siti in Grid che come siti ATLAS ¡ In quanto siti in Grid, un server Nagios controlla lo stato dei servizi pubblicati ¡ Come sito ATLAS viene validato per l’analisi distribuita con functional test e stress test: ¡ I functional test vengono eseguiti attraverso la machinery Ganga. Robot, che esegue continuamente dei brevi job di analisi in tutti i siti. I risultati finiscono nella pagina SAM dei test ed il sito va in una black list se fallisce ¡ I test delle Hammer. Cloud sono usati per fare stress test ondemand su più siti; quindi vengono usati per il commissioning di nuovi siti, per ottimizzare le performance dei siti esistenti e fare confronti con i siti di riferimento LNF - 20/06/2011