IL CALCOLO DI ALICE IN ITALIA Bologna 6

IL CALCOLO DI ALICE IN ITALIA Bologna, 6 marzo 2007 M. Masera masera@to. infn. it 1

Sommario l Framework: l l situazione attuale di Ali. Root e del calcolo distribuito Evoluzione prevista nel 2007 Physics data challenge l Quantificazione delle risorse: che cosa ALICE si aspetta dall’INFN l Risorse di calcolo: prospettive a breve e medio termine l M. Masera Relazione sul calcolo 2

Ali. Root / 1 l Ali. Root ha 8 anni di vita l l l Simulazione l l FLUKA: interfaccia validata, ma non ancor in produzione G 4: validazione dell’interfaccia avviata Geometria, servizi e strutture come da struzione Ricostruzione l l l Framework unico per simulazione e ricostruzione basato su ROOT Utlizzato per i Technical Design Report dei rivelatori e per il Physics Performance Report Integrato con il DAQ, il DCS e l’ HLT Piattaforme: Linux (SLC 3 & SLC 4 A 32/64, Opteron), Solaris e Mac. OS Efficienza e PID ai livelli previsti dal TDR o meglio per Pb. Pb (dn/dych≤ 8000) e pp I parametri di ricostruzione sono presi in gran parte dal “Conditions Data Base” Procedure di “Quality Assurance” messe ap unto per diversi rivelatori --> in completamento In preparazione: mappa misurata del campo magnetico Evoluzione del codice: ancora piuttosto rapida l l Ottimizzazione performance e occupazione di memoria Clean-up del codice: coding conventions e effective C++ M. Masera Relazione sul calcolo 3

Ricostruzione / 1 Ottima efficienza di tracciamento nel barrel già a basso p. T. Bassa frazione di fake p. T (Ge. V/c) Risoluzione in p. T: dell’ordine di qualche % fino a 100 Ge. V/c M. Masera Relazione sul calcolo 4

Ricostruzione / 2 Ricostruzione del vertice: Ottima già in p-p, con efficienza Di ricostruzione del primario ~1 quando le condizioni di trigger sono soddisfatte. Vertici secondari per heavy flavour e V 0 p-p PID combinato bayesiano nel barrel con ITS, TPC, TOF, TRD, HMPID M. Masera Relazione sul calcolo 5

Ali. Root / 2 l Analisi l l Calibrazione e allineamento l l Tool sviluppati nell’ambito dei Physics Working Groups Framework comune basato su Tselector (per utilizzare Proof) (Ri)definizione degli AOD in corso Framework per l’offline: pronto Framework per l’online: in sviluppo/test Algoritmi per l’allineamento e la calibrazione online: in corso di sviluppo Dati l Valutazione finale in corso per la dimensione dei dati (con gradi di incertezza diversi): l l l RAW ESD AOD Validazione dei meccanismi di codifica/decodifica dei dati raw effettuata al 90% Documentazione l l Esiste una documentazione per Ali. Root nel suo complesso La documentazione dettagliata del software a livello di singolo detector è ancora carente La documentazione dei tool di grid: da consolidare Vengono organizzati dei tutorial a cadenza mensile M. Masera Relazione sul calcolo 6

On-Off framework Online Offline ALICE File Catalogue DDL Monit. Calib. LDC lfn guid {se’s} lfn guid {se’s} CAF WN GDC Publish in Ali. En Data files DAQ Network Run info DAQ Logbook DB HLT DCS HLT FXS DCS FXS M. Masera Publish agent Condition files DAQ FXS xrootd Data file Condition files 240 TB Shuttle DCS DB Castor cache Relazione sul calcolo S R M FTS S R M T 1’s CASTOR 7

On-Off framework l Shuttle Framework l l l Pre-processamento (i. e. valutazione dei parametri) l l Core: fatto DAQ File Exchange Server & Logbook: validato HLT File Exchange Server: implementato DCS File Exchange Server: in sviluppo Preprocessori per TRD, TOF, PHOS, EMCAL, PMD, ITS/SPD & T 0 implementati e pronti per la validazione Preprocessori per altri rivelatori implementati ma non ancora pronti per la validazione o ancora in corso di implementazione Framework di Data Acquisition per DCS e HLT: manca Interfaccia xrootd-CASTOR 2: in corso di test M. Masera Relazione sul calcolo 8

Visualizzazione Framework sviluppato in collaborazione con il team di ROOT l La versione attuale risponde a molti requisiti richiesti l Tool in rapido sviluppo attraverso l’interazione con gli utenti l M. Masera Relazione sul calcolo 9

Strategia di uso delle risorse l I job sono assegnati laddove ci sono i dati l l Vengono inviati alla grid Job Agents e non job “veri” l l Questo annulla l’impatto di inefficienze del middleware Le risorse sono condivise l l Uso limitato del VOMS (Virtual Organization Management System) Non sono previste assegnazioni di risorse specifiche a gruppi Accounting di uso delle risorse da parte dei gruppi Gestione delle priorità: central Task Queue Accesso ai dati solo attraverso GRID M. Masera Relazione sul calcolo 10

Calcolo distribuito l Ali. En l l l Ambiente di produzione che consente l’accesso alla GRID Attualmente la stabilità dei servizi centrali è >90% Sistema in continuo sviluppo: 7 release fino ad ora Vengono organizzati tutorial periodici. Al momento 200 utenti registrati Interfacce con GRID diverse da LCG: l l l Operativa a Bergen quella con Nordu. Grid (da espandere ad altri siti) Da implementare quella con OSG Servizi specifici di ALICE l Installati centralmente al CERN e localmente sulle VO-box Monitoring centralizzato con Mona. Lisa l Movimentazione di dati con FTS (File Transfer Service) l l l Test di trasferimento di dati raw T 0 -> T 1 in permanenza da settembre 2006 Obiettivo: 300 MB/s sostenuti in uscita dal CERN. Ci sono ancora problemi di stabilità M. Masera Relazione sul calcolo 11

Data Management l Gli strumenti di Data Management non sono ancora sotto controllo l l l ALICE richiede che i sistemi di gestione dei dati su disco o nastro supportino xrootd Ci sono test in corso di d. CACHE, DPM e CASTOR 2 (tutti SE di LCG) con supporto di xrootd Non sono stati installati in servizio operativo (= a parte i test) Storage Elements al di fuori del Cern L’accesso ai dati per l’analisi non è stato testato in una situazione realistica CASTOR 2 sta ancora evolvendo M. Masera Relazione sul calcolo 12

Evoluzione di Ali. Root nel 2007 l Ali. Root: release “data ready” prevista per aprile. l l Sono stati definiti per ogni detector specifici task per raggiungere l’obiettivo. Concernono in generale calibrazione ed allineamento Definizione finale del framework per l’analisi Da aprile l’evoluzione del codice dovrà essere backward compatible Completamento di Shuttle (offline/online): aprile 2007 M. Masera Relazione sul calcolo 13

Data Challenge 2006 M. Masera Relazione sul calcolo 14

PDC 06 l E’ stato il più lungo data challenge di ALICE l Iniziato il 15 aprile in 46 siti - 6 T 1 s, 40 T 2 s l Oltre 20 milioni di eventi , 0. 5 PB di dati 1000 job in parallelo in media l M. Masera Relazione sul calcolo 15

I siti INFN: ~25% M. Masera Relazione sul calcolo 16

I siti italiani Dal 1/1/07 a ieri M. Masera Relazione sul calcolo 17

PDC 06 support l Grid operation l Obiettivo: massima automatizzazione --> piccolo team di persone per la gestione della produzione l l Un esperto per nazione per la gestione delle VO-box e l’interazione con i siti 15 persone per PDC 06 l l l l M. Masera Istallazione nuovi siti - Patricia Mendez Lorenzo (CERN/ARDA) France - Artem Trunov (CCIN 2 P 3), Jean-Michrl Barbet (Subatech) Spain - Patricia Mendez Lorenzo Italy - Stefano Bagnasco (INFN), Marisa Lusivetto (INFN) Germany - Kilian Schwarz (GSI), Jan Fiete Grosse Oetringhaus (Muenster) Russia, Greece - Mikalai Kutouski (JINR) Nordic Sites - Csaba Anderlik (NDGF) Romania - Claudiu Shiaua (NIHAM) India - Tapas Samanta (VECC) South Korea - Chang Choi (Sejong) USA - Latchezar Betev (CERN) Czech Republic - Dagmar Adamova (Prague) I rimanenti: Patricia Mendez Lorenzo Relazione sul calcolo 18

Infrastruttura di calcolo in Italia l Tier-1: l l Dalla presentazione di Les Robertson all’ultimo OB di WLCG (29/01/2007): Experiment (aprdec 2006) %CPU al CNAF ALICE 21 ATLAS 6 CMS 4 LHCb 15 I tier-1 di Alice sono europei (Italia, Francia, Germania). Finora il ruolo italiano è stato notevole M. Masera Relazione sul calcolo 19

year Risorse: 2007 -2010 l l l 2007 7× 105 0 2008 4× 106 2× 105 2009 6× 106 1× 106 2010 1× 107 2× 106 But we will not cover the deficit But this tends to push them up rather than down The deficit is so large that makes no sense to develop an alternative within the pledged resources l l Pb. Pb We are reassessing the needs l l pp Missing computing resources are a threat to ALICE physics goals We are trying to discuss with FAs and to find new resources l l Time for physics (s) The loss in scientific output would be too high If we could reduce the gap (10%-20%), it would make sense to develop a set of alternative scenarios If we cannot, then the investment by the FAs to build ALICE will be only partly exploited l l l We will not record all data We will do less data analysis Impact on physics reach and timeliness of results M. Masera WLCG meeting 22 gennaio Relazione sul calcolo F. Carminati 2007 20

Parametri base e loro evoluzione CPU STORAGE (MB) M. Masera Relazione sul calcolo 21

PDC 07: OBIETTIVI - Software e middleware: - Testare infrastruttura di calcolo in condizioni di produzione stabile - Testare la ricostruzione “data ready” dal formato raw con calibrazione e allineamento - Produzioni MC “gestite” dai PWG. - Sviluppi (che richiedono alta statistica): - Preparazione alla First Day Physics. Per i gruppi italiani: - - algoritmi di vertexing - molteplicità nel barrel - PID (TOF e HMPID) Sviluppo algoritmi di analisi, formato AOD a analysis classes, per l’Italia: - Heavy flavours (nel barrel e nel braccio a mu) - Jets - Flow M. Masera Relazione sul calcolo 22

Contributo italiano atteso / 1 Esercizio: valutazione del contributo italiano al 25% Storage complessivo da distribuire su T 1 e T 2: 500 TB Circa 50 TB, prevalentemente al T 1 M. Masera Relazione sul calcolo 23

Contributo italiano atteso / 2 Questi event rates corrispondono ad un numero di job attivi concomitanti compresi tra 2500 e 3000 per la parte di simulazione e ricostruzione Questa è la performance media nel PDC in corso M. Masera Relazione sul calcolo 24

Stime 2008 Da ve rif ica re l pp: 40% nominal l Pb. Pb: 10% nominal l Per la simulazione (25% totale): 5000 KSI 2 K e 1300 TB l Per i dati (25% totale): circa 240 TB per pp e 100 TB per Pb. Pb e 480 KSI 2 K complessivi per ricostruzione e analisi M. Masera Relazione sul calcolo 25

Situazione contingente Le valutazioni precedenti eccedono le stime fatte oltre un anno fa (ed eravamo già consapevoli allora di essere in deficit rispetto alle aspettative dell’esperimento) l Previsioni di Forti (sett. 2006) al T 1: l l l 2007: 330 ksi 2 k/ 154 TB 2008: 1320 ksi 2 k / 660 TB M. Masera Relazione sul calcolo 26

BACKUP 27

File transfer M. Masera Relazione sul calcolo 28

Overall estimates: updated w. r. t. end 2006 M. Masera Relazione sul calcolo 29

M. Masera Relazione sul calcolo 30