CMS LNL I Tier 2 in CMS Italia

CMS LNL I Tier 2 in CMS Italia Massimo Biasotto - LNL M. Biasotto, , Roma, 22 novembre 2001 1

CMS Sommario LNL v Stato attuale delle farm italiane v Il Tier 2 di riferimento a Legnaro/Padova v Il servizio di analysis farm da implementare a LNL v Conclusioni M. Biasotto, , Roma, 22 novembre 2001 2

CMS Le farm italiane Tier 1 M. Biasotto, , Roma, 22 novembre 2001 Tier 2+ Tier 2 LNL Tier 3 3

CMS Stato attuale LNL Sezione # CPU SI 95 Storage (TB) Bari 20 840 2. 3 Bologna 28 1400 1. 6 Catania 4 170 0. 3 Firenze 50 (shared: 17) 1900 (shared: 630) 1. 7 Legnaro 88 4400 10 Padova 30 1100 2. 7 Perugia 16 800 1 Pisa 31 1500 2. 4 Roma 25 1100 1. 5 Torino 6 280 0. 5 Totale 260 12200 24 M. Biasotto, , Roma, 22 novembre 2001 4

CMS Evoluzione 2002 LNL Sezione SI 95 - 2001 SI 95 - 2002 Storage-2001 Storage-2002 Bari 840 +300 2. 3 +2 Bologna 1400 - 1. 6 +2 Catania 170 +300 0. 3 +1. 2 Firenze 630 +300(? ) 1. 7 +2(? ) Legnaro 4400 +3000(? ) 10 +6 Padova 1100 +1000 2. 7 - Perugia 800 - 1 - Pisa 1500 - 2. 4 - Roma 1100 ? 1. 5 +1. 5(? ) Torino 280 +200 0. 5 +2 Totale 12200 +5100(? ) 24 +16. 7(? ) M. Biasotto, , Roma, 22 novembre 2001 5

CMS M. Biasotto, , Roma, 22 novembre 2001 Riepilogo CPU LNL 6

CMS M. Biasotto, , Roma, 22 novembre 2001 Riepilogo Storage LNL 7

CMS Layout tipico N 1 FE N 2 NODI DI CALCOLO S W I T C H GE Nx GATEWAY DISK SERVER LNL v Notevole uniformita’ delle farm sia nell’architettura che nel software (grazie anche al toolkit di installazione) v Architettura tipica: – 1 gateway (accesso esterno, home utenti, sw applicativo) – storage centralizzato su 1 o piu’ disk servers in Giga. Ethernet – N nodi di calcolo in Fast. Ethernet LAN M. Biasotto, , Roma, 22 novembre 2001 8

CMS Storage: SCSI / EIDE LNL v Attualmente: – EIDE a BO, CT, LNL, PD, PG, PI, TO – SCSI a BA, FI, RM v Costo per GB favorevole all’EIDE – SCSI 22 k/GB (HD da 160) – EIDE 9 k/GB (HD da 80) v In arrivo per gli SCSI HD da 320 GB, ma anche per gli EIDE HD da 160 v I controller RAID per EIDE (3 ware Escalade 6000, Adaptec 2400) offrono performance equivalenti agli SCSI nel RAID 0 Per il RAID 5 invece rimane la superiorita’ degli SCSI, specialmente in scrittura (EIDE: ~15 MB/s, SCSI: ~45 MB/s), ma la situazione potrebbe evolvere M. Biasotto, , Roma, 22 novembre 2001 9

CMS CPU LNL v Attualmente tutte le farm con Intel PIII (tipicamente 1 GHz). Anche negli acquisti in corso si e’ rimasti sul PIII, nella versione Tualatin con 512 MB di cache (a 1. 13 o 1. 26 GHz) v Nessuno ha “rischiato” nel provare le alternative (Intel Xeon o AMD Athlon) che offrono frequenze di clock maggiori, fino a 2 GHz v A Padova nell’ambito del WP 4 di INFNGRID stanno acquistando alcune di queste macchine: sarebbe interessante provare il software CMS per verificare se la maggiore velocita’ teorica corrisponde a reali benefici nella pratica. M. Biasotto, , Roma, 22 novembre 2001 10

CMS Network BO BA TO 12 Mb LNL CT 12 Mb 4 Mb FI 32 Mb GRID RM ~ 34 Mb 28 Mb Gb 16 Mb PI PG M. Biasotto, , Roma, 22 novembre 2001 4 Mb GPOP PD LNL 28 Mb PD ~ 10 Gb 11

CMS Layout Farm LNL 2001 34 Nodes 8 TB N 1 1 N 1 2 8 Fast. Eth SWITCH S 10 N 24 2001 -2 -3 up to 190 Nodes To WAN 34 Mbps 2001 ~ 1 Gbps 2002 32 – Giga. Eth 1000 BT Nx – Computational Node Dual PIII – 1 GHz 512 MB 3 x 75 GB Eide disk + 1 x 20 GB for O. S. M. Biasotto, , Roma, 22 novembre 2001 N 24 Fast. Eth 2001 4400 SI 95 2001 10 Servers 3 TB N 24 LNL S 16 Sx – Disk Server Node Dual PIII – 1 GHz Dual PCI (33/32 – 66/64 512 MB 4 x 75 GB Eide Raid disks (exp up to 10) 1 x 20 GB disk O. S. 12

CMS Farm LNL max 16 PC (5 k. W) x shelf module 19” rack (5 k. W) for network Equipments, Disks, etc. LNL max 64 PC (20 k. W) x shelf (4 modules) ~ 6 KSI 95 Now max 30 1 U PC (10 k. W) x rack ~ 3 KSI 95 Now T 2+ Rif. ~ 70 KSI 95 ~ 250 TB 2002 2001 7 m ~ 25 TB Now T 2+ Prototype Max 200 Box T 2+ Evolution Replacing old shelfs with 19” racks Max 1000 Boxes 10 m M. Biasotto, , Roma, 22 novembre 2001 13

CMS M. Biasotto, , Roma, 22 novembre 2001 Farm LNL 14

CMS Espansione Farm LNL v Acquisti in corso con i finanziamenti 2002 anticipati al 2001: – 3 TB dischi EIDE nei server gia’ esistenti – ~ 30 PC (computing nodes) – 3 TB dischi SCSI + 3 PC disk-servers – Tape Library Storage. Tek L 80 LTO (8 TB in linea) finanziata dalla comm. calcolo v Nei 3 servers con 3 TB sara’ installato il DB che raccogliera’ tutte le produzioni fatte (non solo LNL ma tutta CMS Italia) v Con questo DB si potra’ avviare un servizio di Analysis Farm, inizialmente per la comunita’ italiana e poi per tutta CMS. M. Biasotto, , Roma, 22 novembre 2001 15

CMS Layout farm LNL 2002: produzione + analisi Production computing nodes N 24 N 1 Fast. E ast. Eth SWITCH 32 – Giga. Eth 1000 BT Production servers M. Biasotto, , Roma, 22 novembre 2001 S 10 S 11 S 12 S 13 LNL Analysis computing nodes To WAN 34 Mbps 2001 ~ 1 Gbps 2002 Analysis servers 16

CMS La farm di analisi LNL v Come implementare il servizio di analisi per gli utenti CMS? v Negli ultimi mesi esperienza limitata (muoni PD + altri) con account locali per gli utenti: non puo’ andar bene su scala piu’ estesa v Servizio su piu’ livelli: – gennaio 2002 (quando arriva l’hardware): installazione e creazione del DB § accesso remoto al DB: AMS su WAN – gennaio 2002: installazione GDMP § possibilita’ di copia del DB via GDMP – inizio 2002: grid tools § sottomissione remota di jobs di analisi in esecuzione locale su parte della farm M. Biasotto, , Roma, 22 novembre 2001 17

CMS Grid tools per la farm di analisi (I) LNL v Utilizzo dei tools di grid per: – autenticazione e autorizzazione utenti remoti (certificati personali, VO LDAP server di CMS) – sottomissione remota di jobs (WP 1 tools, anche senza Resource Broker) – data moving (WP 2 tools: GDMP, Grid. FTP, . . . ) v Gia’ avviati i test di questi tools, in concomitanza col Testbed di Datagrid v In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni siti CMS/Grid (LNL, PD, BO, . . . ) prove specifiche per verificare la corrispondenza dei tools alle nostre esigenze M. Biasotto, , Roma, 22 novembre 2001 18

CMS Grid tools per la farm di analisi (II) CMS LDAP SERVER REPLICA CATALOG SERVER RESOURCE BROKER LNL CNAF USER STORAGE ELEMENT GATE KEEPER COMPUTING ELEMENT LNL M. Biasotto, , Roma, 22 novembre 2001 STORAGE ELEMENT GATE KEEPER COMPUTING ELEMENT PD --19

CMS Grid tools per la farm di analisi (III) LNL v Completati i test, installazione sulla farm v Inizialmente con numero limitato di utenti. E’ necessario procedere per gradi perche’ si tratta di una cosa nuova (mai sperimentata neanche da altri) – efficienza dei tools in un ambiente reale? – impatto sulla farm di produzione? v L’evoluzione successiva dipendera’ naturalmente dai riscontri via ottenuti v Se i risultati saranno positivi si potra’ pensare all’utilizzo dei grid tools anche per le produzioni M. Biasotto, , Roma, 22 novembre 2001 20

CMS Conclusioni LNL v Il modello estremamente distribuito del calcolo di CMS Italia rappresenta da una parte un problema – necessita’ di sviluppare efficaci strategie e tools di coordinamento § Grid tools, Impala, Boss, . . . v Ma dall’altra una grande opportunita’ – ampia base di esperienze § stima rapporto ottimale CPU/Disco (0. 1*e, 0. 5<e<1) § stima rapporto ottimale Server/Computing nodes (1: 7) – possibilita’ di esplorare nuove idee M. Biasotto, , Roma, 22 novembre 2001 21