Il Progetto del TIER 2 di Bari Giorgio
Il Progetto del TIER 2 di Bari Giorgio Maggi G. Maggi 24/1/2006
Il progetto del Tier 2 di Bari • • • Le risorse di calcolo La logistica Infrastruttura di rete Impianti tecnologici Risorse umane G. Maggi 24/1/2006
Risorse di calcolo • Il TIER 2 di Bari è un progetto congiunto degli esperimenti ALICE e CMS. G. Maggi 24/1/2006
Fattori di conversione: k. Si 2 k/box e GB/disk. G. Maggi 24/1/2006
Il TIER 2 CMS e ALICE • Assumendo: – 1 disk server = 12 dischi, 3 U • Osservazioni – Memoria richiesta (in discussione nel GDB di WLCG) • ATLAS, ALICE 2 GB per job • CMS, LHCb 1 GB per job • 1. 25 Job per CPU per massimizzare l’uso della CPU G. Maggi 24/1/2006
Il costo delle risorse di calcolo G. Maggi 24/1/2006
Il numero dei rack • Assunzioni: – meno di 12 k. W dissipati per rack • Da “Linee Guida Cooling” (15 KW 40 box CPU, 6 KW 40 U storage) – 1 box = 375 W – 1 server disk da 3 U = 450 W • Rack tipico – 25 box (9, 4 k. W) e 5 disk-server (2, 3 k. W) – 11, 7 k. W complessivi • riduzione della potenza dissipata per rack • un accesso più diretto ai dati da parte delle CPU residenti nello stesso rack, che può essere abilmente sfruttato dallo SRM. • Si utilizzano dischi dai costi più contenuti rispetto ad una soluzione di tipo SAN G. Maggi 24/1/2006
Numero dei rack • Piano di acquisizione dei rack: – – – 2 nel 2006 2 nel 2007 2+1 nel 2008 2 nel 2009 1 nel 2010 (50 box + 10 server) (75 box + 15 server) (50 box + 10 server) (25 box + 5 server) G. Maggi 24/1/2006
La logistica • Nel progetto di massima non veniva indicata una precisa localizzazione del TIER 2. • Sottoposta la richiesta al Dipartimento. • Ottenuta l’approvazione del Dipartimento. • Congiuntamente i due Direttori (Dipartimento e Sezione) hanno sottoposto richieste di ampliamento degli spazi assegnati al Dipartimento. • In ambito del Politecnico trovata una struttura disponibile da subito. • E’ stata anche sottoposta la richiesta per 300 m 2 di spazio all’interno del capannone Scianatico – Buona probabilità di ottenerli – Tempi più lunghi per l’approvazione – Ed è necessaria una ristrutturazione G. Maggi 24/1/2006
La localizzazione proposta 3, 50 7, 75 8, 70 3 scalini 3, 70 2 scalini G. Maggi 24/1/2006 10, 50
Una possibile soluzione • 10 rack entrano comodamente • e c’è la possibilità di ospitare anche gli UPS nella struttura. G. Maggi 24/1/2006
I contro • La potenza elettrica installata è largamente insufficiente – 35 -50 keuro per installazione di un nuovo trasformatore • Molto probabilmente ci toccherà pagare l’energia elettrica G. Maggi 24/1/2006
L’infrastruttura di rete • Sono disponibili 3 coppie di fibre monomodali (di cui una già in uso + 3 spare) tra – il capannone di Scianatico – e il Giga. POP del GARR ( localizzato in questo edificio) • installate dal prof. Natali nell’ambito dei progetti di informatizzazione delle Università e/o della rete metropolitana • Possibilità di uscire direttamente verso il GARR • E’ invece necessaria una connessione in fibra, già esistente, tra il Giga. POP e la LAN di Sezione per far transitare i dati del TIER 2 attraverso la LAN di sezione. G. Maggi 24/1/2006
3 coppie di fibre monomodali PERM. ex Scianatico PERM. CAMPUS 3 coppie spare G. Maggi 24/1/2006
La rete interna alla farm • Richieste – WN connessi a 1 Gbps – Rate aggregata tra CPU e dischi di 10 Gbps • Soluzione proposta oggi – Backbone a 10 Gbps • 2 x Switch HP Pro. Curve 6400 cl-6 XG – Worker Nodes a 1 Gbps – Disk server a nx 1 Gbps (n fino a 4) • 1 Switch HP Procurve 3400 cl-48 G per rack • 44 porte fino a 1 Gpbs + 2 uplink a 10 Gbps • Seguire l’evoluzione della tecnologia G. Maggi 24/1/2006
Alla fibra monomodale Al backbone R 3 R 10 2*Switch Pro. Curve 6400 cl-6 XG R 2 10 Gbps backbone R 1 5 disk servers 25 WN 1 Gbps G. Maggi 24/1/2006 HP Procurve 3400 cl-48 G 10 Gbps Rack
Stima dei costi • • Backbone 2 x 8000 = 16 keuro Rack 10 x 5000 = 50 keuro Fibre e cavi 15% = 10 keuro Connessione al POP =14 keuro • Totale = 90 keuro G. Maggi 24/1/2006
Gli impianti tecnologici • Preferenza per una soluzione – – Modulare ed espandibile Facilmente spostabile Controllabile e monitorabile da remoto Possibilmente integrata • Non tutte le soluzioni sono applicabili alla nostra logistica – Esaminata in dettaglio la soluzione della EMERSON G. Maggi 24/1/2006
Soluzione Emerson 0, 8 1, 2 0, 8 Area di servizio 0, 75 0, 85 AC Unit 24 k. W Rack Area di servizio G. Maggi 24/1/2006
Soluzione EMERSON costo per 2 rack Costo unitario 1 AC unit + 2 rack n Costo complessivo 43. 500 5 217. 500 5 37. 500 17. 900 2 35. 800 5. 500 2 11. 000 Monitoring 11. 600 2, 5 29. 000 Fire Estinguishing System 13. 000 2, 5 32. 500 Installazione 3. 400 2, 5 8. 500 UPS 6200 11 68. 200 Installazione Ridondanza n+1 Installazione totale 440. 000 Con IVA 528. 000 G. Maggi 24/1/2006
La soluzione Emerson comprende • I rack • La rimozione del calore dissipato nei rack con ridondanza n+2 (liquido refrigerante freon) • Ventilatore di back-up • L’UPS con ridondanza n+1 (potenza nominale 30% più elevata del necessario) • Prese alimentazione nei rack monitorate e controllabili in remoto • Sistema di rivelazione incendio e impianto di spegnimento interno al rack • Sistema di monitoring centralizzato • Garanzia un anno G. Maggi 24/1/2006
La potenza elettrica richiesta G. Maggi 24/1/2006
Costo complessivo degli impianti G. Maggi 24/1/2006
Piano pluriennale infrastrutture G. Maggi 24/1/2006
Piano pluriennale di spesa G. Maggi 24/1/2006
Il personale ALICE Domenico Di Bari Responsabilità Gestionale Giorgio Maggi CMS Nicola De Filippis Responsabile Interfaccia Grid Giacinto Donvito Esperti Grid Guido Cuscela Antonio Pierro Supporto operativo Maria D’Amato Nicola De Filippis Francesco Minafra Si farà anche affidamento sui servizi generali del Dipartimento di Fisica per es. Servizio manutenzione impianti. 7 persone TI + 5 TD = 3, 2 FTE TI + 3 FTE TD G. Maggi 24/1/2006
Il personale G. Maggi 24/1/2006
La potenza elettrica richiesta con stima costo energia G. Maggi 24/1/2006
- Slides: 28