TIER 1 INFRASTRUTTURA INFN CNAF 01092016 p i

TIER 1 INFRASTRUTTURA INFN - CNAF 01/09/2016 p. i. Michele Onofri ing. Andrea Mazza ing. Carlo Crescentini

Sommario Planimetrie degli spazi occupati: vedi stampa Infrastruttura: componenti principali e potenze nominali Infrastrutture elettriche • Schema unifilare degli impianti elettrici: vedi stampa • Gruppi rotanti Infrastrutture idrauliche e termiche • Impianti di raffreddamento: vedi stampa • Condizionamento IT Potenze impianti e ripartizione dei consumi • Potenza massima degli impianti • Carico informatico delle sale • Tuning impianto di raffreddamento • Ripartizione consumi • Sviluppi futuri Sistemi di antincendio e antiallagamento • Sistemi antincendio • Sistema antiallagamento (schema dell’impianto) • Sistema di supervisione Manutenzione, documentazione e obblighi come parte elettrica Sicurezza e gestione incidenti • Principali fonti di rischio presenti nei locali del centro • Workflow di intervento in caso di incidenti. Meccanismo del reperibile e della squadra emergenze, della sorveglianza, ecc. • Incidenti e azioni correttive Criticità e azioni correttive

Planimetrie Piano -1 Piano -2

Infrastruttura: componenti principali ELETTRICA N. 1 Cabina di consegna dell’ENEL (consegna fino a 4 MW) N. 1 Cabina MT con N. 3 SEPAM N. 1 Cabina di trasformazione con N. 3 Trafo da 2500 k. VA ciascuno N. 2 Linee di distribuzione elettrica principali, indipendenti ( «verde» e «rossa» ) su blindo da 4000 A trifase N. 2 Gruppi rotanti di continuità EURODIESEL da 1700 k. VA ciascuno N. 1 Gruppo diesel d’emergenza da 1250 k. VA per la centrale frigorifera RAFFREDDAMENTO E CONDIZIONAMENTO N. 6 refrigeratori di liquido EMERSON da 300 k. Wf nominali ciascuno N. 44 condizionatori APC da 50 k. Wf nominali ciascuno N. 1 circuito idronico di distribuzione dell’acqua refrigerata con primario e secondario separati da bypass, pompe fisse a bordo macchina per il primario e pompe VFD per il secondario a Δp fisso

Schema unifilare Cella TR 1 Cella Gen. 15 k. V Cella TR 3 Cella TR 2 2500 k. VA Congiuntore TR 3 -TR 2 Congiuntore TR 1 -TR 3 1700 k. VA GR 1 QGCA 1 IT GE QG GR 2 1200 k. VA QG CF GF 1 -3 GF 4 -6 650 k. W QGCA 2 IT GR 2

Gruppi rotanti • Diesel da 1450 k. W • Moto/alternatore sincrono da 1700 k. VA • Frizione elettromagnetica • Volano a motore asincrono e freno in cc • Potenza attiva: 1340 k. W @cos(fi) = 0, 8

Impianto di raffreddamento

Schema funzionale Chiller monoblocco opportunamente dimensionati e canalizzati per poter essere ospitati nella centrale frigorifera al piano -1. N. 4 compressori Scroll per chiller a tandem di 2. Batteria di freecooling integrata. Gas frigorifero: R 407 C (Global Warming Potential = 1620). Condizionatore ad acqua inserito nelle file di rack. Controllo della portata mediante valvola motorizzata a 2 vie. Ventilatori EC Fan

Centrale frigorifera

Centrale frigorifera

Condizionamento IT

Potenza massima degli impianti TRASFORMATORE (2 N+1) 2500 k. VA / unità 2500 k. VA CONDIZIONAMENTO DI SALA (N+2) 50 k. Wf / unità 1600 k. Wf GRUPPI ROTANTI (2 N) 1340 k. W / unità 1340 k. W CHILLER (N+2) – VALORI NOMINALI 300 k. Wf / unità 1200 k. Wf CHILLER (N+2) – VALORI MISURATI 200 k. Wf / unità 900 k. Wf Condizioni EUROVENT

Espandibilità del Centro • Imponendo il vincolo sia della continuità che della ridondanza, le 2 linee non possono erogare, in aggregato, più di ~1. 3 MW • Senza ridondanza, ma in continuità, le 2 linee indipendenti consentono teoricamente di alimentare il carico IT fino a una potenza di ~2. 6 MW; i chiller alimentati senza continuità (impianto già predisposto) usando, in caso di interruzione della linea Enel, il generatore dedicato da 1 MW. • Configurazione intermedia: si alimentano sotto continuità e ridondanza solo i servizi essenziali e lo storage. Nell’ipotesi che il carico sotto continuità sia solo informatico e che quindi ogni linea eroghi fino a 1, 3 MW, con una parte “protetta” pari x MW, la potenza erogabile totale sarà pari a (2, 6 -x) MW. • In ogni caso il limite superiore della potenza totale (IT, chiller etc…) erogabile è 2, 6 MW che possiamo suddividere nel seguente modo: x MW (x<1, 34 MW) CONTINUITÀ E RIDONDANZA STORAGE, SERVIZI ESSENZIALI x MW Sì Storage e Servizi essenziali (2, 6 -2 x) MW Nì (Solo continuità) Parte o tutta la farm (1, 2+x) MW No (Enel diretta) Chiller, parte della farm 3, 8 MW Limite massimo (consegna) Ricognizione infrastruttura 2016

Potenza massima degli impianti TRASFORMATORE (2 N+1) 2500 k. VA / unità 2500 k. VA CONDIZIONAMENTO DI SALA (N+2) 50 k. Wf / unità 1600 k. Wf GRUPPI ROTANTI (2 N) 1340 k. W / unità 1340 k. W CHILLER (N+2) – VALORI NOMINALI 300 k. Wf / unità 1200 k. Wf CHILLER (N+2) – VALORI MISURATI 200 k. Wf / unità 900 k. Wf Condizioni EUROVENT

Carico informatico delle sale • Con riferimento alla massima potenza erogabile dalla centrale frigorifera in condizioni Eurovent e con ridondanza N+2, possiamo asserire che il Tier 1 è carico al 81%. • L’approccio è quello più conservativo in cui si misura la temperatura dell’aria esterna e non quella aspirata dai chiller; quest’ultima risulta sempre qualche grado centigrado più elevata.

Tuning impianto (dal 2012 ad oggi) 2. 00 1. 90 PUE 1. 80 1. 70 1. 60 1. 50 1. 40 0. 0 5. 0 10. 0 15. 0 20. 0 25. 0 Temperatura ambientale media mensile [°C] Medio annuo dal 2012 Medio annuo dal 2010 Media 2015 Media 2014 Media 2013 Media 2012 Media 2011 Media 2010 Linear(Medio annuo dal 2012) Linear(Medio annuo dal 2010) 30. 0

Ripartizione dei consumi: ora

Criticità della centrale frigorifera - Ridotta efficienza: EER m. a. = ~3, 3 - Ridotta affidabilità: - MTTF = 51 giorni - Ricambi ≈ 32 k€/anno (iva inclusa) - Ridotta potenza massima ≈ 900 k. Wf - Soluzione free cooling non adatta alla qualità dell’aria →

Sviluppi futuri N. 2+1 Chiller da 700 k. W frigoriferi nominali ciascuno. Chiller composti da parte moto evaporante separata dal condensatore (remoto). Compressori Turbocor in tandem di due. Gas frigorifero: R 1234 ze (GWP = 6).

Ripartizione consumi: previsione

Impianto antincendio: composizione • 1 Centrale Notifier AM 4000 • 3 Centrali UDS (Gestione scarica gas estinguente FM 200) • ~ 100 sensori fumo ottici • 5 sensori fumo termici (locali Gruppi elettrogeni) • 12 VESDA (rilevamento precoce) • Svariati moduli I/O per sirene, serrande, pannelli ottici …. • 16 Bombole di Gas FM 200 (8 in servizio e 8 in riserva) per un totale di 1600 kg

Logica di funzionamento nelle sale calcolo • Spegnimento attivo solo nelle 3 sale del centro di calcolo • Primo sensore preallarme • • • Attivazione sirene e pannelli di evacuazione locale Chiamata combinatore telefonico (Reperibile e Rasponsabili) Chiamata servizio di vigilanza tramite ponte radio Chiusura porte di compartimentazione Segnalazione alla centrale del DIFA Secondo sensore Spegnimento • • 60 secondi partenza scarica gas Attivazione pannelli scarica in corso

Logica di funzionamento nei locali tecnologici • Sensore in allarme Accensione sirene e pannelli del locale interessato • Chiamata combinatore telefonico • Chiamata servizio di vigilanza tramite ponte radio •

Mappa sensori: piano -2

Mappa sensori: piano -1

Antiallagamento Porte Antiallagamento con sonda Barriere Antiallagamento normalmente chiuse

Sistema di Supervisione • Composto da: 3 Automation Server • 3 PLC (2 N) • 20 Xenta di vario tipo (microcontrollori programmabili) • • 4000 punti monitorati (stato interruttori, corrente, temperature, livello carburante cisterne…. . ) • Allarmistica tramite mail programmabile • Pagine grafiche meccaniche, elettriche, antincendio, antiallagamento

Reperibilità • 12 persone (6 tecnici – 6 tecnologi su base volontaria) • Tipologie di intervento • Antincendio • • Antiallagamento • • Chiamata da combinatore telefonico e dal Servizio di Vigilanza Allarmistica in fase di implementazione con il SSV (tipo antincendio) Antintrusione • Chiamata da Vigilanza

Documentazione e manutenzioni • Tutta la documentazione è consultabile in: Formato cartaceo (Tavole, Manuali, Certificazioni, Rapporti di intervento…. ) • Formato elettronico in area condivisa a tutto il personale di Infrastruttura • • Le manutenzioni vengono schedulate su un Google Calendar condiviso con tutto il personale di Infrastruttura

Contratti di manutenzione ordinaria CONTRATTO APPARECCHIATURE TIPOLOGIA Schneider (Distribuzione elettrica) Media-Bassa Trafo, Interrutori Condotti a sbarre M. Ordinaria Schneider (ex APC) RP/RC, Operation UPS Statici M. Ordinaria compresa la sostituzione dei filtri Intergen Gruppi KS Sigem Gruppo elettrogeno " " DURATA 48 mesi COSTO k€ /ANNO (IVATI) 12 N° INTERVENTI INCLUSI ANNO MANODOPERA E PEZZI DI RICAMBIO (STRAORDINARIA) 1 Manodopera a consuntivo-pezzi di ricambio con sconto dedicato 36 mesi 44 4 Manodopera a consuntivo-pezzi di ricambio con sconto dedicato 36 mesi 44 6 " 24 mesi 6, 5 2 " Emerson Gruppi Frigo " 12 mesi 35 4 Pezzi di ricambio con sconto dedicato Eurocontrolli Antincendio M. Ordinaria 36 mesi 12 2 Compresi Ciem Elettricista M. Ordinaria 12 mesi 6 - A consuntivo SMA Estintori, Porte Rei M. Ordinaria 12 mesi 1, 2 2 A consuntivo M. Straordinaria 12 mesi 1 - A consuntivo M. Ordinaria 12 mesi 0, 8 2 A consuntivo Idraulico Venturi Pozzetti, Caditoie, Pluviali

Costi Manutenzione Straordinaria • Costo per anno ~25 k€ (prevalentemente gruppi frigo) • Esclusi incidenti& carburante gruppi elettrogeni

Principali fonti di rischio presenti nei locali del Centro LOCALE TIPOLOGIE DI RISCHIO UFFICI VDT DATA CENTER Arco elettrico INCIDENTI CON DANNI LIMITATI X Incendio di origine elettrica Allagamento X "Sistema antincendio" APP. re TERMOIDRAULICHE Incendio di origine elettrica APP. re CONTINUITA’ ed ELETTROGENERAZIONE Rumore TRASFORMATORI Allagamento Ambientale Campi elettromagnetici X

Incidenti e azioni correttive ALLAGAMENTO SALA QUADRI (Maggio 2013) • Per rottura imbocco fognatura Uni. Bo si è allagato il sotto pavimento della sala quadri circa 30 mc di acqua, per fortuna senza danni ai quadri • Analisi e azioni correttive intraprese: installazione di porte anti-allagamento INCENDIO GF 4 (Marzo 2014) • Domenica 09/03/2014 ore 01: 30 - Allarme incendio quadro elettrico su GF 4 • Ore 02: 00 - Intervento VVF e spegnimento incendio con nostri estintori carrellati da 25 kg • Ore 05: 00 - 5 frigo su 6 sono offline, si spengono manualmente tutte alimentazioni dei condotti a sbarre delle macchine IT • Ore 11: 00 - intervento tecnico Emerson • Ore 15: 30 - ripristino della centrale frigo e inizio riaccensione macchine IT Analisi e azioni correttive intraprese • Emerson relaziona che la possibile causa è dovuta al surriscaldamento di un componente • Impianto di rilevazione fumi (ASD) sostituito con sistema VESDA (rilevazione precoce) • Modifica alimentazioni logiche dei frigo con collegamento punto-punto e non più in parallelo • Analisi tramite termocamera sui quadri elettrici durante gli interventi di manutenzione ordinaria

Incidenti e azioni correttive INCENDIO CONDOTTO A SBARRE IN SALA QUADRI (Agosto 2015) • Giovedì 27/08/2015 ore 8: 00 - allarme incendio sala quadri con scarica gas estinguente • Ore 08: 30 - intervento dei VVF • Ore 09: 00 - riscontrato buco sul condotto a sbarre da 4000 A sul quadro di potenza GR 1 proveniente dalla cabina di trasformazione • Dalle ore 08: 00 GR 1 in produzione • Venerdì 28/08/2015 - intervento Schneider e ditta elettricisti per prove di isolamento sul condotto a sbarre • Smontaggio pezzo «bruciato» e si alimenta la linea verde da Enel senza continuità • Martedì 25/09/2015 - ripristino del condotto a sbarre In ogni caso il Centro ha garantito la piena operatività, grazie alla seconda linea in continuità.

Incidenti e azioni correttive INCENDIO CONDOTTO A SBARRE IN SALA QUADRI (Agosto 2015) Dopo un attento esame di quanto è successo si è giunti alla conclusione che la causa è dovuta a una infiltrazione d’acqua proveniente dal piano superiore (Uni. Bo) che si è accumulata in corrispondenza del giunto, dando origine a un arco elettrico (condotto a sbarre IP 55, ma montato orizzontalmente) Analisi e azioni correttive intraprese • Verifica di tutto l’impianto di rilevazione e spegnimento (meccanico, logico, Door Fan Test) inserimento di due valvole manuali sul collettore delle bombole e aggiunta di 4 VESDA per le zone critiche • L’Università ha provveduto a eliminare l’origine delle perdite d’acqua su nostra sollecitazione Possibili interventi • Studio sulla fattibilità di coperture aggiuntive per i condotti a sbarre interni e esterni (di difficile esecuzione) • Studio per inserimento TA sulle terre dei trasformatori con segnalazione di allarme in caso di correnti sopra soglia • Studio sistema di spegnimento partizionato per isole tramite bobine di sgancio da inserire negli interruttori, azionabile manualmente o da remoto.

Criticità e azioni correttive CRITICITA’ AZIONI CORRETTIVE IMMEDIATE PROSECUZIONE AZIONI CORRETTIVE A livello di singolo rack Acquisto di presiere «metered» - A livello di macro aree: GR Riprogrammazione PLC - Rinnovo parco macchine frigorifere: compressori a levitazione magnetica Inserimento di un economizzatore tipo dry cooler in serie ai chiller Aumento del carico informatico Granularità dei consumi: Raffreddamento: Diminuzione della capacità frigorifera dei chiller Continuità elettrica: GR, soluzione molto affidabile ma onerosa dal punto di vista energetico

Criticità e azioni correttive CRITICITA’ AZIONI CORRETTIVE IMMEDIATE PROSECUZIONE AZIONI CORRETTIVE - Concessione di spazio da parte dell’Università Protezione con rialzo all’ingresso secondario (GARR) - - Aggiunta di sensori di presenza acqua a seguire la stesura delle tubazioni Magazzino: Mancanza di uno spazio dedicato Allagamento Posizione del centro di calcolo e dei locali elettrici Sistema di rilevazione presenza acqua all’interno Video sorveglianza: Mancanza di un sistema CCTV In fase di montaggio

Grazie per l’attenzione!

Allegato: free cooling Free cooling indiretto: inteso come scambiatore a secco in serie ai chiller