Efficient and Excellent infrastructure for Italian Research System

Efficient and Excellent infrastructure for Italian Research System CINECA: HPC Support for Italian Research The activities and the services for high performance technical and scientific computing CINECA Casalecchio di Reno (BO) Via Magnanelli 6/3, 40033 Casalecchio di Reno | 051 6171411 | www. cineca. it © CINECA - May 2007

The CINECA Consortium • Consortium of Ministry for University and Research, 28 Italian Universities, and CNR • Private non for Profit Organization • Founded in 1969 by Ministry of Public Education now under the control of Ministry of University and Research • 2005 Turnover: Euro 50 Millions • 6 Department managers, 23 Group coordinators, 350 Employees • Main activities: Research and Services both for universities and private enterprises and Ministry © CINECA - May 2007 2

Present day strategies / Statutory aims Promote the use of the most advanced information processing systems to support public and private scientific and technological research Provide a computer processing service to all members of the Consortium, MIUR (Ministry for University and Research) and others Ministries Extend the use of the available resources to other public and private bodies, on the basis of specific agreements Develop and manage the Networking System © CINECA - May 2007 3

The competitive edge offered by collaboration with CINECA High Performance system and information visualization technology l l l the most advanced high performance computing and high performance graphics resources experts able to dialogue with all potential users as a result of the combination of specific disciplinary backgrounds and high level computer skills the possibility of accessing supercomputing resources at costs which are compatible with university faculty budgets the sponsorship for research theses and doctorates a consistent training and outreach offers © CINECA - May 2007 4

Summer school for parallel computing © CINECA - May 2007 5

Summer school for scientific visualization and 3 D graphic © CINECA - May 2007 6

CINECA Current activities and projects Design, development and exploitation model definition for the Italian national supercomputing facility Design, implementation and exploitation of a framework for application development and graphics user interfaces, portal gateways and web services 5 partnership with national research agencies CNR- INFM Physics of matter , INSTM material science, INAF astrophysics, SISSA, OGS geophysics 2 Major industrial contracts framework ARPA / SMR e SCS s. r. l - CINECA Spin off (ENI – Pirelli – Alenia – Lunarossa… ) 11 European funded project; among other HPC - Europa – Integrating Activity Scheme DEISA – Communication Network Development Scheme 4 National projects in the bioinformatics domain 4 Regional projects for technology transfer actions 2 Projects for digital terrain model and city marketing © CINECA - May 2007 7

The HPC-Europa Consortium • • Partnership – Six leading HPC infrastructures – Five centres of excellence – Duration: January, 1 st 2004 December, 31 st 2007 • CINECA, Italy Consorzio Interuniversitario di Calcolo, Bologna • EPCC (HPCx ), United Kingdom (HPCx), Edinburgh Parallel Computing Centre • BSC, Spain Barcelona Supercomputing Centre • HLRS, Germany High Performance Computing Centre, Stuttgart • IDRIS, France Institut du Développement et des Ressources en Informatique Scientifique, Paris • SARA, Netherlands Stichting Academisch Rekencentrum Amsterdam • PSNC, Poland Poznań Supercomputing and Networking Centre • PARALLAB, Norway HPC Laboratory, Bergen • TCD, Ireland Trinity Centre for HPC, Dublin • CASPUR, Italy Consorzio Interuniversitario, Roma • NTUA, Greece National Technical University of Athens to Objectives – Transnational access service provision to HPC systems – Provision of a suitable computational environment – To allow the European researchers to remain competitive with teams elsewhere in the world. – The deployment and operation of a “virtual global infrastructure” for HPC © CINECA - May 2007 8

The DEISA Consortium © CINECA - May 2007 9

Signing of the Mo. U in Berlin 17. 4. 2007 © CINECA - May 2007 10

PACE • Target to build the basis for European petaflop/s centers, responding to the ESFRI Roadmap item ‘European HPC Service’ • FP 7 Project proposal for preparatory phase, call deadline 2. 5. 2007 • Memorandum of Understanding: 14 countries signed and more to come • PACE consortium partners (14 countries) – Austria, Finland, France, Germany, Greece, Italy, Norway, Poland, Portugal, Spain, Sweden, Switzerland, The Netherlands, United Kingdom © CINECA - May 2007 11

CINECA Application fields © CINECA - May 2007 • Basic science: computational cosmology, electron transport in complex media, highenergy physics, and chemical reaction studies • Advanced engineering and technology: combustion processes; materials design; micro/ nano-scale systems; design of and manufacturing systems for electronic/ computer systems, aircraft and other transportation systems; critical infrastructure systems, and other complex systems • Energy production and exploitation of renewable resources • Global systems and climate/weather modeling: simulation and prediction in areas such as earth system component elements in the atmosphere, oceans, and solid earth; coupled earth systems; ensemble averaged and statistically validated climate simulations and projections • Computation in biology and medicine: structural genomics; protein folding and protein interactions; combinatorial complexity in biological and biomedical systems and applications • Social, economic, and civil infrastructure systems: modeling and simulation. 12

Luna Rossa Technology supplier • Customizations of the CFD Comet solver in collaboration with CD. Adapco • User support for the deployment of supercomputing infrastructure © CINECA - May 2007 13

Exploris Project: The virtual simulation of the Vesuvio eruption • Quantitative analysis of explosive eruption risk in densely populated EU volcanic regions • New simulation model, based on fundamental transport laws to describe the 4 D (3 D spatial coordinates plus time) multiphase flow dynamics of explosive eruptions has been developed and parallelized in INGV and CINECA. • Parametric simulation of a 12 x 12 Km of territory in space and 8 Km in high. 200 x 200 mesh of variable resolution (from 100 to 20 m), 30 minutes of simulated time. • Per run 180 hours on 450 cpu IBM SP Power 5. 0. 5 TB of data. © CINECA - May 2007 14

Organigramma S&T Direzione Dipartimento Sanzio Bassini Paola Alberigo, Francesca Garofalo Service Management Business Development Sergio Bernardi Service Desk. Cinzia Zannoni Service Management Paolo Sardo Information System Stefano Spitoni Middleware and Infrastructure Paolo Malfetti IT Senior Technologist Mauro Morsiani IT Senior Technologist Nico Tranquilli Supercomputing Giovanni Erbacci Facility Alessio Mauri High Performance System Management Stefano Martinelli IT System Management Angelo Neri Staff © CINECA - May 2007 15

Obbiettivi del Dipartimento S&T • Obbiettivo primario del Dipartimento è quello di progettare, implementare e gestire l’infrastruttura relativa al sistema informatico del CINECA • Tale infrastruttura deve essere orientata alla erogazione di servizi rivolti all’esterno del Dipartimento. • L’infrastruttura deve avere caratteri di eccellenza ed efficienza. • Le competenze presenti all’interno del Dipartimento consentono la partecipazione ad attività di consulting e di professional service • Le attività di servizio sono riferite a commesse • Le attività di R&D sono riferite a progetti, tipicamente co-finanziati mediante la stipula di contratti © CINECA - May 2007 16

Obiettivi della organizzazione L’ assetto organizzativo è uno strumento per favorire il raggiungimento dei seguenti obiettivi: § fare fronte alla maturazione del livello operativo e alle crescenti aspettative di customer care degli utenti/clienti § Misurare e incrementare la qualità dei servizi IT § Misurare e incrementare la customer satisfaction § Ridurre il rischio che il servizio IT non soddisfi i business requirements espressi dai clienti § raggiungere maggiori livelli di efficienza interna ottimizzando la nostra capacità di erogare servizi § Misurare e ridurre i costi di sviluppo ed esercizio dei servizi © CINECA - May 2007 17

Linee guida del cambiamento • Strumenti applicativi per la gestione delle tecnologie e l’erogazione dei servizi – mettere a disposizione delle strutture operative strumenti in grado di rendere più efficiente l’attività lavorativa e poter così effettivamente garantire i livelli di servizio concordati (request tracker, repository documentale, … • Adozione di best practice (ITIL), per la revisione dei processi ICT – valutare e comparare il modo di lavorare già in uso presso altre organizzazioni – Adottare una “lingua universale” per codificare le interrelazioni tra i processi e favorire la cooperazione tra le differenti funzioni IT • Pianificazione e realizzazione per fasi del cambiamento – Gestire in modo coerente le diverse leve del cambiamento - Strumenti applicativi di supporto - Processi e Organizzazione - Formazione e Comunicazione © CINECA - May 2007 18

Modello per il Service Support Players Process Business, Customers & Users Management Tools Queries Enquiries Inputs Outputs Incidents Functions Incidents Service Desk Incident Management Service reports Inc. statistics Audit reports Changes Customer survey reports Problem Management Trend analysis Prob. statistics Prob. reports Prob. reviews Diagnostic aid Audit reports Incidents © CINECA - May 2007 Communications Updates Work-Arounds Releases Change Management Change schedule CAB minutes Change statistics Change reviews Audit reports Release Management Release schedule Release statistic Release reviews Secure library Test standards Audit reports Changes Problems Known Errors CMDB 19 Releases Configuration Management CMDB reports CMDB statistics Policy/standard Audit reports Config. Items Relationships

Modello per il Service Delivery Players Inputs Process Outputs Business, Customers & Users Queries Enquiries Availability Management Availability Plan AMDB Design Criteria Targets Thresholds Reports Audit Reports Service Level Management Capacity Plan CDB Targets Thresholds Capacity Reports Schedules Audit Reports Requirements Targets Achievements © CINECA - May 2007 SLA Service Reports Service Catalogue Exception Reports Audit Reports Financial Management Financial Plan Types & Models Costs & Charges Reports Budget Forecasts Audit Reports Management Tools Communication Updates Reports Continuity Management IT Continuity Plan BIA Risk Analysis Requirements def Control Centers DR Contracts Reports Audit Reports Alerts and Exceptions Changes 20

Certificazioni § A. 5 Security policy § A. 6 Organizzazione della sicurezza delle informazioni • A. 7 Gestione delle risorse • A. 8 Sicurezza delle risorse umane • A. 9 Sicurezza fisica e ambientale • A. 10 Gestione delle comunicazioni e della operatività • A. 11 Controllo accessi • A. 12 Acquisizione, sviluppo e manutenzione dei sistemi informativi • A. 13 Gestione degli incidenti di sicurezza delle informazioni • A. 14 Gestione della continuità aziendale • A. 15 Conformità © CINECA - May 2007 21

Overall Infrastructure © CINECA - May 2007 22

Power distribution and energy management • Power distribution up to 2400 Kw • Current power consumption 1500 Kw • Electricity transformer up to 4800 Kw • 4 x 500 KVA UPS for a total 1500 KVA in n+1 redundancy mode • 2 x electronic switching system power supplier / UPS up to 630 A • 2 x Motogenerator 1750 KVA © CINECA - May 2007 23

Sicurezza fisica • • Situazione energetica – Doppi impianti di alimentazione elettrica separati realizzati mediante gruppi indipendenti di UPS ridondati alimentati con linee di approvvigionamento elettrico separate di cui una con motogeneratore diesel. – Motogeneratori diesel per garantire la continuità elettrica. – Sistemi di condizionamento a temperatura ed umidità controllate con sistemi in ridondanza N+1 – Alimentazioni separate e ridondate dei rack che ospitano i sistemi attestate su UPS separati. Vantaggi – Impianti e distribuzione su due linee distinte, indipendenti e autosufficienti. – Tutte le utenze possono essere alimentate indifferentemente dall’una o dall’altra. – Possibilità di effettuare manutenzioni e riparazioni senza interrompere il servizio o riducendo al minimo eventuali interruzioni. © CINECA - May 2007 24

Sicurezza fisica • Vasca di protezione – Vasca “volano” più accumulo per l’alimentazione della rete antincendio: – 70 m 3 sempre disponibili per la rete antincendio (acqua piovana + eventuale integrazione con acqua dalla rete di adduzione idrica nei periodi di secca. – Alimentazione elettrica dell’impianto antincendio autonoma – Capacità massima fino 160 m 3 di acqua piovana per fare defluire, in tempi controllati gli eccessi di acqua in caso di eventi meteorologici di forte intensità. – Valvole di non ritorno dalla rete fognaria pubblica verso la proprietà CINECA. • Antincendio – Sistema antincendio, con rilevazione fumi ed estinzione incendi automatica con GAS ARGON, e sistema antiallagamento con sistemi di contenimento antialluvione. – Collocazione fisica a 50 mt dalla stazione dei Vigili del Fuoco. © CINECA - May 2007 25

Storage area network Cluster A SAN HPC Cluster B … SAN ICT Cluster N • • • GPFS (via IP) NFS • GPFS (via IP) Integrated for HCP and ICT system Technology transfer from HCP to ICT environment HPC Area scratch: 160 + 180 TB; 10 GB/s front end bandwidth HCP repository: 30 + 80 TB; 4 GB/s front end bandwidth Rete IP Brocade Silkworm 2800 GPFS cluster 2 x Cisco MDS 9513 Brocade Silkworm 12000 Brocade Silkworm 48000 SVC • • replica Storage Servers © CINECA - May 2007 Storage Servers 26 ICT service: 75 TB; 5 -15 TB synchronous / asynchronous replica No single point of failure Adoption of GPFS as parallel file system TIVOLI Storage manager for archiving and back up

Virtual shared file system Compute node ~20 TByte Altix …. . /scratch SSI /scratch I / O node Intranet / lan dedicata cp, mv, . . Login node Intranet / lan dedicata r/w cp, mv, . . Metadati / SFS ~ 5 TByte Metadata updt Metadati / SFS Bck, arch, hsm. . Back up HSM Archiving STK / raw i/o 200 TByte DB Server Disk mgmt © CINECA - May 2007 /a /b /c /. . /tablespace /sfs staging /archive staging 27 www server

Networking LAN • • No single point of failure; Multilayer architecture; Separated domain routing Core layer 40 + 40 GB/s of routing capacity © CINECA - May 2007 WAN • Internet – GARR 200 Mbps, Tiscali 30 Mbps, Fast. Web 20 Mbps. • Link wan – DEISA 10 Gbps (2 Q 07), ENI 2 x 1 Gbps (2 Q 07) – 2 -10 Mbps: meteo, ER Region, Health Min, other private costumers 28

Sicurezza Logica • La sicurezza di rete – Il CINECA è dotato di una solida infrastruttura di rete che consente di usufruire di connettività secondo l’architettura e i servizi di seguito descritti: – Connettività di rete Locale: switch ridondati con alimentazioni indipendenti in modo da garantire la connettività anche in caso di failure di un singolo componente della rete. – Connettività Internet: – I servizi rivolti alla comunità scientifica e accademica sono acceduti mediante l’integrazione nella rete GARR via doppio circuito in fibra ottica ridondata, con 2 operatori distinti, capace potenzialmente di supportare velocità sino ad 10 Gbit/sec su link Giga Bit Ethernet al pop Garr di Bologna CNAF. – Per i servizi rivolti alle Aziende ed alle Pubbliche Amministrazioni, doppio collegamento a due fra i principali ISP italiani, Tiscali e Fastweb per 30 Mbps complessivi di banda. – Routing “dinamico” con protocollo BGP per mantenere connettività anche in caso di guasto ad uno dei due link commerciali. – In sede CINECA sono inoltre presenti terminazioni in fibra ottica ed apparati dei principali operatori di comunicazioni: Telecom Italia, Wind, Fastweb, Autostrade Telecomunicazioni, Acanto © CINECA - May 2007 29

Sicurezza Logica • Segmentazione della rete. – La rete locale CINECA è suddivisa in segmenti indipendenti e tra loro “isolati” mediante l’impiego di Firewall e Access Control List, realizzando cosi’ “Security Zone” tra loro autonome. Tipicamente ogni cliente o unità organizzativa CINECA riceve una propria VLAN ed è autonoma nel definire le politiche di accesso da implementarsi sui sistemi di difesa perimetrale. • Servizi Firewall e VPN. – CINECA dotato di dispositivi in grado di fornire funzionalità di firewalling avanzato (statefull packet filtering) e protezione contro i più comuni attacchi. – Tutti gli apparati di rete (router, switch, firewall) sono configurati in modalità cluster per l’alta disponibilità in grado di assicurare la connettività anche in caso di guasti hw e sw o attività di manutenzione. © CINECA - May 2007 30

ICT infrastructure Operating system AIX Linux Solaris Windows Manufacturer IBM Dell IBM SUN Dell IBM Bx; Fx, Hx; Px 1650; 1850; 2650; 6650 x. Series E 420; V 880 2650 x. Series; Blade Processore P 4; P 5; PPC Intel Pentium IV; Xeon Sparc Intel Xeon # of servers 68 128 28 8 12 54 # of processors 218 260 52 24 24 116 Cluster HA FARM / HA HA FARM/ HA Service DB Server Application Server FE Server; Mgmt; DB Server; Application Server Mgmt FE Server; DB Server Modello © CINECA - May 2007 31

Computing server Logical name BCX BCC SP 5 CLX XC 4 (SCS s. r. l. ) Model IBM LS 20 IBM p 5575 IBM 1350 HP BL 460 c Architectur e Linux cluster IBM SP Linux cluster Processor AMD Opteron Dual core 2, 6 GHz AMD Opteron Dual core 2, 2 GHz IBM Power 5 1, 9 GHz Intel Pentium IV 3, 06 GHz Intel EM 64 T Xeon Dual core 3 GHz # of core 5120 1024 512 1024 # of node 1280 274 64 512 256 10. 240 GB 2. 192 GB 1216 GB 788 GB 2. 024 GB CISCO Infiniban d 9 Gb/s CISCO Infiniband 2, 5 Gb/s IBM High Performa nce Switch Myricom Myrinet LAN Volterre Infiniban d 9 Gb/s Red Hat RHEL 4 AIX 5. 2 Linux 32 Linux RHAS RAM Interconne ction Operating © CINECA - May 2007 Red system Hat RHEL 4 Su. SE SLES

Infrastructure Service Model SSH A SFTP B C F A D E F 1 5 3 2 Web Service 4 HTTP SOAP Grid Service Proprietary Protocols Software products Services User interfaces: web – grid – proprietor's © CINECA - May 2007 33

CINECA Infrastructure Service Model To DEISA GPFS SSH & LL MC A B C G P F S F A D E F Web Service G P F S SFTP S F S / 5 / N F S S F Grid Service S 1 3 2 4 HTTP SOAP Proprietary Protocols To DEISA UNICORE, GRIDFTP, LSF MC Software products Services User interfaces: web – grid – proprietor's © CINECA - May 2007 34

Supporto ai servizi • E’ attivo un service desk con personale specializzato sulla tipologia di utenti per dare supporto all’utilizzo dei sistemi ed alle problematiche applicative. • Per indirizzare al meglio l’utilizzo delle risorse attraverso attività di benchmarking ed effettuare un monitoraggio pro-attivo sulle applicazioni • Per erogare il servizio nella modalità che meglio soddisfa il cliente • Le modalità di erogazione del servizio sono le seguenti a seconda delle esigenze del cliente: – HW dedicato al cliente – Tempo di calcolo on demand (con un fisso su base annuale) – Licenze SW di proprietà del cliente o dedicate al cliente – Licenze SW in condominio fra più clienti © CINECA - May 2007 35

Livelli di servizio • Siamo in grado di definire con il cliente dei livelli di servizio per quel che riguarda: – il tempo di risposta alle richieste effettuate al service desk – alcuni indicatori di performance del servizio: - Tempo di permanenza in coda dei job utente - Utilizzo delle risorse assegnate da parte dell’utente • Gli indicatori di performance e livelli di servizio possono essere valorizzati e rendicontati periodicamente al cliente © CINECA - May 2007 36

© CINECA - May 2007 37

CINECA in the TOP 500 nov 06 Rank Site System Processors Rmax Rpeak 44 CINECA Italy e. Server 326 Cluster, Opteron Dual Core 2. 6 GHz, Infiniband IBM 5120 12608 26624 84 SCS S. r. l. Italy Pro. Liant BL 460 c EM 64 T Xeon 51 xx 3 GHz Hewlett-Packard 1024 7987. 2 12288 340 CINECA Italy e. Server p. Series p 5 575 1. 9 GHz IBM 512 3392 3891. 2 347 CINECA Italy x. Series, Xeon 3. 06 GHz, Myrinet IBM 1024 3328 6266. 88 433 CINECA Italy Blade. Center LS 20, Opteron 2. 2 GHz Dual core, Infiniband IBM 1064 2874. 54 4681. 6 © CINECA - May 2007 38

Ranking of CINECA in the TOP 500 © CINECA - May 2007 39

Production distribution per user category © CINECA - May 2007 40

Produzione ICT • 60 Atenei serviti dal SISTEMA INTEGRATO ATENEO – Circa 80 mila cedolini mesi – Oltre un milione di studenti serviti dalla componente Segreteria Studenti – Oltre un milione di caselle di posta elettronica (il servizio e’ in certificazione PEC) • Gestione ed esercizio del SISTEMA INFORMATIVO MINISTERO (MIUR) • Gestione ed esercizio del sistema informativo di AIFA, con particolare riferimento alle applicazioni di DWH e BI a supporto delle decisioni del MIN. SAN • Data center commerciale. Oltre 50 server, 20 clienti, 12 rack © CINECA - May 2007 41

Supercomputer Definitions: the CINECA point of view • A modern supercomputer is an enabler for capability computing in sufficient capacity. Low latency Enabling computing CINECA concept Distributed supercomputing DEISA concept Low integration Capacity supercomputer High integration Cluster GRID EGEE Concept Internet GRID © CINECA - May 2007 Capability supercomputer Capacity cluster High latency 42

La road map del CINECA Allargare gli orizzonti: HPC, Grid e la nuova infrastruttura. • La nuova infrastruttura del CINECA non può prescindere dall’avere al proprio interno elementi di HPC e elementi di Grid poiché entrambi sono funzionali agli utenti, ovvero ai ricercatori. Gli elementi di Grid aprono l’orizzonte dell’infrastruttura anche ben oltre le necessità del mondo della ricerca, prospettandosi come infrastruttura flessibile ed efficace anche per il mondo della produzione. • L’infrastruttura che si intende disegnare dovrà essere aperta ed in grado di cooperare verso l’esterno, questo significa che dovrà esporre per tramite di opportune interfacce un insieme di risorse, strumenti e servizi. • il dominio HPC, che per molti anni è stato vissuto come un segmento in cui impiegare tecnologie di frontiera molto specializzate, oggi è sempre più integrato nel mondo dell’ICT e ne guida l’evoluzione di molti aspetti critici © CINECA - May 2007 43

CINECA Development plans 2007 - 2010 Enhancement of an efficient and excellent infrastructure Towards 100 TFLOP 1 Petabyte of on line storage; 10 / 50 Petabyte di archive capacity 100 applications running simultaneously (1000 processes) High speed wide area network from 10 to 100 Giga bit / sec Fruition model, visual interaction and user validation and certification based on Open Grid and Web Service Global data management, data processing and information system solutions based development © CINECA - May 2007 44