Verso una infrastruttura di calcolo aperta e flessibile

Verso una infrastruttura di calcolo aperta e flessibile: risorse multipiattaforma nella GRID di produzione G. Bracco, A. Santoro, C. Scio*, A. Rocchi, S. Migliori, A. Quintiliani, S. Podda ENEA FIM, C. R. ENEA Frascati Via. E. Fermi 45 00044 Frascati ROMA (Italy) bracco@enea. it (*) Esse 3 Esse, Roma, Italy G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Contenuto • ENEA-GRID e l'interoperabilità con altre infrastrutture • SPAGO: un metodo per implementare in modo semplice un gateway e alcuni esempi • L'esperienza della partecipazione in EGEE • Considerazioni su IGI G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

ENEA-GRID • Si basa su: – – Open. AFS (shared filesystem) LSF Multicluster (resource manager) G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Risorse di calcolo ENEA-GRID Hardware • sistema più rilevante: CRESCO HPC, Portici (NA) #125 in Top 500 Giugno/2008 (#2 in Italia) 17. 1 Tflops, 300 hosts, 2720 cores, Infini. Band 4 x. DDR • altre risorse: ~100 hosts ~650 cpu – AIX: IBM SP 5 256 cpu (12 p 575 1. 5 GHz, 16 cpu + 1 p 595 1. 9 Ghz, 64 cpu, 1. 5 Tflops); SP 4, 96 cpu, Frascati (Roma) – SGI Altix 350 (IA 64) 32 cpu Casaccia (Roma) & Onyx – Cray XD 1 24 cpu Casaccia (Roma) – Linux clusters 32/x 86_64; Apple cluster; Windows servers Software • Codici commerciali (fluent, ansys, abaqus, nastran, . . . ) • Codici di ricerca ed open source (CPMD, MCNP, Open. Foam, . . . ) • Ambienti di calcolo (Matlab, IDL, . . . ) G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Le GRID sono tante e varie Grid 5000 [W. Gentzsch EGEE'07, Budapest] G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Per l'interoperabilità: gateway ad es: ENEA-GRID/g. Lite 1) da ENEA-GRID a g. Lite 2) da g. Lite a ENEA-GRID http: www. afs. enea. it/project/eneaegee G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

da ENEA-GRID a Glite Gateway G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

da g. Lite a ENEA-GRID Shared Proxy Approach for GRID Objects (SPAGO) GRID (RB) Firewall g. Lite Prompt invocation CE DMZ (LSF, PBS or scripted SSH) Resource manager g. Lite Proxy (LSF/PBS) ENEA-GRID I/O Files WN/UNIX shared Filesystem(AFS, NFS, GPFS, . . . ) • g. Lite non è installata localmente sui WN • CE + Proxy = Gateway G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Ridirezione dei comandi sul Proxy. WN utilizzando wrappers installati sui WN g. Lite Standard • WN: JOBSCRIPT – Globus-url-copy – JOB – Globus-url-copy input-file output-file SPAGO • WN: JOBSCRIPT – – – Globus-url-copy input-file lsrun -m proxy Globus-url-copy JOB Globus-url-copy output-file lsrun -m proxy Globus-url-copy G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma input-file output-file lsrun: prompt job execution

Esempi di applicazione Il sito ENEA-INFO di EGEE mette nella griglia di produzione risorse AIX usando il metodo SPAGO utilizzando AFS come file system condiviso e lsrun come comando di prompt execution 3 Frame SP 4: 96 cores Altix AIX IRIX Mac. OSX AIX Any Linux CRAY A scopo di demo (Conferenza EGEE'08, Istanbul, sono state messe in GRID anche altre architetture UNIX G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Interoperabilità PON/GRISU: CRESCO/PI 2 S 2/Cybersar/SCOPE/SPACI • 500 cores, RH 5. 1 con SPAGO SISSA/Democritos: 200 cores/PBS della rete regionale del Friuli condivisi con EU-India. GRID tramite SPAGO G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Come integrare meglio SPAGO in una griglia di produzione basata g. Lite • Variabili SPAGO nei profili di configurazione ig-WNx, CEx • Pacchetti software SPAGO-friendly: quali comandi ha senso siano “wrappati”, un flag? • Aggiunta di informazioni nell'Information Service • Test SAM: solo Linux! Difficoltà di implementazione • L'amministratore dei WN dovrebbe poter fare l'override delle variabili d'ambiente (L'ambiente del CE e del WN dovrebbero essere disaccoppiati) • Il software del WN dovrebbe essere rilocabile (anche nei riferimenti dal CE) • Manutenzione all'evolvere di g. LIte: transizione g. Lite 3. 0 -> 3. 1 • Configurazione dei pool account G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Esperienza ENEA in EGEE (1) Esperienza come resource provider in una vera GRID di produzione. Il minimo di macchine “dedicate” per mettere in GRID le risorse locali e permettere gli utenti locali di accedere alla GRID. • CE (g. Lite 3. 1, lcg. CE) + BDII locale • SE • MON • UI • [Proxy Worker Node (SPAGO)] una DMZ dedicata, una Registration Authority Impegno risorse umane: 2 FTE G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Esperienza ENEA in EGEE (2) Osservazioni architetturali • g. Lite è un software complesso a “lasagna” frutto di processo di tipo “evolutivo” efficace ma poco “elegante”: porting difficile • L'architettura è poco flessibile: 1 CE per ogni risorsa omogenea • in generale non è chiaro perchè CE/SE/BDII/MON/. . debbano essere macchine distinte • Mancanza di supporto MPI & HOME su file system condiviso. • Accounting: problemi di riservatezza dei dati interni • Firewall/DMZ Il lato organizzativo: • Difficoltà di interazione e feedback con gli sviluppatori G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma

Verso IGI deve giustificare la propria esistenza in base a considerazioni di ottimizzazione dell'utilizzo delle risorse investite in un paese fortemente arretrato nel campo delle risorse per il calcolo avanzato – flessibilità di accesso e facilità di utilizzo di tutte le risorse – creazione di comunità per le applicazioni • deve essere una struttura di produzione orientata sia al calcolo distribuito che quello ad alte prestazioni • deve essere attraente per gli utenti ed i resource provider: semplicità e flessibilità del middleware • deve essere il contesto dove le esperienze nazionali nel campo del GRID computing possano portare contributi sia di infrastruttura ma anche architetturali. • deve analizzare/integrare i risultati l'evoluzione tecnologica in corso (CLOUDs? . . ) G. Bracco 26 -27/3/2009 IGI-TF-Progettazione, Roma