PRIN Roma 1 status Luciano Barone Alessandro De
PRIN Roma 1 – status Luciano Barone, Alessandro De Salvo 12 -11 -2015 A. De Salvo – 12 novembre 2015
Rendicontazione § Contributo totale 72800 euro, di cui § 50422 euro per un assegno di ricerca di 1+1 anno, in scadenza il 31/12/2015 § ~3400 euro non rendicontati (1 desktop, 1 laptop, missioni interne) § ~18000 euro in avanzo (previsti in origine per acquisto hw poi non esercitato) Bari 12 -11 -2015 Luciano M. Barone - Sapienza Roma 2
Data access [1] § Attività svolta nel primo anno, con misure di performance nell’accesso ai dati su diversi filesystem (NFS, ext 3, gluster), senza e con d. Cache, con file e blocksize di diverso tipo, a livello di sistema e di root, e con uso di PROOF Bari 12 -11 -2015 Luciano M. Barone - Sapienza Roma 2
Data access (2) § Risultati § tempo aggregato di accesso a file > 2 GB ottimale in d. Cache, tempo diretto di accesso ottimale con ext 3 (ovviamente), Gluster sfavorito § uso di Workers in PROOF satura il throughput per Nw > 40 sia in d. Cache in Gluster, molto prima con ext 3 § molti altri dati disponibili in report Bari 12 -11 -2015 Luciano M. Barone - Sapienza Roma 2
Cloud facilities @ Roma 1 § Cloud Computing per servizi o elaborazione dati § Due sistemi di cloud separati (uno di produzione e uno di development) con Open. Stack Ice. House e Kilo § VLAN-based § Network node connessioni a 10 Gbps § Compute nodes connessioni a 1 Gbps § Infrastruttura condivisa di storage basata su gluster (3. 7) § Accesso standard via FUSE § Accesso privilegiato tramite libgfapi, pieno supporto in Open. Stack tramite i volumi cinder § Lo storage gluster è ulteriormente condiviso con la sede di Napoli, con replica sincrona via WAN (vedi il talk di Napoli sul prototipo di Tier 2 distribuito) § Prototipo di cluster Ceph, in fase di test 5
Cloud facilities @ Roma 1 [2] o. Virt 6
Infrastruttura di base e storage § Gestione integrata delle macchine tramite Foreman/Puppet § Istanza di Foreman/Puppet centrale, usata sia per le macchine reali che per le macchine nella cloud § Contestualizzazione delle macchine tramite cloud-init e Foreman/Puppet § Test con alcuni sistemi di deployment automatico diverso § Staypuft (Foreman installer): fallito, prodotto ancora non stabile § Ansible/Kollaglue (Open. Stack in Docker): in fase di test § Packstack § Puppet § Storage per lo più basato su Gluster § SAN dedicata da 40 TB § Gluster 3. 7 / nfs-ganesha § Condivisa con i servizi di o. Virt 7
Tier 2 Distribuito NA-RM § Lo storage locale è stato connesso parzialmente ad una macchina analoga a Napoli, tramite Gluster. FS § Replica sincrona dei dati su VLAN dedicata punto-punto § Simulzione di centri distanti O(1000) km e fine tuning dei filesystem e di Gluster. FS per sopportare alte latenze § Live migration di VM da un centro ad un altro (wire-speed solo RAM), utilizzando la replica sincrona e lo storage distribuito § Configurazione Gluster. FS multi homed (multi-IP) per essere utilizzata allo stesso momento su VLAN different e IP diversi sugli stessi server, a seconda delle storage area necessarie § Preparazione all’estensione della Cloud già presente a Roma al Tier-2 distribuito 8
Sistemi in HA e monitoring § Database § Basato su Percona Xtra. DB § Cluster in produzione con replica in WAN § Servizi critici in HA § Controller della Cloud in VM ospitata in o. Virt, configurata in HA § Altri servizi critici Grid e di esperimento (splitter di calibrazione, ATLAS Installation System, testbed di DPM, …) ospitati in o. Virt in configurazione HA e con storage condiviso (glance) con Open. Stack § Altri servizi più dinamici (WN, UI, Squid) ed “elasticizzabili” ospitati nella Cloud § Monitoring § Standard Nagios/Ganglia per i servizi nelle VM della cloud e per gli hypervisor § Introduzione di ELK (Elasticsearch-Logstash-Kibana) per l’analisi dei log § Host di ELK in o. Virt, servizi in HA 9
Sviluppi futuri sulla Cloud § Storage § Introduzione di CEPH ed estensione/test anche al Tier 2 distribuito § Infrastruttura di cloud § Ulteriori studi con LBaa. S e Auto. Scaling verso il basso § Estensione della cloud mono-cella e poi multi-cella al Tier-2 distribuito 10
- Slides: 10