Workshop della Commissione Calcolo e Reti 28 Maggio

Workshop della Commissione Calcolo e Reti 28 Maggio 2013 Federazione di risorse Cloud con CLEVER 1

Interoperabilità tra clouds L’ interoperabilità è la capacità di comunicare, eseguire programmi, o trasferire dati tra diverse unità funzionali in un modo che l'utente richiedente abbia poca o nessuna conoscenza delle caratteristiche di tali unità (Information Technology Vocabulary, Fundamental Terms). La possibilità di migrare o utilizzare risorse federate comporta però la necessità di affrontare standard di comunicazione eterogenei (look-in proprietari). 2

Obiettivi Creazione di ambienti virtuali on-demand per applicazioni scientifiche e servizi Utilizzo di risorse di calcolo e rete già disponibili Rendere CLEVER interoperabile con altri middleware cloud implementando la federazione. Dare la possibilità a soggetti federati di migrare geograficamente servizi in downtime 3

CLEVER Cloud-Enabled Virtual Envi. Ronment Sistema ad Agenti Plugin based sviluppato in java Particolare sistema di comunicazione basato su XMPP Non richiede installazione Non richiede permessi di root Supporta i maggiori hypervisor Adesso supporta l’integrazione di middleware cloud esterni attraverso OCCI e RESTful. 4

Architettura di CLEVER 5

Comunicazione in CLEVER 6

CHAIN-REDS (Co-ordination & Harmonisation of Advanced e-Infrastructures for Research and Education Data Sharing) è la prosecuzione del progetto CHAIN Uno degli argomenti del progetto è testare la possibilità di federare risorse su scala geografica a supporto delle VRC È stato definito lo sviluppo di un testbed basato su CLEVER per testare alcuni semplici use-case Il progetto cerca di basarsi quanto più possibile su standards Nel caso del cloud computing lo standard preso come riferimento è OCCI 7

Partecipanti alla cloud distribuita CIEMAT 2 siti Spagna Iisans Bratislava (EGI) Iulich supercomputing center (EGI) GRNET Okeanos INFN Openstack e Open. Nebula Catania Cti espol Ecuador lmf-SRFG Austria 8

Open Cloud Computing Interface Un contributo alla standardizzazione per l’interazione tra i vari sistemi di cloud sta avvenendo attraverso lo standard OCCI (Open Cloud Computing Interface) OCCI fornisce una API per l'interazione e l'utilizzo delle funzionalità del middleware sottostante. Attraverso OCCI è stato sviluppato il modulo di interoperabilità Cloud Manager Grazie alla modularità di CLEVER è possibile implementare lo stesso modulo anche con altri sistemi di comunicazione 9

Scenari per la federazione Open. Stack Spagna Sistema di federazione Amazon USA Open. Nebula Italia Open. Stack Austria 10

Requirements Richiesta interfaccia OCCI verso i partner Gestione dell’autenticazione, che non è prevista dallo standard Attualmente storage replicato Integrazione con no. VNC Testbed con siti esteri <configuration> <server>xxx</server> <port. Token>35357</port. Token> <port. OCCI>8787</port. OCCI> <tenant>xxx</tenant> <username>xxx</username> <password>xxx</password> </configuration> 11

Testbed con My. Cloud A P I i oc My. Cloud occ ci Nodi Clever nativi openstack. ceta-ciemat. es 12

Cloud manager La nostra proposta consiste nel modificare l'Host Manager in modo che il nuovo elemento gestirà un sistema remoto in modo simile a un nodo di calcolo. Questo approccio permette di integrare all’interno della struttura di CLEVER una intera cloud remota rendendola pienamente trusted. L’utente vedrà le risorse locali e remote in maniera omogenea. 13

Cloud manager Una volta recuperati i parametri indispensabili all'avvio della macchina virtuale, il CM invoca l’esecuzione della VM attraverso lo standard OCCI e viene restituito lo stato dell'operazione e l'identificativo della macchina virtuale che verrà salvato nel database SEDNA di CLEVER. Se tale operazione va a buon fine la macchina virtuale sarà avviata e sarà possibile entrare sulla VM partita attraverso SSH o VNC 14

Cloud Manager 15

Federazione in azione 16

Drag & drop Deploy delle vm attraverso drag & drop 18

Workflow di My. Cloud VM Market Place My. Cloud Node of cloud m/w 1 on site X Basic VM 1 Basic VM 2 Node of cloud m/w 2 on site Y VRC 1 VM 1 VRC 1 VM 2 Node of cloud m/w 3 on site Z VRC 2 VM 1 VRC 2 VM 2 19

Accesso VNC e ssh 20

Conclusioni La federazione con sistemi cloud remoti permette virtualmente di incrementare le risorse di calcolo del proprio datacenter on-demand semplicemente facendo partire i servizi che fanno da bridge verso le risorse esterne. E’ stata mostrata l’integrazione di My. Cloud con gli Science Gateways. E’ stata mostrata la gestione delle risorse locali e remote in maniera omogenea e trasparente. 21

Sviluppi futuri Testing della soluzione proposta su un ampio numero di macchine valutandone la Qo. S, la gestione dei fautl ed ottimizzandone le prestazioni per ambienti di ricerca che fanno uso massivo di dati di I/O e risorse di calcolo come l’INFN Utilizzo di altri standard di comunicazione per sistemi cloud tra cui sicuramente Amanzon EC 2 22

Grazie per l’attenzione 23