Consorzio Campano di Ricerca per lInformatica e lAutomazione

  • Slides: 57
Download presentation
Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO Monitoring All Grid Object Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 1/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 2/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 3/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI - Studio e competenze Ogni ricercatore del CRIAI è impegnato nello studio delle tecnologie ICT presenti nel mondo della ricerca e dell’industria, da quelle in fase di sviluppo a quelle in via di sperimentazione. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 4/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI – Analisi delle problematiche L’analisi delle problematiche su cui opera il CRIAI porta ad elaborare modelli e progettare soluzioni innovative Ø efficaci ed efficienti, Ø aderenti agli standard presenti, Ø integrabili agevolmente nelle infrastrutture tecnologiche Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 5/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI - Introduzione Il valore aggiunto offerto dal CRIAI nell’ambito della ricerca industriale è la capacità di progettare soluzioni architetturali basate sull’innovazione tecnologica derivante dalla ricerca di base che siano di prospettiva per i processi di industrializzazione Ricerca di base Università Portici - 12 dicembre 2007 CRIAI Anna Jannace a. jannace@criai. it Processi di Industrializzazione Industrie 6/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI – CRESCO Il CRIAI partecipa al PON 2000 -2006 “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione” Misura II. 2 “Società dell’Informazione per il Sistema Scientifico Meridionale” dell’ENEA nel progetto CRESCO (Centro computazionale di Ric. Erca sui Sistemi COmplessi) Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 7/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRESCO – ENEA Il Progetto ha come obiettivo la realizzazione, presso il Centro Ricerche ENEA di Portici (NA), di un importante Polo di calcolo multidisciplinare per lo studio dei sistemi complessi di natura biologica e tecnologica, collegato con facilities di elaborazione, archiviazione e visualizzazione 3 D di dati ubicate presso i Centri ENEA di Brindisi e Trisaia (MT). Sul piano delle applicazioni e dei contenuti scientifici, il Progetto si focalizza sulle seguenti linee d'attività: SP I - Implementazione di soluzioni innovative in tema di architetture di sistemi di calcolo e di GRID computing per le attività R&S di punta dell’ENEA che richiedano l’utilizzo di risorse computazionali estremamente importanti. Sul versante infrastrutturale il Progetto prevede la realizzazione di una piattaforma di calcolo di assoluta eccellenza in grado di erogare una potenza dell’ordine del Teraflop, corredata di una nuova classe di funzionalità GRID innovative; SP II - Studio di oggetti biologici dal punto di vista sistemico (in silico cell) e lo studio di sistemi naturali (comunità animali e sociali) secondo il paradigma dei sistemi complessi; SP III - Studio di sistemi tecnologici complessi e delle loro mutue interazioni, e la realizzazione di opportuni strumenti per il modelling, la simulazione e il controllo. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 8/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI – ENEA Il CRIAI è partner di ENEA nelle attività del SPI e del SPIII Nell’ambito del SPI per l’implementazione di soluzioni innovative in tema di architetture di sistemi di calcolo e di GRID computing, il CRIAI ha effettuato uno studio dei sistemi di monitoraggio per la realizzazione del sistema informativo delle risorse, secondo lo standard del GLUE Schema (http: //glueschema. forge. cnaf. infn. it/) Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 9/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 10/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI – Ganglia Dopo un’accurata fase di scouting è stato scelto il sistema di monitoraggio GANGLIA Il CRIAI ha messo a disposizione la propria rete come testbed del sistema di monitoraggio, costruito in modo da emulare le caratteristiche dell’infrastruttura dei nodi di calcolo ENEA nella quale il sistema andrà in produzione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 11/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente CRIAI - Ganglia Il CRIAI sta realizzando la sperimentazione controllando sia le metriche di default di Ganglia che misure aggiuntive opportunamente implementate Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 12/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Introduzione Ganglia è un sistema di monitoraggio distribuito che permette di controllare diversi parametri di un gruppo di nodi di calcolo, come: – carico del processore – uso della memoria – I/O – spazio disco –… Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 13/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Definizione Ganglia è un sistema di monitoraggio scalabile e distribuito per sistemi di calcolo ad alte prestazioni come i cluster ed i Grid. È basato su un disegno gerarchico destinato alle federazioni di cluster. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 14/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Tipo di comunicazione Poggia su un protocollo request/response per monitorare lo stato tra i cluster ed usa un albero di connessioni punto-punto attraverso i nodi rappresentativi dei clusters basato sul multicast per aggregare i loro stati. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 15/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Tecnologie usate Fa leva su tecnologie consolidate e diffuse quali : Ø XML per il trasporto dei dati Ø XDR per la portabilità dei dati Ø RRDtool per il salvataggio dei dati e visualizzazione grafica Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 16/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Vantaggi e potenzialità Usa strutture di dati ed algoritmi che realizzano un overhead molto basso su ciascun nodo e favoriscono l’alta concorrenza dell’insieme dei nodi. L'implementazione è robusta, portata ad un vasto insieme di sistemi operativi e di architetture di processori, ed è attualmente in uso su moltissimi cluster nel mondo. È stato usato per collegare cluster attraverso campus universitari ed intorno al mondo e può essere configurato per controllare cluster con una grande quantità di nodi. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 17/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Possibilità di utilizzo È un sistema apprezzato in ambienti linux / unix per gestire siti eterogenei e complessi. Può essere integrato in architetture GRID, come strumento di monitoraggio delle risorse distribuite (performance evaluation) o come strumento di supporto al bilanciamento di carico (capacity planning) Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 18/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - Architettura Il sistema Ganglia è costituito da: Ø un processo Ganglia Meta Daemon (gmetad) ad ogni nodo nell’albero di connessioni Ø un processo multi-thread (gmond) attivo su ciascun nodo del cluster che si vuole monitorare Ø un web frontend basato sul PHP Ø tool aggiuntivi Il sistema memorizza i dati in un database RRD (Round Robin Database) ed attraverso rrdtool visualizza i grafici richiesti dall’utente attraverso la web application. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 19/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - gmetad Il demone gmetad attivo sui nodi di ramificazione: Ø ottiene una collezione di dati ad intervalli predefiniti, dalle sorgenti dei suoi rami discendenti, Ø analizza l’XML collezionato, Ø salva tutte le metriche numeriche volatili nel database round-robin ed Ø esporta gli XML aggregati sulle socket TCP verso i client. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 20/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Ganglia - gmond esplica quattro funzionalità: Ø Ø monitorare i cambiamenti di stato negli host, annunciare i cambiamenti rilevanti, ascoltare lo stato di tutti gli altri nodi ganglia attraverso un canale unicast o multicast e rispondere alla richiesta con una descrizione XML dello stato del cluster. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 21/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 22/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO Si sta realizzando un sistema di monitoraggio dell’infrastruttura ENEA che si basa su Ganglia, ma è adattato alle specifiche esigenze e sfrutta tutte le potenzialità già presenti in ENEA-Grid, pur ponendosi in maniera trasversale rispetto ad esse Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 23/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – Monitoring All Grid Object MAGO che sta per “Monitoring All GRID Object” in sintesi gestisce Ø il monitoraggio delle risorse di ENEA-Grid Øed il caricamento del Database delle Risorse Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 24/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – Funzionalità Il sistema “MAGO: Monitoring All GRID Objects” indica il complesso delle varie funzionalità: Ø La memorizzazione di tutti i dati riguardanti le risorse disponibili nella rete di calcolo ENEA-Grid Ø Il monitoraggio di tutte le risorse della rete di calcolo ENEA-Grid Ø La comunicazione tra il database suddetto ed il sistema di ENEA-GRID Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 25/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – Componenti Ø Il sistema MAGO è costituito da vari componenti Web Application MAGO §Sign. On §MSetup §MMonitor §Menquiry Monitoring Complex §magoupdate. sh §MSite. Loader §MSite. Provider §MMaster. Loader §metric mago. sql MAGO System Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 26/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – Componenti Il sistema MAGO quindi si divide in: • MAGO Portici - 12 dicembre 2007 – – – WEB CORE DB Anna Jannace a. jannace@criai. it 27/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 28/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB Ø La parte WEB si compone di un Application Server e di una Web Application Ø Ø Un application server è un sistema software che fornisce l'infrastruttura e le funzionalità di supporto, sviluppo ed esecuzione di applicazioni e componenti server side in un contesto distribuito. Si tratta di un complesso di servizi orientati alla realizzazione di applicazioni per il web, multilivello ed enterprise, con alto grado di complessità. Una applicazione Web è una applicazione per Internet, a cui gli utenti accedono tramite un Web browser. Dal punto di vista del browser, l'interazione con una applicazione web è indistinguibile dall'accesso a un sito Web statico. Le pagine visualizzate dal browser, in questo caso, sono però generate dinamicamente dall'applicazione. La web application di MAGO è costruita secondo il pattern Model View Controller (MVC) Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 29/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – Application Server ØL’istanza tecnologica scelta per l’Application Server è JBoss Ø JBoss è un application server open source. E’ conforme a tutte le specifiche J 2 EE imposte dalla Sun Microsystems e può essere installato su tutte le piattaforme (compreso i mainframe AS 400 e OS 390) Ø Si tratta di un motore applicativo in grado di contenere e gestire applicazioni Web ed Enterprise scritte in Java secondo le specifiche J 2 EE. Ø L’utilizzo di questa tecnologia porta con sé il vantaggio di essere basato su standard e di supportare le ultime novità tecnologiche nell’ambito dello sviluppo java quali il motore di persistenza Hibernate e le specifiche Enterprise Java Bean (EJB ) 3. 0. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 30/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – JBoss L’installazione della distribuzione di JBoss per una architettura hardware (es. INTEL) crea una directory jboss-*(es. 4. 0. 4) che contiene gli script di start del server, JARs, i set di configurazione del server e le working directories Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 31/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – Integrazione JBoss e AFS Enea Ø Installazione del server JBoss su un PC dotato di sistema operativo Scientific Linux 4 e di un client AFS Ø Configurazione di JBoss in modo da estendere la pubblicazione delle sue applicazioni anche al sistema Enea. Grid Ø L’infrastruttura ENEA–Grid in questo modo è dotata di 2 tipi di server: • il web server Apache all’indirizzo www. afs. enea. it • l’application server JBoss ad un altro indirizzo IP (da definirsi) Ø In questo modo, richiamando da un browser, l’indirizzo: http: //indirizzo_IP_server_JBoss/Nome_Applicazione sarà possibile visualizzare qualunque applicazione web che si trova nella directory /afs/enea. it/…. /public_html Ø Si sottolinea che il web server Apache continua a funzionare secondo le attuali modalità di utilizzo, pubblicando le pagine HTML contenute in /afs/enea. it/…. /public_html Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 32/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – Integrazione JBoss e AFS Enea Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 33/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – User Interface La Web Application di MAGO fornisce una interfaccia utente che garantisce le seguenti funzionalità: Ø l’accesso al sistema mediante le credenziali dell’utente in ENEA-Grid (klog) Ø l’utilizzo delle potenzialità fornite dai sistemi AFS ed LSF già presenti nell’infrastruttura ENEA-Grid Ø l’aggiunta di ulteriori servizi e funzionalità tuttora non presenti in ENEA-Grid Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 34/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – User Interface: Login Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 35/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – User Interface: Home Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 36/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – User Interface – Componenti Attraverso un browser si possono utilizzare i seguenti componenti di MAGO: Ø MSetup che consente la configurazione del sistema di monitoraggio Ø MMonitor che consente la visualizzazione del monitoraggio globale con un opportuno sistema di allarmi Ø MEnquiry che consente la ricerca mirata nel DB di specifici dati monitorati richiesti Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 37/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – User Interface – MSetup Il sistema MAGO è stato progettato in maniera da monitorare un insieme globale di risorse eterogenee e distribuite, configurabili mediante il componente MSetup. Si sottolinea che l’insieme dei nodi di calcolo ENEA-Grid, attualmente gestiti mediante LSF, è una parte delle risorse considerate. Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 38/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – WEB – User Interface – MSetup Il componente MSetup: Ø Definisce ciascun SITO ENEA Ø Assegna a ciascun sito un insieme di HOST suddividendoli per gruppi multicast Ø Definisce ogni METRICA che si intende misurare Ø Definisce i RUOLI in base a gruppi di metriche e li assegna a gruppi di nodi, per facilitare la gestione di un numero elevato di risorse Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 39/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 40/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Architettura Il CORE del sistema MAGO è basato su un’architettura distribuita su tre livelli distinti ØLivello Portici - 12 dicembre 2007 Server Centrale Server di Sito Nodo Anna Jannace a. jannace@criai. it 41/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Portici - 12 dicembre 2007 Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Architettura Anna Jannace a. jannace@criai. it 42/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Server Centrale A livello di Server centrale si divide nei seguenti elementi: ØServer di monitoraggio di Ganglia ØDatabase delle Risorse ØComponente di caricamento del database: MMaster. Loader Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 43/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Server di Sito Ogni Server di sito ha i seguenti componenti: Ø Server di monitoraggio di Ganglia (gmetad) Ø Client-core di monitoraggio di Ganglia (gmond) Ø Componente di caricamento del database locale di sito: MSite. Loader Ø Componente di fornitura dei dati verso il Server centrale: MSite. Provider Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 44/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Nodo Ogni Nodo della rete ENEA-Grid ha i seguenti componenti: Ø Client di monitoraggio (gmond) sempre attivo come servizio ed esso fornisce le informazioni standard di Ganglia Ø Metriche addizionali che vengono raccolte tramite l'esecuzione di script e fanno uso di gmetric per passare l'informazione a gmond Ø Ambiente locale MAGO Ø Script-sonda generalizzato per tutti i nodi magoupdate. sh Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 45/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Gestione centralizzata La gestione dei nodi è progettata in modo da essere il più centralizzata possibile, avvalendosi attualmente del file system distribuito AFS di ENEA, ma estensibile ad altri diversi canali di comunicazione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 46/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Gestione centralizzata Ø Il componente script-sonda magoupdate è installato una sola volta su un server (in AFS e/o altro tipo) Ø Viene eseguito ad una cadenza temporale prestabilita in maniera automatizzata sulla lista di tutti nodi configurati da MSetup La conseguenza diretta di tale meccanismo è che il componente si auto-installa e si auto-aggiorna su tutti i nodi Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 47/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Gestione centralizzata del Nodo il componente magoupdate. sh posizionato in /afs/enea. it/project/cresco/LA 1/cresco_sp 12_criai/soft/mago esplica le seguenti funzionalità: Ø Verifica l'accessibilità ad AFS (se non è accessibile termina o provvede a ricevere le informazioni da canali alternativi) Ø Copia la versione aggiornata di magoupdate. sh (oppure se non ancora presente installa lo script) sul nodo Ø Copia da AFS sul nodo a) La lista delle metriche da misurare per il nodo stesso b) La tabella dei tempi di rilevazione delle misure per le metriche al punto a) c) Tutti gli script definiti nella lista al punto a) che effettuano le misure in locale sul nodo Ø Aggiorna il crontab locale dell' utente “mago” Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 48/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – CORE – Gestione centralizzata del Nodo Il componente in esecuzione sul singolo nodo per effetto diretto delle operazioni di copia delle metriche e di aggiornamento del crontab locale, genera le seguenti conseguenze: Ø Esecuzione dei rispettivi script secondo la tempistica stabilita dal crontab (cioè misura dei parametri sul nodo) Ø Accodamento del risultato ottenuto da ciascuno script a gmond (Ganglia) mediante gmetric Ø Invio automatico, grazie all’esecuzione di gmond, del file XML di Ganglia sulla porta 8649 (default) contenente anche i valori delle metriche aggiunte ed eseguite Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 49/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 50/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – DB Database generale delle risorse di ENEA-Grid implementato con My. SQL, e presente fisicamente sul server centrale dedicato Tale database contiene sia le tabelle statiche di configurazione che vengono caricate da MSetup ed utilizzate dagli altri componenti del sistema, sia le tabelle dinamiche contenenti i dati aggiornati dell’intera infrastruttura di monitoraggio Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 51/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Portici - 12 dicembre 2007 Ente per le Nuove tecnologie, l'Energia e l'Ambiente MAGO – DB – Visione globale Anna Jannace a. jannace@criai. it 52/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Agenda • Agenda • Ruolo del CRIAI in ENEA-CRESCO • Ganglia • MAGO-WEB • MAGO-CORE • MAGO-DB • Conclusione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 53/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Conclusione Il sistema descritto è attualmente in fase di implementazione da parte del CRIAI nell’ambito delle attività SPI. 2 del progetto PON CRESCO di Enea Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 54/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Conclusione Le attività realizzate finora sono: Ø Studio di scouting sui sistemi di monitoraggio e scelta di Ganglia (100%)(rif. OR 1) Ø Sperimentazione ed installazione di Ganglia sul testbed CRIAI(100%)(rif. OR 2) Ø Installazione demone gmond su campione di differenti piattaforme disponibili in ENEA-Portici (60%)(rif. OR 2) Ø Progettazione e stesura relativa documentazione del sistema MAGO (80%)(rif. OR 2) Ø Implementazione MAGO-WEB (50%)(rif. OR 3) Ø Implementazione MAGO-CORE (50%)(rif. OR 3) Ø Implementazione MAGO-DB (100%)(rif. OR 1) Ø Installazione sistema in ambiente di produzione (0%)(rif. OR 3) Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 55/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Conclusione Le soluzioni applicative descritte verranno predisposte per il sistema MAGO ma potranno essere riutilizzate ed estese nell’infrastruttura ENEA-Grid per ogni ulteriore realizzazione che si vorrà effettuare Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 56/57

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r.

Consorzio Campano di Ricerca per l’Informatica e l’Automazione Industriale – S. c. a. r. l. Ente per le Nuove tecnologie, l'Energia e l'Ambiente Conclusione Domande? Grazie per la cortese attenzione Portici - 12 dicembre 2007 Anna Jannace a. jannace@criai. it 57/57