Utilizzo delle risorse una overview Tommaso 29012022 Outline

Utilizzo delle risorse - una overview Tommaso 29/01/2022

Outline n In questa parte del corso n Presentiamo in modo veloce le caratteristiche della GRID n n n Domani focus sugli aspetti specifici; oggi solo quello che serve per capire cosa abbiamo a Pisa Presentiamo l’implementazione della GRID a Pisa Presentiamo le possibilita’ offerte da GRID in un ambiente pesantemente multi utente 29/01/2022 2

Cosa e’ Grid n Wiki. Pedia n n “The creation of a "virtual supercomputer" by using a network of geographically dispersed computers” Un po’ meglio: • It's an aggregation of geographically dispersed computing, storage, and network resources, coordinated to deliver improved performance, higher quality of service, better utilization, and easier access to data. • It enables virtual, collaborative organizations, sharing applications and data in an open, heterogeneous environment. 29/01/2022 3

Come mai GRID? n n Nome scelto per analogia con la “power grid” (la rete di distribuzione elettrica) Esattamente come quando attaccate la spina della TV n n n Non sapete da dove arrivi la corrente che usate Non sapete che processo fisico l’abbia creata E soprattutto, non VOLETE saperlo Sapete che, anche se prodotta in un altro continente, verra’ correttamente fatturata a voi Sapete che avete diritto per contratto ad una certa quantita’ - vi aspettate di poterlo usare n Se non funziona, avete un sistema di supporto che vi aiuta 29/01/2022 4

Mobile Access G R I D Workstation M I D D L E W A R E Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Visualising Internet, networks 29/01/2022 5

� n Altri, aspetti, sono invece non in analogia con la power grid� n n Se ci sono computer non utilizzati, vi viene permesso l’accesso (in casa non potete usare 3 MW se avanzano all’ENEL!) Se “avanzano” computer in Australia, probabilmente ve li faranno usare 29/01/2022 6

In breve - Per gli utenti n Vantaggi n n n Una unica tecnologia da imparare. Se un job gira a Pisa, gira anche a Taiwan senza bisogno di cambiare una riga Non e’ necessario conoscere le caratteristiche del sito dove si gira. La Grid serve da layer standard e abbatte le differenze Grossi enti di ricerca (INFN) stanno spostando tutto il calcolo scientifico “generico” su Grid n Probabilmente non otterrete risorse di calcolo se non via Grid 29/01/2022 n Un singolo utente puo’ utilizzare le risorse della Grid _anche senza contribuire finanziariamente_ n n Naturalmente guesto non e’ garantito, e’ solo best effort In pratica, la Grid europea al momento non e’ satura, e tipicamente e’ possibile per un utente avere un centinaio di jobs in esecuzione Esiste un sistema di supporto gerarchico che offre un supporto generalmente di buon livello Le farm sotto Grid sono sottoposte ogni ora a jobs che ne verificano il funzionamente. Tipicamente una farm Grid soffre meno di problemi di misconfigurazione grave 7

n Svantaggi n n n Un po’ di tempo e’ necessario per iscriversi alla Grid (burocrazia) Un po’ di tempo e’ necessario per passare dal job che girate ora a uno sotto Grid. Questo NON e’ piu’ difficile che cambiare tipo di sistema batch E’ necessario capire come funzionano il supporto e il monitoring Per grosse esigenze da calcolo, non e’ alla fine possibile un uso opportunistico della Grid - servono accordi e contatti con almeno un sito L’ambiente Grid pone alcune limitazioni ai jobs - vedi dopo 29/01/2022 8

Per il centro di calcolo n Vantaggi: n n n Una singola farm serve tutti gli utenti - non piu’ farm di esperimento Piattaforma unica in tutto il mondo - non esiste problema che non sia stato affrontato e risolto altrove Visibilita’ La maggior parte dei problemi di sw vengono scoperti dai jobs di test Il supporto suggerisce spesso soluzioni, olter a segnalare problemi 29/01/2022 n n n Il centro di calcolo e’ meno sottoposto a richieste di aiuto degli utenti - c’e’ il supporto globale che fa da filtro Esistono corsi per sistemisti, per aiutarli a gestire/installare Grid ha gia’ molti tool di monitoring; minore necessita’ di produrseli in casa Grid e’ “di moda”. Grandi aziende di hardware possono essere interessate a partecipare alla realizzazione del sito L’INFN “vuole” che usiamo Grid 9

n Svantaggi: n n n Poco controllo di cosa giri sulla farm (ma e’ un problema? ) Gestire alcuni passi burocratici (certificati ecc) Alcune imposizioni dalla Grid n Non posso (e’ meglio se non) usare Ubuntu Linux n n n Puo’ essere un problema su hardware troppo nuovo Modello di storage imposto da Grid Necessita’ di gestire I contatti con I regional centers 29/01/2022 10

n Tutto questo sara’ spiegato con piu’ dettaglio domani n Ora concentriamoci sulla situazione di Pisa, che come visto prima e’ abbastanza diversa n Almeno al momento, c’e’ CPU locale disponibile n n Non serve andare a cercarla in Australia Ci sono gruppi di lavoro (INFN, Dip, Sns) abituati a lavorare con soddisfazione su farm di esperimento - perche’ dovrebbero cambiare? 29/01/2022 11

Grid a Pisa - perche’? n Lato centro di calcolo n n n Il centro di calcolo non ha la forza di gestire N farm di esperimento Un’unica infrastruttura per tutto il calcolo scientifico Un riferimento per il supporto sistemistico del sw n E’il solo modo di utilizzare efficientemente le risorse di calcolo n n Pisa e’ un centro di calcolo gia’ approvato Tier 2 per CMS - che funziona via Grid n 29/01/2022 Pochi utenti hanno bisogno di calcolo continuativo, quasi tutti usano molto calcolo per piccole parti dell’anno Quindi l’infrastruttura c’e’ tutta, e CMS aiuta a gestirla 12

Grid a Pisa - perche’? n Lato utenti n n E’ l’unico modo in cui si e’ deciso di rendere disponibili le risorse gia’ presenti e quelle che arriveranno in futuro sia dal T 2 di CMS sia da partnership industriali Per jobs semplici (simulazioni scritte in casa) apre la strada alle risorse mondiali 29/01/2022 n Non ci sono enormi limitazioni rispetto alla farm dedicata n n n Vedere dopo piu’ dettagli In particolare, la divisione delle priorita’puo’ essere fatta con tutta la granularita’ necessaria Troverete molto piu’ supporto per problemi e domande rispetto a quello che le risorse umane locali permettono 13

La Grid in breve n Per potervi descrivere l’implementazione della Grid sul centro di calcolo di Pisa, e’ necessario avere un’idea riguardo ai concetti fondamentali 29/01/2022 14

Grid vs una farm normale n In una farm normale avreste n n Dei nodi di calcolo Dello storage Un sistema che gestisca I nodi di calcolo Una o piu’ macchine da cui mandare I jobs e rivecere il risultato CERN Computing facility lxbatch. XXX /castor, tapes … Il master di LSF lxplus. XXX 29/01/2022 15

In Grid n n Nodi di Calcolo: “Worker Nodes” (WN) Storage: “Storage Element” (SE) Master della coda: “Computing Element” (CE) Macchine interattive: “User Interfaces” (UI) n Puo’ addirittura essere il tuo desktop 29/01/2022 Visibili al mondo CE WN WN UI SE WN WN WN Invisibili al mondo 16

n n Dal punto di vista dell’utente, una farm e’ come una singola macchina (il CE), con N processori (la somma di quelli dei WN), e con il disco dell’SE n n n In realta’, come detto, un utente puo’ mandare un job in tutti I siti del mondo n n Serve un livello in piu’; I jobs non vengono mandati direttamente a Pisa 29/01/2022 Il job non viene tipicamente mandato al CE direttamente, ma ad un server centrale (ma non unico) che poi decide dove mandarlo n Sulla base delle vostre richieste (“voglio girare a Pisa”) Sulla base del sito migliore (quello piu’ libero, quello con le CPU piu’ veloci) Sulla base di altre richieste specifiche (“voglio girare in un sito dove siano gia’ presenti localmente I dati XYZ”) RB: “Resource Broker” 17

Vero flusso di informazioni (e’ una semplificazione) 1. 2. 3. 4. 5. Da una UI sottomettete il Job all’RB L’RB, consultando altri servizi di cui sentirete parlare domani, decide dove mandarlo (quale CE) Il job arriva sul CE e gira; eventualmente accedendo ai dati sull’SE Il risultato (output) torna all’RB Dalla UI scaricate l’output 29/01/2022 18

Cosa dovete fare per usare le risorse? (step 1) Come per l’esempio di prima riguardo al CERN, il primo step e’ “ottenere un account sulla Grid” n In questo caso NON e’ un account su una macchina unix, ma un certificato X 509 n n n Domani si parlera’ di security Operativamente, e’ composto da una coppia chiave pubblica / chiave privata rilasciata da un’autorita’ centrale INFN 29/01/2022 19

n Dovete rivolgervi alla vostra Registration Authority locale (RA) n Se siete dipendenti/borsisti INFN o associati INFN silvia. arezzini@pi. infn. it n enrico. mazzoni@pi. infn. it n n Se siete dip/borsisti/dott/laureandi Dip. di Fisica n n Se siete dip/borsisti/dott/laureandi Sns n n davini@df. unipi. it l. pileggi@sns. it Da loro avrete informazioni su come fare ad ottenerlo (ci vogliono 48/72 ore in media…) 29/01/2022 20

Non basta! (step 2) Una volta ottenuto un certificato, non e’ finita n Esattamente come in Unix il vostro account appartiene ad un gruppo (cms, atlas, babar, …), nella Grid dovete ottenere le credenziali di un “gruppo” n n Nel linguaggio di Grid, un “gruppo” si chiama “Virtual Organization” (VO) 29/01/2022 21

VOs n n n Ogni VO ha un “VO manager” che ammette utenti (certificandone il diritto di appartenere a quella VO) Gli esperimenti grandi hanno VO specifiche (cms, babar, etc) Gli altri gruppi sono divisi per categorie Theophys n Biomed n Compchem n … 29/01/2022 n VO attualmente attive a Pisa: atlas alice lhcb cms dteam ops bio enea inaf planck biomed infngrid theophys esr cdf ingv virgo babar compchem gridit magic zeus argo pamela libi egrid cyclops compassit 22

Quindi … n Quando un job utente atterra su un CE, il CE ne riconosce il gruppo e Esempio: gli utenti della VO tramite la coda batch locale, puo’ prioritizzare babar hanno diritto al 20% delle risorse, I theophys 10% le risorse. ecc n Pisa: usiamo LSF per sottomettere jobs dal CE ai WN Questo permette una granularita’ a livello di gruppo della 29/01/2022 prioritizzazione n 23

Naturalmente… n Questo NON basterebbe e NON sarebbe adatto ai nostri scopi: n n n Due utenti della VO theophys (un pisano e un australiano) avrebbero la stessa priorita’ Due pisani teorici (un HEP, uno strutturista) avrebbero la stessa priorita’ Serve una prioritizzazione piu’ fine 29/01/2022 24

VOMS n VO Membership Service permette la gestione fine degli utenti delle VO n n Definisce gruppi e ruoli (oggi non distinguiamo) La VO puo’ definire dei ruoli specifici al suo interno n n n n theophys/fisicipisani Theophys/fisicipisani/sns Theophys/fisicialteenergie Theophys/fisicipisani/dipcorridoioadestra Theophys (senza ruolo, probabilmente il nostro amico teorico australiano!) Ecc ecc Il CE quando riceve la richiesta di processare un job, puo’ accedere a questa informazione e agire di conseguenza: 29/01/2022 25

n 20% a babar n n di questo 20%, 90% a babar/produzioneufficiale, il resto agli utenti generici 10% a theophys n Di questo, 80% ai fisicipisani, 19% a quelli del corridoio di destra, 1% agli australiani (per gentilezza, tipicamente non si chiude fuori completamente il resto del mondo) n Una nota: una persona puo’ appartenere a piu’ ruoli, e decidere al momento di mandare I jobs come identificarsi n E quindi di quale gruppo acquisire le priorita’ / a quale gruppo far “pagare” il tempo di calcolo 29/01/2022 26

Come e’ configurato LSF n Usiamo modello fairshare: n n Ogni gruppo di utenti (nel senso appena descritto) ha diritto in media ad una certa fetta del calcolo Nel caso di farm scarica, chiunque puo’ occupare tutta la farm n n Vantaggio: uso ottimale delle risorse, tipicamente la farm e’ usata ~ 70% (spesso da utenti occasionali da fuori, che sulla carta avrebbero priorita’ infima) Svantaggio: un gruppo ottiene la sua frazione di calcolo “in media” (~ sulle 36 ore) n 29/01/2022 E’ possibile che un utente anche molto privilegiato rimanga in coda fino a che uno slot non si libera n > 1000 slot, in media un job finisce ogni minuto … Job blu: in coda Blu = 0 -> risorse libere 27

Cosa succede adesso n Abbiamo un monitoring interno dell’uso delle risorse: qui n In generale, le priorita’ sono definite per VO con successive prioritizzazioni fra I ruoli della stessa VO 29/01/2022 28

Sembra ok n n Parlando con gli utenti almeno di INFN e Dip, non questo modello di prioritizzazione NON sembra essere limitante Una “scocciatura” e’ che la creazione di ruoli/gruppi NON va fatta a Pisa, ma richiesta ai vari VO managers Ma una volta per tutte … 29/01/2022 n 29

Usare la farm - step 3 n n Loggarsi su una UI Possibilita’: n n Su ogni macchina SLC 4 con AFS, basta fare il source di /afs/cern. ch/project/gd/LCGshare/current_3. 1/etc/profile. d/grid_env. [sh|csh] Cmsui 4. pi. infn. it e’ aperta a tutti gli account AFSPi. infn. it (macchina di CMS ma aperta a tutti per il momento - da NON usare per girare in interattivo!) n n Anche qui, dopo il login, fate source /etc/profile. d/ui. [sh|csh] In Scuola Normale c’e’: pbs 03. sns. it A breve una nuova macchina di Sezione sara’ preparata (verosimilmente identica a cmsui 4, ma non di cms) Lo stesso per il Dipartimento 29/01/2022 30

Step 4 Sarebbe “come preparare e lanciare un job” n Questo lo vediamo domani, per il momento: n n Vorrei chiarire un paio di limitazioni on cui potreste incorrere nel fare il porting dei vostri jobs 29/01/2022 31

Un job che giri sull grid… n Come detto piu’ volte, l’ambiente Grid deve per disegno essere uniforme in tutti I siti, per garantire che un job possa girare dovunque senza test specifici sito per sito n Questa uniformita’ e’ necessariamente “verso il basso” e puo’ essere a volte una “scocciatura” quando si debbano portare dei jobs da farm private; in particolare la limitazione piu’ sentita e’ la mancanza di una area dati comune (accessibile con cp, ls) fra UI e fra tutti I WN 29/01/2022 32

Cioe’… Se vi servono dei dati/librerie/eseguibili sulla macchina che esegue il job, il job stesso deve metterceli n Lo stesso per gli eventuali output del job: se li lasciate sulla macchina che esegue il job, sono persi n n Vediamo quali soluzioni ci sono … 29/01/2022 33

Files necessari ai jobs 1. I files necessari al job (dati, librerie ecc) possono essere _mandati_ insieme al job (“Input Sandbox”) n n 2. Se mandate 1000 jobs sugli stessi dati, li copiate 1000 volte La sandbox non dovrebbe essere usata per oggetti > 100 MB I files necessari al job possono essere preventivamente copiati su un SE e da li’ presi dal job 1. Essenzialmente la cosa migliore … 29/01/2022 34

Modo 1 vs Modo 2 CERN RB RB x 1000 Pisa UI UI x 1 Pisa x 1000 SE 29/01/2022 WN WN SE CE x 1000 WN WN CE 35

n Lo stesso vale per l’output n Se e’ piccolo, potete farvelo rimandare indietro n n n “output sandbox” Se e’ grande, meglio metterlo su uno SE Per il software: (eseguibili, librerie, etc) n n Si possono usare gli stessi metodi C’e’ una strada in piu’: installazione centralizzata 29/01/2022 36

VO-specific n n n Ogni VO ha un’area software condivisa all’interno della farm, in cui mettere il software della VO Questa area NON e’ scrivibile dall’utente generico, si puo’ solo leggere Questa area e’ scrivibile da un utente provilegiato della VO, nominato dal VO manager n n Solo software di interesse per una grande parte della VO sono messi li’… Come funzioni e’ chiaro per le VO a singolo esperimento (cms, babar…); per quelle generiche non mi e’ molto chiaro n Contattare il VO manager per informazioni 29/01/2022 37

Cosa c’e’ a Pisa attualmente n n UI: gia’ detto prima CE: n n n Gridce. pi. infn. it: in dismissione, serve una farm con Scientific Linux Cern 3, 32 bit - da non usare Gridce 2. pi. infn. it: serve tutte le risorse vere; Scientific Linux Cern 4 a 64 bit - utilizzabile anche a 32 bit SE: n Gridse. pi. infn. it: storage element classico, da usare solo per test (_poco_ spazio disco ~ 10 GB) 29/01/2022 n n Cmsdcache. X. pi. infn. it: storage element evoluto da ~ 20 TB di CMS ma aperto a tutti per _piccoli_ test A breve uno SE per tutti gli altri con n Un po’ di spazio disco offerto a tutti La possibilita’ per ogni gruppo di montare dischi di esperimento e di farli cosi’ vedere via SE Attenzione: questo e’ ok per utilizzo generico, non se uno ha bisogno di uno storage a alte prestazioni e’ un problema completamente diverso 38

Nei prossimi 2 giorni n Domani n Andrea: n n n Simone n n n Sicurezza (I certificati!) WMS (come mandare jobs!) n Dopodomani n Federico: n Come passare da un job che gia’ gira su una farm locale ad un job grid - e lanciarlo in Australia! Storage (come usare gli SE) Information System (navigare nella Grid mondiale - e capirci qualcosa) Due esempi: CMS e ATLAS 29/01/2022 39

� 29/01/2022 40

Referenze n LCG (la Grid che usiamo) n n http: //lcg. web. cern. ch/LCG/Users/support. html 29/01/2022 41

n Monitoring delle risorse n n n n Risorse utilizzate a Pisa qui e qui Risorse della Grid italiana qui Risorse della Grid mondiale qui Stato delle risorse pisane: qui e qui Stato dell’installazione Grid a Pisa: qui Storia dei job di certificazione della Grid: qui Stato della Grid mondiale: qui 29/01/2022 42

n Supporto n n GGUS (entry point del sistema di supporto) Grid-it (centro regionale italiano) 29/01/2022 43