Bevezets az eurpai s magyar Grid rendszerekbe Sipos
Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium www. lpds. sztaki. hu sipos@sztaki. hu
Mi az a Grid? ● ● A Grid számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Ezek az erőforrások heterogének Földrajzilag elosztottak és tipikusan Internettel vannak összekötve Igény szerint (on-demand) érhetők el Grid Internet
Miért használnak Gridet? ● A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy • Csökkentse a feldolgozási időt • Elérjen speciális készülékeket, adatokat, szoftvereket • Együttműködjön másokkal Internet
Tipikus Grid alkalmazási területek • Nagy számítási kapacitást igénylő alkalmazások • Nagy teljesítményű számítás (High Performance Computing) • Egyetlen párhuzamos program végrehajtási idejét lerövidíteni • Nagy áteresztőképességű számítás (High Throughtput Computing) • Minél több hasonló méretű, egymástól független programot lefuttatni egységnyi idő alatt • Nagy adathalmazokkal dolgozó alkalmazások • Akár több adatbázis, tudásbázis együttes bevonása • Kollaboratív csoport munka • Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása
Large Hidron Collider, CERN, Genf LHC Grid ATLAS CMS ~ 40 millió részecskeütközés mp-enként 15 Peta. Byte adat / év ~103 analízist végző fizikus LHCb
Példa: Rolls Royce repülőgép motorok 1 Gb adat / repülő / út ● ● Valós idejü adatletöltés a bázis repülőtérre Összehasonlítás korábbi adatokkal ● ● Elemzés, analizálás ● ● Keresés több repter adataiban Számítás elosztott architektúrán Kiszolgáló személyzet felkészítése a gép érkezésére
Példa: Orvosi képfeldolgozás • • ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 g. Byte / paciens 5 paciens / nap Push images in the workflow . . . Image + metadata Adat katalógus Kép Metaadatok Eredmények. . .
További példák • In silico gyógyszerkutatás – molekula szimulációk, alkalmatlan vegyületek kiszűrése • Földtudományok, űrkutatás – szatellit és távcső képek megosztása, elemzése • Időjárás előrejelzés – adatbegyűjtés, modellválasztás, szimulációk, összegzés • Mérnöki tudományok – épületek, közlekedési eszközök szimulációja • Archeologia – digitális archivumok létrehozása és megosztása, szimulációk futtatása
Miért célszerű erre Grid rendszert használni? • Az ilyen tipusú problémák többségére 5 -10 éve még szuperszámítógépeket használtak • Ma Grid rendszert használnak • Az okok: • A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül • Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását • Elosztott erőforrásokat integrál • Rugalmas hozzáférést tesz lehetővé
Grid vízió Mobil hozzáférés Munkaállomás Megjelenítés G R I D M I D D L E W A R E PCk, klaszterek, szuperszámítógépek Adat tárolók, szenzorok, berendezések Hálózatok, Internet
Megoldandó problémák ● Erőforrások egységes elérése ● ● ● Számítógépek Tárolóeszközök Speciális eszközök Szoftverek Hozzáférés szabályozás Terheléselosztás Erőforrások állapotának monitorozása Alkalmazások monitorozása Hibakezelés Alkalmazási metodika, programozási koncepció. . .
Ha az általános grid vízió ez, akkor. . . … hol vagyunk most?
Általános Grid modell Szabad kapacitás kiajánlása Intézet 1 Intézet 2 Intézet 4 Internet Kapacitás igénylés Intézet 3
A Grid két szereplője • Erőforrás felajánlók (donorok) = D • Erőforrás felhasználók = H • A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: • Ha H ~ D általános Grid modell • Ha H >> D szolgáltatói Grid modell • Ha H << D desktop Grid modell
Általános Grid modell jellemzői • Bárki felajánlhat erőforrást • Heterogén erőforrások, amik dinamikusan jönnek, mennek • Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására • Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: H~D
Szolgáltatói Grid modell Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kutatóhely 2 Kutatóhely 1 Donor és Felhasználó 1 Internet Kapacitásigénylés dinamikusan Donor és Felhasználó N
Szolgáltatói Grid modell jellemzői • Csak “professzionális” szolgáltatók ajánlhatnak fel erőforrást • Homogén erőforrások • Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására • Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás-donorok és használók között: H >> D
Szolgáltatói Grid példa: EGEE gridben részt vevő ország ● ● ● ● A világ legnagyobb multi-disciplináris gridje > 250 intézet 51 országból ~ 68 000 processzor ~ 20 PB tárolókapacitás (20 millió GByte) 150. 000 job/nap > 200 Virtuális Közösség ~ 1000 ember dolgozik rajta és vele g. Lite middleware fut az erőforrásokon http: //www. eu-egee. org/
Szolgáltatás Gridek egy eleme: klaszter • Számítási kapacitás • Adattároló kapacitás • Hozzáférés szabályozás • Security services • grid. ucy. ac. cy • IBM e. Server 326 m Machines • 2. 0 GHz dual AMD Opteron • 64 -bit CPUs • 1 GB RAM • 80 CPUs
Szolgáltatói Grid példa : Nordu. Grid http: //www. nordugrid. org/ Dynamic Grid ~ 33 sites, ~1400 CPUS Production Grid – – – Applications from various scientific disciplines Sites operate 24/7 Mostly unattended by administrators Middleware: – Advanced Resource Connector (ARC)
Hozzáférés szolgáltatás Gridekhez
Szolgáltatás gridek és Virtuális organizációk (VO-k) • VO: erőforrások és felhasználók csoportja • Logikai egység • Hozzáférési határ Virtuális Organizáció Internet Grid
Szolgáltatás grid hozzáférés ● Grid tanusvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) ● ● Magyarországi CA: http: //www. ca. niif. hu Regisztráció egy Virtuális Organizációba ● EGEE VO-k listája (~ 100): Central Operations portal http: //cic. gridops. org/ ● ● ● Hun. Grid VO: Magyarországi erőforrások VOCE: közép-európai erpforrások SEE-GRID VO: dél-kelet európai erőforrások Biomed VO: biológus felhasználók számára fenntartott erőforrások. . . Párhuzamos alkalmazások fejlesztése, és/vagy futtatása. . .
Desktop Gridek
Desktop Grid modell Vállalati/ egyetemi szerver Megoldandó feladat Szabad kapacitás kiajánlása dinamikusan Vállalati/ egyetemi PC Internet Vállalati/ egyetemi PC Munkacsomagok kiosztása
Desktop Grid modell jellemzői • Bárki felajánlhat erőforrást • Heterogén erőforrások, amik dinamikusan jönnek, mennek • Egy vagy néhány projekt használhatja felajánlott erőforrásokat • Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H << D
Desktop Grid fajtái • Globális Desktop Grid (DG) • Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni • Lokális DG • Célja, hogy a DG koncepciót bármilyen közösség (kut. intézet, egyetemi tsz. , kar, vállalat, város, stb. ) tudja használni
SETI: egy globális DG ● SETI@home ● ● ● 1 projekt 3. 8 Millió önkéntes 226 országból 1200 CPU év/nap 38 TF fenntartható teljesítmény (Japanese Earth Simulator 32 TF) http: //setiathome. berkeley. edu/
SZTAKI Desktop Grid • Legfontosabb célja: • • • ● Társadalmasítani a Grid rendszerek építését Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Segíteni DG-ek léterhozását Segíteni a DG alkalmazások létrehozását és futtatását Eszközök: ● ● ● Egyszerű installálhatóság Egyszerűsített alkalmazás fejlesztési mód Magyar és angol nyelvű felületek ● Globális és lokális módon is installálható ● http: //www. desktopgrid. hu/
SZTAKI Desktop Grid globális mintarendszer http: //www. lpds. sztaki. hu/desktopgrid/
SZTAKI Desktop Grid globális mintarendszer NIIF Supercomputer: 300 GFlops OMSZ Supercomputer: 900 GFlops TOP 500 entry performance: 1645 GFlops SZTAKI DG: ~1000 GFlops
Hozzáférés Desktop Gridekhez ● Donor regisztáció globális desktop gridhez: ● ● Alkalmazás portolása már létező desktop gridre: ● ● SZTAKI Desktop Grid: http: //www. lpds. sztaki. hu/desktopgrid Application Support Centre: www. lpds. sztaki. hu/gasuc Saját desktop grid felállítása: ● MTA SZTAKI LPDS: www. lpds. sztaki. hu ● Egyetlen szerver is elég. . .
Párhuzamos feldolgozás a gridben Nem az egyetlen, de messze a legfontosabb felhasználási mód. . .
Kihasználható párhuzamosság típusok a Gridben • Szolgáltatás Grid – Master-slave (paraméter vizsgálat) – Telephelyen belüli párhuzamosság – Workflow – Ezek kompinációi, pl • Telephelyen belüli paramétervizsgálat • Workflow paraméter vizsgálat • Desktop Grid – Master-slave (paraméter vizsgálat)
Paraméter vizsgálat Mester/szolga párhuzamosság Mester Szerver munkacsomag 1 munkacsomag 2 munkacsomag 3 munkacsomag. N Internet
Telephelyen belüli párhuzamosság árhuzamos programozási ismeretet igényel! Internet
Workflow párhuzamosság 1. program Internet 3. program 2. program
Kombinált párhuzamosság: Telephelyen belüli és master-slave is egyben Internet
Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet
A Grid Computing három hulláma A kutatási hullám Az ipari hullám Griden futó termékek Vállalati megoldások Együttműködési képesség Technológia, Prototípus Virtuális Organizációk “Grid lehetőségek tudatosítása” “Könnyű elérés” Itt tartunk A vásárlói hullám Commodity IT közmű Integráció Jogi, politikai szervezetek “Grid Service Provider”
Konkluzió • Általános Grid modell sokmindenre jó, de megvalósítani bonyolult • Kutatási fázis • Gyakorlatban szolgáltatás gridek és Dekstop Gridek • Léteznek működő Grid infrastruktúrák hazánkban: • EGEE (Hun. Grid, VOCE, Biomed, . . . ) • Worklow, párhuzamos és mester-szolga alkalmazásokhoz • Használd a mások által nyújtott erőforrásokat! • SZTAKI Desktop Grid • Mester-szolga alkalmazásokhoz • Regisztrálj mint erőforrás felajánló, vagy mint alkalmazás fejlesztő • Állíts fel saját gridet!
Köszönöm a figyelmet ? További információ: www. lpds. sztaki. hu
- Slides: 42