Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep

Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF

ICT & Grid • Drie eigenschappen van een grid • De bouw van een grid faciliteit – software – hardware – ‘peopleware’ applicaties infrastructuur informatica onderzoek NWO Themadag - ICT en Grids 2

Connecting Resources Basis voor Resource Sharing Researchers perform their activities regardless geographical location, interact with colleagues, share and access data The GRID: networked data processing centres and ”middleware” software as the “glue” of resources. Scientific instruments and experiments provide huge amounts of data Federico. Carminati@cern. ch NWO Themadag - ICT en Grids 3

De belangrijkste kenmerken op een rij ‘Een grid is meer dan een clustercomputer’ Het Grid brengt resources bij elkaar, die – niet door één organisatie worden beheerd – wel een gemeenschappelijk, open protocol spreken … dat algemeen bruikbaar is – voor de gebruiker één transparant, samenwerkend geheel vormen NWO Themadag - ICT en Grids 4

Organisatie in grids NWO Themadag - ICT en Grids 5

De Virtuele Organisatie • Gebruikers en providers vormen tijdelijk samen één gemeenschap • Gebruikers nemen vaak deel als individu • De provider kent niet van tevoren alle gebruikers: trusted third parties zorgen voor identificatie • Virtuele organisaties zullen overlappen NWO Themadag - ICT en Grids 6

Standaardisatie • beperkt aantal standaard protocollen (‘web services’) • algemeen bruikbaar voor verschillende applicaties • samenhang: Open Grid Services Architecture (OGSA) NWO Themadag - ICT en Grids 7

RLS GSI Security Client/App SW • • • user GSI in common authentication multiple implementations, same interface one information system per VO / infrastructure • Info. Sys Job CASTOR Metadata Catalogue Security Infrastructure disk-based storage Grid Security Infrastructure tape robot DMF+CXFS Grid. FTP server Standaard protocollen NWO Themadag - ICT en Grids 8

Collectieve services Eén uniform systeem • single sign-on • resource brokering • foutbestendigheid – self-healing – redundancy NWO Themadag - ICT en Grids 9

Op weg naar een faciliteit Integratie van infrastructuur en ICT onderzoek • authenticatie/autorisatie – ‘gemeenschapsvorming’ – beveiliging, indicent handling, operaties • infrastructuur bouw en –beheer – integratie, stabiliteit, ‘quality of service’ en installatie – resources en hardware • disseminatie & ondersteuning – voor gebruikers én beheerders NWO Themadag - ICT en Grids 10

Authenticatie en autorisatie • Schaalbare Public Key Infrastructure (‘paspoort’) – identiteits providers los van de virtuele organisatie – wereldwijd coördinatie nodig! • Virtuele Organisaties (‘visa’) – – gemeenschappelijke gebruikvoorwaarden interne organisatiestructuur en rechten los van instituten en van de resource aanbieders VO organiseert rechten van zijn leden, zonder tussenkomst van resource aanbieders • Resources policies (‘marechaussee’) – systeemeigenaar heeft altijd het laatste woord – accounting maakt gebruik inzichtelijk en berekenbaar NWO Themadag - ICT en Grids 11

Infrastructuur: integratie Integratie van software – veel van de tools en concepten zijn er al … ‘alleen nog maar integreren’ – maar alleen met implementatie, uitrol & testen vindt je de zwakheden Aandacht voor specifieke grid eigenschappen – policy-constraint gedistribueerde computing – verhoogde dynamiek in het systeem – fault tolerance eisen Po. C Release n Release Candidate n+1 Stable, reliable, tested Cert. releases Grid MW & VL-software Characteristics En daadwerkelijk installeren – Software engineering verbeteren – VL-e Proof-of-Concept Installer – Grid cluster tools (quattor) Flexible, test environment Flexible, ‘unstable’ Integration tests Functionality tests Virtual Lab. Test & Cert. Adventurous rapid prototyping Grid MW & VL-software application people (interactive simulation) Compatibility Application development Usage Initial compute platform Environments NL-Grid production cluster Central mass-storage facilities +SURFnet NL-Grid Fabric Research Cluster VL-e Certification Environment VL-e Proof of Concept Environment GT 2 Developers Heaven/Haven DAS-2, local resources VL-e Rapid GT 3. 2 Prototyping Environment GT 2 Download Repository Po. C Installer Cluster Tools Tagged Release Candidates Developer CVS Nightly builds Unit tests stable, tested releases P 4 Scaling & Validation Programme NWO Themadag - ICT en Grids 12

Infrastructuur: hardware resources • Een ‘leeg’ grid heeft weinig nut – complexe faciliteiten worden wel beter toegankelijk – maar grid is geen vervanging voor hardware aanschaf – wel: schaalvoordelen & efficienter gebruik • ‘Gegridificeerde’ resources, b. v. – NCF NL-Grid project: clusters & opslag – SARA: Matrix cluster + storage – NIKHEF Data Processing Facility – AMOLF Mass. Store – in toekomst: Nationaal Cluster LISA@SARA – bereikbaar via SURFnet NWO Themadag - ICT en Grids 13

Gebruikers! • Betrokkenheid is essentieel voor succes – – – ‘brug’ tussen grid en gebruikers nodig hands-on training + support P 4 pilots met nieuwe technologie intensieve samenwerking met applicaties voor gebruikers ‘interessante’ resources – grid gebruikers in VL-e en NL-Grid nu aard-observatie, radioastronomie, medical imaging, 3 D-elektronenmicroscopie, (astro-) deeltjesfysica, informaticaonderzoekers, massaspectroscopie – maar dit kan/moet veel verder groeien … Alleen gebruikers maken grid tot een succes! NWO Themadag - ICT en Grids 14