Tutorial Grille LCGEGEE www euegee org Soumission de

  • Slides: 42
Download presentation
Tutorial Grille (LCG/EGEE) www. eu-egee. org Soumission de jobs EGEE is a project funded

Tutorial Grille (LCG/EGEE) www. eu-egee. org Soumission de jobs EGEE is a project funded by the European Union under contract IST-2003 -508833

Plan • Workload Management System d’EGEE § Généralités • Soumission de Job sur EGEE

Plan • Workload Management System d’EGEE § Généralités • Soumission de Job sur EGEE (LCG, Nordu grid…) § Le cycle de vie du job § Préparation d’un job § Exemple de base § Langage de description des jobs (JDL) § Quelques commandes • Ordonnancement • Autres fonctions et services • Nouveau WMS g. Lite

Le WMS • Les utilisateurs soumettent leur jobs via le Workload Management System •

Le WMS • Les utilisateurs soumettent leur jobs via le Workload Management System • Le but du WMS est d’ordonnancer, distribuer et manager les ressources d’une grille de calcul. • Il permet aux utilisateurs de : Soumettre leur job Connaître leurs statuts Récupérer les sorties • Le WMS essaye d’optimiser l’utilisation des ressources de la grille

Sous-ensembles du WMS • WMS est composé de différentes parties: 1. User Interface (UI)

Sous-ensembles du WMS • WMS est composé de différentes parties: 1. User Interface (UI) : Point d’entrée pour les utilisateurs 2. Resource Broker (RB) : L’ordonnanceur, responsable de trouver LA meilleure ressource où le job pourra être exécuté 3. Job Submission Service (JSS) : Le système de soumission 4. Information Index (BDII) : Un serveur qui collecte les informations sur l’état de la grille pour approvisionner le RB en information. 5. Logging and Bookkeeping services (LB) : Base de données sur l’état des jobs 6. Computing Element : Element local (site) de job management

Job Submission Scenario UI JDL Replica Location Service (RLS) Information System (IS) Resource Broker

Job Submission Scenario UI JDL Replica Location Service (RLS) Information System (IS) Resource Broker (RB) Logging & Bookkeeping (LB) Storage Element (SE) Job Submission Service (JSS) Computing Element (CE)

A Job Submission Example UI JDL Input Sandbox Replica Location Service (RLS) Job Status

A Job Submission Example UI JDL Input Sandbox Replica Location Service (RLS) Job Status submitted Information System (IS) Job Submit Event Resource Broker (RB) Logging & Bookkeeping (LB) Storage Element (SE) Job Submission Service (JSS) Computing Element (CE)

A Job Submission Example UI JDL Replica Location Service (RLS) Job Status submitted Information

A Job Submission Example UI JDL Replica Location Service (RLS) Job Status submitted Information System (IS) waiting Resource Broker (RB) Logging & Bookkeeping (LB) Storage Element (SE) Job Submission Service (JSS) Computing Element (CE)

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information System (IS) waiting ready Resource Broker (RB) Storage Element (SE) Job Status Logging & Bookkeeping (LB) Job Submission Service (JSS) Computing Element (CE)

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status Information System

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status Information System (IS) submitted waiting ready scheduled Resource Broker (RB) Logging & Bookkeeping (LB) Broker. Info Job Status Storage Element (SE) Job Submission Service (JSS) Computing Element (CE) running

A Job Submission Example UI JDL Replica Location Service (RLS) Job Status submitted Information

A Job Submission Example UI JDL Replica Location Service (RLS) Job Status submitted Information System (IS) waiting ready Input Sandbox scheduled Resource Broker (RB) Logging & Bookkeeping (LB) Storage Element (SE) Job Submission Service (JSS) Computing Element (CE) running

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information System (IS) waiting ready scheduled Resource Broker (RB) Storage Element (SE) Logging & Bookkeeping (LB) Job Submission Service (JSS) Job Status Computing Element (CE) running

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information System (IS) waiting ready scheduled Resource Broker (RB) Storage Element (SE) Logging & Bookkeeping (LB) Job Submission Service (JSS) Job Status Computing Element (CE) running done

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information System (IS) waiting ready scheduled Resource Broker (RB) Storage Element (SE) Logging & Bookkeeping (LB) Job Submission Service (JSS) Job Status Output Sandbox running done outputready Computing Element (CE)

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information

A Job Submission Example Replica Location Service (RLS) UI JDL Job Status submitted Information System (IS) waiting ready Output Sandbox Resource Broker (RB) Storage Element (SE) Job Status Logging & Bookkeeping (LB) scheduled Job Submission Service (JSS) running done outputready Computing Element (CE) cleared

Préparation d’un job • Pour pouvoir soumettre un job on doit : § Donner

Préparation d’un job • Pour pouvoir soumettre un job on doit : § Donner une description de celui-ci • Quel programme? • Quelles données? • Quels softs, quels OS, quels besoins spécifiques? § Avoir un programme autant que possible: • Exécutable sur une plate-forme inconnue • Portable autant que possible • Sans liens absolus, path spécifiques et autres liens « rigides » ( comme le fait d’utiliser $HOME dans le « code » ) § Avoir des données entrantes (pas nécessaires)

Comment faire un Job Description • Version minimale ( mytest. jdl) Executable = “/bin/echo”;

Comment faire un Job Description • Version minimale ( mytest. jdl) Executable = “/bin/echo”; Arguments = “Bonjour”; Std. Error = “stderr. log”; Std. Output = “stdout. log”; Output. Sandbox = {“stderr. log”, “stdout. log”}; • On spécifie ici : § Le programme et ses arguments § On définie les STDOUT et STDERR § On dit que faire des outputs

Exemple de Job Soumission • Créer un proxy : grid-proxy-init § Entrer son mot

Exemple de Job Soumission • Créer un proxy : grid-proxy-init § Entrer son mot de passe de certificat § On récupère un proxy • Soumet le job: edg-job-submit mytest. jdl Et on récupère du système un identifiant de job unique (Job. Id) • Requête de status : edg-job-status Job. Id Pour émettre une requête au système de L&B afin de connaître l’état du job • Quand le job entre dans l’état “Output. Ready” on peut récupérer les output : edg-job-get-output Job. Id Et le système retourne le nom d’un répertoire temporaire ( sur l’UI) ou se trouvent nos fichiers de sortie

La soumission fede@marseilleui: ~ >grid-proxy-init Your identity: /O=GRID-FR/C=FR/O=CNRS/OU=LAPP/CN=Eric Fede Enter GRID pass phrase for

La soumission [email protected]: ~ >grid-proxy-init Your identity: /O=GRID-FR/C=FR/O=CNRS/OU=LAPP/CN=Eric Fede Enter GRID pass phrase for this identity: Creating proxy. . . . Done Your proxy is valid until: Tue Aug 22 20: 55: 22 2006 [email protected]: ~/JDL >edg-job-submit -vo dteam mytest. jdl Selected Virtual Organisation name (from --vo option): dteam Connecting to host grid 09. lal. in 2 p 3. fr, port 7772 Logging to host grid 09. lal. in 2 p 3. fr, port 9002 *********************************************** JOB SUBMIT OUTCOME The job has been successfully submitted to the Network Server. Use edg-job-status command to check job current status. Your job identifier (edg_job. Id) is: - https: //grid 09. lal. in 2 p 3. fr: 9000/Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw *********************************************** Job. Id

Connaître le statut fede@marseilleui: ~/JDL >edg-job-status https: //grid 09. lal. in 2 p 3.

Connaître le statut [email protected]: ~/JDL >edg-job-status https: //grid 09. lal. in 2 p 3. fr: 9000/Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw ******************************* BOOKKEEPING INFORMATION: Status info for the Job : https: //grid 09. lal. in 2 p 3. fr: 9000/Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: mallarme. cnb. uam. es: 2119/jobmanager-pbs-dteam reached on: Tue Aug 22 07: 04: 11 2006 *******************************

Récupérer les sorties fede@marseilleui: ~/JDL >edg-job-get-output https: //grid 09. lal. in 2 p 3.

Récupérer les sorties [email protected]: ~/JDL >edg-job-get-output https: //grid 09. lal. in 2 p 3. fr: 9000/Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw Retrieving files from host: grid 09. lal. in 2 p 3. fr ( for https: //grid 09. lal. in 2 p 3. fr: 9000/Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw ) ***************************************** JOB GET OUTPUT OUTCOME Output sandbox files for the job: - https: //grid 09. lal. in 2 p 3. fr: 9000/Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw have been successfully retrieved and stored in the directory: /home/fede/Job. Output/fede_Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw ***************************************** [email protected]: ~/JDL >more /home/fede/Job. Output/fede_Yvbr. P_WV 46 b. DLhuo 3 tl. Ctw/stdout. log Bonjour

Job Description Language (JDL) • Basé sur Condor’s CLASSified ADvertisement language • • (Class.

Job Description Language (JDL) • Basé sur Condor’s CLASSified ADvertisement language • • (Class. Ad) Mapping entre attributs et expression Class. Ad est un langage extensible. Construit sur des séquences d’attributs. Application de Class. Ads : match-making Executable = “/bin/echo”; Arguments = “Bonjour”; Std. Error = “stderr. log”; Std. Output = “stdout. log”; Output. Sandbox = {“stderr. log”, “stdout. log”};

Différents types d’attributs • Deux grandes catégories d’attributs: § Ceux concernant le job Définissent

Différents types d’attributs • Deux grandes catégories d’attributs: § Ceux concernant le job Définissent le job lui-même. § Ceux concernant les ressources • Utilisés par l’ordonnanceur (RB) pour définir la ressource utilisée pour l’exécution du job. • Permettent de définir les caractéristiques de calcul requises Utilisées par l’utilisateur pour construire des demandes précises ( librairies disponibles, etc ) Ces attributs sont définis à l’aide du préfixe “other. ” • Définissent les caractéristiques liées aux données Ce sont : les données entrantes , l’élément de stockage où les données sont prises ou bien mises, les protocoles, …

Attributs de jobs • Executable (obligatoire) § Le nom de la commande à exécuter.

Attributs de jobs • Executable (obligatoire) § Le nom de la commande à exécuter. • Arguments (option) § Les arguments de la commande à exécuter. • Std. Input, Std. Output, Std. Err (option) § La définition des entrées/sorties/erreurs standards. • Environment (option) § Ensemble de valeurs lié à l’environnement d’exécution. • Input. Sandbox (option) § Liste des fichiers se trouvant sur l’UI qui seront transférés avec le job. § Ces fichiers seront copiés sur le CE cible. • Output. Sandbox (option) § Liste des fichiers générés par le job qui seront accessibles via l’output sandbox

Attributs de ressources • Requirements § Besoins du job vis à vis des ressources

Attributs de ressources • Requirements § Besoins du job vis à vis des ressources de calcul. § Sont spécifiés à partir des attributs qui sont définis dans le système d’information de la grille. § S’ils ne sont pas définis dans le JDL, ce sont les valeurs définies par défaut dans l’UI qui sont utilisées • Default: other. Glue. CEState. Status == "Production" (Les ressources utilisables devront absolument présenter l’attribut demandé) • Rank § C’est une préférence, concernant l’ordre de rangement des ressources qui remplissent les « requirements » § Si non spécifié, utilise la valeur définie sur l’UI • Default: - other. Glue. CEState. Free. CPUs (le plus grand nombre de CPU libres)

Attributs de données • Input. Data (option) § Référant aux données utilisées en entrée

Attributs de données • Input. Data (option) § Référant aux données utilisées en entrée par le job. § PFNs et/ou LFNs. • Data. Access. Protocol (seulement si Input. Data est spécifié) § Le protocole ou la liste de protocoles de communication utilisables par l’application pour accéder aux INPUTDATA. • Retry. Count (option) § Nombre de fois ou le RB resoumet le job dans le cas ou quelques chose se passe mal ( du point de vue de la grille)

Exemple de fichier JDL Executable = “Test. sh”; Std. Error = “stderr. log”; Std.

Exemple de fichier JDL Executable = “Test. sh”; Std. Error = “stderr. log”; Std. Output = “stdout. log”; Input. Sandbox = {“/home/fede/script/Test. sh”}; Output. Sandbox = {“stderr. log”, “stdout. log”}; Input. Data = “lfn: testbed 0 -00019”; Data. Access. Protocol = “gridftp”; Requirements = other. Architecture==“INTEL” && other. Op. Sys==“LINUX” && other. Free. Cpus >=4; Rank = “other. Glue. CEState. Free. CPUs”;

Commande de Job Soumission • edg-job-submit [–r <res_id>] [-c <config file>] [-o <output file>]

Commande de Job Soumission • edg-job-submit [–r <res_id>] [-c <config file>] [-o <output file>] [--vo <VO name>] <job. jdl> -r le job est directement envoyé par le RB sur le CE identifié par <res_id> -c utilise le fichier de configuration <config file> afin de surcharger les valeurs par défaut de l’UI -o renvoi l’identifiant de job dans <output file> --vo la virtual organization sous laquelle le job doit être exécuté

Autres commandes du WMS UI • edg-job-list-match Liste les ressources correspondantes à la description

Autres commandes du WMS UI • edg-job-list-match Liste les ressources correspondantes à la description du job. Permet de connaître le résultat de l’ordonnancement sans soumettre le job. • edg-job-cancel Annule le job. • edg-job-status Affiche l’état du job. • edg-job-get-output Récupère le contenu de Output. Sandbox • edg-job-get-logging-info Affiche des informations sur les diverses états pris par le job tout le long de son existence. Utilisée essentiellement pour le debuging.

Configuration d’une UI • Les valeurs définissant une User Interface peuvent être modifiées par

Configuration d’une UI • Les valeurs définissant une User Interface peuvent être modifiées par l’utilisateur si la configuration par défaut n’est pas satisfaisante • Les principales caractéristiques d’une UI sont: § RB(s) • Liste des ressource broker qui seront utilisés. § Defaut JDL Requirements • other. Glue. CEState. Status == "Production" § Defaut JDL Rank • other. Glue. CEState. Free. CPUs; § Virtual Organisation par défaut • Quel VO sera utilisé par défaut.

Le système d’ordonnancement • L’ordonnanceur est le cœur du WMS. • Il doit trouver

Le système d’ordonnancement • L’ordonnanceur est le cœur du WMS. • Il doit trouver la meilleure ressource où le job sera exécuté. • Il interagit avec le système de management des données et le système d’information. • Le CE choisi par le RB doit remplir les conditions requises par le job (environnement d’exécution, accès aux données, …) • Si plus de un CE satisfait les contraintes, c’est celui proposant la meilleure condition pour le requirement rank qui est choisi.

Soumission de job • Trois types de scénario sont possibles. § En utilisant le

Soumission de job • Trois types de scénario sont possibles. § En utilisant le Ressources Broker, c’est à dire en excluant le cas ou l’on soumet le job directement au job manager d’un site. Scénario 1: Soumission directe • Le job est directement soumis au CE (spécifié par le paramètre –r de la commande edg-job-submit). • Le RB n’effectue aucune recherche de ressources. • Peut ( et généralement c’est le cas) générer des erreurs si on utilise l’attribut Input. Data. • L’utilisateur est responsable de la cohérence de son job.

Job Soumission, sans Input. Data Scénario 2: Soumission de job sans Requirements liés aux

Job Soumission, sans Input. Data Scénario 2: Soumission de job sans Requirements liés aux données • Aucun CE, ni données entrantes ( input data) sont précisés • Le RB utilise l’algorithme de recherche de ressource qui comporte deux phases: – Le RB contact le système d’information afin de déterminer quels CE peuvent satisfaire les demandes. – Si plus de deux sont proposés alors on utilise l’attribut rank pour faire le choix.

Job soumission avec des données sur la grille Scénario 3: Le CE n’est pas

Job soumission avec des données sur la grille Scénario 3: Le CE n’est pas spécifié et l’on a des données en entrée • Le RB contacte le service de management des données afin de déterminer quels SE peuvent satisfaire les besoins ( quels SE possèdent les données requises) • Le RB cherche le meilleur compromis (best effort) entre : – Les CE où l’utilisateur a le droit de soumettre ces jobs. – Les SE qui ont été déterminé préalablement. • La stratégie du RB est de soumettre les jobs au plus près des données. • Les deux phases suivantes sont les mêmes que dans le scénario précédent (uniquement pour les CE qui satisfont les requirements de données) – Requirements check – Rank computation

Le fichier. Broker. Info [ Computing. Element = [ Close. Storage. Elements = {

Le fichier. Broker. Info [ Computing. Element = [ Close. Storage. Elements = { [ Glue. SAState. Available. Space = 14029724; Glue. CESEBind. CEAccesspoint = "/flatfiles/SE 00"; mount = Glue. CESEBind. CEAccess. Point; name = "grid 003. cecalc. ula. ve"; freespace = Glue. SAState. Available. Space ] }; name = "grid 006. cecalc. ula. ve: 2119/jobmanager-lcgpbs -infinite" ]; Input. FNs = { }; Storage. Elements = { }; Virtual. Organisation = "gilda" ] n n C’est un mécanisme qui permet a un job d’accéder à des information concernant sa propre soumission Le ressource broker attache ce fichier au job lors de sa soumission edg-brokerinfo get. CE edg-brokerinfo get. Data. Access. Protocol edg-brokerinfo get. Input. Data edg-brokerinfo get. SEs edg-brokerinfo get. Close. SEs edg-brokerinfo get. SEMount. Point <SE> edg-brokerinfo get. SEFree. Space <SE> …. .

Renouvellement de proxy • Pourquoi? § Pour éviter les erreurs provoquées par une expiration

Renouvellement de proxy • Pourquoi? § Pour éviter les erreurs provoquées par une expiration de proxy. • WMS supporte un mécanisme de renouvellement de proxy basé sur l’utilisation d’un serveur de proxy. La procédure pour utiliser ce serveur est: 1. Créer un proxy grid-proxy-init 2. Enregistrer ce proxy dans le serveur de proxy : My. Proxy myproxy-init –s <server> [-t <cred> -c <proxy>] server nom du serveur de proxy cred nombre d’heures durant lesquelles le proxy reste valide dans le serveur proxy durée de vie des proxy renouvelés grid-proxy-init –hours <hours> command 3. Le proxy est AUTOMATIQUEMENT renouvelé par le WMS sans intervention de l’utilisateur

Job de type MPI • LCG-2 § Support limité § Quelques sites peuvent tourner

Job de type MPI • LCG-2 § Support limité § Quelques sites peuvent tourner des jobs de type MPI • Job. Type § Job. Type=”MPICH”; § Node. Number = 8; § Rajouter MPICH comme requirement

Exemple de job de type MPI Type = "Job"; Job. Type = "MPICH"; Node.

Exemple de job de type MPI Type = "Job"; Job. Type = "MPICH"; Node. Number = 16; Executable = "MPItest. sh"; Arguments = "mpiok 16"; Input. Sandbox = {"/home/fede/SCRIPT/ok. c", "/home/fede/SCRIPT/MPItest. sh"}; Std. Output = "std. out"; Std. Error = "std. err"; Output. Sandbox = {"std. out", "std. err", "info"}; Requirements = other. Glue. CEInfo. Total. CPUs > 16;

WMS g. Lite • Nouvelle version du middelware § Tout ce que l’on a

WMS g. Lite • Nouvelle version du middelware § Tout ce que l’on a vue précédemment reste valide § Nouvelles fonctionnalités • Bulk submission • Pull submission (CE) • Accès temps réel au job output… • Performance accrue

Informations utiles • The LCG-2 User Guide et autre documentation LCG : http: //grid-deployment.

Informations utiles • The LCG-2 User Guide et autre documentation LCG : http: //grid-deployment. web. cern. ch/grid-deployment/cgi-bin/index. cgi? var=eis/docs • Class. Ad https: //www. cs. wisc. edu/condor/classad • EGEE Users Forum : Mars 1 -3 2006 au CERN http: //egee-intranet. web. cern. ch/egee-intranet/User-Forum/index. html

Erreurs de commande sur UI • Les commandes utilisables aux niveaux de l’UI acceptent

Erreurs de commande sur UI • Les commandes utilisables aux niveaux de l’UI acceptent de nombreux paramètres, les erreurs associées sont: Argument * is not allowed (L’argument est inconnu) Argument * must be specified at the end of the command (on a oublié le fichier JDL ou bien l’identifiant du job à la fin de la commande) Argument * is missing for the “—output” option (le paramètre requis par un argument de la commande a été oublié) Argument “-all” cannot be specified with argument “—input” (Certains arguments ne peuvent pas être utilisés simultanément ) CEId format is: <full hostname>; <port number>/jobmanager-<service>. The provided CEID: “http: //lx 01. absolute. com: 10854/jobmanager” has a wrong format. (le format de description du CE est mauvais)

Erreurs de RB • Lors des appels au RB deux erreurs sont possible: Resource

Erreurs de RB • Lors des appels au RB deux erreurs sont possible: Resource Broker “grid 013 g. cnaf. infn. it: 7771” not available (la connexion au service du RB n’est pas possible, de nombreuses causes sont possibles) Unable to get LB address from RB “grid 013 g. cnaf. infn. it” (Le RB n’est pas capable de donner l'adresse du service de L&B associé)

Erreurs de fichiers JDL • Lorsque les commandes de l’UI vérifient les fichiers JDL,

Erreurs de fichiers JDL • Lorsque les commandes de l’UI vérifient les fichiers JDL, des erreurs peuvent être signalées: Mandatory Attribute default error in the configuration file “/opt/edg/etc/UI_Config. ENV. cfg” (il n’y pas de valeur par défaut) Mandatory Attribute missing in JDL file “Executable” (l’exécutable n’est pas défini) Multiple “Input. Sandbox” attribute found in JDL file (l’attribut Input. Sandbox est multiple)