RUN 3 project inside RENATER WLCG France CCIN

RUN 3 project inside RENATER WLCG France – CC-IN 2 P 3 20 Juin 2018 Xavier JEANNIN 1

Enjeux - Projet RUN 3 • Croissance – Facteur de croissance du trafic entre 5 et 10 – Échéance • 2019– 2020 arrêt de l’accélérateur mais toujours du trafic réseau. Le RUN 3 est prévu pour début 2021. • Dépendances: – Déploiement de l’optique Id. F et national – Déploiement des routeurs RENATER 6 • Période critique 2

Croissance des flux HEP (LHC) LHCONE L 3 VPN: A global infrastructure for High Energy Physics data analysis (LHC, Belle II, Pierre Auger Observatory, NOv. A, XENON) CE RN N AN T+ CE R GÉ NL -T 1 PS KIA NC E U E/R CBPF HEPGrid (UERJ) t ne ES ilt nd er b Va S ARNE ASG C KIAE /RU PSNC ESnet GARR Beln et SINET, Tokyo RENATER u. Ne t T GARR Ro. E d KIA ara RFs SU (Amsterdam) Nether. Light KREONET ESNet NORDUnet CANARIE GÉA NT, Paris SINET ASGC-Intern C T AS G NE EO GÉAN (Chicago) CIC Omni. Po. P To E Sn See http: //lhcone. net for more detail. ESnet RENATER France CC-IN 2 P 3 -T 1 LPC, CPPM, IPHC, Subatech Red. IRIS Spain CIEMAT-LCG 2, UAM-LCG 2 ne t CERN-T 0 CERN-T 1 ESnet N ARNES Slovenia LPNHE APC, LAL IPNHO LLR, CEAIRFU CNAF-T 1 PIC-T 1 Redecomep SAMPA (USP) CERN CER RD U INFN Pisa, Napoli Si. GNET xx Ro. Edu. Net Romania UAIC xx, ISS, NIHAM, ITIM, NIPNEx 3 GARR Italy INFN Bari, Catania, Frascati, Legnaro, Milano, Roma 1, Torino GRNET Greece HEPLAB xx Ioannina TEIN, Mumbai LPNHE RNP/IPĔ Brazil Korea GÉA ANSP Geneva BEgrid-ULB-VUB, Begrid-UCL, IIHE NT PTTA NAP do Brasil (São Paulo) RU E/ RR KIA GA ANT To GÉ Via UNAM NO CERN Geneva T Belnet Belgium FCCN Portugal CERNLight GÉANT Open London N GÉA Amsterdam Internet 2 via WIX , Am. Light CUDI Mexico GÉAN T, CANA RIE, NORD Unet, SINET ESnet London to RA LA n d. C do Re Lon Bucharest GRNET TEIN, Mumbai TEIN (Singapo re) - GÉANT (Lon don) AMPATH NAP of Americas (Miami) Budapest Milan Red. IRIS T SOX U , et SIN Sn ia , E U v et /R Un IAE N RD , K LA NO ANT AN M GÉ Vanderbilt, UFlorida, NE, So. W, Harvard Geneva Madrid et Snet t Un To E Vienna Brussels GÉAN ET Prague Paris ne KIAE/R Internet 2 USA Poznan ASGC-CERN Frankfurt ESnet ANA-300 G CANARIE ESnet GÉANT Internet 2 et NORDUn SURFnet CESNET Czechia prague_cesnet_lcg 2, FZU/praguelcg 2 TIFR NKN, India et SINET-Internet 2 ASGC CSTNet KREONET to T EIN via , ASG Tran C s. PA , COM C, JG SAT S, and N , TEIN UMe AA RNe , HEPP l, NCP ERN t , Intern et Calte 2, SINET ch, U , AARN CSD, et Pacific. Wave (distributed exchange) Pacific. Wave/ PNWG t Ligh ether ight tar. L NT, N MANLAN via KEK ET SIN ES IU(MWT 2), ND, Purdue WIX IEPSASKosice Beijing via Orient+ to S Amsterdam London ore TEIN il gap az Sin Br N, RP G (Washington) FMPh. UNIBA xx Kharkov-KIPT Hamburg E ASGC RD 1) LHCOPN paths are not shown on this diagram 2) The “LHCONE peerings” at the exchange points indicate who has a presence there and not that all peer with each other (see https: //twiki. cern. ch/twiki/bin/view/LH CONE/Lhc. One. VRF ) T 1 NO SINET Caltech KIA NL- KREONET 0 30 Caltech SANET Slovakia URAN Ukraine DE-KIT-T 1 RENATER GÉA Sarov AN T+ GÉ G (Lo ÉAN nd T on GÉ ) AN via T+C M AN AN AR LA IE N ESnet, Internet 2, CANARIE via Pac. Wave, LA to T EIN INR (Troitsk) HEPNET JINR, IHEP Protvino, Grid. PNPI, RCC-KI T 2, ITEP CERN T ET to CERN RRC-KI T 1 JINR T 1 RN CE KREONE AAN SPRACE CEA- N JA - yellow outline indicates LHC+Belle II site - Dashed outline indicates distributed site KIAE-ESnet } Sites that are UNL standalone VRFs KIAE/JINR Russia GÉANT, Europe ANA-300 G PNU LHC ALICE or LHCb site CNAF-T 1 LHC Tier 1 ATLAS and CMS UChi LHC Tier 2/3 ALTAS and CMS KEK Belle II Tier 1/2 to CERN Underlined link information indicates link provider, not use Exchange point/regional R&E communication nexus w/ switch providing VLAN connections JGN – Sing. AREN/NSCC ANA-300 G Collaborating sites not yet connected to LHCONE NOTES (New York) CUDI RN DFN DESY Germany et Lisbon Atlantic. Wave London Network provider Po. P router NREN/site router at exchange point Communication links: 1/10, 20/30/40, and 100 Gb/s Connection internal to a domain, and of unspecified bandwidth MAN LAN Indiana USA (distributed exchange) ANSP CANARIE ESnet, ra SURFsa Un RD NO UIC Internet 2 ESnet Ver. 4. 1, May 23, 2018 – WEJohnston, ESnet, wej@es. net LHCONE VRF domain/aggregator Helsinki CE RWTH, Wupp. U, GSI UNL P via , RN TA ANSP ath, PT P Am GARR NDGF-T 1, NDGF-T 1 b NDGF-T 1 c KIT CERN, NORDUne t, GÉANT, Caltech, NL-T 1, U. Mich, SURFsara, ESnet, PSNC C . MREN ASG Internet 2 mst on ond SINET, Internet 2 CANARIE, ESnet UMel VECC, TIFR et, A e AARN t et, L CANARIE, Internet 2 ESnet ESn n) AARNet Australia NKN India ESn ondo Los Angeles SINET, Tokyo Internet 2, CERN, MIT, UChi, UFla, UOak, Vand, GÉANT (all of NRENS and sites) and Brazilian sites), ESnet, NORDUnet, ES ESnet KIAE/RU net Harvard (HEPNET, MIT GRIDPNPI, IHEP), NET 2 CANARIE BU (Chicago) In ESn te et rn et 2 UIUC (MWT 2) UCSD C) India UT Arlington Pac. Wave (Inter Singap or net 2 +Sin e-LA, g. ARE N/N SC NKN t UChi (MWT 2) UCSB My. REN Malaysia Sing. AREN Singapore t ESne To ES ne AGLT 2 UM Snet t All si tes All s multi at MAN poin LA it mu es at t VLAN N ltip WIX oin V AN LAN, t SP, RN P To E JGN – N/NSCC NT (L GÉA NCPLCG 2 PK-CIIT Internet 2, SINET, Caltech, UCSD, AARNet, UCSD ESne ASGC 2, NCU, NTU Thai. REN Thailand AGLT 2 MSU Pac. Wave ASGC-T 1 CANARIE ESnet, CERN, MREN, Internet 2 , GÉANT, GARR, CANARIE, UChicago, ANL, FNAL, KREONET, Pacific. Wave, GRPnet, UMich via Merit/MILR, ASGC, KIAE/RU, CSTNET, CUDI UWisc (Sunnyvale) ASGC Taiwan Sing. ARE Singapore neva to K via H REONET ong to Kon g JGN Mumbai t, Ge HKIX Hong Kong ET, ON RE C to K ASG NET KREO Hong Kong ASGC KREONET PNNL, SLAC, ANL, ORNL ESne to JGN Hong Kong JGN Japan (same VRF as ESnet Europe) BNL-T 1, FNAL-T 1 UNL, Wisc, AGLT 2, UChi, IU, Purdue, UT Austin, U. Florida Sing JGN – ARE N/N SCC (Chicago) ESnet USA CANARIE tle Starlight NORDUnet Se at Beijing PERN Pakistan KRE to ESnet via Seattle, SINET To Pac. Wave / PNWG ET (Seattle) ON ANA-300 G Osaka KNU, KCMS TEIN PNWG, KREONET, SINET, CANARIE, ESnet Global Research Platform Network (GRPnet) CANARIE ASGC, Taiwan Tokyo NORDUnet Nordic NL-T 1 S GÉ INE AN T ( Tok Lo yo nd ) on ) CSTNet T Pa rans. P cif ic W AC/ ave Osaka KREONET 2 Korea IC t Cyfronet AGH Kraków, U. Warsaw ICM Moscow Tokyo to TE via Hon IN g Kon g Star. Light Star. Ligh PIONIER Poland PSNC KIAE RN SARA, CE m Amsterda Hirosh. , Tsukuba, Tokyo KEK T 1 NT, M ANA AN LA N, -300 G SURFsara Nikhef Netherlands GÉANT SINET Japan GÉA Uvic, Utor, UBC, Mc. Gill SINET, Tokyo-London ICEPP U Tokyo KISTI –T 1 PNU Montreal TRIUMF-T 1 Sim. Fra. U KREONET et 2, , Intern ÉANT ESnet, ar. Light, G St HT RIE via ETHERLIG CANA via N CERN to GÉANT (London via Orient+) SINET+ ESnet JANET UK ANA-300 G U IHEP, Beijing CMS ATLAS China Next Gene ration Intern et, Intern CNGI-6 IX et Excha nge, Beijin g ESnet+Internet 2 MAN LAN CANARIE Canada KR CERNet 2 China KIAE/R CSTNet China

Estimation des besoins LHCOPN • En France, il relie le CERN au CC-IN 2 P 3 • Lien crucial pour les utilisateurs – Fiabilité (redondance via le LHCONE) – Plus besoin de redondance optique • Demande passage très rapidement à 40 G • Fourniture pour fin septembre 2018, le lien pourra évoluer à 80 G 4

Estimation des besoins des connections LHCONE des laboratoires IN 2 P 3 et CEA 2018/04/11 laboratoire aujourd'hui fin 2018 Début 2021 30 G 40 G 100 G CPPM 10 G L 2 vpn 20 G IPHC 10 G L 2 vpn 20 G LAL 20 G shared 20 G 40 G LLR 20 G shared 20 G 40 G LPC 10 G 20 G LPNHE 10 G 20 G LPSC 10 G L 2 vpn 20 G SUBATECH 10 G L 2 vpn 20 G 20 G 40 G CCIN 2 P 3 IRFU (CEA-Saclay) 5

Nouvelle architecture • Chaque site sera relié par 2 liens optiques entre le site et le NR de Paris 1 et le NR de Lyon 1 • Pour la partie « niveau 3 » , les équipes étudient de nouvelles solutions – Pas de solution décidée à l’heure actuelle 6

7

Plateau de Saclay • Les déploiements LHCONE sont indépendants du déploiement d’UPSaclay – À l’exception de la fourniture de fibre • Difficulté pour l’expression des besoins • Si un laboratoire subit une coupure de ses 2*liens de raccordement aux m. Tera R 6, le trafic LHCONE se déversera dans le canal IP généraliste 8

LHCONE : RACCORDEMENT DIRECT AUX m. Tera RENATER-6 FAISABILITE OPTIQUE : la répartition des points d’accroche des raccordements [LABORATOIRES <-> m. Tera] a été ajustée par la maitrise d’œuvre de l’infrastructure passive UPSaclay : accroche IRFU sur PALAISEAU et non JOUY (25/04/18 -PETC) 100 G 4, 4 kms IRFU Saclay NB : distances à vol d’oiseau 0 10 Gms 3 k LAL Up. Sud 100 G ite -s Intra 100 G s 3, 5 km 100 Int G rasite 100 3, 5 k. Gm s LLR Palaisea u 9

Planning 01 -juin-18 LHCONE - 20 G LPNHE - connecter sur Paris 1 LHCONE - Renforcement les connexions triangles Lyon – Genève - Grenoble 200 G priorité *** LHCONE - Upgrade de Paris 1 -Lyon 1 LHCONE - Renforcement les connexions avec GEANT à Paris et à Genève (Lyon – Genève) - Peering GEANT (Paris, Lyon - Genève) - Port sur les routeurs RENATER LHCONE - Laboratoires périphériques - Augmentation des trafics à prévoir Connexion CC - 100 G pour le CC-IN 2 P 3 - avec un secours 100 G sur Lyon 2 – Paris 2 LHCONE - Connexion IRFU-CEA passage 10 G à 20 G LHCONE - Connexion du plateau de Saclay LHCONE- Upgrade Paris - Orsay - ajouter 10 G --> 30 G au total LHCOPN - Passage à 40 G Connexion à la VRF Cloud * Prévision 1 juin dépend de RENATER 6 et Optique jussieu : sept-oct. 2 * 20 G Livré Voir si nécessité avec la nouvelle archi réseau Capacité routeurs RENATER dispo Oct. 2018 idem fin septembre 2018 accepté par l'utilisateur Livré Attente R 6 Passage LLR 20 G Oct 2018 Connexion new LHCONE en 2019 **** Livré fin septembre 2018 Livré ***