Redondance avec un rseau autoconfigurant Etude dun rseau

Redondance avec un réseau auto-configurant Etude d’un réseau embarqué redondant q q q q q ANTARES, Km 3 net, MEUST Réseau infrastructure et réseau km 3 Choix technologiques, ethernet industriel Anneaux ethernet redondants Architecture réseau matérielle Installation du réseau Administration du réseau Architecture matérielle des entrées/sorties Outils d’administration Conclusion 1

De Antares à Km 3 net 42 Kms 1 câble électrique 48 fibres Câble électrooptique 36 fibres 6 Kms 50 Kms 12 lignes Boite de jonction ou nœud Besoin d’une organisation en réseau 100 lignes 2

But de l’opération Construire une infrastructure sous marine Dans les boites de jonction (nœuds) • Alimenter des lignes de détection de neutrinos (lignes KM 3) • Supporter le réseau propre à KM 3 Ligne KM 3 Objet de l’étude 36 4 Réseau infrastructure 32 4 Réseau km 3 36 32 énergie monitoring fibres câble 3

2 réseaux distincts KM 3 Ne. T • Liaisons point à point, pas de switch intermédiaire • Unique laser à terre • multiplexage de bandes DWDM 80 λ par fibre • Horloge sur ethernet (subnanométrique) • Auto calibration en temps (REAM) • 32 fibres disponibles Infrastructure MEUST • Contrôle commande des nœuds (~100 e/s TOR, ~50 entrées analogiques • Section critique, le détecteur DOIT être alimenté et controlé • Ce réseau est embarqué, durée de vie 15 ans • 4 fibres disponibles • Actuellement maquette, prototype immergé mi 2013 4

Choix de technologie pour l’infrastructure Conditions hostiles : pression 250 bars, salinité, pertes Accès possible mais exceptionnel La technologie de l’infrastructure d’Antares est propriétaire (2001) • Electronique faite au laboratoire • Protocoles maison • Forte redondance, mise à l’épreuve récemment Fonctionne toujours 11 ans plus tard Pour l’infrastructure MEUST • Choix de boitiers industriels standard sur étagère => modularité, robustesse • Issus du monde de l’automatisme • Au moins même niveau de fiabilité qu’Antares 5

Choix d’Ethernet Besoin d’une organisation en réseau • Bus de terrain ? Ø Le temps de réponse garanti impose une longueur maximale (qcq Kms) Ø Pas de contrainte forte pour le temps de réponse Pas adapté à notre application, trop de longueur (50 kms) • Préfère éviter les PLCs et modbus • Grand choix de boitiers e/s compatibles ethernet • Adaptés aux milieux hostiles : ferroviaire (locomotives), tunnels, aéroports … • Fournis avec des composants logiciels : OPC, libs windows et linux, consoles web 6

Ethernet industriel • Un réseau basé sur le protocole ethernet standard Ø Les équipements (hubs, switches, routeurs, cablage, etc. ) sont adaptés à l’utilisation dans l’industrie Ø Résistance aux vibrations, température, humidité, chocs mécaniques et électriques. Connecteurs, redondance • Des versions spécifiques Siemens avec Profinet, Rockwell Automation avec Ether. Net/IP, Schneider Electric avec Modbus TCP, B&R Automation avec Ethernet Powerlink ou encore Beckhoff avec Ether. Cat • Ethernet industriel dépasse maintenant en volume l’utilisation des bus de terrain Choix d’architecture de réseau redondant / couches OSI Ø Physique Ø Liaison de données Ø Réseau - Composants redondants (alimentations, superviseurs, etc. ) - Dispositifs redondants (switches, routers) - Liens redondants - Chemins redondants - Routage IP Besoin de switches adaptés 7

Choix des switches + Westermo • • Switches durcis, IPxx, vibration, température Po. E (Power over Ethernet) Possiblement manageables (niveaux 2 et 3) Connecteurs RJ 45 ou M 12 (4 ou 8 fils) Ports optiques avec des modules SFP, ports Cu, alimentations redondantes Modules SFP jusqu’à 120 Kms en unidirectionnel, 50 Kms en bidi Optimisés en anneau rapidement reconfigurable (20 m. S) après cassure d’un lien 8

Caractéristiques matérielles du switch Microsens • Switch Gigabit Ethernet 10 ports Ø 7 x 10/100 Base-TX auto crossing, Ø 3 x 1000 Base-X slot SFP • Connecteurs : 3 x SFP, 8 x RJ-45, 2 entrées alimentation • Ports Fibre Optique permettant la construction d'un anneau • Administrable via SNMP, Telnet, web, NMP • Fonctions VLAN et Qo. S (octroi de priorités de ports) • Possibilité de branchement d'une alimentation redondante • Protection contre les sur-tensions • Boîtier robuste (MTBF 65 ans) avec système de fixation sur rail 35 mm • -20°C à 60°C • Evolutif (firmware) 9

Protocoles et services • Spanning Tree Protocole (STP) : éviter les boucles • IGMP Snooping : sélection dans le trafic multicast => minimisation • Cisco Discovery Protocol (CDP) : via SNMP, trouver d'autres périphériques voisins • Ring-coupling redundancy : associer deux anneaux à l’aide de deux lignes. Une première ligne appelée « Main Coupling Link » , utilisée en fonctionnement normal. Une seconde ligne de « backup » , n’envoie aucune donnée en fonctionnement normal, automatiquement activée si le « Main Coupling Link » ne fonctionne plus. • Syslog : protocole de journaux d'événements • Radius serveur : authentification des utilisateurs autorisés 10

Côté optique Choix des adaptateurs optiques Au format SFP, aussi des SC Hot swap Unidirectionnels et bidi Mono et multimode De qcq mètres à 120 kms en monomode unidirectionnel • Même MTBF que le switch • • • 11

Industrial Solutions MICROSENS Anneau Ethernet redondant 8 x 10/100 TX / 3 x 1000 -FX Ø Solution brevetée : Spanning Tree et Fast ST sont trop lents Ø Configuration de l‘un des switchs en Master. But : éviter la formation de boucles Ethernet Ø VLAN IEEE 802. 1 Q 16 VLANs par switch Ø Octroi de Priorité Management via SNMP, telnet, web ou NMP 12

MICROSENS Industrial Solutions Anneau Ethernet redondant Ø Rapide signalisation des erreurs au Master via le „LDM“ (Link Detect Mechanism) (< à 100 Millisecondes) Ø Fermeture des segments Ø Remontée de la panne via le management Ø Tous les switchs disposent du management et du LDM. Ø Le Master n‘a pas besoin d‘être redondé Ø Plus de 95% de la bande passante est disponible. pour le trafic des données. 13

Autres architectures Jusqu’à 255 rings 14

Résumé • En fonctionnement normal, l’anneau est maintenu ouvert artificiellement par l’un des switchs, le manager de l’anneau. • Chaque switch surveille le statut des segments de l’anneau • En cas de panne (segment ou switch) Ø Le switch de l’anneau signale ce statut au manager du ring Ø Le manager du ring ferme l’anneau Ø Les données sont alors transmises dans les 2 directions Ø l’ouverture de l’anneau est alors réalisée en lieu et place de la panne Ø Temps < 100 m. S (autres 20 m. S) • Aucun composant central pour le basculement de la redondance. • Pas nécessaire de redonder le ring-manager, si celui-ci tombe en panne, la séparation logique devient physique et le risque de multiplication des données est inexistant. • Il est possible d’octroyer via le management un numéro à chaque Ring (0 -255) et de distinguer ainsi plusieurs anneaux • La taille de l’anneau est illimitée 15

Adaptation à MEUST, première approche Terre Mer Nœud 1 Nœud 2 Master à terre ring Nœud 3 PC supervisor 16

Adaptation à MEUST, redondance de réseau • Doublement des switches dans les nœuds • Plus de tolérance aux pannes Nœud 1 Nœud 2 Nœud 3 PC supervisor Variante bidi 17

Adaptation à MEUST, installation progressive Nœud 2 Nœud 1 50 Kms 3 Kms Nœud 3 3 Kms PC supervisor 18

Adaptation à Km 3, management Nœud 1 50 Kms E 3 Kms E PC supervisor 19

Adaptation à Km 3, management 50 Kms Nœud 1 Nœud 2 D E 3 Kms D 3 Kms E PC supervisor 20

Adaptation à Km 3, management Nœud 2 Nœud 1 Nœud 3 D 50 Kms D D 3 Kms E D 3 Kms 3 Kms E D PC supervisor 21

11. 1 SW 1 Redondance sur les E/S 2 3 4 5 6 7 8 1 12. 11 DO 1 13. 11 16 12. 12 DI 1 10 9 14. 11 16 AI 1 8 8 14. 12 13. 12 DO 2 AI 2 13. 21 16 DI 2 16 13. 22 12. 22 8 8 DO 3 13. 31 16 12. 32 DI 3 13. 32 Processus 14. 31 8 14. 71 8 AI 4 16 DO 5 12. 52 12. 61 13. 61 16 DI 6 16 13. 62 AI 7 DO 6 12. 62 14. 72 13. 71 14. 81 14. 41 16 DI 5 13. 52 AI 6 14. 62 14. 32 12. 31 16 12. 51 14. 61 14. 22 AI 3 AI 5 14. 52 14. 21 12. 21 13. 51 14. 51 8 8 14. 42 AI 8 14. 82 16 DI 7 13. 72 12. 71 16 DO 7 12. 71 SW 2 11. 2 Port cu 2 Enabled Disabled 1 3 4 5 6 7 8 10 9 IO et switch(2) 22

Redondance sur les E/S (suite) ip 1 192. 168. 14. 11 1 192. 168. 11. 1 E Box 1 side 1 D Box 2 side 1 ip 3 3 192. 168. 14. 51 sensor AI 1 192. 168. 14. 12 2 ip 2 SW 1 Box 1 side 2 AI 5 Box 2 side 2 4 192. 168. 14. 52 ip 4 D SW 2 D 192. 168. 11. 2 23

11. 1 SW 1 Redondance sur les E/S 2 3 4 5 6 7 8 1 12. 11 DO 1 13. 11 16 12. 12 DI 1 10 9 14. 11 16 AI 1 8 8 14. 12 13. 12 DO 2 AI 2 13. 21 16 DI 2 16 13. 22 12. 22 8 8 DO 3 12. 32 13. 31 16 DI 3 13. 32 Processus 14. 31 8 14. 71 8 AI 4 16 DO 5 12. 52 12. 61 13. 61 16 DI 6 16 13. 62 AI 7 DO 6 12. 62 14. 72 13. 71 14. 81 14. 41 16 DI 5 13. 52 AI 6 14. 62 14. 32 12. 31 16 12. 51 14. 61 14. 22 AI 3 AI 5 14. 52 14. 21 12. 21 13. 51 14. 51 8 8 14. 42 AI 8 14. 82 16 DI 7 13. 72 12. 71 16 DO 7 12. 71 SW 2 11. 2 2 Après modification de firmware, possibilité de boucler avec des liens Cu 1 3 4 5 6 7 8 10 9 Si trop de redondances => spanning tree 24

Configuration à la pose D D E D D D Si dernier nœud validation du troisième lien optique 25

Essais S 3 E 1 : L’anneau fonctionne tjs E 2 : Perd la fonction anneau S 1 E 3 : Perd S 3 E 1 E 2 Les modules sont toujours accessibles S 2 Modules E/S Condition : les modules sont raccordés à un seul switch 26

Outils d’administration du switch 27

Conclusion • Architecture anneau : haute disponibilité et simplicité • Cicatrisation rapide sans intervention humaine • Administration Ø Essentielle pour gérer priorités, diagnostics Ø Pas de problème de traffic Ø Optimisation des routes • Nécessité de maintenance préventive 28

Nouveauté • Composant optique • Transparent si alimenté • Sinon ferme le ring 29