Virtualisation et Haute disponibilit Fabien Muller Hubert Hollender

Virtualisation et Haute disponibilité Fabien Muller – Hubert Hollender Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en oeuvre Bilan Open. Vz, Pacemaker

Problématique de départ Sécuriser les services de la DMZ - Emission des messages électroniques (SMTP) - Serveurs web institutionnels - Machines d’accès et de transfert de fichiers - Serveur d’agendas (OBM, Phpgroupware) Renouvellement de la solution existante - Mécanismes de haute disponibilité - Virtualisation Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en œuvre Bilan Open. Vz, Pacemaker

Technologie de virtualisation Ensemble de techniques et d’outils permettant de faire tourner plusieurs systèmes d’exploitation sur un serveur Partage de ressources En respectant deux principes fondamentaux : Le cloisonnement : chaque système d’exploitation à un fonctionnement indépendant sans aucune interférence mutuelle La transparence : le fonctionnement en mode vitualisé ne modifie pas le fonctionnement du système ni des applications Open. Vz, Pacemaker

Technologie de virtualisation Intérêts : Economique : mutualisation du matériel, bénéfice en terme de coût d’acquisition, de possession (rack, électricité, climatisation, réseau) et d’exploitation Facilité d’administration : installation, déploiement et migration aisées des machines virtuelles entre serveurs physiques, simulation d’environnements de qualification ou de préproduction, création de plateforme de tests ou de développements réutilisables à volonté Sécurisation : séparation des systèmes virtuels et hôtes (invisibles), répartition des utilisateurs, allocation dynamique des ressources, dimensionnement des serveurs facilités Open. Vz, Pacemaker

Technologie de virtualisation Différentes techniques : Machine virtuelle : Utilisation d’un logiciel. Emulation partielle ou totale d’une machine Hyperviseur complet : Utilisation d’un noyau hôte léger permettant de faire tourner des systèmes d’exploitations natifs Paravirtualiseur : Utilisation d’un noyau hôte allégé permettant de faire tourner des systèmes d’exploitations invités, adaptés et optimisés Isolation : Séparation forte entre différents contextes logiciels sur un même noyau de systèmes d’exploitation Open. Vz, Pacemaker

Technologie de virtualisation Machine virtuelle : Emulation logicielle Bonne isolation Coût en performance Exemples : - Qemu - VMWare - Virtual. PC, Virtual. Server - Virtual. Box Open. Vz, Pacemaker

Technologie de virtualisation Hyperviseur complet : Utilisation d’un micro-noyau Outils de supervision Emulation des I/O Instructions spécifiques Exemples : - QEMU - KVM - VMWare Server - Virtual. PC, Virtual. Server - Virtual. Box Open. Vz, Pacemaker

Technologie de virtualisation Paravirtualiseur : Micro-noyau hôte optimisé OS invités adaptés et optimisés Sans instructions spécifiques Exemples : - XEN - KVM (avec Virtio) - VMWare ESX et ESXi - Microsoft Hyper-V Server - Oracle VM Open. Vz, Pacemaker

Technologie de virtualisation Isolateur : Séparation en contextes Régi par l’OS hôte Mais cloisonnés Un seul noyau N espaces utilisateurs Solution très légère Exemples - Linux-VServer - BSD Jail - Open. VZ Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en œuvre Bilan Open. Vz, Pacemaker

Technologie de clustering Cluster = agrégat de machines dans un but de travail coopératif. Cluster : pour 2 fonctionnalités Augmentation de la puissance de traitement (scalability) : on veut que la puissance de traitement suive de manière linéaire le nombre de machines du cluster. Augmentation de la disponibilité (availability): on veut minimiser les inconvénients liées aux pannes par la redondance des machines entre elles. Open. Vz, Pacemaker

Cluster Haute-Disponibilité Le cluster est composé de 3 sous-systèmes logiques : l’accès réseau : c’est le point de passage entre les machines du cluster et les machines clientes le support du système de fichier : baie disque partagées (SCSI / Fiber Channel, ISCSI) Le coeur de calcul : n couples mémoire-CPU. Obligatoirement : le service doit pouvoir supporter : un arrêt brutal. un redémarrage brutal. Open. Vz, Pacemaker

Cluster Actif-Passif Déploiement simplifiée, niveaux de performances garanti Serveur dédié à la reprise de services Open. Vz, Pacemaker

Cluster Actif-Actif tous les nœuds du cluster tournent des services une seule instance active du service risque de corruption des données (R/W simultanées) Open. Vz, Pacemaker

Cluster à répartition de charges Ferme de serveurs Répartition d’un même service sur plusieurs machines Pour le monde extérieur : un serveur unique Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en œuvre Bilan Open. Vz, Pacemaker

Open. VZ : principes C'est une virtualisation au niveau noyau en réalisant un partitionnement des ressources systèmes C'est le noyau du système d'exploitation qui fait une isolation entre des machines virtuelles et permet d'exécuter des applications dans des contextes différents Chaque contexte d'exécution est une machine virtuelle (VPS) se partageant le même noyau. Un processus d'une machine virtuelle ne peut pas faire de déni de service en dehors de sa machine virtuelle Il n'y a pas d' « émulation » à proprement parler comme dans d'autres système de virtualisation. Open. Vz, Pacemaker

Open. VZ : fonctionnalités Chaque « Virtual Private Servers » VPS est un système indépendant Les VPS sont des systèmes Linux normaux (file system, scripts, programmes) : aucune spécificité open. VZ Les VPS sont totalement isolés les uns des autres (mémoire, file system, communication inter-processus (IPC)) Chaque VPS a sa propre adresse réseau, les adresses multiples par VPS sont permises. Le trafic réseau de chaque VPS est isolé (pas de snooping possible). Open. Vz, Pacemaker

Open. VZ : fonctionnalités Migration à chaud : Sauvegarde sur disque de l’état du serveur virtuel via un mécanisme de snaphot. Ce fichier peut alors être transféré sur une autre machine et restauré en état de marche en quelques secondes. Les « beancounters » : Ensemble de paramètres (une vingtaine) pouvant être attribué à chaque serveur virtuel pour imposer des limites et préserver les ressources de la machine hôte. Gestion des ressources : Outils permettant de contrôler l’utilisation des ressources de l’hôte par machine virtuelle (mémoire résidente et virtuelle, quotas d’utilisation CPU et disque, priorités d’accès CPU et disque) OS template : « file system » d'une distribution Linux permettant de « peupler » les VPS, disponibles sous forme de paquetages ou pouvant être créés. Open. Vz, Pacemaker

Open. VZ : avantages Pas besoin d’image disque de machine. Il suffit de copier un file system pour installer une machine virtuelle Consommation mémoire légère (la mémoire est mutualisée entre le serveur hôte et les VPS et la mémoire demandée à l'hôte est celle réellement utilisée par les processus du VPS) Cela peut simplement être vu comme un chroot du file system amélioré par une isolation des processus Tous les processus des machines virtuelles font les appels système à un seul noyau. Les E/S sont donc plus efficaces que sur un système qui tournerait à travers une émulation Intégré dans la distribution Debian en standard Gestion fines des ressources Open. Vz, Pacemaker

Open. VZ : Installation sous Debian Installation (noyau patché + utilitaires) : aptitude install linux-image-2. 6. 26 -2 -openvz-amd 64 aptitude install vzctl vzdump vzquota vzprocps shutdown -r now uname –r : 2. 6. 26 -1 -openvz-686 Activation du forwarding (sysctl –p) : Modification du fichier /etc/sysctl. conf # packet forwarding enabled and proxy arp disabled net. ipv 4. conf. default. forwarding=1 net. ipv 4. conf. default. proxy_arp = 0 net. ipv 4. ip_forward=1 # Enables source route verification net. ipv 4. conf. all. rp_filter = 1 # Enables the magic-sysrq key kernel. sysrq = 1 # we do not want all our interfaces to send redirects net. ipv 4. conf. default. send_redirects = 1 net. ipv 4. conf. all. send_redirects = 0 Open. Vz, Pacemaker

Open. VZ : Installation sous Debian Récupération d'un template d'OS : cd /vz/template/cache wget http: //download. openvz. org/template/precreated/debian-5. 0 amd 64 -minimal. tar. gz/ Création et configuration du VE : vzctl create 101 --ostemplate debian-5. 0 -amd 64 -minimal. tar. gz vzctl set 101 --onboot yes –save vzctl set 101 --hostname xstra –save vzctl set 101 --ipadd 172. 16. 0. 101 –save vzctl set 101 --nameserver 130. 79. 200 –save vzctl set CTID –-diskspace 80 G: 80 G –save vzctl set 100 –-privvmpages 250 M: 250 M –save vzctl start 101 vzctl enter 101 Open. Vz, Pacemaker

Open. VZ : Installation sous Debian Autres commandes utiles : vzlist vzctl stop 101 vzctl destroy 101 vzctl exec 101 ps ax ou vztop vzmemcheck, vzcpucheck, vzcalc Sauvegarde et restauration : Par défaut dans /var/lib/vz/dump vzdump –compress –dumpdir /mnt/xstra/ --stop 101 –mailto semxstra@ipcms. u-strasbg. fr vzdump –restore /mnt/xstra. tgz 101 Migration à chaud : Fonctionne avec rsync et ssh (automatisation via clé ssh) Vzmigrate –r no –online –v 172. 16. 0. 102 101 Open. Vz, Pacemaker

Open. VZ : Configuration Fichier de configuration générale : /etc/vz/vz. conf Fichiers de configuration des VPS : /etc/vz/conf/<ctid>. conf /etc/vz/conf/<ctid>. mount /etc/vz/conf/<ctid>. umount Configuration lue au démarrage Modifiable à chaud via l’utilitaire : vzctl set Files system des VPS : /var/lib/vz - dump pour les sauvegarde - private pour les files systems - template pour les templates Open. Vz, Pacemaker

Open. VZ : Configuration Exemple : fichier vz. conf ## Global parameters VIRTUOZZO=yes LOCKDIR=/var/lib/vz/lock DUMPDIR=/var/lib/vz/dump VE 0 CPUUNITS=1000 ## Logging parameters LOGGING=yes LOGFILE=/var/log/vzctl. log LOG_LEVEL=0 VERBOSE=0 ## Disk quota parameters DISK_QUOTA=yes VZFASTBOOT=yes # The name of the device whose ip address will be used as source ip for VE. # By default automatically assigned. #VE_ROUTE_SRC_DEV="eth 0" # Controls which interfaces to send ARP requests and modify APR tables on. NEIGHBOUR_DEVS=detect ## Template parameters TEMPLATE=/var/lib/vz/template ## Defaults for VEs VE_ROOT=/var/lib/vz/root/$VEID VE_PRIVATE=/var/lib/vz/private/$VEID CONFIGFILE="vps. basic" #DEF_OSTEMPLATE="fedora-core-4" DEF_OSTEMPLATE="debian" ## Load vzwdog module VZWDOG="no" ## IPv 4 iptables kernel modules IPTABLES="ipt_REJECT ipt_tos ipt_limit ipt_multiport iptable_filter iptable_mangle ipt_TCPMSS ipt_tcpmss ipt_ttl ipt_length" ## Enable IPv 6 IPV 6="no" ## IPv 6 ip 6 tables kernel modules IP 6 TABLES="ip 6_tables ip 6 table_filter ip 6 table_mangle ip 6 t_REJECT" Open. Vz, Pacemaker

Open. VZ : Configuration Exemple : fichier <ctid>. conf ONBOOT="no" # UBC parameters (in form of barrier: limit) KMEMSIZE="14372700: 14790164" LOCKEDPAGES="356: 356" TCPSNDBUF="1720320: 2703360" TCPRCVBUF="1720320: 2703360" OTHERSOCKBUF="1126080: 2097152" DGRAMRCVBUF="262144: 262144" NUMOTHERSOCK="360: 360" DCACHESIZE="3409920: 3624960" NUMFILE="9312: 9312" AVNUMPROC="180: 180" NUMIPTENT="128: 128" # Disk quota parameters (in form of softlimit: hardlimit) DISKSPACE="1048576: 1153024" DISKINODES="200000: 220000" QUOTATIME="0" # CPU fair sheduler parameter CPUUNITS="1000" VE_ROOT="/dataipcmsdmz/lv-serveur-web-11/root/$VEID" VE_PRIVATE="/dataipcmsdmz/lv-serveur-web-11/private/$VEID" OSTEMPLATE="debian-5. 0 -amd 64 -minimal" ORIGIN_SAMPLE="vps. basic" HOSTNAME="serveur-web-11. u-strasbg. fr" NAMESERVER="130. 79. 200" IP_ADDRESS="130. 79. 210. 3" NETIF="ifname=eth 0, mac=00: 18: 51: 7 C: A 9: 57, host_ifname=veth 2010. 0, host_mac=00: 18: 51: 91: C 1: E 5" Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en œuvre Bilan Open. Vz, Pacemaker

Pacemaker Solution Open. Source de clustering Gestion de la haute disponibilité des services et données Evolution de hearbeat (différentes branches, version 3) Gestion de cluster jusqu’à 16 noeuds Gestion de différents modes : Actif/Passif, Actif/Actif Depuis la version 2 gestion intégrée des ressources Déplacement dynamique/manuel des ressources Co-location et ordre de lancement des ressources Open. Vz, Pacemaker

Pacemaker (évolutions) Linux-HAv 1 : Limitation à 2 nœuds en actif/passif Configuration par scripts (haresources) Pas de gestion automatique des ressources Linux-HAv 2 : Ajout d’un gestionnaire de ressources (CRM) 16 nœuds en actif/actif ou actif/passif Les communications se font via la couche heartbeat Configuration par scripts XML ou interface graphique Gestion automatique des ressources Branche de développement arrêtée en 2007 Open. Vz, Pacemaker

Pacemaker (évolutions) Pacemaker : Nouvelle branche de développement (Open. AIS) 16 nœuds en actif/actif ou actif/passif Communications via heartbit ou Open. AIS Configuration par scripts XML ou interface graphique Possibilité de simuler des scénarios Outils de diagnostiques performants Pacemaker (version >= 1. 0. 5) : Remplacement de Open. AIS par Corosync Couche basique pour les communications Découpage de heartbeat en 3 couches (cluster-glue, resourceagents, heartbeat) Open. Vz, Pacemaker

Pacemaker (évolutions) Open. Vz, Pacemaker

Pacemaker : Installation sous Debian Modification du fichier /etc/apt/source. list : deb http: //www. backports. org/debian lenny-backports main contrib nonfree deb http: //people. debian. org/~madkiss/ha lenny main Installation avec corosync : aptitude install pacemaker-mgmt-client Initialisation de la couche communication (corosync) : node 1 : sudo corosync-keygen scp /etc/corosync/authkey node 2: node 2 : sudo mv ~/authkey /etc/corosync/authkey sudo chown root: root /etc/corosync/authkey sudo chmod 400 /etc/corosync/authkey Open. Vz, Pacemaker

Pacemaker : Installation sous Debian Configuration corosync : via le fichier /etc/corosync. conf modifier au minimum : interface { # The following values need to be set based on your # environment ringnumber: 0 bindnetaddr: 172. 16. 152. 130 mcastaddr: 226. 94. 1. 1 mcastport: 5405 } activation START=yes dans /etc/default/corosync démarrage du service : /etc/init. d/coroync start vérification du status via l’utilitaire de gestion des ressources crm_mon --one-shot -V Open. Vz, Pacemaker

Pacemaker : Configuration Via les commandes du gestionnaire de ressources : crm : Exemple primitive fs-serveur-web-01 ocf: heartbeat: Filesystem operations $id="fs-serveur-web-01 -operations" op monitor interval="20" timeout="40" params device="/dev/vg-dataipcmsdmz/lv-serveur-web-01" directory="/dataipcmsdmz/lv-serveur-web-01" fstype="ext 3" primitive ve-serveur-web-01 ocf: heartbeat: Manage. VE operations $id="ve-serveur-web-01 -operations" op monitor interval="10" timeout="10" params veid="2000" group gr-serveur-web-01 fs-serveur-web-01 ve-serveur-web-01 meta target-role="Started" Via l’interface graphique: hb_gui Open. Vz, Pacemaker

Pacemaker (GUI) Open. Vz, Pacemaker

Pacemaker (GUI) Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en œuvre Bilan Open. Vz, Pacemaker

Solution mise en œuvre VE 100 VE 101 VE 102 VE 103 failover VE 105 VE 106 VE 107 VE 108 OS Virtualisation Open. VZ Pacemaker Corosync Système d'exploitation Debian Node 1 Node 2 Stockage partagé 2, 25 Tb en raid 6

Solution mise en œuvre VE 1000 eth 1 Web-proxy bridge br 0 eth 2 VE 1001 OBM 130. 79. 210. 0/28 VE 1002 FTP VE 1003 Mysql bridge br 1 VE 1004 Postgresql 172. 16. 153. 0/24 Open. Vz, Pacemaker VE 2003 VE 2002 VE 2001 VE 2000 Web-05 Web-04 Web-03 Web-02 Web-01

Solution mise en œuvre Baie Provigo 610 SAS : 8 disques de 500 Go SATA à 7200 tr/min 1 disque Hot Spare 1 Raid Group (7 disques) en Raid 6 (2, 5 To utile) 1 contrôleur, cache 1 Go, unité batterie alimentation redondante double connexions SAS vers les 2 serveurs 2 Serveurs Calleo 121 Quad Core 8 Go de mémoire, 160 Go (en mirroir), 2 x 1 Gb Ethernet + IPMI Cluster Actif/Actif SMTP, OBM, SSH, HTTPS, MYSQL, POSTGRESQL Open. Vz, Pacemaker

Plan de l’exposé Contexte Technologie de virtualisation Technologie de clustering Open. VZ Pacemaker Solution mise en œuvre Bilan Open. Vz, Pacemaker

Bilan Solution en place depuis 9 mois Performante, bon niveau de sécurité Peu consommatrice en ressources Faible coût d’acquisition (environ 6 K€) Investissement pour maitriser la technologie Bonne documentation A tester avec GFS 2 et Proxmox Open. Vz, Pacemaker