Retour

dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Retour dexprience sur PROXMOX et HA
une solution de virtualisation et de disponibilit de
services
Richard Ferrere
Romain Pac
Retour dexprience au Laboratoire de Mathmatiques de Besanon
Mathrice Grenoble - 8 au 10 avril 2014
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Plan de la prsentation
Un peu de terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie
cluster retenus
Installation des direntes
briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences internet
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Un peu de terminologie
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit

Distribution linux base sur DEBIAN en 64 bits (en version 3.2 actuellement !)

Virtualisation : modules KVM et support OpenVZ

Outils de sauvegarde, de restauration et bien dautres

Interface web de gestion centralise, accs ladresse https ://NomServeur :8006/

Fonction de clustering avec regroupement de noeuds

Mode haute disponibilit

Et galement une version payante possible avec assistance et service

Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Beaucoup dactions possibles avec Proxmox !

Dmarrage/Arrt, Migration, Clonage, Conversion en

template

Bonne vision relle sur les 2 noeuds et ltat des VMs

avec graphiques de charge CPU, MEM

Sauvegardes : Vzdump des VMs

Riche en historique (tches et logs) > historique des

actions dans /var/log/ et ../pve/tasks

Assistants de cration de VMs avec conguration

Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
DRBD : Distributed Replicated Block Device

Outil de rplication en mode bloc par le rseau

RAID1 sur IP ou miroir entre 2 noeuds du cluster

Synchronisation permanente synchrone et asynchrone des donnes

Rplication de disques/volumes LVM au travers du rseau

Module noyau et driver du systme de chiers

Le mode par dfaut est :
mode primary/secondary avec systme de chiers GFS ou
OCFS2
Notre choix :
mode primary/primary avec systme de chiers EXT3/4
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
HA : High Availability
Une analyse faire :
1. Evaluer la criticit des services en production
2. Evaluer le cot dune dfaillance ou dune indisponibilit cot en
= P (probabilit) x C (cot horaire journalier) x T (temps)
3. Evaluer les impacts...
Agir sur la formule !

PCA (Plan de de continuit de lactivit, PRA (Plan de reprise de

lactivit)

HA = PCA (moyens matriels,logiciels) + PRA (procdures)

Disponibilit : donnes stockes et services en production

Assurer la continuit des services aux utilisateurs en cas de

dfaillance
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
HA : High Availability - suite...
Ce qui revient :
1. Dtecter automatiquement la dfaillance (moyens mis
en oeuvre)
2. Ragir rapidement par un ou plusieurs PRA (procdures
adaptes et testes)
Pour notre laboratoire avec Proxmox et DRBD
> Migrer rapidement et automatiquement les services
indisponibles dun noeud du cluster lautre
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Principe de fonctionnement de la HA
avec Proxmox
Prrequis

2 noeuds minimum et disque de quorum

Un stockage rpliqu avec DRBD

Dispositif de *fencing* : lagent fence

Plusieurs dmons communiquent entre eux
- Corosync : Coeur du systme, communication entre les services
- CMAN : Gre les communications entre les noeuds
- Disque de quorum : Agit en tant quarbitre
- RGManager : Rpartit et redistribue automatiquement les services
En rsum...

Redmarrer automatiquement sur lautre noeud les VMS du noeud

dfectueux

Sassurer que le noeud dfectueux ne soit plus prsent dans le

cluster !
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Infrastructure du laboratoire
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Quelques chires...

5 quipes de recherche

environ 100 personnels : 70 enseignants-chercheurs, plus

de 30 doctorants et des invits

Parc informatique htrogne avec plus de 100 postes :

- 1 pare-feu grant 3 zones rseaux spares (prive,
DMZ et invits)
- 11 serveurs physiques
- 40 postes sous Windows
- 60 postes Linux (dont clients lgers)

dirents services communs regroups sur le cluster :

DHCP, DNS, Web, Samba,...
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Grandes lignes de lexistant

Parc de serveurs vieillissant et nombreuses pannes de disques

Pannes rptes de la climatisation de la salle machine

Sauvegardes sur lecteurs/bandes non ables !

Budget de renouvellement limit 13 K(pas 1 euro de plus !)

Objectifs plusieurs niveaux :

Disposer en permanence des services et des donnes sur les

direntes zones rseau (prive et DMZ)

Faire de la haute disponibilit autant que possible

Intgrer chacun des services sur une infrastructure de virtualisation

Bncier dune souplesse et dune facilit pour la gestion et

ladministration

Disposer dune conguration matrielle et logicielle redondante

Rester sur une solution libre (pas dappel dores passer !)

Respecter lenvironnement en utilisant moins dnergie

Dployer des services la demande et dlguer des tches

dadministration
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Matriel retenu

Achat de 2 serveurs frontaux DELL R720XD Xeon

E5-2650 2Ghz comprenant :
1. 32 coeurs et 64Go de mmoire et 7 disques attenants
2. RAID 1 avec 2 disques trs rapides de 300Go (systme
Proxmox)
3. RAID 5 avec 5 disques de 3To (stockage et volume
DRBD)
4. 6 ports rseaux : 4 ports Gigas + 2 ports 10 Gigas

Pas de baie SAN de stockage part entire : sparation

des ux trop coteuse ! 42 K
Systme retenu

Proxmox et DRBD

Mode DRBD primary/primary ou dual-primary

Systme de chier sur le RAID 1 en EXT3

DRBD et LVM
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Topologie retenue et en production avec les noeuds
Boole et Cardan

Coeur de rseau en Gigabits (ressource du CRI)

architecure des 2 serveurs connecte directement

(noeud Cardan li au noeud Boole)

Le client ne voit toujours quun noeud du cluster (soit

Boole, soit Cardan)
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Schma de la topologie cluster : 2 noeuds
Proxmox avec HA en DRBD
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Systme et topologie retenus - suite...
Timing : droulement et volutions
1. Avril 2013 : dmarrage du projet
2. Mai - septembre 2013 : tests
3. Octobre 2013 : production, intgration des services
(KVM)
4. Janvier - avril 2014 : plate-forme de tests ddie HA
5. Mai -juin 2014 : basculement de la HA en production
6. Juillet - octobre 2014 : serveur de secours Proxmox
indpendant, critures de scripts de surveillance
7. Novembre 2014 : achat de disques de 3To > volume
DRBD supplmentaire (r1)
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Installation des direntes briques
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Briques IPMI et rseau

Activation de lIPMI dans le BIOS

Activation de la mise sous tension automatique aprs

une coupure lectrique

Initialiser lIPMI (paquet ipmitool) et tester le

fonctionnement :
# ipmitool lan set 1 ipaddr 172.16.8.110
# ipmitool lan set 1 netmask 255.255.0.0
# ipmitool user set password 2 secret
# ipmitool lan set 1 access on
# ipmitool -H 172.16.8.210 -U root -P secret power
reset
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Briques IPMI et rseau
aut o l o
i f a c e l o i n e t l oopback
i f a c e et h0 i n e t manual
i f a c e et h4 i n e t manual
i f a c e et h5 i n e t manual
aut o vmbr0
i f a c e vmbr0 i n e t s t a t i c
addr e s s 172. 16. 1. 80
netmask 255. 255. 0. 0
gateway 1 7 2 . 1 6 . 0 . 1
br i dge _por t s et h0
br i dge _s t p o f f
br i dge _f d 0
aut o bond0
i f a c e bond0 i n e t manual
s l a v e s et h4 et h5
bondmode 802. 3 ad
bondmi i mon 100
bonddowndel ay 200
bondupdel ay 200
aut o vmbr1
i f a c e vmbr1 i n e t s t a t i c
addr e s s 1 0 . 1 0 . 1 0 . 1
netmask 255. 255. 255. 0
br i dge _por t s bond0
br i dge _s t p o f f
br i dge _f d 0
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Briques Proxmox et DRBD

lidentique sur les 2 noeuds :

- Conguration rseau : bond 2*10Gb pour la synchro DRBD
- Cration du volume DRBD lidentique sur les 2 noeuds
- Dnition de la ressource DRBD dans /etc/drbd.d/r0.res
- Modication du taux de transfert pour le bond DRBD
/etc/drbd.d/global_common.conf
> 800M (augmentation de la bande passante)

Toujours sur les 2 noeuds, 3 commandes :

# service drbd start
# drbdadm create-md r0
# drbdadm up r0

Sur le 1er noeud, synchronisation initiale avec la commande :

# drbdadm -- --overwrite-data-of-peer primary r0
==> De 4 5h pour 8To ! !
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Briques Proxmox, DRBD et LVM suite...

3 cafs plus tard, 2 commandes faire sur les 2 noeuds :

# service drbd stop
# service drbd start
==> Ncessaire pour tre en primary/primary
==> # cat /proc/drbd doit acher ro :Primary/Primary

Congurer LVM pour tre au dessus de DRBD puis crer le PV,

faire sur les 2 noeuds :
# By d e f a u l t we accept e v e r y bl oc k de v i c e :
f i l t e r = [ " r | / dev /sdb1 | " , " r | / dev / di s k /| " , " r | / dev / bl oc k /| " , " a /. / " ]
# pvcreate /dev/drbd0

Cration du VG sur un noeud :

# vgcreate drbdvg /dev/drbd0

Ajouter le VG dans Proxmox et lui assigner le stockage des images

Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Brique Proxmox, installation et contrle

Cration sur le noeud 1 (Boole)

# pvecm create CLUSTER_NAME

Ajout du noeud 2 (Cardan)

# pvecm add IP_ADDRESS_NOEUD2

Contrles : prsence du cluster des noeudx Boole -

Cardan, status des noeuds
# pvecm nodes
# pvecm status
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Briques lies la HA

Fichier gnrale du cluster /etc/pve/cluster.conf

Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Autoriser le fencing

Modication de /etc/default/redhat-cluster-pve
FENCE_JOIN=" yes "
f e nc e _t ool j o i n
Installation du disque de quorum

Un simple machine hautement disponible sut

Une target ISCSI monte sur les 2 noeuds

Initialisation du disque sur un noeud

# parted -a optimal /dev/sdc1
# mklabel msdos
# mkpart primary 1 100%

Cration du disque dans le cluster

# mkqdisk -c /dev/sdc1 -l pve_quorum
Redmarrage des noeuds ! ! !
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Dfaillances et HA
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Cas de dfaillances possibles : rseau
Cas 1 : probabilit trs haute (75-90%) > coupure
rseau sans agrgation de liens sur un des noeuds

Le lien ddi DRBD et linterface rseau coups sur le

noeud 1

La synchronisation entre les 2 noeuds interrompue !

Le noeud 1 hbergeant des machines virtuelles est jour

Les VMs migrent automatiquement sur le noeud 2

> Ltat de la synchronisation : Primary/Unknown
UpToDate/Unknown
> Les services sont arrts et dmarrs sur le noeud 2
mme si son tat nest plus jour !
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Cas de dfaillances possibles : en terme
decience
Cas 2 : probabilit moyenne (40-60%) >
maintenance/dure

Le noeud 1 revient dans le groupe cluster

Le noeud 2 doit avoir termin sa resynchronisation !

Arrt du noeud 2 pour maintenance

Dure darrt longue = temps de synchronisation lev

> Les services sont arrts et dmarrs sur le noeud 1

Mais si le noeud 1 tombe entretemps, alors :

> blocs de donnes errons et split-brain !
Cas 3 : probabilit trs faible (1-10%) > agrgation de
liens, lectrique

Coupure de lagrgation de liens rseaux (Bonding)

Plus dalimentation lectrique sur 1 noeud !

> La situation est bloque, il ne se passe rien le temps que...
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
(Loading Video...)
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Conclusion et rfrences
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
CONCLUSION

Proxmox et DRBD : vritable binme pour un gain de temps

apprciable et beaucoup de possibilits...

Outil simple de par son interface web, oprationnel, stable et

ncessitant peu de maintenance mais de la conguration

Trs grande souplesse plusieurs niveaux : dploiement de

services la demande, sauvegardes, restaurations et autres...

Ncessite une attention particulire pour mettre en place la HA

pour une continuit de service

Beaucoup de lectures et de recherches bibliographiques pour

apprhender la terminologie HA

La HA a ses limites face certaines dfaillances

> Fencing OK pour la couche rseau et systme ; Pas toujours
OK pour les dfauts lectriques

Dveloppement de scripts possibles pour la surveillance de la

synchronisation DRBD et autres...

Oblige avoir un parc de serveurs plus homogne et facile grer

Lintgrit des donnes est-elle toujours prserve ?

Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Quelques rfrences

http ://pve.proxmox.com/wiki/Proxmox_VE_2.0_Cluster

http ://forum.proxmox.com/forum.php

http ://pve.proxmox.com/wiki/DRBD

https ://pve.proxmox.com/wiki/Fencing

https ://aresu.dsi.cnrs.fr/spip.php ?article198

http ://blog.hry.com/article11/cluster-proxmox-distant-le-
concept

https ://access.redhat.com/site/documentation/en-
US/Red_Hat_Enterprise_Linux/6/html/High_Availability_Add-
On_Overview/ch.gfscs.cluster-overview-CSO.html
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Quelques rfrences - suite...

https ://pve.proxmox.com/wiki/Service_daemons

http ://miao5.blogspot.fr/2008/11/what-are-recommend-settings-
when-using.html

https ://alteeve.ca/w/AN!Cluster_Tutorial_2

http ://pve.proxmox.com/wiki/Two-
Node_High_Availability_Cluster

http ://linux.die.net/man/5/cluster.conf.../qdisk.../cman
.../corosync.conf.../rgmanager
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Logs HA
Les logs se trouvent la suite de la prsentation, 6 pages
dtailles de logs des direntes actions lies au mcanisme
de la HA!
Bonne lecture et bonne chance
Retour
dexprience sur
PROXMOX et HA
Richard Ferrere
Romain Pac
Un peu de
terminologie
PROXMOX et DRBD?
La haute disponibilit
Infrastructure du
laboratoire
Notre laboratoire
Besanon
Notre cahier des charges
Systme et topologie cluster
retenus
Installation des
direntes briques
IPMI, rseau
Proxmox, DRBD et LVM
Briques lies la HA
Dfaillances et HA
Capacit rseau..
Matrielle,nergtique...
Dmo
Conclusion
Liens et rfrences
internet
Logs lis la haute
disponibilit
Merci de votre attention !
Avez-vous des questions ?
Logs du nud 1 en vie
####################################
#COUPURE RESEAU A ENVIRON 16:55#
####################################
##### /var/log/cluster/corosync.log
#####
M! "# 16:55:5$ %o!os&n% '(O(EM ) A *!o%esso! +i,ed- +o!.ing ne/ %on+igu!0ion1
M! "# 16:56:21 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:56:21 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:56:21 %o!os&n% 'CLM ) !627 i*61#"1161811227
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:56:21 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:56:21 %o!os&n% ';UORUM) Me.9e!s'1): 1
M! "# 16:56:21 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:56:21 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:56:21 %o!os&n% 'CLM ) !627 i*61#"1161811227
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:56:21 %o!os&n% '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:56:21 %o!os&n% 'CP4 ) %=osen do/n,is0: sende! !627 i*61#"1161811227 > .e.9e!s6o,d:" ,e+0:17
M! "# 16:56:21 %o!os&n% 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
M! "# 16:58:@5 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"1161811227
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"1161811227
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:58:@5 %o!os&n% '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:58:@5 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:@5 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:@5 %o!os&n% 'CP4 ) %=osen do/n,is0: sende! !627 i*61#"1161811227 > .e.9e!s6o,d:1 ,e+0:27
M! "# 16:58:@5 %o!os&n% 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
##### /var/log/cluster/fenced.log
#####
M! "# 16:56:21 +en%ed +en%ing node =node"
M! "# 16:56:15 +en%ed +en%e =node" su%%ess
##### /var/log/cluster/rgmanager.log
#####
M! "# 16:56:21 !g.nge! S00e %=nge: =node" AOBN
M! "# 16:56:16 !g.nge! S0!0ing s0o**ed se!vi%e *vev.:122
M! "# 16:56:16 !g.nge! S0!0ing s0o**ed se!vi%e *vev.:121
M! "# 16:56:16 !g.nge! '*vev.) VM 12" is !unning
M! "# 16:56:16 !g.nge! '*vev.) Move %on+ig +o! VM 122 0o ,o%, node
M! "# 16:56:16 !g.nge! '*vev.) Move %on+ig +o! VM 121 0o ,o%, node
M! "# 16:56:1# !g.nge! Se!vi%e *vev.:122 s0!0ed
M! "# 16:56:1# !g.nge! Se!vi%e *vev.:121 s0!0ed
##### /var/log/cluster/qdiskd.log
#####
M! "# 16:C1:1# DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611"#22227
M! "# 16:C1:1$ DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611"@22227
M! "# 16:C1:"1 DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611"$22227
M! "# 16:C1:"@ DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611@"22227
M! "# 16:C1:"6 DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611"222227
M! "# 16:C@:21 DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611@222227
M! "# 16:C@:2@ DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611@122227
M! "# 16:C@:25 DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611"622227
M! "# 16:C@:28 DdisEd DdisE %&%,e 0ooE .o!e 0=n 1 se%ond 0o %o.*,e0e 611"C22227
M! "# 16:55:"" DdisEd B!i0ing evi%0ion no0i%e +o! node "
M! "# 16:55:"@ DdisEd Node " evi%0ed
##### /var/log/messages
#####
##### ,ogs en !**o!0 ve% ARFA e0 R4MANA4ER
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: *ee!6 P!i.!& GH UnEno/n 7 %onn6 Conne%0ed GH Ne0/o!E3i,u!e 7 *dsE6 U*(oA0e GH AUnEno/n 7
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: ne/ %u!!en0 UUIA
AECAFC82C15FA2AF:$$$A6CE8AAA$1#@A:C6C#CC#652C$"163:C6C6CC#652C$"163
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: sende! 0e!.in0ed
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: (e!.in0ing sende! 0=!ed
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: Conne%0ion %,osed
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: %onn6 Ne0/o!E3i,u!e GH Un%onne%0ed 7
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: !e%eive! 0e!.in0ed
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: Res0!0ing !e%eive! 0=!ed
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: !e%eive! 6!e7s0!0ed
M! "# 16:55:1@ =node1 Ee!ne,: 9,o%E d!9d1: %onn6 Un%onne%0ed GH B3Conne%0ion 7
M! "# 16:55:1@ =node1 Ee!ne,: 9nI" 2222:2#:2212: e0=1: NIC Co**e! LinE is U*- 122 M9*s +u,, du*,eI- !e%eive J 0!ns.i0 +,o/ %on0!o, ON
M! "# 16:58:55 =node1 !g.nge!'"$2#): S00e %=nge: =node" UP
Logs du nud " ve% un *!o9,K.e !Lseu
####################################
#COUPURE RESEAU A ENVIRON 16:55#
####################################
##### /var/log/cluster/corosync.log
#####
M! "# 16:55:5$ %o!os&n% '(O(EM ) A *!o%esso! +i,ed- +o!.ing ne/ %on+igu!0ion1
M! "# 16:55:5$ %o!os&n% '(O(EM ) (=e ne0/o!E in0e!+%e is do/n1
M! "# 16:56:21 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:56:21 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:56:21 %o!os&n% 'CLM ) !627 i*61"#1212117
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:56:21 %o!os&n% 'CLM ) !627 i*61"#1212117
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:56:21 %o!os&n% ';UORUM) Me.9e!s'1): 1
M! "# 16:56:21 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:56:21 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:56:21 %o!os&n% 'CLM ) !627 i*61"#1212117
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:56:21 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:56:21 %o!os&n% '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:56:21 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
M! "# 16:56:21 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
M! "# 16:56:21 %o!os&n% 'CP4 ) %=osen do/n,is0: sende! !627 i*61"#1212117 > .e.9e!s6o,d:" ,e+0:17
M! "# 16:56:21 %o!os&n% 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
M! "# 16:58:@5 %o!os&n% 'MAIN ) Co!os&n% C,us0e! Engine 6M11C15M7: s0!0ed nd !ed& 0o *!ovide se!vi%e1
M! "# 16:58:@5 %o!os&n% 'MAIN ) Co!os&n% 9ui,0Gin +e0u!es: nss
M! "# 16:58:@5 %o!os&n% 'MAIN ) Su%%ess+u,,& !ed %on+ig +!o. Ne0%N%,us0e!N%,us0e!1%on+
M! "# 16:58:@5 %o!os&n% 'MAIN ) Su%%ess+u,,& *!sed %.n %on+ig
M! "# 16:58:@5 %o!os&n% 'MAIN ) Su%%ess+u,,& %on+igu!ed o*enis se!vi%es 0o ,od
M! "# 16:58:@5 %o!os&n% '(O(EM ) Ini0i,i?ing 0!ns*o!0 6UAPNIP Mu,0i%s071
M! "# 16:58:@5 %o!os&n% '(O(EM ) Ini0i,i?ing 0!ns.i0N!e%eive se%u!i0&: ,i90o.%!&*0 SOFER1"8NS5A15MAC 6.ode 271
M! "# 16:58:@5 %o!os&n% '(O(EM ) (=e ne0/o!E in0e!+%e '1#"116181"22) is no/ u*1
M! "# 16:58:@5 %o!os&n% ';UORUM) Using Duo!u. *!ovide! Duo!u.O%.n
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! Duo!u. se!vi%e v211
M! "# 16:58:@5 %o!os&n% 'CMAN ) CMAN 1@6C188C@# 69ui,0 M! "5 "21@ 26:1C:217 s0!0ed
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% CMAN .e.9e!s=i* se!vi%e "1$2
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: o*enis %,us0e! .e.9e!s=i* se!vi%e F121121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: o*enis even0 se!vi%e F121121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: o*enis %=e%E*oin0 se!vi%e F121121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: o*enis .essge se!vi%e F12@121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: o*enis dis0!i9u0ed ,o%Eing se!vi%e F12@121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: o*enis 0i.e! se!vi%e A121121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% eI0ended vi!0u, s&n%=!on& se!vi%e
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% %on+igu!0ion se!vi%e
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! %,osed *!o%ess g!ou* se!vi%e v1121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! %on+ig d09se %%ess v1121
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% *!o+i,e ,oding se!vi%e
M! "# 16:58:@5 %o!os&n% ';UORUM) Using Duo!u. *!ovide! Duo!u.O%.n
M! "# 16:58:@5 %o!os&n% 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! Duo!u. se!vi%e v211
M! "# 16:58:@5 %o!os&n% 'MAIN ) Co.*0i9i,i0& .ode se0 0o /=i0e0nE1 Using V1 nd V" o+ 0=e s&n%=!oni?0ion engine1
M! "# 16:58:@5 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:58:@5 %o!os&n% '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:58:@5 %o!os&n% ';UORUM) Me.9e!s'1): "
M! "# 16:58:@5 %o!os&n% ';UORUM) Me.9e!s'1): "
M! "# 16:58:@5 %o!os&n% 'CP4 ) %=osen do/n,is0: sende! !627 i*61#"116181"227 > .e.9e!s6o,d:2 ,e+0:27
M! "# 16:58:@5 %o!os&n% 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
M! "# 16:58:@5 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 %o!os&n% 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 %o!os&n% 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"1161811227
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"116181"227
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 %o!os&n% 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 %o!os&n% 'CLM ) !627 i*61#"1161811227
M! "# 16:58:@5 %o!os&n% '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:58:@5 %o!os&n% 'CMAN ) Duo!u. !egined- !esu.ing %0ivi0&
M! "# 16:58:@5 %o!os&n% ';UORUM) (=is node is /i0=in 0=e *!i.!& %o.*onen0 nd /i,, *!ovide se!vi%e1
M! "# 16:58:@5 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:@5 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:@5 %o!os&n% 'CP4 ) %=osen do/n,is0: sende! !627 i*61#"1161811227 > .e.9e!s6o,d:1 ,e+0:27
M! "# 16:58:@5 %o!os&n% 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
M! "# 16:58:C8 %o!os&n% 'CMAN ) Duo!u. devi%e !egis0e!ed
M! "# 16:58:C8 %o!os&n% ';UORUM) Me.9e!s'"): 1 "
##### /var/log/cluster/fenced.log
#####
M! "# 16:56:21 +en%ed +en%ing node =node1
M! "# 16:56:2" +en%ed +en%e =node1 dev 212 gen0 +en%eOi*.i,n !esu,0: e!!o! +!o. gen0
M! "# 16:56:2" +en%ed +en%e =node1 +i,ed
M! "# 16:56:25 +en%ed +en%ing node =node1
M! "# 16:58:C$ +en%ed +en%ed 1@6C188C@# s0!0ed
##### /var/log/cluster/rgmanager.log
#####
M! "# 16:58:5" !g.nge! I . node #"
M! "# 16:58:5" !g.nge! Resou!%e 4!ou* Mnge! S0!0ing
M! "# 16:58:5" !g.nge! Loding Se!vi%e A0
M! "# 16:58:5C !g.nge! Ini0i,i?ing Se!vi%es
M! "# 16:58:5C !g.nge! '*vev.) VM 121 is ,!ed& s0o**ed
M! "# 16:58:5C !g.nge! '*vev.) VM 122 is ,!ed& s0o**ed
M! "# 16:58:5C !g.nge! '*vev.) VM 12" is ,!ed& s0o**ed
M! "# 16:58:5C !g.nge! '*vev.) VM 12@ is ,!ed& s0o**ed
M! "# 16:58:55 !g.nge! Se!vi%es Ini0i,i?ed
M! "# 16:58:55 !g.nge! S00e %=nge: Lo%, UP
M! "# 16:58:55 !g.nge! S00e %=nge: =node1 UP
M! "# 16:58:55 !g.nge! Mig!0ion: *vev.:122 is !unning on 1
M! "# 16:58:55 !g.nge! Mig!0ion: *vev.:121 is !unning on 1
M! "# 16:58:56 !g.nge! Mig!0ion: *vev.:12" is !unning on 1
M! "# 16:58:56 !g.nge! Mig!0ion: *vev.:12@ is !unning on 1
##### /var/log/cluster/qdiskd.log
#####
M! "# 16:55:1# DdisEd DdisEd: !ed 6s&s0e. %,,7 =s =ung +o! 5 se%onds
M! "# 16:55:1# DdisEd In 5 .o!e se%onds- /e /i,, 9e evi%0ed
M! "# 16:58:@$ DdisEd ;uo!u. P!0i0ion: NdevN9,o%EN8:@@ L9e,: *veODuo!u.
M! "# 16:58:@$ DdisEd ;uo!u. Ae.on Ini0i,i?ing
M! "# 16:58:CC DdisEd Node 1 is 0=e .s0e!
M! "# 16:58:C8 DdisEd Ini0i, s%o!e 1N1
M! "# 16:58:C8 DdisEd Ini0i,i?0ion %o.*,e0e
M! "# 16:58:C8 DdisEd S%o!e su++i%ien0 +o! .s0e! o*e!0ion 61N1> !eDui!edP17> u*g!ding
##### /var/log/messages
#####
##### Logs en !**o!0 ve% ARFA- R4MANA4ER- ;AISQA
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: *ee!6 P!i.!& GH UnEno/n 7 %onn6 Conne%0ed GH Ne0/o!E3i,u!e 7 *dsE6 U*(oA0e GH AUnEno/n 7
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: ne/ %u!!en0 UUIA
E@F2ACE8C@AC2A13:$$$A6CE8AAA$1#@A:C6C#CC#652C$"163:C6C6CC#652C$"163
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: sende! 0e!.in0ed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: (e!.in0ing sende! 0=!ed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: Conne%0ion %,osed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: %onn6 Ne0/o!E3i,u!e GH Un%onne%0ed 7
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: !e%eive! 0e!.in0ed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: Res0!0ing !e%eive! 0=!ed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: !e%eive! 6!e7s0!0ed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: %onn6 Un%onne%0ed GH B3Conne%0ion 7
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: %onn6 B3Conne%0ion GH Ais%onne%0ing 7
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: Ais%!ding ne0/o!E %on+igu!0ion1
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: Conne%0ion %,osed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: %onn6 Ais%onne%0ing GH S0ndA,one 7
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: !e%eive! 0e!.in0ed
M! "# 16:55:1@ =node" Ee!ne,: 9,o%E d!9d1: (e!.in0ing !e%eive! 0=!ed
M! "# 16:55:1# =node" DdisEd'"562): DdisEd: !ed 6s&s0e. %,,7 =s =ung +o! 5 se%onds
M! "# 16:55:1# =node" DdisEd'"562): In 5 .o!e se%onds- /e /i,, 9e evi%0ed
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: Res&n% done 60o0, 1 se%> *used 2 se%> 82""C QNse%7
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: u*d0ed UUIAs
AECAFC82C15FA2AF:2222222222222222:$$$F6CE8AAA$1#@A:$$$A6CE8AAA$1#@A
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: %onn6 S&n%(!ge0 GH Conne%0ed 7 disE6 In%onsis0en0 GH U*(oA0e 7
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: =e,*e! %o..nd: Ns9inNd!9dd. +0e!G!es&n%G0!ge0 .ino!G1
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: =e,*e! %o..nd: Ns9inNd!9dd. +0e!G!es&n%G0!ge0 .ino!G1 eIi0 %ode 2 62I27
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: 9i0.* BRI(E o+ 1266 *ges 0ooE 8 <i++ies
M! "# 16:58:@5 =node" Ee!ne,: 9,o%E d!9d1: 2 QF 62 9i0s7 .!Eed ou0Go+Gs&n% 9& on disE 9i0G.*1
M! "# 16:58:@5 =node" %o!os&n%'"C61): '(O(EM ) (=e ne0/o!E in0e!+%e '1#"116181"22) is no/ u*1
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) Using Duo!u. *!ovide! Duo!u.O%.n
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! Duo!u. se!vi%e v211
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CMAN ) CMAN 1@6C188C@# 69ui,0 M! "5 "21@ 26:1C:217 s0!0ed
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% CMAN .e.9e!s=i* se!vi%e "1$2
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: o*enis %,us0e! .e.9e!s=i* se!vi%e F121121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: o*enis even0 se!vi%e F121121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: o*enis %=e%E*oin0 se!vi%e F121121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: o*enis .essge se!vi%e F12@121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: o*enis dis0!i9u0ed ,o%Eing se!vi%e F12@121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: o*enis 0i.e! se!vi%e A121121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% eI0ended vi!0u, s&n%=!on& se!vi%e
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% %on+igu!0ion se!vi%e
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! %,osed *!o%ess g!ou* se!vi%e v1121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! %on+ig d09se %%ess v1121
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% *!o+i,e ,oding se!vi%e
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) Using Duo!u. *!ovide! Duo!u.O%.n
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'SERV ) Se!vi%e engine ,oded: %o!os&n% %,us0e! Duo!u. se!vi%e v211
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'MAIN ) Co.*0i9i,i0& .ode se0 0o /=i0e0nE1 Using V1 nd V" o+ 0=e s&n%=!oni?0ion engine1
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) #211!627 i*61#"116181"227
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) #211!627 i*61#"116181"227
M! "# 16:58:@5 =node" %o!os&n%'"C61): '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) Me.9e!s'1): "
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) Me.9e!s'1): "
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CP4 ) %=osen do/n,is0: sende! !627 i*61#"116181"227 > .e.9e!s6o,d:2 ,e+0:27
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) #211!627 i*61#"116181"227
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) CLM CON3I4URA(ION C5AN4E
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Ne/ Con+igu!0ion:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) #211!627 i*61#"1161811227
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) #211!627 i*61#"116181"227
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s Le+0:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) Me.9e!s :oined:
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CLM ) #211!627 i*61#"1161811227
M! "# 16:58:@5 =node" %o!os&n%'"C61): '(O(EM ) A *!o%esso! <oined o! ,e+0 0=e .e.9e!s=i* nd ne/ .e.9e!s=i* /s +o!.ed1
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CMAN ) Duo!u. !egined- !esu.ing %0ivi0&
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) (=is node is /i0=in 0=e *!i.!& %o.*onen0 nd /i,, *!ovide se!vi%e1
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:@5 =node" %o!os&n%'"C61): ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'CP4 ) %=osen do/n,is0: sende! !627 i*61#"1161811227 > .e.9e!s6o,d:1 ,e+0:27
M! "# 16:58:@5 =node" %o!os&n%'"C61): 'MAIN ) Co.*,e0ed se!vi%e s&n%=!oni?0ion- !ed& 0o *!ovide se!vi%e1
M! "# 16:58:@$ =node" DdisEd'"5"2): ;uo!u. P!0i0ion: NdevN9,o%EN8:@@ L9e,: *veODuo!u.
M! "# 16:58:@$ =node" DdisEd'"5"2): ;uo!u. Ae.on Ini0i,i?ing
M! "# 16:58:CC =node" DdisEd'"5"2): Node 1 is 0=e .s0e!
M! "# 16:58:C8 =node" DdisEd'"5"2): Ini0i, s%o!e 1N1
M! "# 16:58:C8 =node" DdisEd'"5"2): Ini0i,i?0ion %o.*,e0e
M! "# 16:58:C8 =node" %o!os&n%'"C61): 'CMAN ) Duo!u. devi%e !egis0e!ed
M! "# 16:58:C8 =node" %o!os&n%'"C61): ';UORUM) Me.9e!s'"): 1 "
M! "# 16:58:C8 =node" DdisEd'"5"2): S%o!e su++i%ien0 +o! .s0e! o*e!0ion 61N1> !eDui!edP17> u*g!ding
M! "# 16:58:C$ =node" +en%ed'"6$1): +en%ed 1@6C188C@# s0!0ed
M! "# 16:58:C$ =node" d,.O%on0!o,d'"#1"): d,.O%on0!o,d 1@6C188C@# s0!0ed
M! "# 16:58:5" =node" !g.nge!'"$5@): I . node #"
M! "# 16:58:5" =node" !g.nge!'"$5@): Resou!%e 4!ou* Mnge! S0!0ing
M! "# 16:58:5" =node" !g.nge!'"$5@): Loding Se!vi%e A0
M! "# 16:58:5C =node" !g.nge!'"$5@): Ini0i,i?ing Se!vi%es
M! "# 16:58:5C =node" *ves=: R!oo0S*.H s0!0ing 0sE UPIA:=node":22222EA8:22221EEA:5@@CCAFE:s0!0,,::!oo0S*.:
M! "# 16:58:5C =node" *ves=: R!oo0S*.H end 0sE UPIA:=node":22222EA8:22221EEA:5@@CCAFE:s0!0,,::!oo0S*.: OQ
M! "# 16:58:5C =node" !g.nge!'@82#): '*vev.) VM 121 is ,!ed& s0o**ed
M! "# 16:58:5C =node" !g.nge!'@8C"): '*vev.) VM 122 is ,!ed& s0o**ed
M! "# 16:58:5C =node" !g.nge!'@8C1): '*vev.) VM 12" is ,!ed& s0o**ed
M! "# 16:58:5C =node" !g.nge!'@88"): '*vev.) VM 12@ is ,!ed& s0o**ed
M! "# 16:58:55 =node" !g.nge!'"$5@): Se!vi%es Ini0i,i?ed
M! "# 16:58:55 =node" !g.nge!'"$5@): S00e %=nge: Lo%, UP
M! "# 16:58:55 =node" !g.nge!'"$5@): S00e %=nge: =node1 UP
M! "# 16:58:55 =node" !g.nge!'"$5@): Mig!0ion: *vev.:122 is !unning on 1
M! "# 16:58:55 =node" !g.nge!'"$5@): Mig!0ion: *vev.:121 is !unning on 1
M! "# 16:58:56 =node" !g.nge!'"$5@): Mig!0ion: *vev.:12" is !unning on 1
M! "# 16:58:56 =node" !g.nge!'"$5@): Mig!0ion: *vev.:12@ is !unning on 1