Académique Documents
Professionnel Documents
Culture Documents
(DOC) Architecture & Administration - Plateform de Stockage - Eucalyptus + Glusterfs + D2D Backup Manager
(DOC) Architecture & Administration - Plateform de Stockage - Eucalyptus + Glusterfs + D2D Backup Manager
2012
#late$orme %e stoc&age
'(C)*+#T(S
Sommaire
ntroduction!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! " #!# $b%ectif du document!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!" #!& D'finitions( Abr')iations et acron*mes!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!" #!+ ,'f'rences techniques e-ternes!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!" Pr'sentation du .ro%et!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! / #!" Cloud .ri)'e 0 Eucal*.tus!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!/ #!/ Cluster de stockage 0 1luster!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!2 To.ologie logique!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!#3 nstallation .lateforme de stockage!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!## #!4 nstallation du 5rontend Eucal*.tus!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!## #!6 nstallation d7un cluster de stockage!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!#8 #!2 D'monstration de la solution!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!&# Administration de la .lateforme!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!&& #!8 nterface eucal*.tus!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!&& #!#3 nformations su..l'mentaires Eucal*.tus!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!&& #!## nterface Logiciel D&D 9AC:UP ;anager!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!&+ ,'sultat du .ro%et!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!&6
#age , &
<istorique du document
=ersionDate ".0 2.0 Auteur Descri.tion des changements Cr.ation %u %ocument #ublication %e la %ocumentation sur l/intranet -"!0"!20"2 Nicolas BROISIN 2 !02!20"2 Nicolas BROISIN
Document r'alis' .ar 0 Nicolas BROISIN0 Stagiaire 1 Cerberis 2en%ant la 2.rio%e 3 04!0"!20"2 au 2 !02!20"2 A l7attention de 0 Cerberis
#age , +
ntroduction
#!# $b%ectif du document
Ce %ocument r.sume les .ta2es %/installation0 %e con$iguration et %/a%ministration concernant le 2ro5et %e 2late$orme %e stoc&age a6ec 'ucal72tus0 l/utilitaire 2our ce qui est %es tests %e co2ie %ans le Clou% sera D2D Bac&u2 8anager.
#age , "
Pr'sentation du .ro%et
*e 2ro5et %e stoc&age consiste 1 2ou6oir h.berger %es %onn.es %e $aBon 9 .lastique : %ans un 6aste %omaine %e stoc&age. Nous %e6ons e$$ectuer %ans une 2remiCre 2artie la mise en 2lace %u Dronten% qui sera 2oint. %e2uis l/e?t.rieur et %ans une %eu?iCme mesure l/installation %e la 2artie stoc&age qui sera sous $orme %e cluster raccor%. au Dronten% en interne. C/est ce qu/on a22elle $aire %u 9 highl7 a6ailable storage clou% :. Celui qui 2ermet la concor%ance %e l/ensemble %e ces com2osants est l/utilitaire 9 'ucal72tus : qui com2ren% E com2osants.
#age , /
#age , 4
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS CHest un 2rogramme Ka6a qui sert %e Dront en% 1 lHin$rastructure. Il o$$re0 %Hun cFt. une inter$ace %e gestion et %e contrFle con$orme au? ser6ices 'C2!S-0 une 6.ritable boLte 1 outils com2lCte0 et %e lHautre cFt.0 2ermet %Hinteragir a6ec les autres com2osants %e lHin$rastructure. Il est .galement 2ossible %Ha6oir une inter$ace @eb qui 2ermet au? utilisateurs %e g.rer certains as2ects %e lHin$rastructure. Il a - rFles 2rinci2au? 3 Sur)eiller la dis.onibilit' des ressources sur les %i$$.rentes com2osantes %e lHin$rastructure %u Clou%. *Harbitrage %es ressources - CHest 1 %ire %.ci%er quel cluster sera utilis. 2our la 6irtualisation %es instances. ;onitorer les instances en cours %He?.cution. 'n r.sum.0 le C*C a une connaissance a22ro$on%ie %e la %is2onibilit. et lHutilisation %es ressources %ans le nuage et 2ermet %e sur6eiller son .tat. Inter$ace 3 na6igateur ! R'ST ! SO)# >AL,US Inter$ace com2atible a6ec le ser6ice Sim2le Storage Ser6ice ;S-< %/)ma=on. #ermet le stoc&age %e gran%e quantit. %/in$ormations . INT'RD)C' )#I R'ST 'T SO)#. #O(R *'S B)CI(# et #'R8'T D/'TR' )TT'INT D' */'MT'RI'(R.
#age , 6
#age , 2
NlusterDS re2ose sur un mo%Cle client-ser6eur. *es Ser6eurs sont t72iquement %.2lo7.s comme %es 9briques %e stoc&age:0 chaque ser6eur e?.cutant un %aemon gluster$s% qui e?2orte un s7stCme %e $ichier local comme un 96olume:. *e 2rocessus client gluster$s0 qui se connecte au? ser6eurs a6ec un 2rotocole s2.ci$ique ;im2l.ment. au-%essus %e TC#!I#0 In$iniBan% ou SD#<0 regrou2e les 6olumes %istants en un unique 6olume. *e 6olume r.sultant est alors mont. 2ar lHhFte client 2ar un m.canisme D(S'. Diles7stem in (serS2ac' en $ranBais 3 9 s7stCme %e $ichiers en es2ace utilisateur :0 2ermet 1 un utilisateur sans 2ri6ilCges 2articuliers %Hacc.%er 1 un s7stCme %e $ichiers sans quHil soit n.cessaire %e mo%i$ier les sources %u no7au *inu?. *e mo%ule D(S' ne $ait que $ournir un 2ont 6ers lHinter$ace %u no7au
La plupart des fonctionnalits de GlusterFS sont implmentes comme traducteurs, incluant : Duplication et Rplication par fichier Partage de charge par fichier Gestion des pannes Ordonnancement et Cache disque uotas '6ite les goulots %/.tranglement O Il 2ermet %e $aire %u R)ID " a6ec le 6olume 9 re2licate% :0 R)ID 0 a6ec le 6olume 9 stri2e% : et 9 %istribute% : et %u R)ID "P0 en combinant a6ec un 6olume 9 re2licate%-%istribute% :0 la combinaison %/un 6olume 9 re2licate%-stri2e% : est en cours %e %.6elo22ement.
#age , 8
To.ologie logique
#age , #3
#age , ##
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS 1.6.1.2 Software OS 3 CentOS-E.R Dinal Dile ISO 3 CentOS-E.R.?AUVU -bin-DVD.iso Con$igur. CentOS 2our acc.%er 1 internet0 n/oublie= 2as %e mettre 1 5our les 2aquets 3 +um u2%ate +um u2gra%e 'nsuite0 T.l.charger $aststartusb.tg= #our in$ormations 6oici la liste %es %.2en%ances 3
#!4!&
nstallation
#age , #&
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS D.com2resser l/archi6e 3 tar >?6$ $aststartusb.tg= *ancer le scri2t 3 .!$astinstall.sh )rrJte= l/installation CtrP C lorsqu/on 6ous %eman%e %/enregistrer le 9 no%e controller : ce com2osant n/est 2as n.cessaire car la suite est consacr. 1 la 2artie NOD' qui est utile lorsque l/on 6eut utiliser la 2late$orme 2our 6irtualiser %es ser6eurs tels que ser6eur @eb0 ser6eur %e mail0 ser6eur %e base %e %onn.es etcW Cette 2artie n/est 2as utiliser %ans le 2ro5et %e stoc&age.
#age , #+
#!4!+ Configuration
1.6.3.1 Gnrale )2rCs a6oir in%iqu. correctement les in$ormations 1 tra6ers le scri2t %/installation0 la con$iguration %e base %oit Jtre en 2lace. V.ri$ier que tout est en 2lace en ta2ant ces comman%es 3 !etc!init.%!eucal72tus-clou% status !etc!init.%!eucal72tus-cc status Ces 2 com2osants %oi6ent Jtre en .tat %e $onctionnement. Vous %e6e= a6oir un message 6ous retournant l/a%resse I# %e chaque com2ostant. 'nsuite0 acc.%. 1 l/inter$ace @eb %/a%ministration %e la 2late$orme 3
https://10.0.15.226:8443/
#age , #"
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS Vous %e6rie= acc.%e= 1 cette 2age @eb si l/installation c/est bien %.roul.e. Ta2er le mot %e 2asse 2ar %.$aut 3 a%min ! a%min Il 6ous %eman%era ensuite %/in%iquer le nou6eau mot %e 2asse %e l/a%ministrateur. ;X6oir la 2artie a%ministration concernant la mo%i$ication %u nom %e com2te %e l/a%ministrateur 2ar %e$aut<.
#age , #/
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS 'n ce qui concerne ensuite la con$iguration %u Y)*R(S nous 2ou6ons le con$igurer 6ia les %i$$.rents $ichiers %e con$igurations ;6oir 2artie - %e la %oc< mais 2ar soucis %e $acilit. nous allons le $aire 6ia l/inter$ace0 il su$$ira %/in%iquer l/a%resse I# %e l/inter$ace %u Yalrus in%iqu. au2ara6ant lors %e l/installation %u scri2t $astinstall.sh #our 6.ri$ier que l/on a bien %es remont.s %e l/)#I S- ;)YS< 6oici le lien 3
https://10.0.15.226:8773/services/Walrus.
#our 6.ri$ier que l/ensemble %es com2osants %u Dronten% $onctionnent0 6.ri$ions 1 l/ai%e %e ces - comman%es 3 eucaVcon$ --list-clusters eucaVcon$ --list-@alruses eucaVcon$ --list-scs
1.6.3.2 Avance (se connecter la base de donnes) *e SNB utilis. est Q72er SZ* ;QSZ*DB< il est ancien et se com2ile a6ec %u 5a6a. Il n.cessite obligatoirement une inter$ace gra2hique.
#age , #4
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS ;Sur le ser6eur 'SMD installation %e gnome et %e ?""6nc ;sert 1 $aire %u remote a6ec un @in%o@s< Voir htt23!!@@@.techre2ublic.com!blog!@in%o@-on-@in%o@s!ho@-%o-i-run-a-remotelinu?-%es&to2-in-@in%o@s!2"-A< Les 'ta.es C sui)re 0 +um install 5a6a +um u2%ate T.l.charger le =i2 3 Q72erSZ* Database 'ngine ;QSZ*DB< un=i2 hsql%b-2.2.A c% !hsql%b-2.2.A!hsql%b!lib! 5a6a -c2 hsql%b.5ar org.hsql%b.util.Database8anagerS@ing #uis %ans une autre $enJtre 6i !6ar!lib!eucal72tus!%b!eucal72tusVgeneral.scri2t On r.cu2Cre le m%2 %e l/utilisateur 9 S) : )stuce 3 gre2 [CR')T' (S'R S)[ !6ar!lib!eucal72tus!%b!X 't on com2lCte QSZB* 8anager 3 (R* 3 5%bc3hsql%b3$ile3!6ar!lib!eucal72tus!%b!eucal72tusVcon$ig
#age , #6
#age , #2
#!6!&
nstallation
1.7.2.1 Instruct ons !our c"a#ue $ac" ne (server % cl ent)& T.l.charger la %erniCre 6ersion %e 3 gluster$s-core--.2.E-".?AUVU .r2m gluster$s-$use--.2.E-".?AUVU .r2m Installer ces 2 2aquets 3 \root] ^ _` r2m >(6h glusterX.r2m
'nsuite charger les con$igurations 3 \root] ^ _` mo%2robe $use D.marrer le ser6ice gluster% 3 \root] ^ _` !etc!init.%!gluster% start Cr.er le %ossier qui ser6ira 2our stoc&er les %onn.es %u 6olume. \root] ^ _` m&%ir %onnees , m&%ir >2 %onnees \root] ^ _` gluster 2eer 2robe nom_machine , gluster 2eer 2robe nomVmachine2
#age , #8
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS 1.7.2.2 Sur l'une des $ac" nes (server)& Disons machine1 Cr.er le 6olume 9 test :0 soit en are2licate%/ 3 \root]machine" ^ _` gluster 6olume create test re2lica 2 i2Vmachine"3!%onnees i2Vmachine23!%onnes
Probe successful
Soit en 9 stri2e% : 3
[root@machine1 ~ ]# gluster volume create test stripe 2 ip_machine1:/donnees ip_machine2:/donnes Probe successful
*e cluster est cr.. O 8ont. le 6olume a6ec gluster$s sur la -eme machine ;la cliente< 3
[root@machine successful ~ ]# mount !t glusterfs ip_machine2:/donnees /donnes/
#!6!+ Configuration
Il est 2ossible %e cr.er %e 2lusieurs 6olumes gluster sur 2lusieurs 2oint %e montage. )ttention 1 bien mo%i$ier le chemin %u buc&et sur l/inter$ace @eb %ans la rubrique con$iguration Yalrus a6ant %e changer!su22rimer ce chemin. Notamment en ce qui concerne le 2oint %e montage qui change. Sinon le risque est %/a6oir une erreur %ans les les logs %e t72e 9 Cannot @rite to buc&et root %irector7 : /l ancienpoint!emonta"e : Sinon la m.tho%e %e r.solution %e ce bug est %e cr.er 1 nou6eau un 2oint %e montage mais a6ec l/ancien nom %u 2oint %e montage ou !e mo!i#ier la $ase !e !onn%es &'( )voir ci*!essous+
#age , &3
Cerberis - Document Technique Plateforme de stockage EUCALYPTUS )ttention si le 2oint %e montage ne $onctionne 2as 3 9 8ount $aile% : tacher %e ta2er la comman%e 9 mo%2robe $use :.
*e logiciel D2D 6a 1 la suite %e la sau6egar%e 2rinci2ale chercher %ans sa con$iguration les 2aramCtres 2our se connecter au Clou% ;screenshot en haut<. Il 6a %onc essa7er %e se connecter au ser6ice Yalrus qui lui ren6erra au stoc&age 2ar le biais %u D 9uckets Path E #age , &#
Administration de la .lateforme
#!8 nterface eucal*.tus
Il n/est 2as 2ossible %ans la 6ersion actuelle %e changer le nom %e com2te %e l/a%ministrateur 2ar %.$aut. Il $aut cr.er un autre utilisateur qui lui aura un nom s2.ci$ique et cocher la case 9 a%ministrateur :. 'nsuite il su$$ira %/enle6er cette case 2our le com2te a%min 2ar %.$aut0 a2rCs il sera 2ossible %e le su22rimer. #artie con$iguration Yalrus 3 *e Buc&ets #ath est le lien ob le stoc&age en brique sera $ait. C/est %ans ce chemin ob il $au%ra in%iquer le chemin %u 2oint %e montage %u cluster %e stoca&ge. Dans la rubrique 9 Cre%ential :0 il 7 a une 2artie 9 Zuer7 inter$ace cre%entials :0 clique= sur 9 Sho@ &e7s : et 6ous 6erre= a22araLtre ce qui 6ous 2ermettra %e 6ous i%enti$ier ainsi que 6os %roits 2our les logiciels qui 2eu6ent Jtre reli. au Clou%.
#age , &&
*e logiciel D2D Bac&u2 8anager est com2atible a6ec 2 autres $ournisseurs 3 )ma=on S- ou encore Yin%o@s )=ure.
#age , &+
#age , &"
#age , &/
#age , &4
,'sultat du .ro%et
*es $onctionnalit.s %e co2ie %e $ichiers et %e restauration %u logiciel D2D Bac&u2 8anager sont com2atibles a6ec le ser6ice %e stoc&age %u Clou% 'ucal72tus 3 Yalrus. *e ser6ice Yalrus 2ermet %e relier la 2artie stoc&age seulement 2ar un 2oint %e montage. #ar ailleurs0 a2rCs un call t.l.2honique entre S7l6ain CORT'S0 un membre %u su22ort 6ente 'ucal72tus 'nter2rise 3 Oli6er R'N)(*T ;oli6ier.renault]eucal72tus.com< et moi-mJme0 nous a6ons conclu que la 6ersion actuellement test. c/est-1-%ire la 6ersion 2.0.- ne nous 2ermet 2as %/a6oir une haute %is2onibilit. %e la 2art %es ser6ices %e la 2late$orme notamment le Yalrus. Cette $onctionnalit. sera ra5out.e %ans la 6ersion -.0 ob une re%on%ance %es ser6ices sera 2ossible a6ec le com2osant DRBD. DRBD 2ermet une re%on%ance %u ser6ice au ni6eau TC#!I#. Il sera 2ossible %/a6oir 2 6oire - ser6ices Yalrus qui 2ourront 2ren%re le relais si la conne?ion est %.$aillante. ,omme Walrus !ans la version actuelle n utilise pas !e re!on!ance et n accepte un seul point !e monta"e l i!%e a %t% !e tester !u clusterin". (e s-st.me !e #ichier /luster#s permet !e #aire !u 012D 0 avec une con#i"uration !u volume en 3 stripe! 4 ou 3 !istri$ute! 4 5 mais aussi !u 012D 1 avec une con#i"uration !u volume en 3 replicate! 4 ou encore !u 012D 160 en com$inant une con#i"uration 3 replicate!* !istri$ute! 4 ou 3 replicate!*stripe! 47 possi$le pour la 2eme solution seulement !ans la nouvelle version /luster#s 3.3. ,e s-st.me !e #ichier a son int%r8t pour a9outer !e l espace !is:ue !ans le cluster !e #a;on simple et permet !e se connecter au< !i##%rentes $ric=s !e volume en >,? / 2? )#ile*level+ contrairement au @1& et &1@. ?ar ailleurs ce s-st.me !e #ichier ne permet pas vraiment une 3 haute !isponi$ilit% 4 t-pe 012D 5.
#age , &6
#age , &2