Vous êtes sur la page 1sur 51

La technologies RAID

les niveaux simple (RAID 0,1,2,....)


Introduction Gnrale 1. Introduction 2. Le JBOD 3. Le RAID 0 4. Le RAID 1 5. Le RAID 2 6. Le RAID 3 7. Le RAID 4 8. Le RAID 5 9. L'orthogonal RAID 5 10. Le RAID 6 11. Le RAID 7 12. Conclusion

Introduction gnrale :
La technologie RAID (Redundant Array of Independent Disks) a t cre en 1987 par des chercheurs de luniversit de Berkeley (Californie) ; Le but de cette technologie est de remplacer les coteux disques de 6.5 pouces et de 9.5 pouces (ces disques sont aussi appels disques grands systmes ) qui quipent les gros serveurs (comme les serveurs de fichiers) par des ensembles form de disques de 3.5 pouces plus rpandus et beaucoup moins chers. Cela explique pourquoi l'acronyme RAID signifie aussi Redundant Array of Inexpensive Disks. Cette technologie est principalement utilise dans le domaine de l'entreprise pour scuriser ou bien pour augmenter les performances des serveurs. Elle est parfois mise en place avec dautres technologies telles que le clustering afin dobtenir des performances encore plus grande ou bien davoir un scurit maximale. Cependant, le RAID se popularise rapidement par le biais des cartes d'extension (par exemple les cartes au format PCI 32 bits) et des chipsets intgrs au sein des cartes mres grand public

(ex. : le chipset sud Intel ICH5R). Gnralement les contrleurs RAID que lon trouve sur le march du matriel grand public sont trs limits par rapport aux contrleurs RAID haut de gamme (niveaux RAID supports rduit au RAID 0 et 1, pas de mmoire cache intgre au contrleur ). Le but du RAID est de rassembler plusieurs disques durs physiques en seule unit logique. C'est--dire que pour plusieurs disques utilisant la technologie RAID, le systme dexploitation ne verra quun seul disque que lon pourra qualifier de disque virtuel . Le RAID fonctionne donc grce un ensemble (ou agrgat) de disques. Il existe plusieurs niveaux (ou configuration) de RAID qui rassemblent diffremment les donnes sur lensemble des disques. En fonction du niveau de RAID slectionn on peut :

additionner la capacit des disques durs pour former un disque virtuel plus grand obtenir un disque virtuel plus performant mettre en place la tolrance de panne (c'est--dire scuriser les donnes) augmenter la capacit, les performances et la scurit.
La technologie RAID peut tre mise en place au niveau matriel ou niveau logiciel. Elle fonctionne avec des disques dur utilisant linterface PATA (Parallel Advanced Technology Attachment), SATA (Serial Advanced Technology Attachment) ou bien SCSI (Small Computer System Interface). Pour permettre un accs plus rapide aux diffrentes informations, cet article a t divis en 5 sous parties :

les niveaux simples les niveaux combins le RAID matriel le RAID logiciel mesures de performances

I-2) Le JBOD

Le mode JBOD (Just a Bunch Of Disks) ou RAID linear, est implment dans quasiment toutes les cartes RAID du march. Il permet tout simplement de rassembler plusieurs disques durs en une seule unit logique de plus grosse capacit.

Par exemple si lon possde un disque de 8Go, un disque de 10Go et un disque de 30Go, on peut les rassembler en un seul disque dur logique de 48Go.

Les donnes sont ensuite crite disque par disque, c'est--dire que ds qu'un disque est plein, la suite des donnes est copie sur un autre disque. Tout cela reste bien sur compltement transparent pour l'utilisateur.

Il nimplmente aucune tolrance de panne et naugmente pas les performances. Il sert uniquement tendre la capacit dun disque.

Ce mode est intressant si lon souhaite stocker de gros fichiers ou bien si lon dispose dun grand nombre de petits disques durs.

I-3) le RAID 0 ou stripping


Le RAID 0 est un agrgat (ensemble) de disques form dau moins deux disques durs. Avec le RAID 0, les donnes sont rparties sur lensemble des disques de lagrgat. Cela amliore les performances en lecture et en criture. Par exemple si on copie un fichier de 99 Mo sur un agrgat compos de 3 disques, alors le contrleur RAID va diviser de faon quitable le

travail entre les trois disques qui criront chacun 33 Mo. Cela va donc multiplier le dbit par 3. De plus la capacit des disques sadditionne pour former un disque virtuel de plus grosse capacit. Attention cette partie de l'article dfinie l'ensemble des niveaux RAID dit "simples". Toutes les caractristiques (dbit, capacit, ...) sont donnes titre thorique et ne refltent pas forcment les perfomances relles.

Supposons que lon cre un agrgat (en RAID 0) avec 3 disques durs ayant les mmes caractristiques :

capacit de 160Go dbit de 100Mo/s en lecture dbit de 80Mo/s en criture

Cet agrgat se comportera alors pour le systme dexploitation comme un disque dur virtuel de 480Go (3*160 Go = 480Go) avec : un dbit en lecture de 300 Mo/s (3*100Mo/s) un dbit en criture de 240 Mo/s. (3*80Mo/s)

Si on cre un agrgat avec des disques possdant des caractristiques diffrentes alors les caractristiques du disque le moins performant sont utilises. Par exemple, si lon met en place un niveau RAID 0 avec un disque dune capacit de 60Go et un disque dune capacit de 2Go, alors seulement deux giga-octets seront utiliss sur chaque disque et le systme dexploitation verra un disque de 4Go alors que la capacit relle des deux disques runis slve en ralit 2Go + 60Go = 62Go. Il y aura donc un espace disque de 58Go (60Go 2Go = 58Go) qui sera inutilis sur le premier disque. Lorsque lon implmente un niveau RAID 0, il est donc prfrable de choisir des disques de mme capacit. De plus si lon cre un systme RAID 0 avec un disque rapide avec un disque lent, on obtiendra un disque virtuel possdant environ le double des performances du disque lent. Le disque lent va donc brider le disque rapide. Il faut donc veiller utiliser des disques proposant des caractristiques similaires afin doptimiser les performances. Par exemple associer un disque fonctionnant 10 000 tr/min et possdant 8Mo de mmoire cache et un disque fonctionnant 5400 tr/min et possdant 2Mo de mmoire cache) serait un vritable gchis. Pour rsumer, un niveau RAID 0 doit utiliser des disques durs ayant des caractristiques trs proches (notamment en capacit et en performances). Pour bien illustrer ces propos voici un petit exemple : On met en place un niveau RAID 0 au moyen de 4 disques avec les caractristiques suivantes :

Capacit Dbit en lecture Dbit en criture

Disque 1 300 Go 90Mo/s 82Mo/s

Disque 2 18Go 160Mo/s 125Mo/s

Disque 3 20Go 20Mo/s 20Mo/s

Disque 4 45Go 35Mo/s 15Mo/s

Les valeurs les plus faibles pour chacune des caractristiques ont t misent en rouge sur le tableau ci-dessus. Lorsque lon branche ces disques sur une carte RAID et que lon dfini un niveau RAID 0, on obtient le disque virtuel suivant : capacit : 4*18Go = 72Go dbit en lecture : 4*20Mo/s = 80Mo/s dbit en criture : 4*15Mo/s = 60Mo/s Le disque virtuel compos des quatre disques physiques savre donc plus lent et plus petit que le disque dur N1 utilis seul. Cet exemple est donc une utilisation catastrophique du niveau RAID 0. Lorsque lon utilise un niveau RAID 0, nous avons vu que les donnes sont rparties entre les diffrents disques, ce qui permet daugmenter les performances. Pour rpartir les donnes sur lensemble des disques de la faon la plus optimise, la carte RAID (ou bien le systme dexploitation dans le cas dun RAID logiciel) doit les dcouper en petites units appeles segments. Lorsque lon met en place un niveau RAID 0, on doit spcifier la taille de ces segments (ou block size, et parfois nomm chunk size). Cette taille est un multiple de la capacit dun secteur de disque dur (soit 512octets). Ainsi, la plus petite taille possible pour un segment est de 512octets et peut attendre plusieurs Mga-octets (parfois plus de 4Mo). La taille slectionne va influencer sur les performances en lecture et en criture. Pour le stockage de gros fichiers, il est recommand de choisir une taille leve (256Ko, ou plus) alors que pour les petits fichiers une petite taille est privilgier (ex. : 512octets, 1024 octets, ). Mais il ne faut surtout pas mettre une taille de 2048 Ko pour stocker des petits fichiers de 4Ko chacun car cela occuperait normment despace disque inutilement et les performances seraient dsastreuses. Voici une petite reprsentation logique du travail de segmentation effectu par le contrleur RAID.

Dans lexemple ci-contre, on a cre un agrgat en mode RAID 0 laide de trois disques durs. On a slectionn une taille de segment de 3072 octets. Un segment occupe donc 6 secteurs de disque dur (car 3072 octets = 6 * 512 octets). On vient de crer un nouveau document texte nomm raid.txt et on souhaite le sauvegarder sur le disque. Ce fichier a une taille de 8Ko (soit 8000 octets). Le fichier est envoy au contrleur RAID qui le dcoupe en 3 segments de 3072 octets. Une fois le dcoupage des donnes termin, le contrleur rparti les segments entre les trois disques qui les crivent en mme temps. Le troisime segment nest pas utilis au maximum car il contient uniquement 1856 octets (8000 octets 2 * 3072 octets = 1856 octets) sur les 3072. On perd donc un espace de stockage de 3072 1856 = 1216 octets. Cest pourquoi il ne faut pas choisir une taille de blocks trop leve.

Pour avoir un ordre dide des tailles de segments que lon rencontre gnralement, voici une capture dcran du BIOS de la carte RocketRAID 1820 (carte RAID de marque HightPoint qui gre les niveaux RAID 0, 1, 5, 10 et JBOD et qui possde 8 canaux SATA, une carte rcente donc). On remarque quelle permet de slectionner une taille de segments comprise entre 16Ko et 2048Ko.

Une fois que le niveau de RAID est cre, on doit ensuite partitionner et formater avec un systme de fichier (ex. : NTFS), le disque virtuel de manire logicielle ( laide de lutilitaire fdisk.exe par exemple). Selon le systme de fichiers slectionn, on peut paramtrer diverses options dont la tailles des units dallocation (ou clusters). Pour maximiser les performances et viter de perdre trop despace disque, il est fortement recommand de mettre une taille de segments (ou blocks) gale celle des units dallocation (ou clusters). Cest dailleurs ce que propose Windows lorsque lon cre un niveau RAID 0 de manire logicielle.

Pour conclure, lavantage du RAID 0 est une augmentation des performances proportionnelle au nombre de disque et ce sans perte de capacit. Cependant ce mode ne tolre pas les pannes (si un des disques tombe en panne alors toutes les donnes stockes sur lagrgat sont perdues) et induit une augmentation de la probabilit dune panne (plus il y a de disques plus il y a de chances pour que lun deux tombe en panne).

Le RAID 1
Un systme RAID 1 duplique les donnes sur tous les disques. Tout comme le RAID 0, le RAID 1 ncessite un minimum de deux disques durs pour fonctionner. Les disques ont un contenu identique ce qui implique une perte d'espace proportionnelle au nombre de disques rajouts. En effet, si on met 3 disques de 40 Go en RAID 1 alors les 40 Go cris sur le disque 1 seront copis sur les deux autres disques. On perdra donc 2 * 40 = 80 Go d'espace disque sur la capacit totale des 3 disques (120 Go). En cas de dysfonctionnement de l'un des disque dur (cela arrive frquemment sur des serveurs recevant beaucoup de requtes par secondes), le contrleur RAID utilisera alors uniquement les disques en tat de marche. Le RAID 1 apporte donc la tolrance de pannes. L'utilisation du

RAID 1 est particulirement recommande sur des serveurs stockant des donnes sensibles qui doivent rester fonctionnels 24 heures sur 24. Lorsque l'on met en place un RAID 1 avec des disques dur de capacits diffrentes, alors la capacit de stockage de l'ensemble en RAID 1 sera celle du disque de plus faible capacit. Lorsqu'un accs en lecture est ralis sur un ensemble de disques en mode RAID 1, alors tous les disques lisent chacun une partie de la donnes ce qui amliore grandement les performances en lecture. En revanche lors de l'criture sur un ensemble de disques RAID 1, les performances ne sont pas amliores. En effet, les disques vont crire les donnes de faon synchronise et ce au fur et mesure que les donnes vont arriver au contrleur. Le travail lors d'un accs en criture n'est donc pas divis entre les disques mais est commun tous les disques. Le dbit en criture d'un ensemble RAID 1 est donc le mme que celui d'un disque seul. C'est pourquoi dans un ensemble RAID 1, contenant 5 disques les accs en lecture seront grandement amliors alors que les accs en criture stagneront. Le but du RAID 1 est d'offrir une scurit maximale aux donnes stockes sur une machine. C'est pourquoi certaines cartes RAID incluent plusieurs contrleurs RAID (un par disque) afin que malgr la perte d'un contrleur les donnes soient toujours accessibles. Dans ce cas on parle de " duplexing ".

Le schma ci- gauche prsente un RAID 1 en duplexing .

Ici seuls 15 Go sont exploitables car le plus petit des disques utiliss une capacit de 15 Go. Etant donn que 4 disques sont utiliss, les donnes ne seront pas perdues mme si 3 des 4 disques tombent en panne. De plus grce au duplexing , le systme supporte la perte dun contrleur ou plus.

Dans la majorit des cas, la carte RAID ou le circuit intgr (sur certaine cartes mres dentre de gamme, le contrleur IDE intgr gre le RAID) ne possde quun seul contrleur. On parle alors de mirroring . Le schma (ci- droite) prsente un RAID 1 en mirroring . Seul 25 Go sont exploitables et les performances en lecture sont multiplies par deux.

Il existe donc bien deux types de RAID 1 diffrents. Le duplexing tant mconnu et trs peu utilis, une certaine confusion sest cre propos du RAID 1. En effet, mirroring nest pas synonyme de RAID 1 (contrairement ce quon peut voir dans des forums sur la toile et mme dans les manuels de certains constructeurs de carte RAID !).

I-5) le RAID 2
Le RAID 2 est une alternative au RAID 1. En effet, le RAID 2 est identique au RAID 1 sauf sur un point : lors des oprations de lecture, un seul des disques travaille ce qui permet aux autres disques de se reposer . Les autres disques tant moins sollicits, cela augmente leur dure de vie. En outre le RAID 2 implmente un systme de corrections des erreurs. Cependant, cela est devenu inutile car tous les disques durs SCSI intgrent dornavant leur propre systme de correction derreurs. Le RAID 2 augmente donc la fiabilit du RAID 1 mais induit une baisse des performances. Il a peu t utilis et nest plus utilis de nos jours cause de son obsolescence.

I-6) le RAID 3
Le RAID 3 apporte les avantages du RAID 0 (amlioration des performances) et du RAID 1 (tolrance de panne). Le mode RAID 3 fonctionne avec un minimum de trois disques. A linstar du RAID 0, tous les disques sauf un qui a une tche spciale se divisent les oprations de lecture et dcriture ce qui augmente les performances. En RAID 3, la taille des segments nest pas modifiable et est fixe 512 octets (en RAID 3 : un segment = un secteur de disque dur = 512 octets). Lun des disques est un disque de parit.

La tolrance de panne grce la parit

La parit est un processus algorithmique utilisant lintgrale de parit invente par Grard Langlet. Ses applications sont trs nombreuses en informatique et en particulier dans le domaine du RAID. Avec un ensemble RAID3, lors de chaque opration dcriture les donnes vont tres rparties entres tous les disques (sauf le disque de parit) de faon quitable.

Au moment o les donnes sont crites, des informations indiquant sur quel disque a t stock tel ou tel fragment des donnes sont enregistres dans le disque de parit. Ce sont les informations de parit. Ainsi, si un fragment dune donne est dfectueux ou manquant, la comparaison entre les informations de parit et les autres fragments de la donne (qui sont stocks sur les autres disques durs) vont permettre de reconstituer le fragment.

Si lun des disques contenant des donnes tombe en panne, alors le disque de parit et les disques restant permettent de reconstruire les donnes qui taient stockes sur le disque endommag.

Lorsque le disque de parit tombe en panne le systme continue de fonctionner en mode RAID 0 avec les disques restants qui contiennent les donnes. Lorsque lon rajoute un nouveau disque de parit, les informations de parit sont reconstruites et le RAID 3 redeviens actif.

Le RAID 3 apporte donc la tolrance de panne car le systme supporte la perte dun disque quel quil soit (donnes ou parit). En revanche si deux disques durs tombent en panne simultanment, les donnes sont perdues.

Fonctionnement du RAID 3 pour un accs en lecture

A chaque fois quil y a une lecture sur un systme RAID 3, tous les disques (sauf le disque de parit) travaillent de concert ce qui augmente fortement les performances.

Dans lexemple ci-contre, on veut lire un fichier nomm film.avi situ sur un ensemble RAID 3 compos de trois disques. Les donnes du fichier sont t rparties sur les deux premiers disques. Le disque de parit nest pas sollicit lors des oprations de lecture.

Donc dans le cas dun accs en lecture un ensemble RAID 3 compos de trois disques se comporte comme un ensemble RAID 0 compos de 2 disques. Ainsi lors de la lecture du film les deux disques travaillerons en parallle : chacun lisant une partie des donnes, ce qui va quasiment multiplier les performances par deux.

Cependant, ce mode a un gros dfaut. En effet comme nous lavons vu prcdemment, chaque fois quon crit un fichier sur le disque, il est dcoup en morceaux qui sont copis en mme temps sur chacun des disques (sauf le disque de parit). Et chaque criture sur lun des disques, il y a une criture sur le disque de parit.

Fonctionnement du RAID 3 pour un accs en criture

Cela signifie que le disque de parit travaille plus que les autres disques. Par exemple, dans un RAID 3 compos de 3 disques, le travail du disque de parit est deux fois plus important que celui des autres disques. De mme dans un systme RAID 3 compos de 6 disques, les accs en criture au disque de parit seront cinq fois plus importants que ceux des cinq premiers disques. Cela est gnralisable, ainsi lorsquon a un ensemble compos de n disques, les accs au disque de parit sont (n-1) fois plus nombreux que pour les autres disques.

On peut donc dire que le disque de parit se rvle tre un vritable goulot dtranglement au niveau des performances en criture. De plus comme sa charge de travail est plus leve, le disque de parit tendance tomber en panne trs frquemment.

Un petit exemple

Dans notre exemple, on met en place un RAID 3 compos de 3 disques durs. Le systme dexploitation verra un seul disque dur dune capacit de 120 Go. Cela peut sembler trange car la capacit physique totale des trois disques durs est de 215 Go (75 Go+ 60 Go + 80 Go = 215 Go).

Pour calculer la capacit utilisable dun ensemble RAID 3, il faut prendre la capacit du plus petit des disques (soit 60Go dans notre exemple) et la multiplier par le nombre de disques 1 (car lun des disques est utilis pour stocker les informations de parit).

On obtient donc un espace disque utilisable de 60 Go * (3 1) disques = 60 Go * 2 disques = 120 Go.

Au niveau des performances, laccs en lecture sera quasiment multipli par deux par rapport un disque seul. En outre, si lun des 3 disques tombe en panne alors aucune donne ne sera perdue.

Le RAID 3 permet donc daugmenter les performances tout en grant la tolrance de panne. Les performances en lecture sont amliores proportionnellement au nombre de disques (plus il y a de disques, plus les performances en lecture augmentent). Malgr une lgre amlioration des performances en criture (elle sont brides par le disque de parit) ce systme nest pas plus intressant que le RAID 1. En effet, sa fiabilit est moindre car seul la perte dun seul disque est possible et car le disque de parit suse plus vite.

I-7) le RAID 4
Ce mode ncessite au moins trois disques et est trs proche du RAID 3. La seule diffrence notable avec le RAID 3 est lorganisation des donnes. En effet, avec le RAID 4, la taille des segments est variable et se modifie en temps rel. Cela implique que les informations de parit doivent tre mise jour chaque criture afin de vrifier si la taille des segments a t modifie. Dans un systme RAID 4, le disque de parit devient donc un facteur encore plus limitant lors des oprations dcriture. Cependant, les performances en lecture sont les mme quavec le RAID 3 (c'est--dire excellentes). Le mode RAID 4 gre donc la tolrance de

panne et apporte un gain en lecture mais pas en criture. Gnralement on lui prfre le RAID 5.

I-8) le RAID 5
Ce mode est trs proche du RAID 4 car il utilise au moins trois disques durs et car il procure une augmentation des performances et gre la perte dun disque dur. Par rapport au RAID 4, la configuration RAID 5 rpartie la parit sur lensemble des disques ce qui limine le goulot dtranglement quest le disque de parit en RAID 3 et en RAID 4. Un autre avantage de rpartir la parit sur chacun des disques est que les disques travaillent tous autant. Cela empche lusure prmature de lun des disques (comme cest le cas avec le disque de parit en RAID 3 et surtout en RAID 4). Le RAID 5 crit donc simultanment les donnes sur plusieurs disques ce qui amliore les performances en lecture et en criture. Ainsi par rapport un disque seul, les performances dune grappe RAID 5 utilisant n disques seront (n-1) fois plus leves (en effet, lun des disques doit crire la parit, la donne crite est donc rpartie sur les n-1 disques restants). Tout comme pour le mode RAID 0, on doit slectionner une taille de segment adapte lorsque lon met en place un niveau RAID 5. Dans lexemple suivant on a cre un grappe RAID 5 avec quatre disques durs identiques ayant une capacit de 80 Go chacun. Au final seulement 240 Go sont exploitables, ce qui reprsente les de lespace disque total (320 Go). En fait lespace dun disque entier soit 80 Go est ncessaire afin de stocker les informations de parit. En RAID 5, on peut calculer la capacit utilisable de la manire suivante : Capacit utilisable = (taille du disque le plus petit ) * (nombre de disques 1) Ainsi la capacit utilisable est bien de 80 Go * (4-1) disques = 240 Go. On remarque bien sur le schma de quelle faon les informations de parit sont rparties sur les 4 disques.

De par ses nombreux avantages le RAID 5 est trs populaire dans le monde professionnel car il apporte la tolrance de panne tout en conservant dexcellentes performances en lecture et en criture. De plus si on utilise une interface qui supporte le branchement chaud ou "hot plug" (SCSI ou Sata), il nest mme plus ncessaire dteindre le serveur. Bien entendu la mise en place dun ensemble RAID 5 fait perdre de lespace disque (en fait lespace rserv la parit qui reprsente la taille dun disque). De plus la rpartition de la parit sur lensemble des disques entrane une remise en ordre un peu lente lorsquun disque dur est chang suite une panne.

I-9) l'orthogonal RAID 5


LOrthogonal RAID 5 est une technique logicielle cre par IBM. Ce mode est identique au RAID 5 dans toutes ses fonctionnalits. Sa seule diffrence notable est lutilisation dun contrleur par disque. Cela permet daugmenter la scurit des donnes. En effet, mme si lun des contrleurs tombe en panne les donnes sont sauves

I-10) le RAID 6

Le RAID 6 met en place une double redondance des donnes de parit. Cela signifie que les informations de parit sont stockes en doubles exemplaires. Tout comme pour le RAID 5, les informations de parit sont rparties quitablement sur lensemble des disques. La double redondance des donnes permet la perte de deux disques sans quaucune donne ne soit perdue.Le RAID 6 ncessite au moins quatre disques durs pour fonctionner. En ce qui concerne la capacit utilisable de stockage, on perd lespace de deux disques. Donc dans un systme utilisant n disques, la capacit utilisable est dfinie par la relation suivante :Capacit utilisable = (taille du disque le plus petit ) * (nombre de disques 2)Les performances en lecture comme en criture sont augmentes. Avec un nombre de disques quivalents, un ensemble RAID 6 sera moins performant quun ensemble RAID 5 (car un disque de plus est utilis pour la parit).

I-11) le RAID 7
Ce mode est utilis pour avoir un niveau de scurit ou des performances trs suprieures aux autres modes RAID. Il utilise un grand nombre de disques (avec un maximum de 48 disques). On peut dfinir manuellement le nombre de disques ddis au stockage de la parit et au stockage des donnes. Le nombre de disques que le systme peut perdre est proportionnel au nombre de disques ddis au stockage des informations de parit. Le RAID 7 fait appel une carte microprocesseur qui calcule la parit, la gestion du disque et qui gre la surveillance des disques en temps rel. Tous les transferts de donnes se font en mode asynchrone ce qui augmente de 1,5 6 fois les performances en criture.

Il est peu utilis car il trs coteux en quipement et difficile mettre en place.

I-12) Conclusion

Pour conclure, les modes les plus intressant sont les modes 0, 1 et 5. Les autres modes sont peu ou pas utiliss car : le RAID 2 est obsolte le RAID 3 et 4 utilisent un disque de parit ce qui cre un goulot dtranglement. le RAID 6 est onreux le RAID 7 est trs onreux et difficile mettre en place Voici un petit tableau comparatif des trois modes les plus intressants fonctionnant avec 10 disques durs dune capacit unitaire de 120 Go et ayant un dbit rel en lecture/criture de 70/50 Mo/s. RAID 0 1200 Go (100 %) 700 Mo/s 500 Mo/s aucun RAID 1 120 Go (10 %) 700 Mo/s 50 Mo/s jusqu 9 disques RAID 5 1080 Go (90%) 620 Mo/s 450 Mo/s un disque

capacit dbit en lecture dbit en criture Tolrance de panne(nombre de disques)

Le systme ayant le meilleur rapport capacit/performances/scurit est sans conteste le RAID 5. Cest dailleurs lui le plus utilis en Entreprise. Cependant, il est possible de combiner diffrents niveaux de RAID, ce qui permet d'obtenir des alternatives trs intressantes au RAID 5. Dans la seconde partie nous allons voir ces niveaux combins.

Les niveaux combins


1. Introduction 2. Le RAID 01 3. Le RAID 10 4. Le RAID 50 et les autres combinaisons 5. Le RAID 0+1 et RAID 53 : des appellations trompeuses? 6. Conclusion

II-1) Introduction
Les niveaux de RAID offrent un large choix dalternatives qui permettent de choisir un rapport performance/scurit diffrent. Il est aussi possible de combiner deux niveaux de RAID entre eux. On parle alors de niveaux combins. Certaines cartes permettent de combiner diffrents modes (ou niveaux) RAID en hardware mais elle sont chres mis part les cartes RAID IDE dentres de gamme qui grent toutes le RAID 01 ou 10 selon les cas. Cependant ces dernires ne sont pas intressantes pour raliser des combinaisons tant donn que ces cartes bas de gamme nintgrent quun seul contrleur (donc pas de tolrance de panne pour le contrleur) et que le nombre de disques utilisables est souvent limit quatre.

Gnralement la manire la moins onreuse pour raliser une combinaison entre deux modes RAID est : 1) dutiliser plusieurs contrleurs au niveau matriel pour mettre en place plusieurs ensemble en mode RAID X. 2) de crer un RAID Y au niveau logiciel partir de tous les ensembles RAID X. Lensemble obtenu sera un ensemble fonctionnant en un mode RAID nomm XY. Cela signifie que lon met dabord en place plusieurs RAID X, puis quon les rassemble avec un mode RAID Y. Un RAID XY est donc diffrent dun RAID YX. Voici un exemple : Admettons que lon dispose de 9 disques durs de 20 Go chacun, de trois cartes RAID grant le RAID 0 et le RAID 1 ainsi que dun 7 disque dur (branch sur le contrleur intgr la carte mre) o est install Windows Server 2003. On peut raliser deux combinaisons intressantes : un RAID 01 un RAID 10

II-2) Le RAID 01
On divise les disques en trois groupes de trois. On met trois disques sur chacune des cartes RAID et on cre trois ensembles RAID 0. Chaque ensemble RAID 0 comporte 3 disques de 20 Go chacun, ce qui donne une capacit de 60Go par ensemble. Ensuite, on cre un ensemble RAID 1 sous Windows Server 2003 avec les trois ensembles matriel en RAID 0. On obtient donc aprs formatage, un seul disque dune capacit de 60Go.

Chaque ensemble matriel en RAID 0 a des performances en lecture/criture trois fois plus leves environ quun disque seul. Lensemble logiciel en RAID 1 propose donc des performances triples celles dun disque seul. Si lun des six disques vient tomber en panne alors, toutes les donnes stockes sur lensemble matriel RAID 0 auquel il appartient sont perdues. On se retrouve avec seulement deux ensembles matriels en RAID 0 et donc 6 disques utiliss. Si on perd ensuite un second

disque il ne reste plus quun ensemble RAID 0. Enfin si un dernier disque tombe en panne alors, lensemble subsistant et donc toutes les donnes seront perdus. Dans notre exemple, grce au RAID 01, on obtient des performances triples par rapport un disque seul et le systme supporte la perte de deux disques dur.

II-3) Le RAID 10
On divise les disques en trois groupes de trois. On met trois disques sur chacune des cartes RAID et on cre trois ensembles RAID 1. Chaque ensemble RAID 1 comporte 3 disques de 20 Go chacun, ce qui donne une capacit de 20Go par ensemble. Ensuite, on cre un ensemble RAID 0 sous Windows Server 2003 avec les trois ensembles matriel en RAID 0. On obtient donc aprs formatage, un seul disque dune capacit de 60Go.

Chaque ensemble matriel en RAID 1 a des performances en lecture/criture gales un disque seul. Lensemble logiciel en RAID 0 propose donc des performances triples celles dun disque seul. Si lun des six disques vient tomber en panne alors, lensemble RAID 1 auquel il appartient continue fonctionner normalement. Si on perd un second disque dans le mme ensemble RAID 1, lensemble RAID 0 logiciel nest pas affect non plus. Si on perd le troisime disque lensemble matriel RAID 1 ne fonctionne plus ce qui implique que les donnes stockes sur lensemble logiciel RAID 0 sont perdues. Ainsi en RAID 10, on perdre jusqu 2 disques par ensemble RAID 1 (dans notre exemple) soit un maximum de 6 disques sur les 9 disques. Tableau comparatif RAID01/RAID 10 avec 9 disques de 20 Go (50Mo/s en lecture/criture) et trois contrleurs RAID RAID 01 60Go 150Mo/s 2 disques maximum RAID 10 60Go 150Mo/s 6 disques maximum

capacit dbit en lecture/criture tolrance de panne

Pour conclure, les performances en RAID 01 sont les mmes quen RAID 10. Cependant lensemble RAID 10 se distingue au niveau de la tolrance de pannes car il peut perdre (dans notre exemple) jusqu 6 disques contre 2 uniquement pour le RAID 01. Cest pour cette raison essentielle que le RAID 10 est prfr au RAID 01.

II-4) Le RAID 50 et les autres combinaisons


Une autre combinaison trs utilise est le RAID 50. En effet, elle permet dobtenir dexcellentes performances tout en grant la tolrance de panne. Dune manire gnrale toutes les combinaisons en RAID X0 sont misent en place. En effet, on implmente dabord un mode X qui gre la tolrance de panne (1, 3, 4, 5 ou 6) puis un mode RAID 0 afin de maximiser les performances. Bien entendu, il est tout fait possible au niveau thorique de combiner des modes qui implmente la tolrance de panne. On peut par exemple, penser au RAID 55 ou au RAID 53. Cependant, en pratique, les constructeurs n'implmente quasiment jamais de tels modes car si l'on combine deux modes qui demande un contrle de parit alors il faut disposer d'une carte RAID extrmement puissante afin de pouvoir raliser les calculs de parit sur deux niveaux. Les combinaisons les plus utilises sont donc le RAID 10, 30 et 50. Les combinaisons RAID 40 et 60 sont rarement rencontres en raison du succs commercial mitig (voire nul de nos jours) du RAID 4 et du RAID 6.

II-5) Le RAID 0+1 et RAID 53 : des appellations trompeuses?


Les cartes RAID dentres de gamme sont soit au format PCI 32bits, soit directement intgres la carte mre. Actuellement ces circuits disposent en standard de contrleurs RAID grant le RAID 0 et le RAID 1. Cependant de nombreux constructeurs annoncent que leur carte supporte un niveau combin nomm RAID 0+1 . La signification de cette appellation varie selon les constructeurs. Elle dsigne soit du RAID 01 ou soit du RAID 10. Par exemple, certains contrleurs RAID IDE de la marque Promise grent du RAID 10, alors que la plupart contrleurs RAID IDE de la marque Highpoint grent du RAID 01. De manire gnrale, les constructeurs implmentent du RAID 01 car il est beaucoup plus simple mettre en place au niveau lectronique que le RAID 10 (il faut des composants plus performants et plus nombreux pour le RAID 10). Il est dommage que les constructeurs utilisent cette notation avec des + qui trouble par rapport la notation classique. Le RAID 53 est aussi une appellation fallacieuse. En effet la plupart du temps, le terme RAID

53 ne dsigne pas un niveau RAID 5 combin avec un niveau RAID 3, mais niveau de RAID 0 combin avec du RAID 3. Ce terme dsigne donc du RAID 03. Il arrive parfois que les constructeurs appellent RAID 53 du RAID 30. Ces appellations trompeuses sont un argument marketing utilis par les fabriquant de carte RAID (la plupart du temps, le consommateur se fait duper car il pense que sa carte RAID 0+1 supporte le RAID 10 alors quen ralit ce nest que trs rarement le cas). Cela est vraiment dommage car cela cre un climat dincertitude qui rend cet technologie encore plus obscure pour les novices.

II-6) Conclusion
On peut donc combiner des niveaux RAID simples afin daugmenter les performances et/ou la tolrance de panne. Le niveau combin le plus utilis est de loin le RAID 10 (pour sa fiabilit). La faon la plus simple de crer un niveau combin est de mettre en place du RAID matriel et du RAID logiciel. Mais en pratique, cette solution n'est quasiment jamais utilise puisque on lui prfre pour diverses raisons (cf. : ces raisons sont abordes dans la partie traitant du RAID matriel) une solution 100% matrielle. Il est donc impratif de bien choisir le matriel utiliser pour chaque niveau (simple ou combin) de RAID que lon veut mettre en place

RAID matriel (prsentation des diffrentes technologies au niveau matriel)


1. Introduction 2. Quelques petits rappels 3. Le RAID IDE (ou RAID PATA) 4. Le RAID SATA 5. Le RAID SCSI 6. RAID IDE, SATA, ou SCSI : Que choisir ? 7. Les dispositifs de stockages rseau NAS 8. Les dispositifs de stockage dans un rseau SAN 9. Le hotspare 10. Conclusion

III-1) Introduction
Le RAID matriel est trs utilis dans le monde professionnel. En effet, beaucoup dEntreprises ne peuvent se permettre de perdre des donnes ou bien de voire le rseau paralys cause dune panne sur un disque dur. Cest pourquoi de nombreux serveurs qui reoivent beaucoup de requtes (serveur Web, serveur de messagerie, serveur hbergeant une base de donnes, ) ou qui manipulent de gros volumes de donnes (serveur de fichiers) utilisent le RAID notamment matriel.

III-2) Quelques petits rappels


la notion de contrleur
Trs souvent dans cet article, les composants qui jouent le rle dinterface entre le chipset sud de la carte mre et les disques durs sont nomms contrleurs. Par exemple, on nomme contrleur RAID IDE, un jeu de composants qui permet dinterconnecter les disques durs IDE et le chipset sud (ou southbridge) de la carte mre tout en supportant la mise en place dun RAID matriel. En ralit, cette appellation est fausse car le contrleur est la puce qui contrle les actions du disque dur (dplacement des ttes, tat du cache,).

Cette puce est situe sur le disque dur lui-mme et non sur la carte mre. Le jeu de composants qui permet de relier le disque et la carte mre est en fait un simple adaptateur et devrait tre nomm comme tel. Cependant, par abus de langage, les utilisateurs mais aussi les constructeurs !!! dsignent ce jeu de composant contrleur . Cest pourquoi dans la suite de cet article, quand vous verrez le mot contrleur RAID SCSI , il faudra comprendre adaptateur situ sur la carte mre ou sur une carte dextension qui propose une interface SCSI et gre la technologie RAID.

RAID PATA, RAID SATA et RAID SCSI Dans la suite de cet article, lorsque le terme RAID IDE (ou RAID PATA) est utilis cela signifie RAID avec des disques durs compatibles avec linterface PATA (Parallel ATA), et lorsque le terme RAID SCSI est utilis cela signifie RAID avec des disques durs compatibles avec linterface SCSI. De mme le terme RAID SATA dsigne des ensembles de disques durs utilisant la technologie RAID composs de disques durs utilisant linterface SATA (Serial ATA).

Bande passante et dbit Les termes bandes passantes et dbits sont trs souvent utiliss dans cet article et en informatique de manire gnrale. C'est pourquoi il ne faut pas les confondre. La bande passante reprsente la quantit de donn maximale que l'on peut transfrer en un temps donn. Le dbit reprsente la quantit de donnes relles que l'on peut transfrer en un temps donn.

III-3) le RAID IDE (ou RAID PATA)


Pour les stations de travail, le problme du matriel utiliser pour faire du RAID ne se posait pas il y a quelques annes. En effet, il y a 5 ans la technologie RAID ntait disponible que pour les disques durs SCSI qui par leurs prix litistes les rservaient au monde professionnel. Cependant grce la socit Promise technology qui a commercialis le premier contrleur RAID IDE nomm FastTrack, la technologie RAID a pu tre adapte pour les disques durs la norme IDE. Lapparition des contrleurs RAID IDE a fortement popularis la technologie RAID. Cette technologie est maintenant utilise par beaucoup dutilisateurs avancs ou power users qui souhaitent obtenir de un plus grand espace de stockage, de meilleures performances ou bien encore maximiser la scurit de leurs donnes. Dornavant, un grand nombre de cartes mres grand public intgrent en standard un contrleur RAID IDE. Cependant les constructeurs de cartes mre (Asus, Abit, Gigabyte, MSI, Elite ) peuvent intgrer ce contrleur de deux manires diffrentes :

Il peut tre reli directement au chipset sud (ou southbridge) de la carte mre. Ce cas de figure permet un maximum de performance car le contrleur est gnralement reli au southbridge avec des bus (ou liaisons lectriques) rapides (exemple : 533Mo/s). Il peut tre rajout sur la carte mre grce une connexion sur le bus PCI. Cependant, le bus PCI possde une bande passante limite (133Mo/s par canal). En outre, La plupart du temps les constructeurs de carte mre n'utilise quun seul canal pour des raisons de cot. Dans ce cas la bande passante rserve au contrleur RAID est de 133Mo/s moins la bande passante que les priphriques branchs sur les ports PCI (cartes son, cartes rseau, ) vont consommer. Cela pourra srieusement brider les performances en mode RAID 0 par exemple.

La seconde faon de mettre en place du RAID matriel est dutiliser une carte contrleur ddie. Gnralement ces cartes sont au format PCI 32 bits et en de rares occasions au format PCI 64bits. Il faut tre vigilant lorsque lon met en place du RAID sur une carte dextension notamment au format PCI 32bits. En effet, selon les cartes mres lensemble des ports PCI 32bits se partage un ou plusieurs canaux avec une bande passante de 133Mo/s chacun. En admettant que la carte mre ne propose quun seul canal et donc une bande passante de

133Mo/s pour tous les ports PCI, il faudra veiller ne pas mettre deux cartes RAID possdant chacune 4 disques en RAID 0 par exemple car dans ce cas les performances se retrouveraient srieusement brides par linterface limite elle 133Mo/s. De manire gnrale les cartes contrleur IDE ne possdent pas ou trs peu de mmoire cache. Elles sont quasiment toutes au format PCI 32 bits (avec une bande passante de 133 Mo/s) et implmentent le RAID 0, 1 et 0+1 (soit le niveau 10, soit le niveau 01). Ci-contre une carte FastTrak TX4000 de la marque Promise au format PCI 32 bits. Cette carte supporte 4 canaux ATA 133 et donc jusqu 8 disques durs en Ultra-DMA 133. Elle gre les niveaux RAID 0,1 et 10.

Cependant, il existe quelques cartes contrleur RAID IDE haut de gamme . Ces cartes au format PCI 64 bits (avec une bande passante de 266 Mo/s par canal) implmentent le niveau RAID 5 et peuvent parfois grer jusqu 16 priphriques et accueillir jusqu 256 Mo de mmoire (comme la carte Promise SuperTrack SX6000). Ci gauche, une carte RocketRAID 454 de la marque HighPoint qui possde quatre canaux Ultra ATA 133 et permet donc linstallation de 8 disques durs en UDMA 133.Cette carte implmente les niveaux RAID 0, 1, 5, 10 et JBOD.

III-4) Le RAID SATA


Depuis la mise en place du Serial-ATA, les cartes RAID fleurissent sur le march. En effet, cette nouvelle interface est bien plus propice la mise en place du RAID que lancienne interface ATA (encore appele IDE). Dune part grce aux dbits plus levs (jusqu 1,5Gb/s soit 187,5Mo/s par canal et bientt 320Mo/s par canal avec le SATA2) et dautre part grce la gestion du branchement chaud ou hotplug. Les constructeurs rivalisent donc dingniosit pour sortir de nouvelles cartes contrleur RAID SATA.

On peut voquer la carte RocktetRAID 1544 de la marque HighPoint (format 64 bits). Cette carte innove car elle possde 4 canaux eSATA (external SATA) proposant chacun une bande passante de 1.5 Gb/s soit 187.5 Mo/s. LeSATA est une technologie propritaire mise en place par HighPoint permettant de connecter des disques durs SATA externes (par lintermdiaire de cbles la norme IEEE 1394). On peut donc mettre en place un RAID matriel mme si le botier ne contient plus demplacements 3,5 pouces de libre. Cette carte aussi supporte les niveaux RAID 0, 1, 5, 10 et JBOD.

Il est noter que la marque Hightpoint commercialise aussi une version plus "huppe" de la RocketRAID 1544, nomme RocketRAID 1820. Elle propose de hautes performances et est spcialement destine au monde de l'Entreprise. En effet, si elle ne gre pas l'eSATA, cette carte dispose de 8 canaux Serial ATA "classique" ce qui permet de connecter jusqu' 8 priphriques. De plus elle utilise le format PCI-X 133MHz qui permet une bande passante de 1200 Mo/s. Comme sa petite soeur, elle implmente les niveaux RAID 0, 1, 5, 10 et JBOD.

carte RocketRAID 1820 de la marque Highpoint

III-5) le RAID SCSI

La technologie RAID a t pense pour le SCSI. Ainsi, certaines cartes mres destines aux serveurs implmentent des contrleurs SCSI qui grent le RAID directement sur la carte. Mais dans la plupart des cas on doit installer une carte dextension au format PCI-X, PCI 64 bits voire mme PCI 32 bits (peu recommand) pour mettre en place un RAID matriel.

La plupart des cartes contrleur supportant le RAID SCSI sont trs onreuses. Ce cot lev est d en partie la prsence de microprocesseurs performants (pour synchroniser les changes de donnes entre le bus PCI et les disques branchs sur la carte et surtout pour le calcul des informations de parit) ainsi qu la prsence dune grande quantit de mmoire cache. Gnralement la mmoire utilise est de la mmoire SD-RAM ECC. La quantit peut varier de 32 Mo 256 Mo de mmoire.

La prsence dautant de mmoire est justifie. En effet, la quantit de mmoire est un facteur dterminant pour les performances surtout lorsque l'on met en place un niveau de RAID avec parit (RAID 3, 4, 5, 6, 30, 50, ...). Grce des cartes contrleurs et des disques trs performants, le RAID SCSI permet datteindre des dbits impressionnants. Il nest pas rare de dpasser les 500 Mo/s en lecture avec un niveau RAID 10 ! Cest pourquoi lorsque lon veut mettre en place un niveau de RAID, il faut slectionner la bonne carte.

En effet, si lon souhaite mettre en place un niveau RAID 5 avec quatre disques tournant 10 000 tr/min, une carte au format PCI 64 bits (cest--dire avec une bande passante de 266 Mo/s) suffira.

Une carte Tekram DC-390U3W au format PCI 64 bits

Par contre, si lon souhaite mettre en place un niveau RAID 10 avec seize disques tournant 15 000 tours/min, une carte au format PCI-X (le format PCI-X permet une bande passante de 1.06 Go/s) possdant beaucoup de mmoire est fortement recommande.

Une carte Adaptec 39320A-R au format PCI-X

Dans le cas o lon doit mettre en place un ensemble RAID performant, il faut essayer dans la mesure du possible dharmoniser les composants entre eux. En effet, si lon branche beaucoup de disque dur SCSI Ultra Wide 320 sur une carte possdant un seul canal limit 160 Mo/s, il y a de fortes chances pour que le

canal sature. III-6) RAID IDE, SATA, ou SCSI : Que choisir ?


La foudroyante propagation de la technologie RAID IDE ces dernires annes est due au prix des disques durs utilisant cette interface. En effet, ils sont bien moins onreux que leurs homologues SCSI capacit gale.

Ils sont trs intressants pour les particuliers. Mais ils sont aussi une opportunit pour les petites entreprises ayant un budget limit et qui souhaitent scuriser leurs donnes moindre cot.

L'interface PATA qui a atteint ses limites (largeur des nappes, dbits limits cause de la trop grande sensibilit des transfert parralles aux interfrences lectromagntiques, pas de hotplug, ...) est en passe d'tre remplac par l'interface Serial ATA. Le SATA se positionne dans la mme gamme de prix que le PATA. C'est pourquoi nous allons faire l'impasse sur le PATA et essayer de savoir quelle interface est la plus intressante. Alors : SCSI ou SATA?

Voici un petit tableau qui compare les caractristiques de deux disques durs de la marque Seagate : le premier utilise l'interface Serial-ATA et le second utilise l'interface SCSI. Les informations contenues dans le tableau suivant ont t releves sur le comparateur de prix : www.prixdunet.com le 25/01/2004. Seagate Barracuda 7200.7 Serial-ATA (SATA 150) 160 Go 7200 tr/min 8 Mo 150 Mo/s ~50 Mo/s 114,70 euros Seagate U320 Cheetah 10K.6 SCSI (Ultra Wide 320) 146.8 Go 10 000 tr/min 8 Mo 320 Mo/s ~100 Mo/s 965 euros

modle interface capacit (non format) vitesse de rotation taille de la mmoire cache bande passante thorique dbit en lecture/criture (chiffre trs approximatif) prix

Il est indniable que pour une mme capacit, le rapport performance/prix du disque SerialATA est suprieur celui du disque SCSI. En effet, pour le prix du disque SCSI, on peut acheter 7 disques utilisant l'interface Serial-ATA. Le disque SCSI ne peut justifier cette diffrence de prix malgr ses meilleures performances (de part leurs vitesses de rotation plus

leves, les disques SCSI offrent de meilleurs dbits et surtout des temps d'accs moyens rels plus faibles que les disques SATA) et son temps moyen entre pannes (ou MTBF = Mean Time Between Failure) suprieur.

Voici maintenant un petit comparatif entre deux cartes contrleurs de la marque LSI. Lune des cartes supporte linterface SCSI et lautre linterface Serial-ATA. La carte la norme SCSI permet daccueillir plus de disques durs et gre plus de modes RAID diffrents, cependant elle est plus chre et les performances seront fortement bride par le format PCI 32 bits utilis ici. LSI MegaRAID SATA 150- LSI Mylex AcceleRAID 6 170 format de la carte PCI 64 bits (266Mo/s) PCI 32 bits (133 Mo/s) 64 Mo 0, 1, 3, 5, 01, 10 ,30, 50 15 700 euros Taille de la mmoire cache 64 Mo intgre la carte niveaux de RAID supports 0, 1, 5, 10, 50 nombre de disques maximum prix 8 519 euros

On peut donc conclure que les prix des cartes contrleurs haut de gamme sont sensiblement les mmes que a soit pour le Serial ATA ou bien encore le SCSI. Lavantage des disques durs Serial ATA reste donc leur prix peu lev par rapport aux disques SCSI.

Pour conclure, l'interface Serial-ATA est donc une excellente alternative l'interface SCSI sauf bien entendu sur les gros serveurs de fichiers pour lesquels les performances passent avant le prix

III-7) Les dispositifs de stockages rseau NAS


Il existe autre solution de stockage frquemment utilis par les Entreprises : les priphriques de stockage en rseau. Il existe deux type de technologies de stockage en rseau : le NAS (pour Network Attached Storage) et le SAN (pour Storage Area Network).

Le NAS (Network Attached Storage)


Les priphriques de stockage NAS utilisent le rseau Ethernet de lentreprise. Cela signifie quun priphrique de stockage NAS possdera une ou plusieurs interfaces rseau et sera reconnu sur le rseau grce son adresse IP. Dans lexemple ci-dessous, un priphrique de stockage NAS est configur avec ladresse IP 172.16.0.10. Tous les ordinateurs du rseau local (LAN) peuvent le joindre et peuvent accder aux donnes quil contient (si les autorisations daccs le permettent).

Les NAS se prsentent la plupart du temps sous la forme de botiers externes possdant leurs propre source dalimentation. Ces botiers sont soit autonomes, soit intgrables dans des backbones (gnralement dans des racks 1U, 2U ou 3U dune taille de 19).

Ils contiennent gnralement plusieurs disques durs le plus souvent avec une interface SCSI. Les NAS permettent de mettre en place le RAID trs facilement. On peut ainsi obtenir des units de stockages trs fiables et faciles mettre en place. En effet, les serveurs de fichiers qui utilisent une machine complte ont beaucoup plus de chances de tomber en panne que les NAS (surchauffe du processeur, barrette de mmoire grille ou tout simplement plantage du systme dexploitation). Le plus souvent les NAS sont relis au rseau via une prise RJ45 gigabit. On trouve parfois des NAS dentre de gamme utilisant une prise RJ45 en 10/100. La configuration dun NAS se fait gnralement grce une interface Web (c'est--dire quils contiennent un serveur HTTP). Les NAS permettent donc de partager des donnes sur le rseau tout en proposant une grande fiabilit (ils sont labris des pannes dordre logiciel), des performances de premier ordre (grce au RAID), une intgration et une maintenance facilit (le plus souvent au format 19, monitoring en faade, systme de racks, disques changeables chaud en cas de panne,). En fait, le seul inconvnient des NAS est leur prix lev qui les met hors de la porte des petites entreprises.

Le NDAS (Network Direct Attached Storage)


Attention !!! Il ne faut pas confondre NAS (Network Attached Storage) et NDAS (Network Direct Attached Storage). En effet, les NDAS se prsentent aussi sous la forme de botiers contenant des disques durs. Contrairement aux NAS, les priphriques NDAS ne sont pas directement relis au rseau mais doivent passer par un ordinateur pour communiquer avec le rseau. Il ne sont donc pas totalement autonomes (la plupart du temps, il faut installer un pilote pour que les ordinateurs du rseau puissent communiquer avec un priphrique NDAS). De plus les NDAS contiennent gnralement un seul disque et n'implmentent donc pas la technologie RAID. Cela signifie que les NDAS ne grent pas la tolrance de pannes.

Ci-contre le Netdisk de la marque Ximeta est un disque dur NDAS. Il contient un disque dur de 80, 120 ou 160Go (selon les versions) tournant 7200tr/min et possdant 2Mo de cache. Il peut se raccorder une machine ou au rseau grce un port USB 2.0 ou bien grce une prise RJ45. De plus on peut le paramtrer avec une interface web.

Pour se raccorder la machines, les NDAS utilisent le plus souvent l'interface IEEE1394 (firewire) qui autorise une bande passante de 400Mb/s ou bien encore l'interface USB 2.0 qui autorise une bande passante de 480Mb/s (parfois les NDAS utilisent l'USB 1.1 qui offre une bande passante de 12Mb/s...). Certains NDAS, possdent aussi des prises RJ45 et proposent une interface web.

Tput III-8) Les dispositifs de stockage dans un rseau SAN


Contrairement au NAS, le SAN nutilise pas un rseau de type Ethernet mais un rseau de type Fibre Channel (FC). Les mdias utiliss pour un rseau de type Fibre Channel sont soit des cbles en cuivre, soit des fibres optique (monomode ou multimode) qui supportent une bande passante de 2Gb/s. On prfre gnralement lutilisation de fibres optique qui permettent dutiliser des cbles allant jusqu 10 Km (fibre optique monomode) contre 30 m pour les cbles en cuivre. Le protocole utilis dans les rseaux SAN tant diffrent du protocole Ethernet, il ncessite un matriel diffrent. Ainsi on trouve des cartes rseaux, des disques durs, des concentrateurs et des commutateurs utilisant linterface Fibre Channel. De plus il faut installer des composants logiciels sur les ordinateurs branchs sur le rseau SAN afin dadministrer la scurit et les autorisations daccs aux donnes.

Les Adaptateurs de bus Fibre Channel (HBA)


Les cartes rseaux compatibles avec le protocole Fibre Channel sont gnralement appeles Host Bus Adaptateur (HBA) ou adaptateur de bus Fibre Channel pour utiliser le terme francis. Les adaptateurs de bus Fibre Channel sont gnralement proposs sous la forme de cartes dextension au format PCI-X (bande passante de 1.06 Go/s) ou bien PCI 64bits (bande passante de 266Mo/s). Mais on commence trouver sur le march des adaptateurs au rcent format PCI Express 4X qui fournissent une bande passante de (266 Mo/s) * 4 = 1064 Mo/s.

Ci-contre, un adaptateur de bus Fibre Channel de marque Qlogic. Il utilise le format PCI-X qui propose une bande passante de 1.06 Go/s ce qui lui permet de proposer 4 ports Fibre Channel dune bande passante de 2 Gb/s (soit 250Mo/s) chacun.

La marque Qlogic vient aussi de commercialiser un adaptateur utilisant le format PCI Express dans sa version 4X. Cette carte communique donc avec la carte mre avec une bande passante de 1064 Mo/s. Elle offre 2 ports Fibre Channel proposant chacun une bande passante de 2Go/s chacun.

Les disques durs Fibre Channel

Il existe aussi des disques durs possdants une interface Fibre Channel. On peut les brancher de deux diffrentes faons :

directement sur un commutateur Fibre Channel dans une baie de disques durs qui, elle, sera raccorde un commutateur

De manire gnrale, les constructeurs de disques durs crent des disques utilisant linterface Fibre Channel partir de leurs gammes SCSI. Ainsi, on peut trouver des disques durs utilisant linterface Fibre Channel dans la gamme Ultrastar dHitachi (anciennement IBNM) ou bien dans la gamme Cheetah de Seagate.

Les baies de stockage SAN Lorsque lon souhaite mettre en place un systme de stockage performant, il faut utiliser une baie de stockage intgre dans un rseau SAN. Les baies de stockages utilise dans les rseaux SAN sont gnralement au format 19 ce qui permet de les racker dans des backbones. On peut parfois rassembler plusieurs baies de stockage pour former un module de stockage et ainsi atteindre de plus grandes performances. Ci-contre un rack 3U au format 19 de la marque Adaptec. Ce modle (le SANbloc 2Gb RAID) peut accueillir jusqu 14 disques SCSI de 3.5. Il possde deux contrleurs RAID (pour la tolrance de panne) et implmente les modes 0, 1, 3, 5, 10, 30, 50. Il est reli au rseau grce deux prises optiques avec une bande passante de 1 Gb/s chacune.

Voici une autre baie de stockage SAN, de marque Dell | EMC (modle CX700). Cette baie peut contenir jusqu 15 disques durs avec une interface Fibre Channel ou ATA pour une capacit de stockage totale de 35To en FC et 74,16To en ATA. Elle gre les niveaux RAID 0, 1, 3, 5 et 10. Cette baie incorpore aussi 8 Go de mmoire cache.

Le CX 700 propose 8 ports FC en faade (cela signifie quon peut brancher jusqu 8 ordinateurs directement sur la baie de disque) et des ports Fibre Channel situs larrire afin de relier le CX 700 dautres baies de stockages CX 700. On peut ainsi crer un gros module de stockage utilisant la technologie RAID en raccordant 16 baies de stockage CX 700 entres-elles. Cela permet donc de crer un module de stockage compos dun maximum de (15 disques/baie) * (16 baies interconnectes) = 240 disques durs accessible par un maximum de (8 ordinateurs/baie) * (16 baies interconnectes) = 128 ordinateurs. Selon Dell et EMC, les performances dune seule baie CX 700 peuvent autorisent un dbit constant suprieur 1300 Mo/s. Les performances dun module de stockage compos de plusieurs CX 700 peuvent donc procurer des performances de trs haut niveau. MAJ (13/02/2006) : Les caractristiques du CX 700 ont t revues la hausse depuis la publication originale de cet article. Ainsi les modles actuels peuvent toujours embarquer jusqu' 240 disques (en combinant plusieurs bais entre-elles) et la capacit maximale est passe 120To (grce au support des disques durs PATA de 500Go). La bande passante frontal de la nouvelle dition est de 1530 Mo/s (environ 200 000 entres/sorties par seconde). De plus, il est possible de raccorder jusqu' 256 serveurs une mme baie CX 700 en utilisant le commutateur appropri !

Les commutateurs SAN Pour relier tous les ordinateurs, les disques durs et les baies de disques durs utilisant linterface Fibre Channel, il faut utiliser un commutateur (ou switch) supportant le Fibre Channel. Il existe des commutateurs proposant des ports Fibre Channel (2Gb/s) et gigabit Ethernet (1Gb/s) afin de permettre linteroprabilit (cest--dire la communication) entre rseau SAN et rseau Ethernet. Ci-dessous, un commutateur de marque Gadzoox qui propose 16 prises Fibre Channel (2Gb/s par port) et une prise RJ45 (1Gb/s).

Les mdias utiliss Selon la configuration matrielle utilise, diffrents types de cbles sont utiliss :

Cble SFP :
(dbit max : 2,5Gb/s)

Cble HSSDC :
(dbit max : 2Gb/s)

Cble DBm :
(dbit max : 2Gb/s)

Cble HSSDC2 :
(dbit max : 5Gb/s)

Exemples de SAN Voici comment un exemple dintgration dun rseau SAN au sain dun rseau dentreprise utilisant le protocole Ethernet. On dispose de trois serveurs. Lun de ces serveurs travaille sur une base de donnes stocke sur un module de stockage lui aussi dans le rseau SAN. Un serveur HTTP et un serveur Exchange ont aussi accs des donnes stockes sur le module de stockage. Le module de stockage est compos de trois baies de stockage interconnectes. Enfin, un commutateur assure les connexions entre les diffrents composants du rseau SAN et permet aussi aux rseaux SAN et Ethernet de communiquer entre eux.

Une autre utilisation typique dun rseau SAN est la mise en place dun cluster. En effet, un cluster est un ensemble de machine vu par le rseau de lentreprise comme tant une seule et mme machine (vu du rseau un cluster possde un seul nom et une seule adresse IP).

Par exemple, on peut crer un rseau SAN contenant 5 serveurs excutant IIS (Internet Information Service) pointant tous vers le mme support de stockage (une baie de stockage par exemple). Une fois le service de clustering MSCS install et le Network Load Balancing (NLB) paramtr, on dispose dun cluster qui rpartit la charge rseau (les requtes HTTP vers le cluster sont distribues de faon quitables entre les cinq machines excutant IIS) et qui gre la tolrance de panne (on peut perdre jusqu 4 machines sur 5 dans ce type de configuration). Pour plus dinformations concernant la mise en place du service de clustering et du load balancing, je vous renvoie aux articles suivants :

Le clustering MSCS Le Network Load Balancing

Si vous souhaitez voir un exemple pratique de limplmentation dun rseau SAN, allez visiter le site du Centre Interuniversitaire de Calcul de Toulouse. En effet, le CICT a mis en ligne la configuration du rseau SAN quil a mis en place en 2001. Pour les curieux, c'est ici.

Conclusion
Les SAN proposent de bien meilleures performances que les solutions de stockage NAS. Cependant, les SAN ncessitent une infrastructure rseau compltement diffrente du rseau Ethernet classique utilis dans le reste de lentreprise. Cela apporte des inconvnients (il faut un gros investissement matriel pour mettre en place un SAN) et des avantages (meilleure fiabilit, meilleures performances, le rseaux SAN permet de dcharger le rseau Ethernet). Lutilisation dun SAN dpend donc des besoins de lentreprise.

III-9) Le hotspare
Certaine cartes RAID et/ou priphriques NAS permettent de brancher un ou plusieurs disques de rechange (spare disks). Ces disques ne sont pas utiliss sauf en cas de panne de lun des disques. Voici un petit exemple :

Dans l'exemple prcdent, on a mis en place un RAID 1 avec deux disques et on a aussi rajout un disque de spare (bien entendu il faut un quipement qui supporte le hotspare). Si l'un des disques de l'ensemble RAID un vient tomber en panne, il sera immdiatement remplac par le disque de spare. Cela permet d'augmenter la tolrance de panne de l'ensemble RAID car si on utilise un disque de spare, on peut se permettre de perdre un disque supplmentaire sans perte de donnes. Cela est bien entendu coteux en terme d'quipement sur des petits ensemble RAID. Par contre sur de gros ensembles (5 disques et plus) cela peut devenir trs intressant. Par exemple, si lon a une carte RAID adapte on peut crer un RAID 50 avec seize disques durs (4 ensembles RAID 5 de quatre disques durs chacun monts en RAID 0) et rajouter un 17 disque de secours. Si lun des disques de lensemble RAID 5 tombe en panne alors le disque de rechange prend instantanment le relais ce qui permet de conserver la tolrance de panne. Ladministrateur peut ensuite changer tranquillement le disque dfectueux sachant que le systme reste scuris. Attention : Il ne faut pas confondre le hotspare avec le hotplug. Le hotplug (encore appel hotswap) est une technologie qui permet de brancher chaud diverses quipement. Par exemple, l'interface USB supporte le hotplug (on peut brancher/dbrancher des priphriques USB mme lorsque le systme est en fonctionnement). Au niveau des priphriques de stockages, seuls deux interfaces supportent le branchement chaud : l'interface SCSI et l'interface SATA. Pour conclure, le hotspare permet d'augmenter la scurit d'un ensemble RAID. Il est gnralement support par les cartes RAID "haut de gamme" et par les NAS. Il est surtout utilis sur de gros ensembles de disques.

III-10) Conclusion
Le RAID matriel est une solution trs intressante pour amliorer la scurit et/ou les performances des donnes stockes sur une machine ou sur le rseau. La solution la plus efficace mais aussi la plus chre reste lutilisation de priphriques ddis (NAS). Mais pour des raisons de cot, les entreprises mettent souvent en place le RAID via des cartes

dextensions. Il faut alors faire un choix entre RAID SCSI (plus performant, plus fiable et plus cher) et RAID SATA. Il est prfrable de faire une impasse sur le RAID PATA car c'est une technologie vieillissante. On peut ausi amliorer la scurit des gros ensemble RAID grce l'utilisation d'un ou plusieurs disques de spare. Enfin, on peut aussi amliorer la scurit ou les performances en crant une combinaison entre plusieurs modes de RAID (exemple de combinaison : RAID 10) en utilisant du RAID matriel et du RAID logiciel. L'avantage du RAID logiciel tant de permettre aux Entreprises et ventuellement aux particuliers qui ont un budget limit de mettre en place la technologie RAID.

Le RAID logiciel avec Windows Server 2003

IV-1) Introduction
Depuis, la sortie de Windows NT 4.0, la technologie RAID est implmente dans tous les systmes dexploitation de Microsoft destins au monde professionnel. Ainsi, il est possible de crer des ensembles de disques utilisant la technologie RAID de manire 100% logicielle. Cependant, il existe une disparit entre les versions serveurs et les versions clientes de Windows. En effet, les versions clientes (NT 4.0 workstation/2000pro/XP) ne supportent que les niveaux JBOD et RAID 0 alors que les versions serveurs (NT 4.0/2000/2003) supportent les niveaux JBOD et RAID 0 ainsi que les niveaux RAID 1 et RAID 5 qui apportent la tolrance de pannes. Les deux utilisations les plus rpandues du RAID logiciel sont : La cration densemble RAID bas prix La mise en place dune combinaison entre RAID

Nous allons expliquer comment crer et dpanner un ensemble RAID sous Windows Server 2003.

IV-2) Utilisation de la console de gestion des disques


Toutes les manipulations quil faut raliser pour mettre en place du RAID sous Windows Server 2003 sont ralises laide de la console de gestion des disques (ou Disk Management). Pour lancer cette console, il suffit de taper la commande diskmgmt.msc dans la boite de dialogue excuter (menu dmarrer/excuter). On peut aussi accder cette console par dautres chemins : Dmarrer/paramtres/panneau de configuration/outils dadministration/gestion de lordinateur/stockage/gestion des disques Clic droit sur licne du poste de travail/grer/stockage/gestion des disques

La console de gestion des disques permet de raliser beaucoup dactions sur les disques durs : o o o o o activer/ractiver des disques : On doit activer un disque lorsque lon vient de le rajouter dans lordinateur. formater une partition ou un volume avec un systme de fichier donn (FAT, FAT32 ou bien NTFS) modifier la lettre de lecteur dun disque (ex. : D:\ ) ou son chemin daccs (dans le cas dun point de montage). crer et supprimer des partitions crer et supprimer des volumes

Avec Windows Server 2003, on peut mettre en place la technologie RAID en crant des volumes. Pour tre en mesure de crer des volumes, il faut commencer par convertir les disques dits de base en disque dynamiques . Lors de linstallation de Windows, le disque systme est toujours un disque de base. Voici une capture dcran de la console de Gestion des disques o lon observe un disque de base avec une partition de 4Go contenant le systme dexploitation. On remarque aussi un disque dynamique sur lequel on na pas encore dfini de volumes.

Pour crer un volume, il suffit de faire un clic droit sur un disque dynamique contenant de lespace disque non allou. Si lon choisit nouveau nom , alors lassistant cration de volume sexcute. On peut aussi choisir de reconvertir le disque dynamique en disque de base. Cependant, cette option apparat uniquement si le disque ne contient aucun volume. cela signifie que pour convertir un disque "dynamique" vers un disque "de base", il faudra sauvegarder les donnes de tous les volumes, puis supprimer tous les volumes du disque.

Voici les diffrents types de volumes proposs sous Windows Server 2003 : volume simple et volume fractionn : ils correspondent au RAID JBOD. En effet, un volume simple est une partition qui peut ensuite tre tendue grce de lespace disque contenu sur plusieurs disques et/ou partitions. Un volume fractionn est une partition qui additionne lespace disque de plusieurs disques et/ou partitions. volume agrg par bandes : ce type de volume correspond au RAID 0. volume en miroir : correspond au RAID 1 mirroring . volume RAID 5

IV-3) Mettre en place un volume agrg par bandes (RAID 0)


Comme nous lavons vu prcdemment, il suffit de faire un clic droit sur un disque dynamique, puis de cliquer sur nouveau nom pour crer un volume. Une fois dans lassistant de cration dun nouveau volume, il suffit de cliquer sur le bouton suivant.

On slectionne le bouton radio nomm : agrg par bandes .

On doit ensuite slectionner le nombre de disque qui vont composer le volume agrg par bandes, puis la taille qui sera utilise sur ces disques. Dans notre exemple, on a rserv un espace de 100 Mo sur 3 disques dune capacit totale de 4Go. On va donc crer un volume dune taille de 300 Mo. Lespace restant sur chacun des disques peut tre utilis pour crer dautres volumes.

A ltape suivante, on peut choisir la lettre de lecteur qui sera attribue au volume ou bien choisir de crer un point de montage sur un dossier.

On doit ensuite formater le volume avec un systme de fichiers particulier. Dans le cas dun volume, Windows Server 2003 propose uniquement le systme de fichiers NTFS. (par contre, on peut formater des partitions cres sur des disques de bases avec le systme de fichiers FAT, FAT32 ou NTFS). On doit ensuite choisir la taille des units dallocation (ou clusters). Cette option influera fortement sur les performances de votre serveur.

En effet, dans le cas dun volume agrg par bandes, la taille des units dallocation reprsente la taille occupe au minimum par un fichier, mais aussi la taille des segments qui seront rpartis entre les disques de du volume. La taille des units dallocation est un multiple de la taille dun secteur de disque dur (soit 512 octets). Elle est comprise entre 512 octets (1 secteur) et 65536 octets (soit 128 secteurs de 512 octets chacun). Pour le systme de fichier NTFS la taille par dfaut des units dallocation est de 4096 octets. Ainsi, si le volume reoit un grand nombre de requtes pour des fichiers de petites tailles (si il hberge un serveur HTTP par exemple), il sera utile de choisir une petite taille pour les units dallocation (512 octets, 1024 octets ou 2048 octets). En revanche, dans le cas dun serveur de fichiers qui contient par exemple des images de CDs ou des images RIS, une grande taille pour les units dallocation est recommande (ex. : 16, 32 ou 64 Ko). Les autres options que lon peut slectionner sur cette fentre sont lactivation de la compression des fichiers et des dossiers et la slection du formatage rapide. On peut aussi donner un nom au volume. On peut noter que la compression des fichiers et des dossiers nest possible que sur des volumes avec des units dallocation dont la taille est infrieure ou gale 4096 octets. Une dernire fentre rcapitule les choix effectus. Si les paramtres semblent bons, il suffit de cliquer sur terminer pour lancer la cration du volume et son formatage le cas chant.

On peut ensuite visualiser le volume que lon vient de crer dans la console de gestion des disques.

IV-4) Mettre en place un volume en miroir (RAID 1)

Pour rappel, lorsque lon met en place un volume miroir, les informations sont dupliques entre tous les disques du volume miroir. Le programme utilis par Windows pour crire simultanment les informations sur diffrents disques physiques est ftdisk.sys . Lorsque lon met en place un volume miroir sur une partition contenant le systme dexploitation, Microsoft recommande de suivre la procdure suivante : crer le volume miroir modifier le fichier boot.ini pour quil pointe vers le deuxime disque physique crer une disquette damorage contenant le fichier boot.ini modifi

Cette procdure permet de dmarrer sur le deuxime disque via la disquette damorage en cas de panne de lun des disques. Nous ne dvelopperons pas inutilement la configuration du volume en miroir car elle trs proche dans son approche que celle de lagrgat par bandes. Il faut tout dabord crer un nouveau volume, puis passer la page de prsentation de lassistant en cliquant sur le bouton suivant . Ensuite, on slectionne volume en miroir et la fentre suivante saffiche :

A linstar du volume agrg par bandes, on doit slectionner le nombre de disques. Cependant, pour le RAID 1 (ou volume en miroir), Windows Server 2003 limite le nombre de disques 2. Il faut donc choisir deux disques et la taille quoccupera le volume sur chacun des disques. Dans cet exemple, on cre un volume de 50Mo ce qui signifie que 50 Mo seront utiliss sur chacun des disques pour crer le miroir. Les dernires tapes de la configuration sont identiques celle du RAID 0 (nom du volume, taille des clusters, choix de la lettre de lecteur, ). A moment o lon termine lassistant une synchronisation a lieu entre les deux disques, puis le formatage seffectue (si lon a choisi de formater le disque bien entendu).

Une fois le formatage termin, le volume en miroir est directement oprationnel. En cas de panne de lun des disques, le systme dexploitation utilise le disque restant.

IV-5) Mettre en place un volume RAID 5


Pour mettre en place un volume RAID 5, il faut lancer lassistant cration dun nouveau volume et slectionner volume RAID-5 . On doit ensuite choisir les disques qui vont former le volume (3 disques au minimum) :

Dans notre exemple, on rserve un espace de 200 Mo sur chacun cinq disques afin de crer le volume RAID 5. On obtiendra donc un volume dune taille de 4 * 200 Mo = 800 Mo. En effet, le stockage des informations de parit utilise lespace dun disque entier soit 200Mo. Bien entendu si lun des disques contient de lespace non allou, on peut lutiliser pour crer un autre volume. Cela fonctionne trs bien, mais a nest par recommand au niveau des performances.

IV-6) Dpannage dun ensemble RAID


L Si un disque dur connat une dfaillance alors le statut du volume auquel il appartient est soit manquant soit en erreurs . Ci-contre, lun des disque dur dun volume agrg par bande est mal branch (suite une manipulation lintrieur du botier par exemple), il porte lattribut : manquant . La premire chose faire lorsquun des volumes porte lattribut manquant ou en erreur est de tenter de ractiver le disque. Si cela ne fonctionne pas, vrifiez que les disques dur composant le volume dfaillant sont bien branchs, puis re-tentez de ractivez le disque. Enfin si lun des disques durs se rvle physiquement endommag, il faut suivre une procdure diffrente selon les cas : dans le cas dun volume fractionn ou dun volume agrg par bande, il faut supprimer le volume existant, rajouter un nouveau disque, signer le nouveau disque, convertir le nouveau disque en disque dynamique, re-crer le volume, restaurer les donnes prsentes sur lancien

volume partir dune sauvegarde. Dans le cas dun volume miroir, il faut supprimer le disque miroir marqu portant lindication manquant, rajouter un nouveau disque, signer le nouveau disque, convertir le nouveau disque en disque dynamique et enfin ajouter le nouveau disque en tant que disque miroir pour le premier disque. Le systme va automatiquement rgnrer le miroir. Dans le cas dun volume RAID 5, il faut rajouter un disque neuf, signer le nouveau disque, convertir le nouveau disque en disque dynamique et rparer le volume RAID 5. On peut ensuite supprimer le disque dur marqu comme dfaillant.

e reste des options de paramtrages est strictement identiques aux autres volumes. Nous ne les dtaillons donc pas.

IV-7) Conclusion
La console Gestion des disques permet de crer facilement des ensembles utilisant la technologie RAID. Cest aussi un outil de monitoring intressant (tat des disques, pourcentage despace disque restant, ). Un autre avantage du RAID logiciel est que sa mise en place est indpendante de la technologie utilise. On peut par exemple mettre en place un volume RAID 5 avec un disque dur IDE branch sur le contrleur intgr la carte mre, un disque dur SCSI branch sur une carte dextension et un disque dur externe branch sur un port IEEE1394 (ou firewire) ce qui est impossible avec du RAID matriel. Le RAID logiciel est souvent utilis pour crer des combinaisons entre diffrents niveaux de RAID (exemple RAID 10). Cependant le RAID logiciel est moins performant que le RAID matriel ce qui limite son utilisation aux entreprises nayant pas les moyens dinvestir dans une solution matrielle.

Vous aimerez peut-être aussi