Siars Stockage MR

Stockage
Stockage
sur
sur
Disque
Disque
DAS,NAS,SAN
DAS,NAS,SAN
Les Concepts de Base
12 avril 2006 12 avril 2006 Journes Thmatiques SIARS Journes Thmatiques SIARS- - Stockage Stockage Michel Ricard Michel Ricard
LEVOLUTION des DONNEES
On assiste de manire gnrale et donc dans NOS LABOS
RESPECTIFS une :
Explosion des donnes en volume et en importance :
banalisation de lordinateur, internet,complexit croissante
des problmes traits: 15 PetaBytes/an pour les expriences LHC
partir de 2008 ,.
Dcroissance du cot du stockage physique
Cot de gestion et dentretien en augmentation
O mettre les donnes ?
Comment les organiser ?
Comment les grer ?
Comment permettre leur accs aux utilisateurs ?
Avec bien sr des objectifs dintgrit, de performance, de
scurit, de transparence et de limitation des cots.
Lvolution du stockage.accompagne
lvolution de linformatique
Technologie: la
bande passante
Technologie : le
microprocesseur
Technologie : le
transistor
Stockage partag
NAS et SAN
Stockage
distribu
dadministration
complexe
NFS,CIFS
Stockage ddi
DAS
Centralisation et
consolidation des
serveurs
Serveurs
dpartementaux
Systmes
Centraux
(Mainframes)
Informatique
centre rseau
Informatique
oriente
application
Informatique
oriente
entreprise
Annes 2000 Annes 80-90 Annes 70 - 80
Systme de stockage: dfinition
Pour rpondre aux besoins de stockage
considrables on met en uvre des Systmes
de stockage qui sont un ensemble
dquipements informatiques
ordinateurs
connexions rseau
mdias de stockage
et de logiciels appropries responsables de la
gestion de grands volumes de donnes
informatiques et de leur accs en lieu en temps
voulus
Stockage en direct : DAS
Chaque disque ou ensemble de disques est
physiquement lie une seule unit de
commande, serveur de fichier ou mainframe,
par dfinition indpendante.
Par opposition au stockage en rseau o il y a une mise en
relation de plusieurs serveurs plusieurs units de disque.
Llment cl de la performance devient la
capacit des disques dlivrer des
Entres/sorties.
Plus de 90% des systmes de stockage sont
encore relis directement travers divers
adaptateurs.
Les DISQUES DURS
La mcanique : boitier, plateaux,moteur
dentrainement, ttes de lecture..
+
Llectronique : contrleur qui dtermine
linterface.
Quest ce qui dtermine les performances..
LES DEUX !!
DISQUES DURS: les critres de
choix
Critres commerciaux:
La capacit
Le dbit
La fiabilit
Et.
Le prix bien sr!!!!
Critres techniques
Le temps moyen daccs: 15 ms 3ms
Temps de latence: (60/rpm)/2 8 2ms
La densit surfacique (80 Gb/in2) et le nombre de
plateau
Vitesse de rotation: 3600 15000 rpm
Mmoire cache: 2 32 Mo
MTBF: 300 Kheures 1,2 Mh
Interface : taux de transfert thorique
DISQUES DURS: lavenir proche
Changer de substrat pour les plateaux en
utilisant un substrat de verre : plus lisse, plus
plat, plus rigide, coefficient de dilation beaucoup
plus faible. Meilleure fiabilit et permet une
vitesse de rotation plus leve.
Augmenter la densit surfacique qui est limite
par un effet quantique (effet superparamagntique)
Mmoires optiques (holographique)
Les Interfaces disques parallles:
ATA Advanced Technology Attachment
Appel aussi IDE Integrated Drive Electronics
2 lments par bus : un en mode matre lautre en esclave.
Contrleur sur la carte mre. a consomme du CPU.
Les requtes sont traites dans lordre dmission : une
seule requte la fois sur le bus (A la diffrence dun
contrleur SCSI).
Dbit thorique de 2Mo/s jusqu 133 Mo/s.
Disques ayant un trs bon rapport capacits/prix.
Les Interfaces disques parallles:
SCSI Small Computer System Interface
Permet de relier 7 priphriques,internes ou externes,
chacun dot d une ID laide dun bus 8bits.(15 avec le
bus 16 bits).Les pripheriques peuvent fonctionner
simultanment : multitche contrairement IDE.
Contrairement IDE ,SCSI ncessite un contrleur sur
chaque disque et un adaptateur sur la carte mre pour
traduire les signaux au bus systme; SCSI , plus quune
interface est un bus dE/S permettant aux priphriques
de communiquer directement entre eux sans passer par
la CPU(mais par ladaptateur): donc pas de
consommation CPU.Il y a un ordonnancement des
requtes (queuing)
SCSI dispose dun jeu de commande de 16 oprations
obligatoires (pour SCSI-2)qui servent configurer
lensemble du systme SCSI, tester la disponibilit des
units destinataires et dtecter les anomalies.
A ceci sajoute un jeu optionnel et un jeu spcifique
constructeur.Dbit thorique de 3Mo/s 320 Mo/s.
Technologie plus coteuse mais efficace.
Les Interfaces disques srie:
SATA
Norme dinterface interne (eSATA pour
externe) disque point point dont les
avantages sont :
Dbit thorique de 1 4Gbits/s(annonc)
avec SATA2 2Gb/s
Remplacement de la nappe de connexion
par un cable srie 1m au lieu de 0.50 en ATA
Extraction chaud possible.
Les Interfaces disques srie:
SAS Serial Attached SCSI
Norme dinterface interne disque point point entre un
contrleur et un disque SCSI.
les avantages sont :
Le disque est directement connect au contrleur par
une liaison srie (2 fils) au lieu dune nappe pour
SCSI classique.
Mixage possible des disques SATA et SAS:
connecteur commun 7 broches
Distance de connexion 8m
Dbit de 3 6,6 Gb/s (annonc).
Le contrleur se comporte comme un commutateur
rseau. Nombre dquipements connectables 127
Technique Full Duplex(SATA half Duplex)
Supporte plusieurs protocoles SSP,SMP (protocoles
SCSI), STP(protocole SATA) et utilise la mme trame
que FC avec ladressage WWN.
Le protocole SSP(Serial SCSI Protocol) est compatible
avec les commandes SCSI classiques et peut donc
commander des disques SCSI normaux
Interface srie: Fibre Channel
Conu lorigine pour transporter le protocole SCSI
(SCSI 3) en saffranchissant des distances et du nombre
de disques.
Interface 2 ports: mission et rception Full Duplex
Interface en fibre optique ou cuivre
Haut dbit :1 , 2 Gb/s ou 4Gb/s
SAN
Les Baies de Disques
Grappe de disques indpendants(JBOD) ou organiss
(RAID)
Scurit matrielle par redondance (alimentation,
ventilateur, contrleur)
Interface qui lintrieur de la baie relie chaque disque
au contrleur tait SCSI(Entre de gamme) ou FC(Haut
de gamme). Avec lintgration de disques SATA avec une
sortie FC pour intgration dans un SAN, le cot au Go
baisse de moiti(10 15
Un Logical Unit Number (LUN) est une partie dune
grappe de disque.
Au niveau dun serveur un LUN est vu comme un disque
Chaque LUN est affect au minimum un contrleur de
baie
Technologie RAID
Raid Array of Independant Disks
Technologie permettant de constituer une unit de stockage
partir de plusieurs disques durs assembls de
diffrentes faons appeles niveaux de raid.
Niveau 0: striping
Niveau 1: mirroring, shadowing, duplexing
Niveau 2 : striping with parity (obsolete)
Niveau 3 : disk array with bit-interleaved data
Niveau 4 : disk array with block-interleaved data
Niveau 5 : disk array with block-interleaved distibuted
parity
Niveau 6 :4 + double parity
RAID 0 et 1
RAID4 et 5
RAID DP (NetApp)
8
3
1
2
1
1
1
3
1
2
2
1
3
3
1
2
2
9
5
7
7
12
12
11
8
3
1
2
1
1
1
3
1
2
2
1
3
3
1
2
2
9
5
7
7
12
12
11
3
1
2
1
1
1
3
1
2
2
1
3
3
1
2
2
9
5
7
7
12
12
11
Quels disques choisir ?
La Tendance va vers des bus srie
ATA -> SATA (ATA/133 et SATA 1 : peu de
diffrence de dbit)
SCSI -> SAS
Rapport qualit prix rend SATA 2 attractif: dbit, queueing
de commande de SCSI .
SCSI ou FC conus pour supporter
o tempratures plus leves
o une utilisation pleine charge plus longue
o vitesse de rotation plus leve.
Plus grande fragilit des disques SATA pour une mme
utilisation ( MTBF)
MTBF dun disqueFC 1,2 Million dheures
MTBF SATA clase PC 600 000 heures
SATA classe entreprise 1 million dheures
Stockage
Stockage
en
en
Rseau
Rseau
Le Stockage en rseau :NAS , SAN
La tendance la consolidation des donnes ainsi que
les besoins croissants d'un accs plus rapide ces
dernires a conduit au dveloppement de deux
architectures de stockage: NAS et SAN
Le NAS : unit de stockage communiquant sur les
rseaux locaux existants (Ethernet, TCP/IP) est adapt
aux applications qui font appel aux services de fichiers
(CAO, developpements logiciels, Web, mail,)
Le NAS sappuie sur une vision logique des donnes
Le SAN compos dun rseau(fibre optique) ddi
exclusivement rserv au stockage ,utilisant le protocole
Fibre Channel et qui offre une grande flexibilit tant
en distance qu'en connectivit. Il est bien adapt aux
bases de donnes et au traitement transactionnel en
gnral.
Le SAN procde dune vision des donnes au niveau
physique
Rseau
Ethernet
Gigabit
Disques
Systme
de fichiers
Application
Rseau
Fiber
Channel / Ethernet
Disques
Gestion de disques
Technologies de
Technologies de
stockage
stockage
:
:
SAN
SAN
ou
ou
NAS? blocs
NAS? blocs
ou
ou
fichiers
fichiers
?
?
Systme
de fichiers
Application
RAID
Volume
Sauvegarde
Concurrence
daccs
Quotas
Rplication
SnapShot
Volume
Sauvegarde
Concurrence
daccs
Quotas
Rplication
SnapShot
SnapShot (bloc)
Rplication
(bloc)
RAID
Gestion de donnes
NAS et SAN,deux options possibles
Implique une
administration
directe(incluant
linfrastructure
rseau)
A travers le serveur
Administration
du stockage
Avec Fibre
Channel: nx1Gb/s
Lie au rseau
existant
Bande
passante
Type entre/sortie
(SCSI,)
Type message
(TCP/IP.)
Protocole
dchange
Serveur de
ressources de
stockage
Smantique block,
on gre des LUN
Serveurs de fichiers
multiprotocoles
(NFS, CIFS.)
Smantique fichier,
on gre des
systmes de fichier
Fonction des
units de
stockage
rseau spcialis
(Fibre Channel)
rseau existant
(Ethernet,..)
rseau
SAN NAS
Rseau
Rseau
de
de
stockage sur
stockage sur
FC
FC
SAN
SAN
Communications logiques pour les
Donnes : Le mode Canal dE/S
Une communication de type canal fournit une
connexion directe ou commute entre les diffrents
quipements qui changent des informations.
Environnement structure ferme
Les priphriques sont directement relis au systme
hte
Transfert intensif de donnes entre lordinateur et
lappareil.
Temps dinactivit rduit au minimum (trs peu
dOverhead)
Lexigence essentielle du transfert est la
transmission sans erreurs.
Ex: ESCON, SCSI
Communications logiques pour les
Donnes : Le mode Rseau
Les rseaux de communication sapparentent
une agrgation de nuds.
Environnement structure ouverte avec un ou
plusieurs protocoles de communication.
Chaque hte peut communiquer avec chaque
appareil(peer-to-peer).
piles logicielles importantes pour la gestion des
droits daccs, louverture et la fermeture des
sessions, la mise en paquets, routage,etc..
Temps inactif de protocole important donc
mauvais rapport entre donnes globales et
donnes utiles.
Fibre Channel : Gnralits
FC est la dsignation dune srie de normes dveloppes par
lANSI dans le but de reprendre le meilleur des deux
mondes.
FC a t construit pour dpasser les limitations du protocole
SCSI(telle la longueur de cble) tout en conservant ses
points forts( pas de surcharge du processeur) et en
augmentant le dbit.
FC sapparente une liaison srie Full Duplex haute
performance avec son propre protocole de communication
qui est aussi compatible avec des protocoles de niveau
plus lev comme SCSI, HIPPI,IPI.
Interface 2 ports : mission et rception.
FC est aussi utilis comme protocole de BUS interne de baie
de disque.
FC est devenue le vritable ciment des rseaux de
stockage et offre diffrentes topologies: SAN ~ FC
Fibre Channel : Caractristiques
les nuds et ports FC sont identifis au niveau mondial par
leur WWNN/WWPN de 64 bits. Ce sont des adresses
dappareils comparables aux adresses MAC.
Dans un environnement FC(SAN) ladressage utilise une
longueur dadresse de 24 bits(domaine,adresse
locale,adresse de boucle) ce qui donne la possibilit de
relier plus de 16 millions de ports.
FC fonctionne diffrentes vitesses : 133 , 266, 530 mb/s et
1, 2, 4 Gb/s et sur trois mdia optique ou electrique.
La distance de transmission varie en fonction de la vitesse
et du media: Ex: 20m en cuivre jusqu 10km pour 1Gb/s
sur fibre monomode avec laser longwave.
FC communique par trame de longueur variable de 36
2148 octets
Fibre Channel :le Protocole
Le protocole FC est structur en 5 couches :
FC-0 : dcrit le mdia physique
FC-1 : dcrit les rgles de transmission, le codage et le
dcodage(8 bits vers 10bits), le contrle derreurs, laccs
au mdia.
FC-2 : dcrit les topologies possibles, les types de
port, coupe les donnes en trames puis les
rassemble aprs transport, route les donnes
FC-3 : Fonctionnalits avances (Common Services):
multicast, compression, chiffrement.
FC-4 : dcrit linterface entre FC et dautres
protocoles(SCSI, HIPPI, IP,ATM,)
Fibre Channel : Les couches
Couche FC1 Encodage Couche FC1 Encodage Decodage Decodage
Couche FC2 Protocole de Trame / contrle de flux Couche FC2 Protocole de Trame / contrle de flux
Couche FC3 Services communs Couche FC3 Services communs
Couche FC4 Couche FC4
Multimedia Multimedia Canaux d Canaux d Entre/Sortie Entre/Sortie Rseaux Rseaux
Audio Audio Video Video IPI SCSI HIPPI SBCCS IP 802.2 IPI SCSI HIPPI SBCCS IP 802.2
Couche FC0 Couche FC0
Fibre Fibre multimode multimode, , monomode monomode, cuivre , cuivre
133 Mb/s 266 Mb/s 531 Mb/s 1,06 Gb/s 2,12 Gb/s 4,25 Gb/s 133 Mb/s 266 Mb/s 531 Mb/s 1,06 Gb/s 2,12 Gb/s 4,25 Gb/s
FC/PH FC/PH
Fibre Channel :les classes de
service
Afin de garantir une transmission efficace des diffrents
types de trafic FC dfini 5 classes de service.
La classe de service 1 cre un circuit point point
entirement ddi.
2 est de type sans connexion qui assure le partage de
bande passante en multiplexant les trames de sources
diffrentes sur un seul et mme lien FC.
1 et 2 envoient, dans tous les cas, un acquittement afin de
confirmer la bonne rception dune trame.
3 est identique 2 sans lacquittement. Convient aux
applications qui ncessitent des transferts rapides.
4 tablit des circuits virtuels pour lesquels la qualit de
service(bande passante et latence) est garantie.
5 est similaire 1 toutefois dot dune fonction assurant la
diffusion.
Les commutateurs FC sont mme de grer plusieurs
classes de services simultanment
SAN: Topologies
Fabric(que): similaire une infrastructure Ethernet;utilise un
commutateur FC.autorise laccouplement dynamique entre les
nuds par les ports connects au rseau. Le routage et le type
de transport des trames FC transmettre sont assurs par la
Fabric(switch) et non plus par les ports. Types de port : N_Port,
F_Port,E_Port.
SAN: dfinitions
Le SAN est un rseau indpendant du rseau local
IP/ethernet ddi au stockage et qui repose sur le protocole
Fibre Channel.
Le SAN correspond un bus de stockage tendu et partag
Le SAN ndessite des quipements rseaux spcialiss
(Commutateurs, cartes HBA pour les serveurs)
Dans un SAN on dfinit:
Nud: tout appareil FC.
Port: au moins un par nud pour tablir laccs avec le
monde extrieur i.e. un autre nud.Au moyen dun canal
dmission et dun canal de rception.
Lien:liaison des canaux dmission et de rception de deux
ports
Un ilot SAN est un ensemble dquipements FC relis entre
eux; pour un ilot trois topologies sont possibles.
Les diffrents types de ports
N_PORT(Node): permet une
connexion point point vers un
autre N_Port ou vers un F_Port sur
un commutateur(switch)
NL_PORT(NodeLoop): cest un
N_Port qui peut participer une
boucle arbitre( Arbitrated Loop)
F_PORT(Fabric): sont utiliss sur un
switch pour connecter un N_Port
FL_PORT(FabricLoop): sur un switch
permet de participer une
Arbitrated Loop
E_PORT(Expansion) : permet
linterconnexion de commutateur
G_PORT(Generic): sur un
commutateur se comporte comme
un E_Port, FL_Port, F_Port
SAN: Topologies
Point Point :la plus simple
un lien crois entre les deux ports. Connexion directe (DAS?)
entre la matrice de disques et lordinateur central. Type de port
N_Port.
SAN: Topologies
Boucle Arbitre (FC-AL): maximum de 126 ports relis
entre eux. Tous les ports se partagent la largeur de bande;
utilise un Concentrateur FC.
Type de port: NL_Port
SAN: Adresses WWWN/WWWP
Une adresse WWN est gnralement crite par paire dhexadecimaux :
08:12:45:56:43:00:D5:A0
SAN: LUN Zoning ou isolation de
domaines
dfini plusieurs domaines dchange entre certains ports dun commutateur.
Le Port Zoning : bas sur les ports physiques du commutateur.
Le WWN Zoning: bas sur un serveur de nom lintrieur du commutateur.
SAN: LUN Masquing
Processus qui permet de rendre une LUN disponible certains
quipements et pas dautres.
Rplication de Lun ( Lun cloning) et
Snapshot de Lun
Mise en miroir des donnes stockage
gnralement dans un but de sauvegarde.
Dans un snapshot de LUN on recopie des
pointeurs de blocs.
Dans une rplication on recopie tout.
Interconnexion dilots SAN
FCIP : Fibre Channel over TCP/IP
ou SCSI over FC tunneled through IP
protocole de tunneling appel aussi Fibre Channel Tunneling
est une encapsulation des trames FC dans TCP/IP. Tout le
trafic (donnes et gestion) passe par un tunnel ; Il y a
cration dun rseau SAN unique, avec une administration
unique partir de deux ilots SAN distincts(et distants).
iFCP : internet Fibre Channel Protocol
ou SCSI over FC translated to IP
Permet de connecter, travers un rseau IP, deux ilots SAN
tout en prservant lindpendance des ilots(gestion
indpendante, scurit indpendante) par une topologie
multipoint et une translation dadresses WWN en sessions
TCP/IP. Pour cela iFCP apparat comme une pile de
couches normalises (remplace certaines couches basses
du protocole FC par TCP/IP).
Dploiement dun SAN: Compatibilit
Le matre mot est :
Matrice de compatibilit
Chaque constructeur garantit que son matriel est
compatible avec une liste de matriel test et
doncdcline toute responsabilit en cas de non
fonctionnement avec un autre matriel.
NO COMMENT!!
Dploiement dun SAN: Virtualisation
Dcorreler les ressources physiques des ressources logiques,
en offrant une vision globale et unifie dun ensemble de
baies hrrognes quil sagisse dallouer des volumes aux
serveurs ou de mettre en uvre des services de copie
locale ou de rplication distante. Pour faire simple : viter de
mettre les mains dans le cambouis!
Mais comment dans le cadre dun SAN ?
Le SAN in a Box est une appliance qui embarque tout : le
systme de commutation,le systme disques, le logiciel
dadministration et de gestion ainsi que de supervision
Magnitude de XIOtech
Les serveurs de Domaine sintercalent entre le le rseau
SAN et le stockage et souvent implant dans les
commutateurs. Architecture In Band. Logiciel IPStor de
Falconstor + switch XSAN de NPI.
Les mtaserveurs logiciel implant sur une plate forme
standard qui attribue chaque serveur dapplications un
espace de stockage virtuel. Architecture Out of Band.IBM
avec GPFS
Rseau
Rseau
de
de
stockage sur
stockage sur
IP
IP
iSCSI
iSCSI
iSCSI pourquoi faire?
Raliser un rseau de stockage comme
avec le SAN FC
A moindre cot
Tout en profitant de linfrastructure et de
lexpertise IP dj prsente
Avec une plus grande facilit
dinterconnexion des ilots loigns.
iSCSI : Concepts et Terminologie(1)
ISCSI = SCSI (protocole dentre/ sortie en mode bloc) +
TCP/IP (protocole rseau des NAS base de fichiers)
encapsulation de donnes et commandes SCSI dans des
trames IP.
SCSI est un modle client-serveur avec comme client le
systme hte et comme serveur la baie de disques
Idem pour iSCSI avec le concept dentit rseau , unit de
stockage ou passerelle connect un rseau IP par une ou
plusieurs adresses IP( Network Portal)
Le client est linitiateur (initiator) et le serveur est la cible
(target).
Une cible dispose dune ou plusieurs units logiques (LUN)
pouvant recevoir des commandes.
iSCSI : Principe
Rseau IP
Noud iSCSI
( initiateur)
Portail rseau
10.1.1.1
Portail rseau
10.1.1.3 et
Port tcp 3260
Entit Rseau (Client iSCSI)
Entit Rseau (Serveur iSCSI)
Noud iSCSI
(Cible)
Portail rseau
10.1.2.3 et
Port tcp 3260
Portail rseau
10.1.2.1
Nud iSCSI
(cible)
ISCSI : Adressage et Nommage
Un nud ISCSI identifie un appareil SCSI dans une entit rseau
(adresse IP, port TCP) par un nom unique de 255 octets.
La convention de nommage iSCSi est faite pour assister le
processus de dcouverte et valider lidentit de lappareil lors de
la connexion initiateur-cible.
Le standard ISCSI pour les noms se compose de trois parties :
Un designator type
Lautorit de nommage
Un identifiant unique attribu par lautorit de nommage
Ex : iqn.1987-05.com.cisco:01.53ce76a268ff
La dcouverte utilisant les noms iSCSI peut seffectuer avec le
service internet Storage Name Service (iSNS)
ISCSI :Le protocole
Le rle principal du protocole lSCSl consiste encapsuler et
fiabiliser les transactions entre initiateur et cible en
empruntant un rseau TCP/lP
Une cible dispose dune ou plusieurs units logiques pouvant
recevoir des commandes et identifies par LUN.
Les commandes, contenues dans un CDB(bloc de description
de commandes) dlivr par le systme hte sont
encapsules dans un PDU(datagramme iSCSl) et envoys
sur TCP/lP .
,QLWLDWHXU ,QLWLDWHXU ,QLWLDWHXU ,QLWLDWHXU
la couche iSCSl reoit le CDB(ex: lecture de bloc une LU)
de la couche SCSl. Une enveloppe est ajoute et le tout
transmis dans un PDU sur le rseau lP vers la cible.
&LEOH &LEOH &LEOH &LEOH
la couche iSCSl extrait le CDB SCSl du PDU. Ce CDB est
prsent la couche SCSl pour excution sur lunit SCSl.
le rsultat de la requte SCSl( La LU initie le transfert vers
lexpditeur de la requte qui se terminera par un message
de statut) est retourn linitiateur lSCSl de la mme
manire.
ISCSI :Le protocole
Le protocole dfini la notion de session comme lensemble
des connections TCP dun initiateur vers une cible. Une
session est identifie par une SSID compose dune partie
initiateur et cible. Une session iSCSI est tabli travers un
processus de login.
Le protocole ISCSI dispose dun modle de numrotation pour
les commandes, les status de rponse et les changes de
donnes sont numrots pour detecter les erreurs et les
donnes qui narrivent pas.
Le protocole dcrit enfin les diffrentes phases du processus :
Dcouverte des Cibles
Login venant de linitiateur
Authentification rciproque
initiateur-Cible
changes de commandes
et rponses
Les (autres)Applications de iSCSI
o Remote Backup dans le cadre dun PRA
o Boot rseau de client Diskless.
o Politique de backup disque puis bande (DDDT)
o .
Les Matriels iSCSI
Cibles
Baies iSCSI :
Exemple du Reo 4000 de Overland
REO SERIES SPECIFICATIONS
CAPACITY
Raw Capacity 8 SATA x 250 GB, 2 TB
PERFORMANCE
Backup Performance Up to 120MB/second
HOST INTERFACES
Hardware Two GbE Ports (RJ45), one Management
Port (RJ45)
Software REO Softkey, web-based management
GbE Storage Protocol iSCSI
POWER REQUIREMENTS
Voltage 100 to 240 VAC
Frequency 47 to 63 Hz
Current 5A @ 115 VAX, 2.5A @ 230 VAC
Power Cord Connector (US) IEC 60320 C13 Connector
ENCLOSURE
Dimensions (H x W x D) 17 x 27 x 3.5 in. (2U rackmount)
Weight 56 lb.
Installation dun initiateur iSCSI
sous LINUX
Rapatrier les sources depuis http://www.sourceforge.net
Dtarer le fichier linux-iscsi_3.4.3.tgz dans /usr/src
Installation
cd /usr/src ; cd linux-iscsi_3.4.3
make ; make install
Si OK un initiator name a t cre dans /etc/initiatorname.iscsi
diter /etc/iscsi.conf # Discovery adresse et Target name
Editer /etc/fstab.iscsi
Lancer le service iscsi
/etc/init.d/iscsi start
Conclusion: SAN FC ou iSCSI ?
Fibre Channel cest :
Cher ($4k par serveur)
Performant (200 Mo/s)
Faible interoprabilit/propritaire
iSCSI cest :
Moins cher(0-500$ par serveur)
Peu performant(40 Mo/s)
Familier/Standardis
Les deux peuvent coexister dans un rseau de
stockage et rpondent des besoins diffrents.
Serveurs
Serveurs
de
de
Fichiers
Fichiers
NAS
NAS
Quest ce quun NAS ?
Un NAS est un serveur de fichiers ddi la
plupart du temps multiprotocoles.
La partie matrielle est scurise : redondances
multiples, baies de disques RAID.
Le systme dexploitation est spcialis avec
toutefois deux tendances:
Driv dun systme gnraliste (Linux,
Windows).
adhoc et propritaire: dataONTAP (NetApp) ou
DART (Emc)
NAS: les objectifs recherchs
Centralisation des donnes
Scurisation des donnes
Facilit configurer
Faible cot faible dadministration
Performance (i.e. tient bien la charge)
250 Go 250 Go 250 Go 250 Go
120Go 120Go 50Go 50Go
SUN SUN
SGI SGI
HP HP
COMPAQ COMPAQ
NT NT
50 Go 50 Go
U U
N N
I I
X X
400Go 400Go
La Situation au CPPM en 2000
La Situation au CPPM en 2000
300Go 300Go
LINUX LINUX
RAID
Vol Mgmt
File System
Vol Svc
IP
Application
NAS en
NAS en
tant quAppliance
tant quAppliance
La force de la solution intgre :
Simplification de l administration
Acclration du dploiement
Rduction des cots de possession
La faiblesse:
Evolutivit : systme non ouvert
Ex: Network Appliance
NAS comme frontal de SAN
Convergence NAS/SAN
une passerelle NAS joue le rle de serveur de fichiers,
mais les disques sont placs sur le rseau SAN.
La passerelle va chercher les blocs de
donnes(mthode SAN) et les reconstituent en
fichiers(mthode NAS)
Les I/O de type block ne sont pas traits par le NAS
Le NAS et le SAN ont deux administrations distinctes
En pratique linteroprabilit nest assure que pour des
NAS et SAN de la mme socit
EMC avec la gamme Cellera
Hitachi en couplant une baie SAN
avec une tte Network Appliance
NAS:Les critres de choix
Performance: matriel(proc, mmoire, disques,
RAID,rseaux) et logiciel
Accepter les protocoles rseaux les plus rpandus :
NFS,CIFS,HTTP minimum + .
Systme dexploitation spcialis ou gnraliste avec les
protocoles NFS et CIFS natifs ou muls
Scurit des donnes: par redondance du matriel et
rplication logicielle
Equilibre et visibilit en environnement htrogne : Unix
versus Windows
Simplicit de dploiement
Les fonctions dadministration et de gestion: richesse et
convivialit
Les systmes dalertes en cas de panne
Le support des interventions chaud
La reconstruction dun disque de secours
Evolutivit, sauvegarde(support des composants)
Et puis Le Prix !!!
Loffre technologique
Loffre technologique
de
de
NetworkAppliance
NetworkAppliance
Quest
Quest
-
-
ce quun
ce quun
Filer
Filer
NetApp
NetApp
?
?
Larges matrices de disques extensibles la vole.
Protection RAID en standard (RAID 4 et RAID DP)
Support natif des environnements NFS, CIFS et HTTP
Micro-noyau temps rel optimis : dataONTAP
Systme de fichiers journalis ultra-performant : WAFL
Snapshots - Points de consistance - NVRAM
Reboot < 2mn
Quota trees (~ partitions de FS spares)
Matriel bas sur les standards du march
(PCI, Fiber-channel, Ethernet, Gigabit,ATM).
Le systme de fichiers WAFL
Write Anywhere File Layout
Au sein de DataONTAP, WAFL est un systme de
fichiers propritaire conu pour:
Gestion intgre du RAID
Gestion des Snapshots intgre
Gestion Optimise des critures avec des critures
diffres (NVRAM mmoire protge par batterie)
Extension et diminution simple des volumes en ligne
Solutions de clonages de volumes intgres
Redmarrage rapide aprs un arrt accidentel :
systme de fichiers toujours cohrent
Comme tous les autres systmes de fichiers UNIX, Il est bas sur
des blocs de 4Ko sans fragments et utilise des inodes pour
dcrire les fichiers. Mais.
Chaque inode contient 16 pointeurs de blocs de mme niveau
(si T(f) <64 Ko alors pointeurs directs sinon indirects).
Les mtadatas figurent dans des fichiers standards: le fichier
des inodes, le fichier des blocs libres et le fichier des inodes
libres.
tout fichier peut tre crit nimporte o sur le disque(origine de
lacronyme WAFL ) avec pour consquence :
WAFL optimise la gestion du RAID en crivant si
possible sur le mme niveau de bande RAID.
Augmentation (ou rduction avec FlexVol) de la
taille des systmes de fichiers la vole .
Permet limplmentation du Copy-on-write utilis par
les snapshots.
Un systme de fichiers WAFL est un arbre de blocs avec pour
racine le root inode.
l
WAFL:Structure
WAFL: Arbre des fichiers
WAFL: Snapshot
WAFL: Table des blocs
Snapshots Snapshots
Mapping Mapping
blocs blocs
disques disques
Volume Volume
Groupe Groupe de de
disques disques RAID 4 RAID 4
Rduction des temps
dìnterruptions lis au Backup
et au Recovery
Restauration lìnitiative de
lùtilisateur
Redmarrage rapide dùne
application sur corruption de
donnes
Copie des donnes de
production vers des
environnement de test ou de
dveloppement( SnapMirror )
Copies intgrales (R/O) des donnes dun volume, cadences volont
SnapShot
SnapShot
Disques Disques
RAID 4 RAID 4
Donnes Donnes Donnes Donnes
Donnes Donnes
Mapping Mapping
blocs blocs disques disques
C A B
SNAPSHOT:
SNAPSHOT:
fonctionnement
fonctionnement
Ecriture Ecriture
Parit Parit
D
C
Syst. Fichiers Jusqu Jusqu 255 255
SnapShots SnapShots
1 To de donnes
Blockmap
4 octets/entree
Snapshot - Administration
Cration ou effacement des snapshots au moyen de
commandes et,plus gnralement, de manire
automatique.
snap sched vol1 2 6 8@8,12,16,20
snap delete vol_name snapshot_name
snap reserve vol_name percent
Par dfaut, sont cres :
4 hourly chaque jour conservs 2 jours
1 nightly a minuit conserv 1 semaine
1 weekly le Dimanche minuit conserv 2
semaines
SNAPSHOT : pour lutilisateur
Chaque rpertoire contient un sous rpertoire cach
.snapshot disponible pour lutilisateur.
Sous Windows cest le rpertoire ~snapshot
Exemple : Un utilisateur a dtruit par erreur
le fichier toto et veut le rcuperer.
cppm% ls lut .snapshot/*/toto
-rw-r--r-- 1 ricard 52880 Oct 15 00:00
.snapshot/nightly.0/toto
-rw-r--r-- 1 ricard 52880 Oct 14 19:00
.snapshot/hourly.0/toto
-rw-r--r-- 1 ricard 52880 Oct 14 15:00
.snapshot/hourly.1/toto
.
cppm%cp .snapshot/nightly.0/toto .
Snapshot : Systme
Pour prvenir des incohrences en cas darrt brutal, WAFL
gnre un snapshot toutes les 10 secondes appel point
de consistance.
Quand le systme reboote WAFL utilise toujours le point de
consistance le plus rcent do le temps de reboot trs
court mme aprs un arrt brutal.
La commande dump de dataONTAP cre pralablement un
snapshot avant de lancer le backup.
Optimisation des critures: WAFL et
NVRAM(1)
La NVRAM est une mmoire cache secourue par batterie
qui permet en cas darrt brutal de rcuperer toutes les
requtes NFS/CIFS
effectues depuis le dernier point de consistance.
Lors dun arrt normal le systme arrte les services
NFS/CIFS, vide les caches et dsactive la NVRAM.
Lors dun redmarrage aprs arrt brutal, il y a rejeu de
toutes les requtes NFS/CIFS en NVRAM qui ne sont
pas sur disque.
WAFL utilise la NVRAM comme journal de transactions et
non pas comme cache de blocs avec deux avantages:
des milliers doprations sont enregistres dans
la NVRAM
Mme en cas de panne de NVRAM le file system
nest pas incohrent
Optimisation des critures: WAFL et
NVRAM(1)
La performance en criture est un point nvralgique des
serveurs NFS car il y a peu de cache en criture de la
part du client. WAFL optimise lcriture en:
Pouvant crire nimporte quoi , nimporte o sur le disque
(donnes et inode dun fichier lun ct de lautre)
allouant de lespace disque dun coup pour plusieurs
oprations decriture et en stockant toutes les requtes
en NVRAM jusquau point de consistance.
Optimisant le fonctionnement du RAID par lcriture
squentielle des blocs (criture un mme niveau de
striping)
Administration et Scurit
Via un jeu de commandes la UNIX
vol create : cration dun groupe de
volumes RAID
qtree create : cration dune partition
snap create : cration dun snapshot
Via une interface Web
Linterface dadministration
Gestion des disques et des
volumes(1)
Avant DataOnTap 7: traditional volume
un(ou n) groupe(s) RAID de disques = un volume.
Raid group de 8 disques en RAID 4 dfaut, Max 14, Min 3
A partir de DataOnTap 7: Flexible volume
un(ou n) groupe(s) RAID de disques = un aggrgat.
Raid group de 16 disques en RAID DP, Max 28, Min 3
Un aggrgat est une grappe de disques organise en RAID 4
ou RAID DP auquel on peut associer un volume traditionnel
ou plusieurs volumes flexibles : amlioration de
performances bas sur un nombre de disques plus
important et optimisation de lespace.
Gestion des disques et des
volumes(2)
Un disque hot spare est un disque qui nest pas dans un
groupe RAID. En cas de panne le systme attribue
automatiquement ce disque et commence la
reconstruction.Le groupe RAID continue de fonctionner en
mode dgrad.
Avantages dun gros groupe RAID:
Plus de disques disponibles pour les donnes/parit
Meilleures performances
Avantages dun petit groupe RAID:
Temps de reconstruction plus court
Risque moindre de perte de donnes par pannes
simultanes de disques (2 en RAID 4, 3 en RAID DP).
Aggrgats et volumes flexibles
Introduction aux FlexVols
FlexVol: Amlioration des
performances
FlexVol: Optimisation de lespace de
stockage
Volumes et Qtrees
Un volume est un systme de fichiers rel sur le filer.
Cration : si traditionnel on prcise la liste de disques
si flexible laggrgat auquel il appartient et sa
taille.
Un qtree est un sous systme de fichiers; cest un sous
rpertoire sous la racine du volume qui le contient.
limite maximum de 4995 qtrees par volume.
On cre des qtrees pour grer et partitionner les donnes
dun volume et pour fixer des quotas dutilisations.
Les qtrees diffrent, dans leur fonctionnement, des
volumes par :
On ne peut pas leur appliquer de snapshots
On ne peut pas faire de rservation de taille max ou
de nombre max de fichiers dans un qtree.
Qtrees et Quotas
On ne peut pas utiliser la commande mv pour dplacer un
fichier dun qtree un autre qtree dans le mme volume.
Un quota limite lespace disque et le nombre de fichiers
quun utilisateur ou un nombre dutilisateurs peut utiliser.
Un quota sapplique :
un qtree
un groupe dutilisateurs
un utilisateur.
Les quotas sont enregistrs dans le fichier /etc/quotas et
doivent tre dclars pour chaque volume.
Service de fichiers avec NFS et CIFS
Un serveur de fichier ne peut pas offrir plus un client que ce
que le systme de fichiers local sait faire: on a donc un
fonctionnement qui est bon sil est en mode natif (serveur
NFS vers clients UNIX) et moins bon en mode mul(
serveur CIFS vers clients UNIX) en particulier au niveau de
la gestion des scurits sur les fichiers et du
verrouillage(locking).
Les serveurs NetApp ntant ni UNIX-like ni Windows-like,
NFS et CIFS sont des protocoles natifs de DataOnTap +
WAFL : ils sexcutent donc en mode noyau.
NFS
un serveur NFS exporte les donnes un
systme client. Lexport peut se faire vers un
client, un groupe de clients et dans le cas dun
serveur NetApp vers un subnet.
NFS drive dUNIX et donc implmente des
permissions sur les fichiers de type UNIX (u/g/o
et r/w/x)
Un serveur NFS peut appliquer diverses options
lexport de mme quun client NFS a des
options similaires au montage.
Lauthentification dun utilisateur est faite par
le client et non par le serveur.
CIFS
CIFS partage les donnes avec des utilisateurs
(pas avec des machines comme NFS)
Dans un domaine le serveur peut utiliser un autre
system(contrleur de domaine) pour lauthentification des
droits dun utilisateur( plus sr que NFS).
Dans un domaine les machines client et serveurs
peuvent elle mmes tre authentifies avant de joindre le
domaine.
Avec CIFS les permissions sur partages, rpertoires et
fichiers sont contrles par des ACL qui permettent un
contrle bien plus riche que les permissions UNIX.
Un serveur CIFS maintient un tat persistant durant une
session alors quun serveur NFS est sans tat.
Le systme de verrouillage des fichiers est plus solide
avec CIFS quavec NFS.
DATAonTAPP, NFS et CIFS
Le systme est profondment multi protocoles avec des
volumes ou qtrees de type UNIX (NFS) , NTFS(CIFS) ou
MIXED.
Avec pour objectifs de :
Rendre les utilisateurs NT heureux : supporter un
systme de scurite bas sur des ACLs.
Rendre les utilisateurs UNIX heureux : supporter un
systme de scurite bas sur des permissions
Faire en sorte que les deux mondes puissent partager
les donnes : au moyen de rgles spcifiques sur les
mapping.
DATAonTAPP, NFS et CIFS
Requtes natives:
CIFS -> NTFS qtree , NFS->UNIX qtree et NFS ou
CIFS -> MIXED qtree fonctionnent sans surprises.
Requtes non-natives :
mapping dutilisateurs ou de permissions
Pour NT on fait du mapping utilisateur : utilisateur NT
en un utilisateur UNIX au moyen dun fichier de
correspondance et en validant la requte en regard
des permissions UNIX.
Pour UNIX on fait du mapping de permissions : les
permissions UNIX sont traduites au mieux en
ACL.
Pour plus de dtails voir le White Paper TR1005 de Network Appliance :
Merging NT and UNIX Filesystem Permissions (David Hitz and al.)
BACKUP et RESTORE
Sur un serveur multiprotocole un backup doit
enregistrer pour chaque fichier le contenu(data)
et les attributs(mtadata).
En local (avec un drive attach au filer):
dump et restore prennent en compte les
mtadatas pour NFS et CIFS.
A travers le rseau :
NDMP (Network Data Management Protocol)
permet de garder ces caractristiques et
dutiliser des logiciels extrieurs.
NDMP
Protocole Client/Serveur dvelopp par Legato et Network Appliance
NDMP prend en charge la sparation des fonctions de commande et de base de donnes
du systme de fichiers et des priphriques
NDMP
BACKUP et RESTORE
oui oui non oui CIFS
oui oui oui oui UNIX
NDMP Backup
travers
CIFS
Backup
travers
NFS
Backup
avec
dump/res
tore
Conclusion par Retour dexprience
Objectifs Atteints
Depuis 5 ans nous distribuons les rpertoires de travail
sous NFS et CIFS pour 150 200 machines avec :
Des performances correctes
Une bonne disponibilit : peu dinterruption sinon
pour maintenance
Une administration lgre
Une scurit excellente : pas de pertes de
donnes.
Un matriel Fiable : 4 disques remplacs en 5ans
restaurations frquentes partir des Snapshots :
PAS UNE SEULE RESTAURATION A PARTIR DES
BANDES EN 5 ANS.
(Au dbut par les administrateurs et maintenant
exclusivement par les utilisateurs)

Siars Stockage MR

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Siars Stockage MR

Transféré par

Droits d'auteur :

Formats disponibles

Stockage

Vous aimerez peut-être aussi