Vous êtes sur la page 1sur 25

Bases du stockage réseau sur IP

Le stockage
s’est échappé
du système
pour devenir
une fonction
réseau !

Philippe Latu – GNU FDL v1.3 – inetdoc.net 1/25


Bases du stockage réseau sur IP

Plan
– Introduction
– Définitions
– Nature des accès au
stockage
– Protocoles de stockage
IP
– Volumes logiques
– Exemple pratique TP
● Objectif
– Vocabulaire et
définitions spécifiques
au stockage

Philippe Latu – GNU FDL v1.3 – inetdoc.net 2/25


Introduction

Enjeux
– Besoins

Toujours plus de capacité stockage
– Facteur 2 tous les 18 mois

– Interopérabilité & Évolutivité



Étendre, copier, déplacer un volume de stockage
– Continuité de service

«five nines rule» → service actif 99,999 % du temps
– Performances

Objectifs
– Manageability, Scalability, Availability

Philippe Latu – GNU FDL v1.3 – inetdoc.net 3/25


Définitions
● Différents modes de stockage
– Bloc

– Fichier

– Objet
● Chaque mode a une «relation»
distincte avec les hôtes
– Avantages & Inconvénients

Philippe Latu – GNU FDL v1.3 – inetdoc.net 4/25


Définitions
DAS SAN NAS
Application Application Application
Système de fichiers local
Système de fichiers local
Système de fichiers réseau
TCP
Gestionnaire de volume
Gestionnaire de volume IP
Ethernet
Sous-système SCSI Sous-système SCSI Interface réseau

Accès mode bloc Accès mode fichier

Interface réseau
Ethernet
IP
TCP
Système de fichiers réseau
Sous-système SCSI
SAS FCoE
Accès mode bloc

Philippe Latu – GNU FDL v1.3 – inetdoc.net 5/25


Définitions → DAS

Direct Attached Storage → mode bloc
– Dialogue sous forme de trames

SCSI ou Fiber Channel (FC)
– Usages

Hôtes/Vms

Transactions/SGBD
– Avantages

Performances
– Inconvénients

Dépendance redondance et haute disponibilité
matérielles → RAID

Nombre de disques par baie

Philippe Latu – GNU FDL v1.3 – inetdoc.net 6/25


Définitions → SAN

Storage Area Network → mode bloc
– Deux technologies

Fiber Channel (FC) → trames

iSCSI → trames SCSI + TCP
– Usages

Identiques DAS
– Avantages

Performances avec une archiecture réseau adaptée :
10Gbps de bout en bout !

Redondance des liens → multipaths
– Inconvénients

Coût commutateurs avec fonctions spécifiques (FCoE)

Philippe Latu – GNU FDL v1.3 – inetdoc.net 7/25


Définitions → NAS

Network Attached Storage → mode
User application
fichier VFS
NFS client
– Systèmes de fichiers
XDR RPC client

NFS → monde Unix/Linux TCP/IP
Network device

SMB → monde Microsoft
– Avantages

Nombre de clients

Coût / unité de stockage

tiering, caching, de-duplication Network device
TCP/IP

multi-tenancy, replication XDR RPC server
– Inconvénients NFS server
Local filesystem

Coût architecture réseau → QoS

Philippe Latu – GNU FDL v1.3 – inetdoc.net 8/25


Définitions → Object storage

Mode objet
– Fichier + Métadonnées = Objet

System Metadata :
nom, taille, permissions,
horodatage

Custom Metadata :
genre, auteur,
localisation, contexte sécurité

– Métadonnées plus importantes


que les données !


Tendance → stockage non structuré : mobiles + cloud

Philippe Latu – GNU FDL v1.3 – inetdoc.net 9/25


Définitions → Comparatif rapide
DAS SAN NAS Object Storage
Accès Mode bloc Mode bloc Mode fichier Mode Objet
Connexion SCSI Ethernet IP IP

Performances Très bonnes Très bonnes bonnes Moins bonnes

Limite des Sous-système Commutation Système de Protocoles


performances SCSI du fichiers (HTTP)
noyau
Augmentation Arrêt du Facile Très facile Très facile
de capacité système
obligatoire
Évolutivité/ Faible Moyenne Élevée Très élevée
Continuité (cloud)
de service

Philippe Latu – GNU FDL v1.3 – inetdoc.net 10/25


Définitions → RAID
Niveau Description Nombre Capacité
RAID minimum de utile (nombre
disques de disques)

0 Striping / 2 N
Concaténation
1 Miroir 2 N/2
1 + 0 Miroir puis 4 N/2
Striping /
Concaténation
5 Stripes avec parité 3 N - 1
distribuée et E/S
aléatoires
6 Stripes avec deux 4 N - 2
calculs de parité
différents distribués
et E/S aléatoires

Philippe Latu – GNU FDL v1.3 – inetdoc.net 11/25


Nature des accès au stockage

Questions usuelles
– Quelle quantité de données ?

Maintenant, dans 3 ans, dans 10 ans ...
– À quelle fréquence sont-elles modifiées ?

Transactions vs lecture seule
– À quelle fréquence doit-on y accéder ?

Sauvegarde vs cache
– Quelles sont les contraintes légales ?

Santé, journalisation, vie privée
– Quels sont les profils d’accès ?

Uniformes ou variables → VMs

Philippe Latu – GNU FDL v1.3 – inetdoc.net 12/25


Nature des accès au stockage

Un profil d’accès pour
chaque application
– Ratio lecture / écriture
– Ratio données / métadonnées
– Accès aléatoires ou
sequentiels
– Efficacité de la compression
– Taille unitaire de bloc
– Commandes d’accès asynchrones
ou par lots

Philippe Latu – GNU FDL v1.3 – inetdoc.net 13/25


Nature des accès au stockage
● The I/O Blender effect
– Virtualisation
● Instances système (VMs) avec des
applications/profils différents
● Un même réseau de stockage
– Flux d’entrées/sorties aléatoires
● Flux d’une application → séquentiels

Flux des instances système (VMs) → aléatoires
– Accès aléatoires ou sequentiels
– Relations entre Hyperviseurs et réseaux
de stockage sous contraintes
● Protection des données → RAID
● Réplication, verrous LUNs

Mobilité

Philippe Latu – GNU FDL v1.3 – inetdoc.net 14/25


Protocoles de stockage IP

iSCSI
iSCSI est un protocole de stockage en mode bloc qui
permet aux hôtes d’accéder aux disques sur un
réseau TCP/IP

NFS
NFS est un protocole d’accès au stockage réseau
basé sur le système de fichiers (répertoires,
fichiers)

SMB
SMB est un protocole Microsoft d’accès au stockage
réseau basé sur le système de fichiers
(répertoires, fichiers). SMB Direct est une
variante d’accès direct entre application et
réseau.

Philippe Latu – GNU FDL v1.3 – inetdoc.net 15/25


Protocoles de stockage IP
● Objet
– CEPH
CEPH est un protocole ouvert conçu pour fonctionner sur du
matériel de base. Il utilise l’algorithme CRUSH (Controlled
Replication Under Scalable Hashing) qui s’assure que les
données sont réparties uniformément sur l’ensemble du
stockage.
– Swift
Swift est le modèle OpenStack de stockage objet redondant
et évolutif. Il peut utiliser un dispositif de stockage
unique et est compatible avec Amazon S3.
– Amazon S3
S3 est une solution de stockage en ligne
Amazon Web Services. Il propose l’accès au
stockage via des web services tels que REST,
SOAP et BiTorrent.

Philippe Latu – GNU FDL v1.3 – inetdoc.net 16/25


Protocoles de stockage IP → iSCSI

iSCSI en détails
– Similitudes avec Fiber
Channel

Mode bloc

Multichemins et redondance
MPIO

Réseau dédié au stockage
(VLAN)
– iSCSI peut être un
protocole sans perte

Contrainte de latence →
oversubscription

Solution logicielle → coût
CPU plus élevé

Commutateur avec Data Center
Bridging (DCB)

Philippe Latu – GNU FDL v1.3 – inetdoc.net 17/25


Protocoles de stockage IP → iSCSI
● iSCSI en détails
– Architecture type performante

Commutateurs 10Gbps
● Fonctions Data Center Bridging

Distribution

User application Accès


VFS
TCP/IP
Network device Network device
TCP/IP
VFS
storage device
iSCSI initiators iSCSI targets

Philippe Latu – GNU FDL v1.3 – inetdoc.net 18/25


Volumes logiques
● 3 Solutions
– Logical Volume dmsetup lvm2
Manager (LVM) +
dmsetup/mdadm
libdm
(RAID) + ext4 Userspace
Kernelspace
– Système de
fichiers ZFS dm-core
target
– Système de
fichiers btrfs
low-level device

Philippe Latu – GNU FDL v1.3 – inetdoc.net 19/25


Volumes logiques

Logical Volume Manager (LVM)
– Gestionnaire de périphérique mode bloc
au niveau système

Partition ou tout type de périphérique de
stockage
– Vue système homogène

N Périphériques physiques vus comme un
périphérique logique
– Analogie entre volume et partition

Formatage et création d'un système de
fichiers
– Changements dynamiques de configuration

Snapshots, redimensionnement, extension,
déplacements

Philippe Latu – GNU FDL v1.3 – inetdoc.net 20/25


Exemple pratique : scénario de TP
● Combinaisons entre DAS et SAN avec RAID1
– Un hôte avec le rôle iSCSI target :
● DAS : utilise un fichier ou un disque local
● SAN : définit ce périphérique comme cible
iSCSI
– Un hôte avec le rôle iSCSI initiator :
● SAN : configure une nouvelle unité logique

DAS : partitionne et formate ce périphérique
– La tolérance aux pannes sur l’hôte
initiator est illustrée par :
● RAID1 : entre le périphérique local et l’unité
logique iSCSI → réplication synchrone
● LVM : snapshot entre disque système et tableau
RAID1

Philippe Latu – GNU FDL v1.3 – inetdoc.net 21/25


Exemple pratique : scénario de TP
● Combinaisons entre DAS et SAN
avec RAID1
– Situation de départ

Print Print
Pa us Pa us
Sc rol e Sc rol e
Sc rn l Sc rn l

Loc Loc

iSCSI initiator iSCSI target


Sy sR k Bre a Sy s k Bre a
q k Rq k

Pa ge Num - Pa ge Num -
In s e Hom
/ * In s e Hom
/ *
rt e Up rt e Up
Lock Lock

Sc rol
Pa ge 7 8 Ho m 9 Pa ge 7 8 Hom 9
De le
lLoc End e Sc rol
De le
Loc
l End e
te k PgUp te k PgUp
Ca psL Down Ca psL Down
oc k oc k
Num u m
N
Loc o c
L
k k

+ +
F12 F12
A S D F G H J K L F11 4 5 6 A S D F G H J K L F11 4 5 6
F10 F10
F9 F9
F8 \ F8 \
| |
F7 = + F7 = +
F6 - _ F6 - _
Z X C V B N M F5 0 ) } P] En d Z X C V B N M F5 0 ) } P] End
F4 9 ( { "O 1 2 3 F4 9 ( { "O 1 2 3
8 :I [ ' Shift
PgDn 8 :I [ ' Shift
PgDn
F3 7 &
* F3 7 &
*
F2 U ;
? Ctrl F2 U ;
? Ctr l
6 ^
Y / 6 ^
Y /
F1 5 % > F1 5 % >
T < . T < , .
4 $
R , Alt Gr Enter
4 $
R Alt Gr Enter
3 #
E 3 #
E
Esc 2 @ . Esc 2 @ .
1 !
W 0 1 !
W 0
` ~
Q ` ~
Q
Ins Del Ins Del
Tab Tab
Caps Caps
Lock Lock
Shift Alt Shift Alt

Ctr l Ctr l

– Configuration iSCSI seule

Print Print
Pa us Pa us
Sc ro e Sc rol e
Sc rn l l Sc rn l
Loc Loc

iSCSI initiator iSCSI target


Sy s k Bre a Sy sR k rBe a
Rq k q k

Pa ge Num Pa ge Num
/ - / -
In s e
rt
Hom
e
* In s e
rt
Hom
e
*
Up Up
Lock Lock

Sc rol
Pa ge 7 8 Hom 9 Pa ge 7 8 Hom 9
De le
lLoc End e Sc ro
Del le
lLoc n d
E e
te k PgUp te k PgUp
Ca ps Down Ca psL Down
Loc oc k
k
Num Num
Loc Loc
k k

+ +
A S D F G H J K L F12 4 5 6 A S D F G H J K L F12 4 5 6
F11 F11
F10 F10
F9 F9
F8 \ F8 \
| |
F7 = + F7 = +
F6 - _ F6 - _
Z X C V B N M F5 0 ) } P] End Z X C V B N M F5 0 ) } P] End
F4 9 ( { "O[ 1 2 3 F4 9 ( { "O[ 1 2 3
8 : I ' Shift
PgDn 8 : I ' Shift
Pg Dn
F3 7 &
* F3 7 &
*
F2 U ;
?
Ct r l
F2 U ;
?
Ctr l
6 ^
Y / 6 ^
Y /
F1 5 % > F1 5 % >
T <
. T <
.
4 $
R , AltG Enter
4 $
R , Alt Gr Enter
3 #
E r 3 #
E
Esc 2 @
W . Esc 2 @
W .
1 ! 0 1 ! 0
` ~
Q ` ~
Q
Ins Del Ins Del
Tab Tab
Caps Caps
Lock Lock
Shift Alt Shift Alt

Ctr l Ctr l

Philippe Latu – GNU FDL v1.3 – inetdoc.net 22/25


Exemple pratique : scénario de TP
● Combinaisons entre DAS et SAN
avec RAID1
– Réplication synchrone RAID1

Print Print
Pa us Pa us
Sc rol e Sc rol e
Sc rn l Sc rn l

Loc Loc

iSCSI initiator iSCSI target


Sy sR k Bre a Sy s k Bre a
q k Rq k

Pa ge Num - Pa ge Num -
In s e Hom
/ * In s e Hom
/ *
rt e Up rt e Up
Lock Lock

Sc rol
Pa ge 7 8 Ho m 9 Pa ge 7 8 Hom 9
De le
lLoc End e Sc rol
De le
Loc
l End e
te k PgUp te k PgUp
Ca psL Down Ca psL Down
oc k oc k
Num u m
N
Loc o c
L
k k

+ +
F12 F12
A S D F G H J K L F11 4 5 6 A S D F G H J K L F11 4 5 6
F10 F10
F9 F9
F8 \ F8 \
| |
F7 = + F7 = +
F6 - _ F6 - _
Z X C V B N M F5 0 ) } P] En d Z X C V B N M F5 0 ) } P] End
F4 9 ( { "O 1 2 3 F4 9 ( { "O 1 2 3
8 :I [ ' Shift
PgDn 8 :I [ ' Shift
PgDn
F3 7 &
* F3 7 &
*
F2 U ;
? Ctrl F2 U ;
? Ctr l
6 ^
Y / 6 ^
Y /
F1 5 % > F1 5 % >
T < . T < , .
4 $
R , Alt Gr Enter
4 $
R Alt Gr Enter
3 #
E 3 #
E
Esc 2 @ . Esc 2 @ .
1 !
W 0 1 !
W 0
` ~
Q ` ~
Q
Ins Del Ins Del
Tab Tab
Caps Caps
Lock Lock
Shift Alt Shift Alt

Ctr l Ctr l

– Réplication asynchrone snapshot

Print Print
Pa us Pa us
Sc ro e Sc rol e
Sc rn l l Sc rn l
Loc Loc

iSCSI initiator iSCSI target


Sy s k Bre a Sy sR k rBe a
Rq k q k

Pa ge Num Pa ge Num
/ - / -
In s e
rt
Hom
e
* In s e
rt
Hom
e
*
Up Up
Lock Lock

Sc rol
Pa ge 7 8 Hom 9 Pa ge 7 8 Hom 9
De le
lLoc End e Sc ro
Del le
lLoc n d
E e
te k PgUp te k PgUp
Ca ps Down Ca psL Down
Loc oc k
k
Num Num
Loc Loc
k k

+ +
A S D F G H J K L F12 4 5 6 A S D F G H J K L F12 4 5 6
F11 F11
F10 F10
F9 F9
F8 \ F8 \
| |
F7 = + F7 = +
F6 - _ F6 - _
Z X C V B N M F5 0 ) } P] End Z X C V B N M F5 0 ) } P] End
F4 9 ( { "O[ 1 2 3 F4 9 ( { "O[ 1 2 3
8 : I ' Shift
PgDn 8 : I ' Shift
Pg Dn
F3 7 &
* F3 7 &
*
F2 U ;
?
Ct r l
F2 U ;
?
Ctr l
6 ^
Y / 6 ^
Y /
F1 5 % > F1 5 % >
T <
. T <
.
4 $
R , AltG Enter
4 $
R , Alt Gr Enter
3 #
E r 3 #
E
Esc 2 @
W . Esc 2 @
W .
1 ! 0 1 ! 0
` ~
Q ` ~
Q
Ins Del Ins Del
Tab Tab
Caps Caps
Lock Lock
Shift Alt Shift Alt

Ctr l Ctr l

Philippe Latu – GNU FDL v1.3 – inetdoc.net 23/25


Synthèse

3 modes d’accès au stockage de
données
– Relations particulières entre un
hôte et ses périphériques de
stockage
– Correspondance entre architecture
réseau et protocole de stockage :
SAN / NAS / objet
– I/O Blender effect

QoS / oversubscrition / Data Center
Bridging

Virtualisation → accès aléatoires

Philippe Latu – GNU FDL v1.3 – inetdoc.net 24/25


Ressources
● Stockage réseau
– Ciscolive.com BRKCOM-1211
● Wiki Device Mapper & LVM2
– Documentation utilisateur

https://huit.re/dm-lvm2
● Support de travaux pratiques
– Introduction au réseau de
stockage iSCSI
● https://huit.re/iscsi-inetdoc

Philippe Latu – GNU FDL v1.3 – inetdoc.net 25/25