Vous êtes sur la page 1sur 77

Administration et Architectures

des Systèmes

LEGOND-AUBRY Fabrice
Fabrice.Legond-Aubry@u-paris10.fr

Fabrice Legond-Aubry Module AAS – Services Réseaux 1


Section
Les services réseaux

Les services

réseaux

Fabrice Legond-Aubry Module AAS – Services Réseaux 2


Section : « Les services réseaux »

Systèmes de fichiers
Direct Attached Storage (DAS)
SGFR - NAS
SGFR - NAS

Network File System (NFS)


Coda
SaMBa
Storage Area Network

Fabrice Legond-Aubry Module AAS – Services Réseaux 3


Rappels: Les fichiers

● Fichier = Abstraction de mémoire permanente


– une séquence de données similaires non interprétées (des articles)
● Accès séquentiel
– Lecture / Ecriture, à la suite, de sous séquences d’éléments à partir
Systèmes de Fichiers

d’un pointeur courant


● Accès aléatoire
– Lecture / Ecriture par accès direct dans le fichier sur une adresse
calculée.
● Accès indexé
– Lecture / Ecriture en utilisant une indirection (un index) pour
accéder aux données (obtention d’une adresse pré-calculée)

Fabrice Legond-Aubry Module AAS – Services Réseaux 4


Les fichiers: Rappels

● Système de fichiers :
– La création et la destruction de fichiers de données
– L’enregistrement de données dans un fichier
Systèmes de Fichiers

– La restitution (lecture) de données


– Le nommage
– Le partage et le gestion des droits (protection)

Fabrice Legond-Aubry Module AAS – Services Réseaux 5


Les fichiers: Rappels

● Information dans les inodes:


– Type du fichier : ordinaire, répertoire
– Protection : droits d’utilisation (rwx).
– Nombre de liens : pour détruire finalement le fichier.
Systèmes de Fichiers

– Propriétaire du fichier : UID User identifier.


– Groupe du fichier : GID Group Identifier.
– Taille du fichier : en octets.
– Adresses physiques directes de blocs : 10 blocs.
– Adresses physiques indirectes : 3 blocs.
– Date/heure : dernier accès, dernière modification,
dernière modification inode

Fabrice Legond-Aubry Module AAS – Services Réseaux 6


Linux: Gestion des fichiers

Application Système Support


physique
Systèmes de Fichiers

1 stdin
2 stdout
3 stderr
4 unfichier

Fabrice Legond-Aubry Module AAS – Services Réseaux 7


Un besoin d’espace croissant
● Croissance capacité disque
– 1953: Premier HDD (capacité 5mo pour 160k$)
– 1975: Nouvelle génération de HDD (500mo pour 200k$)
– 1990: Disques durs RLL (30mo pour 450€)
– 2005: Disque durs IDE (250go pour 160€), DVD (9go pour 3€)
– 2006: carte mémoire optique 3D (20go pour 60€), BluRay/HDDVD (50go pour 10€)
● Problème de densité de l’information, de vitesse d’accès et d’enregistrement
SGFR - NAS

● Croissance des besoins d’espace disque pour les utilisateurs:


– Données: Vidéos (600mo à 9go / film), Musiques (50mo à 400mo / album), messages
email (conservation des courriers)
– Traces: log de connexions, simulations
● Formule pour calculer les besoins de stockage
– Les besoins de capacités de stockage peuvent être calculés par une simple opération
mathématique :
– Capacité de Stockage Totale Nécessaire = Nb de fichiers X taille moyenne des fichiers
X 1,25

Fabrice Legond-Aubry Module AAS – Services Réseaux 8


Section : « Les services réseaux »

Systèmes de fichiers
Direct Attached Storage

Direct Attached Storage


SGFR - NAS
Network File System (NFS)
Coda
SaMBa
Storage Area Network

Fabrice Legond-Aubry Module AAS – Services Réseaux 9


Des solutions locales
● Direct Access Storage permet d’offrir une capacité disque importante
● Définition de DAS: C’est un ensemble de périphériques à accès séquentielles
ou aléatoires connectés à un seul serveur via une liaison physique.
● Technologie développée dans les années 1980/1990 [Patterson88]
Direct Attached Storage

● Avantages :
– Permet d’augmenter localement la capacité de stockage
– Permet d’offrir de services nouveaux.
● Inconvénients :
– C’est espace local qui est, par défaut, non partageable
– Concentration des données sur une seule machine
● DAS se base sur la technologie RAID / JBOD
– Permet de combiner des disques
– Pour les serveurs, les machines de calculs
– Les données sont potentiellement partageables via des serveurs de données

Fabrice Legond-Aubry Module AAS – Services Réseaux 10


La technologie JBOD
● JBOD (Aussi appelé RAID linéaire)
– « Just a Bunch Of Disk » ou « Seulement un tas de disque »
– C’est du « spanning »
– Souvent une solution logicielle
Direct Attached Storage

● Objectif:
– Agréger/Combiner un ensemble de disques
– Les disques peuvent être de tailles variables
– Lorsqu’on arrive à la fin d’un disque, on passe sur l’autre
● Avantages:
– Capacité augmentée
– Utilisation de disques de taille différents
– Récupération possible de certaines données en cas de crash !
● Désavantages:
– La défaillance d’un disque entraîne la défaillance totale du système
● Pas de gain de performance ou de sûreté

Fabrice Legond-Aubry Module AAS – Services Réseaux 11


La technologies RAID

RAID:
– « Redundant Array of Independent/Inexpensive Disks »
– « Un groupe de disques redondants et indépendants/bon marché »
Direct Attached Storage

– C’est une solution matérielle (et parfois aussi logicielle)


● Permet:
– De sécuriser, fiabiliser des données
– D’augmenter la sûreté de fonctionnement
– De créer un disque « virtuel » agrégeant la capacité de plusieurs
disques
● Il existe plusieurs technologies RAID qui sont cumulables (RAID
0,1,2,3,4,5,6,7)

Fabrice Legond-Aubry Module AAS – Services Réseaux 12


DAS RAID 0
● RAID 0 : le « striping » (l’agrégation parallèle)
● Consiste a stocker/répartir des données sur plusieurs supports physiques
(disques ou bandes)
● Limitations:
– Les supports doivent avoir les mêmes capacités (même taille, voir même géométrie)
Direct Attached Storage

● Avantages:
– Gain en vitesse (écritures simultanées sur différents disques)
– Gain en capacité (taille du disque virtuel = Σ disques physiques)
● Désavantages:
– Le RAID 0 n’offre aucune redondance
– Un disque dur en panne et tout l’agrégat est perdu !!
– Aucune récupération possible car les fichiers sont morcelés sur tous les disques !!
– Rappel: un peu de statistique
✔ un disque a une chance p de tomber en panne
✔ un ensemble de n disques a 1-(1-p)n chance de tomber en panne
✔ Ex: 1 disque 1/1000 de tomber en panne, 5 disques 1/200 de tomber en panne

Fabrice Legond-Aubry Module AAS – Services Réseaux 13


Écriture sur un DAS RAID 0

DD1 DD2 DD3 DD4


Direct Attached Storage

in for ma tion

Contrôleur RAID0

Information

Fabrice Legond-Aubry Module AAS – Services Réseaux 14


Panne(s) sur un DAS RAID 0

DD1 DD2 DD3 DD4


Direct Attached Storage

in for ma tion

Contrôleur RAID0

Information

Fabrice Legond-Aubry Module AAS – Services Réseaux 15


DAS RAID 1
● RAID 1 : le « mirroring » (mirroir)
● Consiste a dupliquer les écritures sur deux (ou plus) disques
● But: offrir de la redondance physique
● N’élimine pas la malveillance logicielle (manipulation du FS ou corruption de données
volontaire)
Direct Attached Storage

● Limitations:
– Les disque doivent avoir la même taille (voir la même géométrie)
● Avantages:
– Gain en sûreté (un des deux supports peut tomber en panne)
– Rappel: un peu de statistique
✔ un disque a une chance p de tomber en panne
✔ La chance que les n disques tombent en panne est de pn
✔ Ex: 1 disque 1/1000 de tomber en panne, 2 disques en panne simultanément 1/1000000
● Inconvénients
– Aucun gain de performance ou de capacité
– Coût important : RAID 1 sur 2 disques Î on n’exploite que 50% de la totalité.

Fabrice Legond-Aubry Module AAS – Services Réseaux 16


DAS RAID 1

● Lors du crash d’un disque:


– le contrôleur le désactive le disque en faute
– Les autres disques continuent à fonctionner
Direct Attached Storage

– Après le remplacement, il y a resynchronisation


✔Elle peut être manuelle ou automatique

– Il est possible d’ajouter de nouveaux disques à la volée

Fabrice Legond-Aubry Module AAS – Services Réseaux 17


Écriture sur un DAS RAID 1

donnée donnée donnée donnée


DD1 DD2 DD3 DD4
Direct Attached Storage

Contrôleur RAID1

donnée

Fabrice Legond-Aubry Module AAS – Services Réseaux 18


Panne(s) sur un DAS RAID 1

donnée donnée donnée donnée


DD1 DD2 DD3 DD4
Direct Attached Storage

Contrôleur RAID1

donnée

Fabrice Legond-Aubry Module AAS – Services Réseaux 19


DAS RAID 2

● Devenu obsolète
● Permet la lutte contre les erreurs byzantines
● Rajoute des codes de contrôle et de correction d’erreur
Direct Attached Storage

● Les codes sont des codes ECC d’Hamming


● En général, on avait:
– 4 disques de données
– 3 disque pour les codes ECC
● Assez lourd (lent), très sûr

Fabrice Legond-Aubry Module AAS – Services Réseaux 20


DAS RAID 3 et 4
● Consiste à ajouter un disque au RAID 0 pour stocker un code de correction d’erreur
● RAID 3 fonctionne sur les octets, RAID 4 sur les blocs. Remplace le RAID 2
● Limitations:
– Nécessite 1 disque de stockage de parité
Direct Attached Storage

– Les disques de données doivent avoir la même taille (voir la même géométrie)
● Avantages:
– Gain en sûreté: un des (n-1) supports peut tomber en panne
– Gain en capacité
– Peu de gain en performance (pb du calcul de la parité sur le dernier disque)
– En cas de crash, le tout peut continuer à fonctionner comme un RAID 0
● Inconvénients
– En cas de crash d’un disque (données ou parité)
✔ Nécessité de la reconstruction de l’agrégat lors du retour en ligne
– Deux disques ne peuvent tomber en panne simultanément
– Le disque de parité est un goulot d’étranglement pour l’écriture

Fabrice Legond-Aubry Module AAS – Services Réseaux 21


Écriture sur un DAS RAID 3 et 4

Octet 1 Octet 2 Octet 3 CRC octet 1+2+3


Octet 4 Octet 5 Octet 6 CRC octet 4+5+6
Direct Attached Storage

DD1 DD2 DD3 DD4

Contrôleur RAID3/4

Octets 1, 2, 3, 4, 5, 6

Fabrice Legond-Aubry Module AAS – Services Réseaux 22


Panne(s) sur un DAS RAID 3 et 4

Octet 1 Octet 2 Octet 3 CRC octet 1+2+3


Octet 4 Octet 5 Octet 6 CRC octet 4+5+6
Direct Attached Storage

DD1 DD2 DD3 DD4

Contrôleur RAID3/4

Octets 1, 2, 3, 4, 5, 6

Fabrice Legond-Aubry Module AAS – Services Réseaux 23


DAS RAID 5, 6
● Extension du principe du RAID3
● But: Eviter le goulot d’étranglement du disque de CRC
● Comment: Chaque disque est « disque de CRC »
● Le RAID5
Direct Attached Storage

– Offre une résistance à un crash disque


– Offre les avantages du RAID0
● Le RAID6
– Offre les avantages du RAID0
– Utilise deux disques de CRC Î écriture plus lente que le RAID5
– Offre une résistance à deux crash disque simultanés
– Est peu utilisé car la probabilité de crashs simultanés de 2 DD est
très faible
– Est onéreux

Fabrice Legond-Aubry Module AAS – Services Réseaux 24


Écriture sur un DAS RAID 5

Octet 1 Octet 2 Octet 3 CRC octet 1+2+3


Octet 4 Octet 5 CRC octet 4+5+6 Octet 6
Octet 7 CRC octet 7+8+9 Octet 8 Octet 9
Direct Attached Storage

DD1 DD2 DD3 DD4

Contrôleur RAID5

Octets 1, 2, 3, 4, 5, 6, 7, 8, 9

Fabrice Legond-Aubry Module AAS – Services Réseaux 25


Écriture sur un DAS RAID 6

Octet 1 Octet 2 CRC1 octet 1+2 CRC2 octet 1+2


Octet 3 CRC1 octet 3+4 CRC2 octet 3+4 Octet 4
CRC1 octet 5+6 CRC2 octet 5+6 Octet 5 Octet 6
Direct Attached Storage

DD1 DD2 DD3 DD4

Contrôleur RAID6

Octets 1, 2, 3, 4, 5, 6

Fabrice Legond-Aubry Module AAS – Services Réseaux 26


Combinaison RAID 0+1

● On effectue du RAID0 entre n disques (« striping »)


● Les n disques forment un tout !
● On effectue ensuite du RAID1 sur le striping (entre de tuples de n
Direct Attached Storage

disques)
● En cas de panne d’un disque
– le mirroring s’arrête
– le groupe (« striping ») auquel appartient le DD est mort
● En cas de panne d’un deuxième disque sur le 01, le tout est arrêté.
● La récupération des données sera partielle et difficile !!

Fabrice Legond-Aubry Module AAS – Services Réseaux 27


RAID 0+1

striping

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2
Direct Attached Storage

mirroring

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2

striping

Fabrice Legond-Aubry Module AAS – Services Réseaux 28


RAID 0+1

striping

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2
Direct Attached Storage

mirroring

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2

striping

Fabrice Legond-Aubry Module AAS – Services Réseaux 29


Combinaison RAID 1+0

● Au contraire du RAID 0+1, c’est une cascade du RAID1 et du


RAID0
● On crée n groupes de 2 disques au lieu de 2 groupes de n disques
Direct Attached Storage

● On effectue du RAID1 (« mirroring ») entre 2 disques


● On effectue ensuite du RAID0 (« striping ») entre les n couples
de 2 disques en « mirroring »
● En cas de panne d’un disque
– le « mirroring » s’arrête seulement pour le couple
– le groupe (« striping ») auquel appartient le DD est mort
● En cas de panne d’un deuxième disque sur le 01, le tout est arrêté.
● La récupération des données sera partielle et difficile !!

Fabrice Legond-Aubry Module AAS – Services Réseaux 30


RAID 1+0
Direct Attached Storage

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2

mirroring mirroring mirroring

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2

striping

Fabrice Legond-Aubry Module AAS – Services Réseaux 31


RAID 1+0
Direct Attached Storage

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2

mirroring mirroring mirroring

Fichier A P0 Fichier A P1 Fichier A P2


Fichier B P0 Fichier B P1 Fichier B P2

striping

Fabrice Legond-Aubry Module AAS – Services Réseaux 32


RAID 5+0, 1+5, 5+1, 5+5

● RAID 5+0
– n groupes de 3 disques en RAID5
● RAID 1+5
Direct Attached Storage

– pour les paranoïaques


– Combine le « mirroring » et le CRC
● Voir les autres par vous-même …

Seulement, on aimerait pourvoir partager


toute cette capacité !!!

Fabrice Legond-Aubry Module AAS – Services Réseaux 33


Section : « Les services réseaux »

Systèmes de fichiers
Direct Attached Storage

SGFR - NAS
SGFR - NAS

Network File System (NFS)


Coda
SaMBa
Storage Area Network

Fabrice Legond-Aubry Module AAS – Services Réseaux 34


SGFR: Historique
● SFGR=« Système de Gestion de Fichiers Répartis »
● Années 1970 : création des protocoles de transfert de fichiers FTP et premiers
projets sur les accès distants
● 1974 Newcastle Connection : espace unifié de fichier, idée de super racine
● 1979 Locus : système unique de fichiers
● 1984 NFS : produit Sun Î devenu standard dans le monde unix
SGFR - NAS

– Adapté aux petites structures


● 1988 AFS / DFS : initialement projet de recherche, puis produit
– Adapté aux grosses structures
● 1988 technologie RAID : ‘Redundant Array of Independent Disks’
● Années 1990: notion de disques en réseau (SAN, NAS)
● Années 2000: ‘Peer to Peer’ systèmes “pair à pair” (Napster, FreeNet,
Gnutella, etc …)
● Années 2010 ?? : Système de fichiers Pair-à-Pair (PASTIS)
Fabrice Legond-Aubry Module AAS – Services Réseaux 35
SGFR: Principaux objectifs

● Problème de désignation (nommage, ‘naming’)


– Construire une désignation (un nommage) uniforme des fichiers
cohérent avec les différents systèmes
● Problème de localisation
– Retrouver dans le systèmes réparti quel hôte gère un fichier
SGFR - NAS

● Problème d’accès distant


– Accéder effectivement aux fichiers sur leur site de résidence
● Problème de concurrence
– Gérer les accès concurrents en univers réparti
● Problème des pannes
– Panne des serveurs de fichiers, panne du réseau

Fabrice Legond-Aubry Module AAS – Services Réseaux 36


SGFR: Principaux objectifs
● Problème des performances
– Assurer des performances acceptables (similaire à l’univers
centralisé).
● Problème de l’hétérogénéité
– Des processeurs, des systèmes d’exploitation.
● Problème d’extensibilité (‘Scalability’).
SGFR - NAS

– Fonctionnement dans de grandes configurations.


– Passage à l’échelle
● Problème de migration.
– Déplacement des fichiers d’un système à l’autre
● Problème de réplication.
– Existence de copies multiples des fichiers

Fabrice Legond-Aubry Module AAS – Services Réseaux 37


Assertions pour les SGFR

Beaucoup de SGFR - NAS sont construits pour l’usage


suivant
– Les fichiers sont petits : majorité de 10 à 100 Koctets.
– Les lectures sont beaucoup plus nombreuses que les
écritures.
SGFR - NAS

– Les accès sont séquentiels : l’accès aléatoire est rare.


– La durée de vie d’un fichier est généralement courte.
– Le partage de fichiers en écriture est rare.
– Un processus n’utilise qu’un petit nombre de fichiers.

Fabrice Legond-Aubry Module AAS – Services Réseaux 38


Critères de classification des SGFR

● Communications : utilisation des messages (TCP/UDP) ou du


RPC.
● Serveurs : avec ou sans état.
● Serveurs : mono ou multi processus
SGFR - NAS

● Désignation/nommage : structure de l’espace de noms de fichiers.


● Sémantique du partage : “Unix”, session, transaction.
● Caches et duplication : caches clients , caches serveurs, cohérence
des caches
● Tolérance aux fautes : duplication, reprise
● Sécurité : modèles d’authentification, de protection …

Fabrice Legond-Aubry Module AAS – Services Réseaux 39


SGFR: par transfert de fichier

● Service de transfert de fichiers complets :


– Mode Upload / Download (pré chargement).
– Service défini par une opération principale:
✔transférer un fichier: lire à distance
✔transférer un fichier: écrire localement un fichier complet
SGFR - NAS

● Les accès au fichier sont réalisés ensuite sur le site


client.
● Si nécessaire (après modifications) le fichier est
retourné sur son site d’origine (le serveur).
● Exemples: FTP, Kermit, UUCP

Fabrice Legond-Aubry Module AAS – Services Réseaux 40


SGFR: par transfert de fichier

● Avantages
– Simplicité très grande.
– Accès au fichier non partagé (sauf sur le site client).
● Inconvénients
SGFR - NAS

– Coût d’un accès partiel sur un gros fichier (transférer tout


le fichier pour une modification minime)
– Le fichier occupe de la place sur différents sites.
– Si les écritures sont concurrentes
✔partage des modifications très difficile
✔techniques d’invalidation ou réconciliation des versions

Fabrice Legond-Aubry Module AAS – Services Réseaux 41


SGFR: par accès distant

● Service d’exécution de primitives d’accès fichiers à


distance sur le site serveur
– Mode ‘Remote Access’ (page à la demande)
● Le service est défini l’ensemble d’opérations sur fichiers
– créer, détruire un fichier
SGFR - NAS

– ouvrir, fermer un fichier


– lire , écrire, modifier des attributs etc …
● Les opérations sont réalisées sur le site serveur (le
système de fichier ne s’exécute que sur le site serveur)
● Exemples type: NFS, AFS (Andrew File System),
Coda, Microsoft SAMBA, AFP (Apple File Protocol)

Fabrice Legond-Aubry Module AAS – Services Réseaux 42


SGFR: par accès distant

● Avantages
– On ne transfère pas tout le fichier: uniquement ce sur
quoi on travaille.
– On n’utilise pas/peu d’espace disque sur le site client.
– Les accès partagés entre clients sont possibles sur le
SGFR - NAS

serveur: une seule copie que l’on peut soumettre à un


contrôle de concurrence.
● Inconvénients
– Si de nombreuses opérations sont réalisées sur le même
article: beaucoup d’échanges inutiles
– Système de fichiers plus complexe à développer que les
outils de transfert complet de fichiers.

Fabrice Legond-Aubry Module AAS – Services Réseaux 43


SGFR: Problème du contrôle de concurrence
● Terminologie multiple :
– Contrôle de concurrence, de cohérence, de consistance
(‘Consistency Semantics’)
● Objectif :
– définir les entrelacements légaux d’opérations lire et écrire
– l’instant ou modifications apportées à un fichier par un usager sont
SGFR - NAS

observables par les autres usagers


● Indispensable :
– pour prédire le comportement d’un programme qui utilise un fichier
lorsque ce fichier est partagé
● Délimitation des accès :
– aucune délimitation,
– entre une opération d’ouverture et opération de fermeture,
– des instants quelconques de début et fin de transaction

Fabrice Legond-Aubry Module AAS – Services Réseaux 44


SGFR: Problème du contrôle de concurrence

On ne présente en général que quatre versions:


1. Sémantique UNIX : chaque opération est instantanément visible
pour tous les autres usagers
– Difficile à réaliser, complexe en terme de message

2. Sémantique de session : aucune modification n’est visible


jusqu’à ce que le fichier soit fermé
SGFR - NAS

● Pb de la gestion de la concurrence de modification (conflits)

3. Fichiers non mutables : aucune modification n’est autorisée


● La plus simple des solutions

4. Approche transactionnelle : toutes les modifications sont


visibles par tous ou par personne.
● Maintient des propriétés ACID
● Coût important

Fabrice Legond-Aubry Module AAS – Services Réseaux 45


SGFR: « Statefull » ou « Stateless »

● Le serveur de fichier conserve ou non des informations relatives


aux opérations des différents clients en activité.
● Avantages des serveurs sans état
– Pas d’espace mémoire occupé sur le serveur dans des tables.
– Pas de limites sur le nombre de fichiers ouverts.
SGFR - NAS

– Pas de problèmes liés aux pannes des clients.


● Avantages des serveurs avec état
– Messages de requêtes courts (informations à transporter).
– Meilleures performances en temps d’exécution.
– Lecture/écriture en fin de fichier facile.
– Gestion du verrouillage possible.

Fabrice Legond-Aubry Module AAS – Services Réseaux 46


SGFR: Les NAS

● Network Attached Storage (NAS) :


– Ce sont des serveurs de fichiers répartis
● Un serveur NAS:
– Exploite les technologies DAS (RAID)
– Exécute un service SGFR
SGFR - NAS

– Est spécialement adaptés (fine-tuned) au partage de


fichiers
– Offre un ensemble d’outils de gestion des ressources

Fabrice Legond-Aubry Module AAS – Services Réseaux 47


Section : « Les services réseaux »

Systèmes de fichiers
Direct Attached Storage (DAS)
Network File System

SGFR - NAS

Network File System (NFS)


Coda
SaMBa
Storage Area Network (SAN)

Fabrice Legond-Aubry Module AAS – Services Réseaux 48


NFS: Principe
● Développé par SUN IETF : RFC 1094 (année 1988)
● Objectif : permettre à toute application utilisant des fichiers
distants d’accéder à ces fichiers de la même manière que s’ils
étaient locaux.
Network File System

● Différents choix de conception :


– Réalisation de la désignation par montage d’arborescences sur
l’arborescence locale.
– Serveurs de fichiers sans état.
– Pas de modification d’un programme client c’est le système
d’exploitation local qui est modifié
– Pas d’implantation du serveur de fichiers par processus Î
modification système coté serveur (performances)
– Réalisation des échanges de NFS en RPC : utilisation de
l’architecture ONC SUN avec RPC et présentation XDR
Fabrice Legond-Aubry Module AAS – Services Réseaux 49
NFS: Architecture
Network File System

Fabrice Legond-Aubry Module AAS – Services Réseaux 50


NFS: Principe

● Partager un système de fichiers


– Plusieurs machines, un seul compte
– Utilise le modèle du Client / Server
Network File System

– Utilise les RPC (pbs de port non normalisé – portmapper)

NFS NFS
server server

Client Client Client Client

Fabrice Legond-Aubry Module AAS – Services Réseaux 51


NFS: Opérations réalisées pour un accès
1. Réception d’un appel système d’accès fichier
2. Sélection entre traitement local du fichier ou traitement distant
● utilisation de la couche VFS ‘Virtual file System’ qui appelle soit
‘local file access’ soit ‘NFS client box’
Network File System

3. Préparation d’un appel RPC par le client NFS pour faire


réaliser (utilisation UDP pour l’efficacité en performances).
4. Réception par le serveur généralement sur le port UDP 2049
mais on peut aussi utiliser un port quelconque alloué pour la
circonstance (port éphémère).
5. Traitement de la requête par le système de fichier local via la
couche VFS serveur.
6. Transmission de la réponse : résultat de la requête qui est
délivrée au client.

Fabrice Legond-Aubry Module AAS – Services Réseaux 52


Protocoles du service NFS
● NFS :
– Protocole proprement dit de réalisation des accès distants.
● Mount :
– Protocole pour le montage d'arborescences distantes sur
Network File System

l’arborescence locale (permettant la désignation en univers réparti).


● Lock Manager :
– Protocole de gestion de verrous pour le contrôle de concurrence
(avec état).
● RPC, XDR, PortMapper :
– protocoles définis dans le cadre du RPC SUN
– réalise les communications
– fait les conversions de représentation
– déterminer les numéros de ports utilisés dans les RPC
Fabrice Legond-Aubry Module AAS – Services Réseaux 53
NFS

● NFS permet
– L’export de tout ou partie d’une arborescence de fichiers
– L’export d’un partition entière
Network File System

NFS
Client
server

/ /

etc usr var home home etc usr var

bin spool user1 user2 user3 spool

mail mail

user1 user2 user3

Fabrice Legond-Aubry Module AAS – Services Réseaux 54


NFS: Principes
● Chaque machine peut être
– Client (monté un NFS distant) ou Serveur (Fournir un NFS)
– Possibilités de montages croisés
– Les cycles sont bannis ! Î Règle de non transitivité
Network File System

NFS
Client
server

/ /

var home home var

spool user1 user2 user3 spool

mail mail

user1 user2 user3

Fabrice Legond-Aubry Module AAS – Services Réseaux 55


NFS: Le rôle client
● Montage d’une partition Network File Systems
– Utilisation de la commande mount
✔ Globalement Î même arguments que pour une partition locale
✔ Exception: le device (/dev/…) devient une URI NFS
✔ Exemple: mount serveur.domain.fr:/home /home
Network File System

– Le client le considère comme un FS local (transparence d’accès, de


nommage, et de localisation pour l’utilisateur)
– Le serveur peut être, en théorie, localisé n’importe où !
– Attention toutefois aux latences réseaux !!!
– Pas adapté à l’internet !!!
● On peut monter plusieurs partitions NFS
✔ Sur le même système de fichier
✔ A différent points de montage
● Le démontage est le même qu’en local
✔ umount /home

Fabrice Legond-Aubry Module AAS – Services Réseaux 56


NFS: Le rôle serveur

● Définition des répertoires/FS partagés (exportés)


– Fichier de configuration: “/etc/exports”
– Il permet de spécifier
Network File System

✔Quels répertoires sont à publier


✔Quelles sont les permissions d’accès à ce répertoire
– Restriction de sécurité: Qui peut y accéder
– Mode de publication: Lecture seule (ro), Lecture/Ecriture (rw), ...
– Root squashing (transformation d’un root local en nobody)
– Le partage d’un répertoire entraîne le partage de toute
l’arborescence
✔Attention aux effets de bords !
✔Attention aux uid/gid dans l’arborescence NFS et locales

Fabrice Legond-Aubry Module AAS – Services Réseaux 57


NFS: Le rôle serveur

● Exemple de configuration du serveur


# Partager /master par défaut en rw, et sans rootsquash pour trusty
/master(rw) trusty(rw,no_root_squash)
# Partager /projects en rw pour toutes les machines proj* du
# sous-réseau local.domain
/projects proj*.local.domain(rw)
# Partager /usr
# en ro pour toutes les machines de local.domain
Network File System

# en rw pour toutes les machines appartenant au netgroup trusted


# (voir le fichier /etc/netgroup)
/usr *.local.domain(ro) @trusted(rw)
# Partager /home/joe seulement pour la machine pc001 en rw, en
# convertissant tous les utilisateurs en anonymous (uid=150,gid=100)
/home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
# Partager /pub en lecture seul,provenant de n’importe quel port
# en convertissant tous les utilisateurs en anonymous
/pub (ro,insecure,all_squash)

● Commande “exportfs”
– Gére les système de fichiers en cours de publication
✔ Fichier “/var/lib/nfs/xtab” sous Linux
– Permet la gestion (dé/partage via /etc/exports)
– Permet le partage manuel de répertoire
– Utilisé au démarrage par le script nfsd pour le partage automatique
Fabrice Legond-Aubry Module AAS – Services Réseaux 58
NFS: les outils

● Le démon de gestion de requêtes de montage NFS


– rpc.mountd
● Gestion du verrouillage des fichiers par NFS
Network File System

– Un démon permet aux clients de verrouiller des fichiers


✔Linux: démon noyau [lockd]
✔Autres Unix: rpc.lockd (solaris)

● Voir qui a monté un répertoire partagé en NFS


– Commande showmount sur le serveur NFS
● Statistiques NFS: Commande nfsstat
✔Permets les optimisations pour les performances NFS

Fabrice Legond-Aubry Module AAS – Services Réseaux 59


Section : « Les services réseaux »

Systèmes de fichiers
Direct Attached Storage (DAS)
Systèmes de Fichiers Répartis
Network Attached Storage (NAS)
Coda

Network File System (NFS)

CODA
SaMBa
Storage Area Network (SAN)

Fabrice Legond-Aubry Module AAS – Services Réseaux 60


Que peut faire Coda ?

http://www.coda.cs.cmu.edu/
● Gestion de la mobilité (opération déconnectées)
● Gestion d’un cache client haute performance
● Gestion de la réplication des serveurs
● Déploiement d’un modèle d’authentification,
Coda

d’encryptions et de contrôle d’accès


● Tolérance aux fautes (service partiel en cas de panne
réseau)
● Adaptation à la bande passante réseau
● Passage à l’échelle
Fabrice Legond-Aubry Module AAS – Services Réseaux 61
Coda

Fabrice Legond-Aubry Module AAS – Services Réseaux 62


Propriétés de Coda
● Espace de nommage unique
– Tous les nœuds Coda apparaissent sur le répertoire /coda (ou un disque
sous windows) du client.
– Toutes les dossiers partagés sont visibles
– Les clients trouvent automatiquement les serveurs de sa propre cellule
– Il faut juste connaître au moins un serveur
● Une cellule
Coda

– C’est un groupe de serveurs qui partagent la même configuration coda.


– Il existe un serveur spécifique appelé « system Control machine » SCM
– Seul cette machine peut modifier la configuration coda de la cellule et
propager les changements
– Un client ne peut appartenir qu’à une seule cellule
● Contrôle d’accès par ACL
● Un seul point de montage: /coda

Fabrice Legond-Aubry Module AAS – Services Réseaux 63


Section : « Les services réseaux »

Systèmes de fichiers
Direct Attached Storage (DAS)
Systèmes de Fichiers Répartis
SaMBa

Network Attached Storage (NAS)


Network File System (NFS)
CODA

SaMBa
Storage Area Network (SAN)

Fabrice Legond-Aubry Module AAS – Services Réseaux 64


SaMBa / CIFS
● RFC 1001, 1002
● CIFS (Common Internet File System) est un protocole pour
partager
– Les imprimantes
– Les ports séries
– Les fichiers
SaMBa

– Il est basé sur le protocole SMB (Server Message Block)


● 2 services essentiels sous linux et windows:
– Le service NetBIOS pour désigner des machines
– Le service de partages des ressources CIFS/SMB
● La désignation des ressources se fait par:
\\machines\repertoire1\repertoire2\fichier

Fabrice Legond-Aubry Module AAS – Services Réseaux 65


smb.conf
[global]
# donner le même nom de groupe de travail
workgroup = LIP6_SYST
# compte à utiliser pour les accès invités aux partages
guest account = nobody ;
# accès multi utilisateur
share modes = yes ;
# restreindre par sécurité les sous-réseaux autorisés à se connecter au serveur
hosts allow = 10.177.200. 127.
# on peut exclure des machines de l'accès au réseau
# d'autres possibilités existent : voir le manuel man smb
hosts allow = 10.177.200. EXCEPT 10.177.200.125
# interface d’ecoute
interfaces = 10.177.200.110/255.255.255.0
SaMBa

[public]
# Ce répertoire aura pour nom de partage " public "([public]),
# la valeur du champ comment apparaitra dans le voisinage réseau
# Le répertoire à partager est /home/samba
Comment = Répertoire public
path = /home/samba
# il pourra être accessible par tous les utilisateurs
public = yes
# il est accessible en écriture
writeable = yes
# les fichiers créés sont en lecture seule, sauf pour le propriétaire
create mode = 0755
# utilisation possible de LDAP, mysql
# ldap admin, ldap ssl, ldap user, …

Fabrice Legond-Aubry Module AAS – Services Réseaux 66


Outils

● « smbclient » client SMB pour échanger les fichiers


● « smb4k », « smbtree » explorateur SMB
● « smbmount », « smbmnt » et « smbumount »
● « smbstatus » état des connexions SMB
SaMBa

● « smbcomtrol » envoie des messages aux démons SMB


● « smbd » et « nmbd » démons SMB et netbios
● Mise en cohérence des mots de passe: « pdbedit »
● Changer de mot de passe: « smbpasswd »

Fabrice Legond-Aubry Module AAS – Services Réseaux 67


Autres systèmes de fichiers

● Microsoft (en cours de developpement)


● AFS (Andrew File System)
– http://www.psc.edu/general/filesys/afs/afs.html
Network File System

✔Especially designed for long distance sharing (Internet)

● AFP (Apple File Protocol)


● InterMezzo
– http://www.inter-mezzo.org/
✔Designed for High Availability environment (clusters, grid,...)

Fabrice Legond-Aubry Module AAS – Services Réseaux 68


Section : « Les services réseaux »

Systèmes de fichiers
Storage Area Network (SAN)

Direct Attached Storage (DAS)


Systèmes de Fichiers Répartis
Network Attached Storage (NAS)
Network File System (NFS)
CODA
SaMBa

Storage Area Network (SAN)

Fabrice Legond-Aubry Module AAS – Services Réseaux 69


SAN: Principes
● Storage Area Network (SAN) est :
– Un réseau de communication dédié au stockage
– Un ensemble d’éléments de stockage (NAS)
Storage Area Network (SAN)

– Un espace de stockage proprement dit qui est constitué d’un


ensemble de disques durs partagés par toutes les machines du
réseau
● Les connexions entre les machines et les baies de disques
– passe par des fibres optiques à haut débit
– utilise un protocole spécialisé nommé FC/AL.
● L’ensemble des éléments qui véhiculent l’information sur le SAN
(fibre, switch, hub, etc …) est généralement désigné sous le
vocable de « fabric »
● Un SAN est entièrement disjoint du réseau de communication
habituel Ethernet fonctionnant sous TCP/IP

Fabrice Legond-Aubry Module AAS – Services Réseaux 70


SAN: Réseau support (FibreChannel)
● RFC 4044, 2837, 2625
● Réseau spécialisé pour les SAN
– Point-to-Point (FC-P2P).
✔ 2 appareils reliés point-à-point.
Storage Area Network (SAN)

– Arbitrated Loop (FC-AL).


✔ Equivalent du token-ring.
✔ L’ajout et le retrait d’un élément coupe le réseau
✔ Il existe des hubs
– Switched Fabric (FC-SW).
✔ Tous les éléments sont connectés à des switchs
✔ Optimisation des communication
● Couche du protocole Fibre Channel:
– FC0: Couche physique (câbles, fibres, …)
– FC1: Couche liaison de données pour l’encodage et le décodage du signal (8b/10b)
– FC2: Couche réseau, défini par le standard FC-PI-2, c’est le cœur du standard FC.
– FC3: Fonction de répartition sur les éléments FibreChannel du SAN
– FC4: Couche application et encapsulation

Fabrice Legond-Aubry Module AAS – Services Réseaux 71


SAN: Avantages / Inconvénients

● Avantages
– Offre une sûreté de fonctionnement
Storage Area Network (SAN)

✔Redondance du réseau
✔Redondance des disques
✔Hautes performances

– Accès sur de grandes distances (jusqu’à 150km)


– Grosse capacité (SAN: 6To ou +, DAS: <5To)
– Extension aisée
– Administration centralisée
● Inconvénients
– Cher
Fabrice Legond-Aubry Module AAS – Services Réseaux 72
SAN/NAS : Une solution intermédiaire

● Permet de réduire les temps de coupure à moindre frais


● HA-Linux permet
Storage Area Network (SAN)

– la reprise automatique sur panne


– La MAJ du matériel sans coupure de service
● Solution HA-linux contient
– Heartbeat : gére la détection des fautes (machine/service
hs) et le démarrage des services
– Drdb : synchronisation de disque
– Mon : Surveillance du système

Fabrice Legond-Aubry Module AAS – Services Réseaux 73


Heartbeat
● Gére la détection des fautes (machine/service hs) et le démarrage des services
● Chaque nœud utilise des canaux spéciaux pour signifié qu’ils sont vivants
(ping).
– Réseau ethernet secondaire
Storage Area Network (SAN)

– Câble série
● Si le ping sur le nœud actifs échoue
– il y a élection d’un nouveau nœud actif parmi les nœuds inactifs
– Le nouvel élu prend l’IP de l’ancien maître
– Le service démarre sur le nouveau nœud élu
● Il n’y a pas de check du service mais seulement de la machine !!!
– Il existe d’autres outils pour pallier ces problèmes
– Stonith (Shoot The Other Node In The Head)
– watchdog (force un redémarrage en cas de plantage)
– Monitoring

Fabrice Legond-Aubry Module AAS – Services Réseaux 74


DRDB
● DRDB = « Distributed Replicated Block Device »
● Gère la synchronisation de disque
● C’est un patch pour noyau
Storage Area Network (SAN)

– Créer un device particulier (/dev/xxx)


– Lors de l’écriture, l’écriture locale est dupliqué par le réseau sur
une machine distante
– #equivalent à un RAID1 réseau
● Protocole de cohérence :
– Protocole A : Retour après écriture local et envoie à la machine
distante
– Protocole B : Retour après écriture local et arrivé dans le cache
disque de la machine distante
– Protocole C : Retour après écriture local et distante confirmées

Fabrice Legond-Aubry Module AAS – Services Réseaux 75


SAN/NAS : Une solution intermédiaire

redondance
http://www.linux-ha.org/DRBD
Storage Area Network (SAN)

Heartbeat
NFS NFS
serveur1 DRDB serveur2

réseau

client

Fabrice Legond-Aubry Module AAS – Services Réseaux 76


SAN/NAS : Une solution intermédiaire

redondance
http://www.linux-ha.org/DRBD
Storage Area Network (SAN)

Heartbeat
NFS NFS
serveur1 DRDB serveur2

réseau

client

Fabrice Legond-Aubry Module AAS – Services Réseaux 77