La croissance en taille des réseaux au cours de la dernière décennie a conduit à une

transition des architectures de réseau classiques à 3 niveaux vers une architecture

plus plate et plus large. Avec son approche de connectivité entièrement maillée,
l'architecture " Spine-Leaf " fournit  les performances réseau à haute vitesse
prévisibles dont nous rêvions ainsi que la fiabilité de notre structure de switchs.

Parallèlement à ses avantages, l'architecture " Spine-Leaf " présente des défis pour
le câblage structuré. Dans cet article, nous examinerons comment construire et
croître une architecture " Spine-Leaf " à quatre branches, progresser vers des
architectures plus grandes (comme un réseau à 16 branches), maintenir la capacité
de switch et la redondance. Nous explorerons également les avantages et les
inconvénients de deux approches dans la construction de notre zone de distribution
principale de câblage structuré : l'une avec des câbles de raccordement à fibre
classique et l'autre avec des modules de maillage optique.

Réseau à 3 niveaux avec protocole Spanning Tree

Bref rappel historique
Depuis son arrivée dans les années 1980 en tant que protocole de réseau local
(LAN), Ethernet, avec son algorithme simple et ses coûts de production moins chers
a été le moteur de l'évolution des Data Centers et de l'Internet. Un switch Ethernet
examine chaque paquet qu'il reçoit avant de le commuter. Il ouvre uniquement
l'enveloppe extérieure pour lire l'adresse de couche 2 sans se soucier de la lecture
de l'adresse IP. Cela permet à un switch Ethernet de déplacer les paquets très
rapidement.

Malgré son efficacité, Ethernet présente également quelques lacunes lorsque la taille
du réseau augmente. Dans un réseau composé de plusieurs switchs Ethernet, afin
d'empêcher les paquets de diffusion tels que les requêtes ARP (Address Resolution
Protocol) de se répandre et de boucler autour du réseau, une technologie appelée
protocole Spanning Tree (STP) est utilisée. STP bloque les liaisons redondantes
pour éviter les boucles sur le réseau. Les réseaux fonctionnant sur la technologie
STP utilisent les liaisons redondantes comme basculement en cas de défaillance de
la liaison principale. Cela assure la résilience de l'infrastructure au prix de la moitié
de l'utilisation de la bande passante disponible.

Nous avons construit des réseaux avec une logique "Spanning tree" pendant très
longtemps jusqu'à ce que nous rencontrions de nouveaux problèmes. Le premier
était que nous étions principalement limités avec un réseau dual core qui ne laisse
pas de place à la croissance (afin de servir un nombre croissant de clients , nos
réseaux devaient se développer en conséquence). Le deuxième était la latence. Si
nous avons un grand réseau, nous le divisons normalement en réseaux plus petits
que nous appelons des LANS virtuels (VLANS). Cela se traduit par une latence
différente pour différents types de trafic de données. Le trafic qui traverse le réseau
de couche 2 au sein d'un seul VLAN a une latence différente par rapport au trafic
circulant entre différents VLAN traversant le cœur de couche 3.

Introduction à la structure " Spine - Leaf "

La plupart des applications de commerce électronique, de médias sociaux et de
cloud computing modernes utilisent l'informatique distribuée pour servir leurs clients.
L'informatique distribuée signifie que les serveurs communiquent avec des serveurs
et travaillent en parallèle pour créer des pages web dynamiques et des réponses aux
questions des clients; elle nécessite une latence équivalente. Attendre peut rendre
des clients mécontents. Nous avons besoin d'une architecture capable à la fois de
croître et de fournir une latence équivalente.

La solution réside dans une architecture de réseau connue sous le nom de structure
spine-leaf. Le concept existe depuis 1952, lorsque Charles Clos a introduit pour la
première fois le réseau de commutation de circuits à plusieurs étages, également
connu sous le nom de réseaux Clos. La partie centrale de cette architecture est
appelée la  " Spine " (colonne vertébrale), à partir de laquelle chaque " Leaf " (feuille)
est connectée pour étendre les ressources réseau. Le réseau peut croître
uniformément en ajoutant simplement plus de switchs de " Spine " ou " Leaf " sans
diminuer les performances du réseau.
La section " Spine " croît horizontalement, ce qui limite les couches du réseau à deux
couches par rapport à l'architecture traditionnelle 3 couches. Par exemple, avec une
" Spine " bidirectionnelle, nous pouvons créer des réseaux pour jusqu'à 6000 hôtes,
avec une " Spine " 4 voies, nous pouvons créer des réseaux pour jusqu'à 12000
hôtes et avec une    " Spine " 16 voies, nous pouvons aller au-delà de 100000 hôtes
10GbE.
 

   

  Développer un réseau Spine-Leaf  

 

Tous les switchs Leaf sont connectés à chaque switch Spine disponible. Cette
architecture entièrement maillée permet à tout hôte connecté à n'importe quelle Leaf
de connecter les autres en utilisant seulement deux hop, avec une connexion de
switch à switch. Par exemple, la Leaf 1 à la Spine 1 et la Spine 1 à la Leaf 10. Étant
donné qu'une couche de Spine est construite de manière redondante (en cas de
défaillance d'un switch de Spine ou Leaf ), d'autres chemins et ressources peuvent
être utilisés automatiquement.

Les règles de base de la construction de réseaux Spine-Leaf sont les suivantes : 

· Les principaux éléments constitutifs sont les switch Leaf et les switchs Spine.

· Tous les hôtes ne peuvent être connectés qu'à des terminaux de switchs.

· Les commutateurs Leaf contrôlent le flux de trafic entre les serveurs.

· Spine transmet le trafic le long des chemins optimaux entre les commutateurs Leaf
au niveau 2 ou 3

· Le nombre de ports de liaison montante sur le switch Leaf détermine le nombre

maximal de switchs Spine.
· Le nombre de ports du switch Spine détermine le nombre maximal de switchs Leaf.

Ces principes influencent la façon dont les fabricants de switch conçoivent leur
équipement.

Switch Spine et carte

Regardons de plus près un switch Spine

Si nous examinons un switch Spine typique, nous remarquons à première vue
plusieurs emplacements d'extension (4 ou 8) pour des cartes différentes pour les
liaisons montantes au switch Leaf. Les cartes peuvent se présenter sous différentes
formats comme des ports 36 x 40 Gig QSFP (pour 40G) ou 32 x 100G QSFP28 (pour
100G). Les ports QSFP et QSFP28 sont vides, donc les transceivers doivent être
achetés séparément sous la forme de transceivers monomodes ou multimodes ou de
câbles optiques actifs (AOC), ou de câbles twinax. La règle générale est que le
nombre de ports disponibles sur le switch Spine détermine le nombre de switch Leaf
que vous pouvez connecter au Spine, déterminant ainsi le nombre maximum de
serveurs que vous pouvez connecter au réseau.

Ensuite, nous observons des modules de supervision qui surveillent et gèrent les
opérations de l'ensemble du switch. Les blocs d'alimentation fournissent une
alimentation redondante et à l'arrière du switch Spine, nous avons généralement des
modules de structure qui atténuent le flux de trafic entre les différentes cartes. La
répartition uniforme des connexions de liaison montante du switch Leaf entre les
cartes sur le switch Spine peut considérablement améliorer les performances de
commutation en réduisant la quantité de trafic circulant dans le module de structure.

Si vous avez deux switchs Leaf connectés à des cartes différentes, le trafic doit
passer par le backpane vertical. Cela augmente les délais de livraison de bout en
bout, ce qui signifie des retards et nécessite l'achat de cartes supplémentaires, ce
qui signifie des coûts supplémentaires.

Dans les sections à venir, nous verrons comment résoudre ces problèmes de
câblage.
Switch Leaf
Examinons de plus près le switch Leaf
S'agissant du switch Leaf, les considérations principales sont que le nombre de ports
de liaison montante définit le nombre de switchs Spine auxquels on peut se
connecter et que le nombre de ports de liaison descendante définit le nombre d'hôtes
pouvant se connecter au switch. Les ports de liaison montante peuvent prendre en
charge des vitesses de 40G/100G et les ports de liaison descendante peuvent varier
de 10G/25G/40G/50G selon le modèle.
Transceiver QSFP-SR4 et relation SFP
Croître le réseau Spine avec redondance et à la vitesse du
trafic
Considérons cette situation: il y a quatre cartes sur chaque switch Spine et
seulement quatre liaisons montantes sur chaque switch Leaf. Est-il possible de
répartir ces quatre liaisons montantes sur huit cartes afin de maintenir la redondance
et la commutation à la vitesse du trafic? Avec un transceiver 40G SR4 composé de
transceivers 4x10G SR, un port 40G-SR4 peut être traité comme quatre ports 10G
individuels. C'est ce qu'on appelle l'application de port breakout. La rupture des ports
nous permet de nous étendre et d'avoir une redondance en développant le réseau
autrement. Par exemple, il est possible de répartir 2 transceivers 40G SR4 dans des
ports 8x10G et de les distribuer facilement sur huit cartes.
 
   

  Si chaque switch Leaf contient 4x40GQSFP, comment le répartir sur huit cartes ?  
 
Port breakout pour cross-connect
Connexion croisée avec port breakout traditionnel
Pour illustrer ceci, créons une connexion croisée 10G avec des modules de
répartition Corning EDGE8™. Nous pouvons répartir tous les ports 40G QSFP au
niveau Spine en utilisant des modules de dérivation de port EDGE8. Nous pouvons
faire le même exercice avec les switchs Leaf. Maintenant, établissez un raccord LC
entre le switch Leaf respectif et le switch Spine. Ce faisant, nous pouvons répartir les
40 ports G et les répartir sur quatre cartes différentes.

La redondance est maintenue, ce qui signifie que si vous perdez une carte, vous ne
perdez que 25% de votre bande passante. Nous avons maintenu la vitesse du trafic
en nous assurant que tous les switchs Leaf soient représentés sur toutes les cartes,
donc aucun trafic n'a besoin de passer par le module Spine. Chaque port surligné en
jaune représente un seul port QSFP 40G.    Est-ce là la manière la plus élégante de
construire ? Non, pas vraiment. C'est construire du neuf avec des outils anciens.
Rupture de port et connexion croisée avec le module maillé
Cross-connect avec module mesh/maillé
Il y a-t-il une meilleure manière de procéder ?

Prenons un module mesh/maillé.

Ce module maillé est connecté au switch Spine d'un côté et au switch Leaf de l'autre.
Les ports latéraux Spine sont connectés à des cartes individuelles sur le switch
Spine.

Lorsque nous connectons un switch Leaf du côté Leaf, il le répartit automatiquement

entre les ports Spine du module maillé déjà connectés à des cartes séparées.

Nous n'avons pas à effectuer de raccords LC-LC.

Nous atteignons toujours le brassage visé au scénario précédent. Nous obtenons
une redondance totale. Nos switchs peuvent performer.

Spine à 4 voies
Extension avec le module Mesh
Passer d'une Spine 2 voies à une Spine 4 voies est assez facile. Nous pouvons
simplement utiliser un module de maillage par switch Spine et distribuer chaque
liaison montante 40G de la couche Leaf sur quatre cartes sur chaque switch Spine.
16-Way Spine Fabric
Au-delà du Spine switch 4 voies, facile avec les modules
maillés
À l'aide de nos modules maillés, nous connectons le côté Spine du module maillé à
d'autres switchs Spine. Nous perdons la redondance au niveau de la carte et
l'efficacité de la commutation, mais nous gagnons en redondance en répartissant le
risque sur un Spine 16 voies. À ce stade, nous devons également investir dans des
modules de matrice, car nous aurons un boîtier qui aura différents switchs Leaf sur
différentes cartes dans le même châssis. Avec cette expansion finale, nous créons
un réseau quatre fois plus grand qu'une Spine quatre voies.
Avantages des modules maillés
En utilisant des modules maillés, nous pouvons réduire les coûts de connectivité de
45%.

En remplaçant les cordons LC par des câbles MTP®, nous pouvons réduire la
congestion de 75%.

Sans tous ces boîtiers non requis pour la répartition et le raccordement des LC, nous
pouvons réaliser une économie d'espace de 75% au MDA.
En résumé
L'histoire nous a montré qu'à chaque nouveau développement, nous devons inventer
de nouvelles façons de faire.
Aujourd'hui, l'industrie s'oriente vers une structure en Spine et les fabricants de
switchs ont des systèmes switchs avancés conçus pour cette nouvelle génération de
matrice pour Data Centers.

Une exigence de base est de construire un module de câblage structuré maillé pour
tirer le meilleur parti de votre investissement.

La connectivité maillée Spine-Leaf peut être obtenue en utilisant un câblage structuré

de type MDA standard comparable à la construction de nouvelles choses à l'aide
d'anciens outils. L'utilisation de modules maillés comme nouvel outil pour créer des
réseaux de nouvelle génération peut réduire considérablement la complexité et les
coûts de connectivité de la structure de votre Data Center.

L’architecture LEAF & SPINE

B Y   D R I S S J A B B A R   30 MARS 2020

SHARE

Cet article fera partie d’une série d’articles sur l’architecture LEAF & SPINE.
On commencera par une définition de l’architecture, ses avantages du point
de vue physique et on parlera dans les articles suivants sur les différents
protocoles qui fonctionnent en tandem avec une telle architecture.

Tout d’abord, commençant par la question : Pourquoi dois-je remplacer mon

architecture 3 tiers traditionnelle ? ou d’une façon pure technique : c’est quoi
le problème que j’essaie de résoudre ?

Pour répondre : on va faire une petite comparaison que j’appellerai « 10 years
challenge » entre les applications de dix avant et les applications aujourd’hui.

La plupart des applications d’il y a dix, quinze ans étaient de type

Client/Serveur dont le client était à l’extérieur du DC.Par conséquent la
morphologie du trafic était de type Nord/Sud dont le nord représente le client
et le SUD représente l’application dans le DC.

Aujourd’hui et surtout avec l’arrivée des nouvelles technologies émergentes

comme l’hyper-convegé et le Big Data, ses solutions qu’ont complétement
changé notre manière d’interagir avec les données, on a constaté la naissance
d’un nouveau type de trafic qui reste principalement à l’intérieur du DC
circulant entre les différents serveurs pour nourrir des applications
différentes. Ce type de trafic est de type Est/Ouest.

D’autre part et pour répondre au besoin initial relatif au trafic Nord/Sud, on a

tous installé des switchs bloquant (de quoi je parle ? ça va être plus clair en
continuant la lecture) dans nos DC parce que :

 La bande passante était trop chère et donc avoir des switchs non
bloquants n’était pas rentable pour les constructeurs donc ils ne
proposaient que des switchs bloquants.
 Ces switchs fonctionnent parfaitement avec la morphologie du
trafic Nord/SUD car la bande passante du client était toujours
inférieure à celle du serveur.
Le besoin aujourd’hui a complétement changé et l’architecture 3 tiers ne
répond plus aux exigences. Sans oublier bien évidement l’évolution du
domaine du switching en termes de capacité de traitement et bande passante
et l’arrivé des switchs qui supportent des interfaces 1/10/25/40/100/400G à
des prix abordables.

La définition de l’architecture LEAF & SPINE

L’architecture LEAF & SPINE ou Clos Fabric n’est pas nouvelle car elle a
été conçue par Charles CLOS en 1952 pour répondre à une contrainte
purement financière relative au coût trop élevé des commutateurs
électromécanique qui assurent les communications téléphoniques à l’époque.
 Manip
ulation des commutateurs électromécanique par un opérateur
Le principe est simple, au lieu d’investir et augmenter la capacité du switch
pour supporter plus de lien (mode Scale-UP), On augmente horizontalement
le nombre des switchs (Scale Out).
 CLOS
FABRIC
En projetant ce principe sur une architecture DC, on aura quelque chose qui
ressemble à ça :

Architecture LEAF & SPINE 1

et qui pourra être aperçue comme suit :
Architecture LEAF & SPINE 2
Les switchs LEAF(L) représentent les switchs TOR et les SPINES(S) sont les
switchs de distribution.

Pas de lien inter-LEAF ou Inter-SPINE !!!

Les avantages de l’architecture LEAF & SPINE :

 Une architecture scalable qui offre un plan de capacité très
important (< 100000 serveurs)
 Une architecture flexible et résiliente qui permet :
o D’augmenter la bande passante montante par le rajout des
switchs SPINE
o D’augmenter la densité des ports en ajoutant des switchs
LEAF
 Prédictible dans le sens ou chaque serveur doit passer par trois
équipements (LEAF > SPINE > LEAF) pour communiquer avec
n’importe quel serveur dans la fabrique.
Une architecture Bloquante vs non bloquante
On entend souvent parler dans les présentations des constructeurs ou dans les
spécifications techniques des switchs le mot bloquant ou non bloquant,
qu’est-ce que ça veut dire ?

On appelle un switch « bloquant » lorsque la somme de la bande passante de

ses ports d’accès est supérieure à celle des interfaces Uplinks. Chaque switch
bloquant possède un taux de sursouscription qui n’est que le résultat de la
bande passante des interfaces d’accès / la bande passante des interfaces
Uplinks
Exemple d’un switch bloquant : un switch qui supporte 48 x 10G port d’accès
et 4 x 40G ports Uplinks,la bande passante globale des interfaces d’accès
égale 480Gbps et celle des interfaces Uplinks égale 160Gbps donc ceci est un
switch bloquant avec un taux de souscription de 480:160 ou 3:1

Le switch non-bloquant est un switch avec une bande passante des interfaces
Uplinks est supérieure ou égale à celle de l’ensemble des interfaces d’accès

Exemple d’un switch non-bloquant : un switch du marché qui supporte 48 x

10/25Gbps ports d’accès et 18 x 40/100Gbps ports Uplinks, cela donne une
bande passante de 1200Gbps pour la couche d’accès et 1800Gbps pour les
uplinks.Ce switch est non bloquant et son taux de sursouscription égale 1:1.

Remarque : le switch non-bloquant reste bloquant si deux serveurs envoient

en pleine capacité du trafic vers un troisième serveur.

L’architecture LEAF & SPINE peut être bloquante à cause des switchs ou à
cause de nombre des SPINE utilisés.

Quel taux de sursouscription pour mon architecture LEAF & SPINE ?

La réponse classique est « ça dépend » de ce que vous hébergez comme
applications au sein du DC, la morphologie des flux ainsi que le volume des
flux.la règle d’or, si vous n’avez aucune idée sur le volume du trafic dans
votre DC partez avec une architecture LEAF & SPINE avec un taux de
sursouscription de 3:1.

Construisant ensemble notre première architecture

Exercice 1
Le prérequis :
Supposant que j’ai besoin de 1000 ports 10G fibre pour mes serveurs et je
tolère un taux de sursouscription de 3:1.

Ma solution :
 Je choisi dans mon exemple les switchs LEAF cisco Nexus
93180YC-FX. Ces switchs supportent 48×10/25Gbps +
8×40/100Gbps
 Le nombre des switch LEAFs : 1000/48 = 20 switchs LEAFs
  Pour avoir un taux de sursouscription de 3:1,j’ai besoin que chaque
switch LEAF soit connecter vers 4 SPINES en utilisant des
interfaces 40G
 Pour la couche SPINE j’ai besoin d’un switch qui possède au
moins 20 ports 40G pour connecter mes 20 LEAFs donc je choisi
le Nexus 9332C qui supporte 32×40/100G


Exercice 2
Le prérequis :
Un opérateur cloud a besoin de 80000 ports 10Gbps fibres pour connecter ses
serveurs dans une architecture LEAF & SPINE non-bloquante.

Ma solution :
 Je prends le switch Nexus 9272Q qui supporte 72 ports 40Gbps

 J’alloue 36 ports 40G du switch 9272Q pour connecter des

serveurs et 36 ports pour connecter les SPINEs 
 J’utilise les câbles pieuvre qui permet de subdiviser chaque ports
40G en 4x10G.le switch 9272Q supporte le cable pieuvre sur 35
interfaces 40G donc il ne me reste que 35 ports 40G pour
connecter des serveurs
 Avec la configuration ci-dessus,chaque switch 9272Q pourra
fournir 140 ports 10G (35 x 4).
 J’ai 36 ports 40G UPLINKS donc j’ai besoin de 36 SPINEs
 Combien de SPINES ? je devise le nombre des ports souhaités par
le nombre des ports fournies par chaque switch LEAF 80000/140 =
571 ports 40G.Mon SPINE doit supporter 571 ports 40G.Le
châssis 9516 supporte jusqu’à 576 ports 40/100G.
Pour fournir 80000 ports 10G je connecte 140 LEAFs N9272Q sur 36
SPINEs N9516 L’architecture LEAF & SPINE est capable de fournir des
milliers de ports en passant d’une architecture de deux niveaux à une
architecture à 3 niveaux(3 stages,5 stages) dont laquelle les SPINEs sont
considéré des LEAFS pour des SUPER-SPINEs comme dans le schéma ci-
dessous :

Architecture LEAF & SPINE à trois niveau (5 Clos)

Conclusion :
On a vu dans cet article, l’architecture LEAF & SPINE est l’architecture
idéale pour le trafic Est/Ouest généré aujourd’hui par nos applications.

On a vu aussi comment ce type d’architecture pourra être adéquate pour des

infrastructures de taille moyennes à des infrastructure plus larges. Toutefois
et comme mentionné dans le début d’article, j’ai défini l’architecture LEAF &
SPINE d’un point de vu physique et dans les prochains articles on va essayer
de voir quel type de protocole à mettre en place pour que le réseau DC soit
fonctionnel.

J’espère que cet article vous a plu et  si vous avez des questions, n’hésitez pas
à laisser un message en commentaire ci-dessous ou nous contacter à
l’adresse : contact@mhd-experts.com.