Virtual Networks

F. Nolot ©2015 1
Introduction

Réseaux virtuels similaires à un réseau physique

Mêmes fonctionnalités disponibles
2 types de réseaux virtuels sous VMWare
vSphere Standard Switch
Switch logiciel géré par le VMKernel et fournit un système de gestion du trafc
Chaque ESXi a son propre vSwitch
vSphere Distributed Switch
Switch logiciel fonctionnement comme le vSwitch
Switch partagé et géré au travers de tous les ESXi

F. Nolot ©2015 2
Vocabulaire (1/2)

Port et port group

Objet logiciel qui fournit des services pour le VMKernel ou les VM
Un vSwitch peut avoir des VMKernel et des VM Port
Sur un vDS, cela s'appelle des distributed port group
VMKernel Port
Port spécialisé confguré avec une IP. Ofre
Trafc de management
vMotion
iSCSI storage
NAS ou accès NFS
FT journalisation
Egalement appelé un vmknic
VM Port group
Un ensemble de ports qui partage la même confguration

F. Nolot ©2015 3
Vocabulaire (2/2)

Link aggregation ou NIC teaming

Agrégation de plusieurs liaisons physiques pour créer une seule liaison virtuelle
Diférentes types d'agrégation pour fournir diférents niveaux d'équilibrage de charge
et tolérance aux fautes
Adaptateur vmxnet : carte réseau virtuelle de l'hôte invité
Disponible à 1 Gbps si les VMTools sont installés
Adaptateur vlance : carte réseau virtuelle de l'hôte invité
Carte à 10/100 Mbps supporté par la majorité des systèmes
Carte utilisé par défaut jusqu'à l'installation des VM Tools
Adaptateur e1000 : carte réseau virtuelle qui émule une Intel e1000.
Carte 1 Gbps et supporté par la majorité des systèmes 64 bits

F. Nolot ©2015 4
Faire le bon choix ?

Il faut se poser les questions suivantes

Avez-vous besoin d'un réseau d'administration dédié, comme pour l'administration
d'un réseau physique ?
Avez-vous besoin d'un réseau dédié pour le trafc vMotion ?
Avez-vous un réseau IP de stockage ?
Est-ce pour du iSCSI ou du NAS/NFS
Combien de cartes physiques nécessaires en standard sur votre hôte ESXi ?
Les hôtes fonctionnent-ils sur un réseau Ethernet 1 Gbps ou 10 Gbps ?
Le réseau existant possède-t-il des VLAN ?
Souhaitez-vous étendre l'usage des VLAN sur les switchs virtuels ?

F. Nolot ©2015 5
Réseaux virtuels et physiques

F. Nolot ©2015 6
Les vSwitchs

Creation et gestion via

Le client Web
vSphere CLI par la commande esxcli
Les vSwitch permettent d'échanger des informations
entre des VM d'un même ESXi
entre des VM de diférents ESXi
entre des VM et des machines physiques sur le réseau
entre le VMKernel et le réseau pour le vMotion, iSCSI, NFS, journalisation FT et
l'administration des ESXi

F. Nolot ©2015 7
vSwitch vs switch physique

Un vSwitch n'est pas un switch administrable

Pas de possibilité de se connecter dessus
Pas de CLI, les commandes en CLI doivent passer par le vSphere CLI
Fonctionne comme un switch physique
Possède une table MAC
Commute les paquets en fonction des MAC de destination
Supporte les tag VLAN 802.1q
Peut faire du port channel
Par contre,
ne supporte ni le Dynamic Trunking Protocol, aggrégation LACP fonction des versions
ne peut pas être connecté à un autre vSwitch
ne gère pas les spannings tree
Connexion de 2 vSwitchs peut se faire
Par l'intermédiaire d'une VM en bridge

F. Nolot ©2015 8
Les uplink ?

Les vSwitchs sont connectés par des uplink aux switchs physiques
Un vSwitch sans uplink fonctionne mais les VM seront isolés du réseau physique
On parle de internal-only vSwitch
Attention : pas de vMotion possible dans ce cas

F. Nolot ©2015 9
NIC team ou NIC teaming

La bande passante de l'uplink est partagée avec toutes les VM

Possibilité d'associer plusieurs uplink sur un seul vSwitch

F. Nolot ©2015 10
Gestion du réseau

Management trafc
Type de trafc réseau spécifque, géré par un VMKernel port
Créé automatiquement à l'installation d'un ESXi
Pour pouvoir joindre l'ESXi
Direct Console User Interface : permet de faire la confguration du réseau de
management
Uniquement le réseaux de management
Possibilité de restaurer l'état par défaut : vSwitch et Distributed Switch

F. Nolot ©2015 11
Le réseau VMKernel

Gère tous les trafcs « non VM »

Management
vMotion
iSCSI
NAS/NFS
vSphere FT
Un VMKernel port est utilisé pour cela
Aussi connu avec le nom vmknic
La confguration se fait via
Inventory → Hosts → Choisir ESXi → Manage → Networking → Virtual Adapter

F. Nolot ©2015 12
Exemple

F. Nolot ©2015 13
Analyse de l'impact ?

Modifcation de la confguration d'un vmknic

Peut avoir des efets négatifs

F. Nolot ©2015 14
Pile TCP/IP

Toutes les vmknic partagent la même pile TCP/IP

Même table de routage
Même confguration DNS
Même gateway
Problème
Une gateway pour le management et un gateway pour l'accès en NFS ?
Avant vSphere 5.5 : routage statique obligatoire
Depuis la 5.5 : plusieurs piles TCP/IP sont possibles

F. Nolot ©2015 15
Exemple

F. Nolot ©2015 16
Afectation d'un port à cet stack

Sur une stack custom : impossible d'avoir les services vMotion, …

Uniquement utilisable pour du stockage à base d'IP comme iSCSI et NFS

F. Nolot ©2015 17
VM Port Group

VMKernel Group : chaque interface a besoin d'une IP

VM Port Group : pas besoin d'IP

F. Nolot ©2015 18
Création des VM Port Group

Soit par l'interface Web du vCenter Server

ESXi Manage → Add Host Networking → VM Port Group for Standard Switch
Soit en CLI
Création d'un vSwitch
esxcli --server=<vCenter host name> --vihost=<ESXi host name>
--username=<vCenter administrative user> network vswitch standard add –
vswitch-name=vSwitch1
Connecter une carte physique à ce nouveau vSwitch
esxcli --server=<vCenter host name> --vihost=<ESXi host name>
--username=<vCenter administrative user> network vswitch standard uplink add
--vswitch-name=vSwitch1 –uplink-name=vmnic1
Création d'un VM port group appelé Production
esxcli --server=<vCenter host name> --vihost=<ESXi host name>
--username=<vCenter administrative user> network vswitch standard portgroup
add --vswitch-name=vSwitch1 --portgroup-name=Production

F. Nolot ©2015 19
ESXi Shell ?

Shell disponible sur l'ESXi pour le piloter (Service Shell ESXi doit être activé)
Connaitre les confgurations réseaux, …
Commande : esxcli
Connaitre les VM d'un ESX ?
Utilisation dans ce cas de vim-cmd
Esxcli ne fait apparaître que les VM allumées
List des VM
vim-cmd vmsvc/getallvms

Connaitre l'état d'une VM

vim-cmd vmsvc/power.getstate <vmid>

Allumer une vm
vim-cmd vmsvc/power.on <vmid>

F. Nolot ©2015 20
Utilisation des VLANs (1/2)

Inconvénient de multiples vSwitch

Avoir un uplink minimum par vSwitch
Exemple de pré-requis :
Réseau de management
Port VMKernel peuvent avoir besoin d'un accès
à un réseau isolé pour le vMotion
à un réseau isolé pour le iSCSI et NAS/NFS
Les ports des VM sur d'autres réseaux, fonction des besoins
Sans VLAN :

F. Nolot ©2015 21
Utilisation des VLANs (2/2)

L'afectation d'un VLAN se fait sur un groupe de port

Pas d'association d'un VLAN à un port d'un vSwitch
Tag VLAN compris entre 1 et 4094
Existence d'un 4095, appelé le virtual guest tagging (VGT)
Les tags existant sont alors laissés par le vSwitch et envoyés à l'invité
L'OS doit alors savoir gérer des VLANs

F. Nolot ©2015 22
3 types de gestions VLANs

External Switch Tagging (EST)

Switch physique gère le tag VLAN
Virtual Switch Tagging (VST)
Switch virtuel gère le tag VLAN
Virtual Guest Tagging (VGT)
Switch virtuel laisse le tag VLAN

F. Nolot ©2015 23
NIC teaming

Agrégation de liens suivant le protocole 802.3ad

Interfaces d'uplink doivent être indiquées actives
« Equilibrage de charge » sur les fux sortants
Soit sur l'ID du port virtuel du vSwitch (par defaut)
Soit sur l'IP
Soit sur la MAC source

F. Nolot ©2015 24
Port-based load balancing

F. Nolot ©2015 25
MAC Source based load balancing

F. Nolot ©2015 26
IP based load balancing

F. Nolot ©2015 27
Confguration sur un switch Cisco en IOS

F. Nolot ©2015 28
Failover detection et failover policy

Failover detection : 2 choix possibles

Link status
Beacon-probed method
Link status
Détecté quand le câble est retiré ou le switch est en panne
Ne détecte pas les pannes upstream
Solution de tracking sur équipement Cisco possible
Beacon-probed method
Broadcast ethernet sont envoyés
Permet de détecter les pannes upstreams
Force la détection quand le Spanning Tree bloque le port

F. Nolot ©2015 29
Beacon-probing failover-detection

F. Nolot ©2015 30
Trafc Shaping

Par défaut, toutes les VM ont un accès total à la bande passante

Trafc shaping : permet de mettre des limites d'utilisation de la bande passante
Peak bandwidth : limite maximale de débit accepté
Burst : sur une période de temps, limite maximale tolérée
Si dépassement, durant une période trop longue, les paquets au-delà du Burst sont
supprimés

F. Nolot ©2015 31
Limitations des vswitchs

F. Nolot ©2015 32
Distributed Virtual Switches (VDS)

Similarité avec les vSwitchs

Fourni la connectivité pour les VM et les interfaces VMKernel
Utilise les interfaces physiques des hôtes comme liaison d'uplink pour l'interconnexion avec le
réseau physique
Utilise des VLAN pour la segmentation du réseau
Avantages :
Switch distribué sur l'ensemble des ESXi
Réduit la complexité de gestion de multiples switchs de plusieurs ESXi

F. Nolot ©2015 33
Création d'un DVS

Pour le créer, obligation d'avoir un vCenter Server

Inventory → Distributed Switch → Create New Distributed Switch

Version de VDS disponible

4.0 : compatible avec vSphere 4.0

4.1 : compatible avec vSphere 4.1, ajoute le NIC Teaming et Network I/O Control
5.0 : compatible avec vSphere 5.0, ajoute user-defned network resource pool, NetFlow et port mirroring
5.1 : compatible avec vSphere 5.1, ajoute le Health Check, LACP et Network Rollback et Recovery
5.5 : compatible avec vSphere 5.5, ajoute le Trafc Filtering et Marking
Nombre d'uplink : défnit la valeur d'uplink utilisable par host

Il faut ensuite ajouter les hosts au VDS

Inventory → Distributed Switch → Add and Manage Hosts

Permet également de gérer les adaptateurs physiques

Permet également de gérer les adaptateurs virtuels
Permet également de gérer le réseau des machines virtuelles
En esxcli :
esxcli --server=<vCenter host name> --vihost=<ESXi host name> --username=<vCenter administrative user>
network vswitch dvs vmware list

F. Nolot ©2015 34
Health check et Network rollback ?

Fonctions disponibles depuis vSphere 5.1

Apporte une aide à l'identifcation d'une mauvaise
confguration VLAN
confguration MTU
Politique de NIC teaming
Toutes ces erreurs sont des sources de problèmes de connectivité
Nécessaire, pour les activer d'avoir
VLAN et MTU : 2 adaptateurs réseaux actifs
Teaming policy : 2 adaptateurs réseaux actifs avec au moins 2 hosts
Par défaut, le Health Check est désactivé
Rollback : éviter une déconnexion d'un hôte à la suite d'une modifcation réseau
Exemple : changer la vitesse d'une interface physique, changer l'IP de management
En cas d'erreur constatée, un retour arrière est automatiquement fait
Par défaut, c'est désactivé

F. Nolot ©2015 35
Import et export de confgurations

Depuis la version 5.1, possibilité d'importation et d'exportation des

confgurations d'un VDS
Permet de faire un rollback manuel

F. Nolot ©2015 36
Distributed port group

Création d'un ensemble de ports

Liaison port
Statique : chaque port est afecté à une VM quand elle est connectée
Dynamique : fonction obsolète
Ephémère : impossible de spécifer le nombre de port ou la méthode d'allocation
Allocation
Fixe : par défaut 128 ports de créés
Elastique : par groupe de 8 ports
Pool de ressources réseaux
Possibilité de connecter le groupe à un contrôle I/O du réseau

F. Nolot ©2015 37
Distributed port group

Création d'un ensemble de ports (suite)

VLAN
None : le groupe reçoit que des paquets non tagués
Mode access sur le switch physique ou du trunk en natif
VLAN ID : reçoit des trames taguées et les uplinks doivent être confgurés vers du
trunk
VLAN trunking (jonction VLAN) : laisse passer les tag vlan mais il faut défnir les
vlan autorisés
VLAN privé :

F. Nolot ©2015 38
Trafc shaping, NIC teaming, … sur un VDS

Sur un VDS, le trafc shaping peut être confguré

Sur les fux entrant (ingress)
Sur les fux sortant (egress)
Sur un vSwitch, il n'est pas possible de faire une telle distinction
Le NIC Teamming depuis vSphere 4.1 supporte le Routed Based On Physical NIC
Load
Vérifcation d'utilisation des uplinks toutes les 30 secondes
Détection d'une surcharge (congestion) si : soit le trafc reçu ou émis > 75 % sur une
durée de plus de 30 secondes
Si congestion : ESXi afecte dynamiquement la VM sur un autre uplink

F. Nolot ©2015 39
Blocage d'un port

Block policy : possibilité de bloquer un ensemble de ports

Bloque tout le trafc entrant et sortant du groupe de ports
Si vous bloquez un groupe contenant les interfaces administratives
La fonction de Roll Back va vous sauver

F. Nolot ©2015 40
NetFlow

NetFlow : Technologie développé par Cisco pour fournir des statistiques sur les
fux échangées
Historiquement développé pour analyser les échanges TCP/IP entre les
équipements
SNMP ne permet pas d'avoir d'informations précises sur un échange
Exemple : PC1 et PC2 échangent des informations en HTTPS
Netfow permet de connaître les nombres de packets échangés et la quantité d'octets
pour une unique application
Netfow est devenu un standard
En 2004 : RFC 3954 puis
Normalisé en 2008 par IETF sous le nom IPFIX

F. Nolot ©2015 41
Usage du NetFlow

Connaître les usages des ressources réseaux

Quantifer les usages
Pouvoir améliorer la structuration du réseau en fonction des analyses
Limiter l'accès à certaines ressources qui occasionneraient des congestions
Attention : ne pas confondre des captures de paquets et Netfow qui n'enregistre
que des informations statistiques
Netfow stocke en cache sur l'équipement les informations
Augmente la consommation en mémoire
La taille du cache doit donc être ajusté par l'administrateur

F. Nolot ©2015 42
Un fux netfow ?

Un fux : ensemble de paquets provenant d'une source vers une destination

Le fux d'origine (en version actuelle 9, des champs additionnels ont été
ajoutés) : 7 champs
IP Source
IP Destination
Port Source
Port Destination
Type de protocole couche 3
ToS (pour la QoS)
Interface d'entrée

F. Nolot ©2015 43
NetFlow collector

F. Nolot ©2015 44
Collecteur et Outils ?

De très nombreux outils existent

Sous Linux, le plus utilisé : nfdump mais en ligne de commande
Interface graphique disponible : nfsen

F. Nolot ©2015 45
NetFlow et CDP sur un VDS depuis vSphere 5.0

Support de Netfow est disponible

Confguration via les propriétés du VDS
Support du CDP depuis de nombreuses versions
Confgurable via les propriétés du VDS
Ou bien en esxcli
esxcli --server=<vCenter IP address> --vihost=<ESXi host IP address>
--username=<vCenter administrative user> network vswitch standard set --cdp-
status=both –vswitch-name=vSwitch0
Depuis vSphere 5.0, support également de LLDP
Link Layer Discovery Protocol (LLDP) : version internationalement standardisée de CDP

F. Nolot ©2015 46
Private VLAN (PVLAN)

Notion avancée en réseau

Permet, au sein d'un même VLAN
Soit d'isoler des machines,
Soit d'autoriser la communication entre des groupes de machines
La confguration doit se faire sur le switch physique et sur le VDS

F. Nolot ©2015 47
Private VLAN

Fonctionnement :
VLAN primaire
VLAN secondaire, associé à un vlan primaire
VLAN secondaire peut être de type
Isolated : chaque machine est isolée au sein de ce vlan
Community : chaque machine peut communiquer avec les autres, au sein de
son VLAN secondaire
VLAN secondaire communique avec le VLAN primaire

F. Nolot ©2015 48
Confguration

F. Nolot ©2015 49
Confguration LACP

Quand vous faites du NIC teaming, ce n'est pas forcément du LACP !

Cela fait un équilibrage sur plusieurs cartes en fonction du choix efectué
Activation LACP
Explicitement le choisir dans la confguration du Distributed Switch
Passive : pas négociation initiée par le switch
Active : négociation initiée par le switch

F. Nolot ©2015 50
LACP sur vSphere 5.5

Depuis la version 5.5, possibilité de faire plusieurs Link Aggregation Groups

(LAG) sur un même distributed switch
Possible de faire du dual-home (vers 2 switchs physiques diférents)
Attention : tous les uplink d'un LAG doivent être actives
Redéfnition de l'équilibrage de charge

F. Nolot ©2015 51
Autres switchs distribués ?

Depuis vSphere 5.5, support de

Cisco Nexus 1000v
IBM Distributed Virtual Switch 5000V
HP FlexFabric Virtual Switch 5900v

F. Nolot ©2015 52
Sécurité des switchs virtuels

Possibilité de défnir des règles de sécurité, globalement sur le switch

Ces règles surpassent les règles locales sur les ports
Règles par défaut sur un vSwitch et un VDS:

F. Nolot ©2015 53
Promiscuous mode ?

Un adaptateur virtuel peut voir tout le trafc, quand il est en promiscuous

Déconseillé sauf dans le cas d'un IDS

F. Nolot ©2015 54
MAC changes et Forges transmit

Chaque adaptateur réseau virtuel d'une VM doit avoir une adresse MAC unique
VMWare possède un OUI soit 00:50:56 ou 00:0C:29
Le 4ème octet : basés sur le SMBIOS UUID
Génération aléatoire des 2 octets terminaux, et un hash du nom de l'adaptateur
réseau
Impossible d'empêcher l'utilisateur de changer sa MAC sur son invité
Mais possible d'interdire les trames avec MAC modifée sur le switch
Si changement est constaté (MAC de la carte est enregistré dans le fchier de
confguration .vmx de la VM), la communication est bloquée
MAC changes : rejet des trames vers la VM si la MAC n’est pas bonne
Option Forges Transmit vérife les adresses MAC sources (VM vers le switch), sur
trames en sortie
Recommandation : Mettre en reject le promiscuous, le MAC changes et le forges
transmit
Exception : Si les VM font parties d'un Microsoft Network Load Balancing
Utilisation d'une IP et d'une MAC virtuel et partagée
F. Nolot ©2015 55
 Virtual Networks

Merci pour votre attention

F. Nolot ©2015 56