1

Réseaux
multimédia

Enseignante:
Institut Supérieur d’Informatique (ISI)
Safa REJICHI
3IRS
A.U. 2021/2022
 2

OBJECTIFS DU COURS

• Ce module aborde les principaux problèmes liés à la transmission des flux

multimedia (voix, images, données) sur les réseaux, en particulier IP.
• Comprendre le transfert de données multimédias, notamment les applications
multimédias telles que le streaming de données enregistrées, le streaming temps
réel et la voix sur IP (VoIP).
• Comprendre le besoin en QoS et les protocoles utilisés pour pallier aux limites de
l'IP.
 3

PLAN DU COURS

• Chapitre 1 : Applications des réseaux multimédias

• Audio, vidéo, représentation numérique, encodage, applications
• Chapitre 2 : Introduction aux systèmes de communications
• Rappel chaine de transmission, Rappel modèle OSI, notion fondamentale en théorie de l’information, réseaux
de communications, types de communications
• Chapitre 3 : Streaming de données enregistrées
• Schéma, buffering, adaptivité, stockage Nous aurons 2 Travaux dirigés
• Etude de cas : Google, youtube
• Chapitre 4 : Voix sur IP
• Gigue de paquets, perte de paquets, correction d'erreurs sans voie de retour
• Etude de cas : Skype
• Chapitre 5 : Streaming temps réel
• Protocoles, RTP, RTCP, SIP
 4

Évaluation

• Cours:
• devoir surveillé
• examen
 5

Réseaux
multimédia

Chapitre 1 : Applications des réseaux

multimédias

Enseignante:
Institut Supérieur d’Informatique (ISI)
Safa REJICHI
3IRS A.U. 2021/2022
 6

Introduction: réseau de communication

Définition :
« Un réseau de communication peut être défini comme l’ensemble des ressources
matériels et logiciels liées à la transmission et l’échange d’information entre
différentes entités. Suivant leur organisation, ou architecture, les distances, les
vitesses de transmission et la nature des informations transmises, les réseaux font
l’objet d’un certain nombre de spécifications et de normes »
 7

Introduction: Multimédia

• Multimédia:
• multus (latin) = pluralité
• media (latin, sing. medium) = milieu
• Le mot multimédia est apparu vers la fin des années 1980, lorsque les supports de stockage
se sont développés comme les CD-ROM.
• Il désignait alors les applications qui, grâce à la mémoire du CD et aux capacités de
l'ordinateur, pouvaient générer, utiliser ou piloter différents médias simultanément :
• Texte: article, document, encyclopédie …
• audio : musique, voix, séquence sonore …
• image : image fixe (satellitaires, médicales), photographie, peinture …
• vidéo : audiovisuel, film, télévision, videosurveillance …
 8

Applications

• Imagerie médicale, Télémédecine

• Imagerie satellitaire
• Jeux vidéos
• Télésurveillance
• Archivage divers (Documents, Empreintes, Iris ...)
• Vidéo conférence / visiophone
• Video On Demand
• Voiture autonome/intelligente
• Télévision numérique …
➢ Grande quantité de données
9
 10

Contexte

• Les données sont la représentation d’un signal analogique

• À partir du moment où les signaux audio-visuels sont numérisés (digitalisés), ils peuvent
être manipulés, stockés, modifiés et transmis
• Les signaux audio-visuels sont en relation avec le système audio-visuel humain.
• Le système audio-visuel humain est imparfait, mais aussi sensible aux perturbations
• Importance de la QoS
• Méthodes de stockage, traitement et transmission adéquates
 11

Contexte

• De nos jours, on constate que le trafic de données prend le pas sur le trafic
video
• Chaque jour, 1 milliard d’heures de vidéos sont vues sur Youtube.
• Actuellement 78% des internautes regardent hebdomadairement des vidéos en
ligne et 55% quotidiennement.
• En 2021 les vidéos sur internet représenteront 82% du trafic mondial.
Source : Cisco® Visual Networking Index™ 2016-2021
 12

Problématique

• Internet : pas conçu pour multimédia

• Un réseau pour échanger du texte, données
• Streaming audio et jeux vidéo interactifs, voix sur IP (VoIP), visioconférence, etc. ?
• Internet : un réseau dit de «moindre effort» (best effort): Délais, pertes,
déséquencement, duplicatas
• Applications multimédia : besoin de garanties e.g. VoIP avec trop de délai ne
fonctionne pas
• Est-ce que le réseau IP peut tout fournir ?
 13

1. Média texte
 14

Coder du texte

• Chaque caractère possède donc son équivalent en code numérique:

• ASCII (American Standard Code for Information Interchange).

• Le code ASCII de base représentait les caractères sur 7 bits (c'est-à-dire 128 caractères
possibles, de 0 à 127).
• Conçu pour la langue anglaise
• Le code ASCII a donc été étendu à 8 bits (un octet) pour pouvoir coder plus de caractères
(ASCII étendu...).
• Ce code attribue les valeurs 0 à 255
• lettres majuscules et minuscules, chiffres, marques de ponctuation et autres symboles. Par exemple:
• Les codes 0 à 31: caractères de contrôle telles que: CR, ESC …
• Les codes 65 à 90 représentent les majuscules
 15

Tout est codé en binaire

Une table « ASCII étendu »
(256 codes)

A  65

0 1 0 0 0 0 0 1
27 26 25 24 23 22 21 20
 16

Coder du texte

• Il y a bien plus de 256 caractères dans le monde (arabe, chinois, etc.)

• D’où l’émergence du standard UNICODE

• L’unité de base d’encodage reste l’octet (8bits) mais on peut s’en servir de différentes manières (2, 3
octets ...) :

• UTF-8 : 128 caractères en utilisant 1 octet (ASCII), 1920 caractères sont encodé en utilisant deux
octets (autres langues) etc..
 17

2. Média son
 18

Le son

• Différents types: Parole, Bruits, Musique,…

• Origine: vibration acoustique
• Corde vocale
• Instrument de musique …
• Dispositif d’acquisition: microphone
• Convertir un signal acoustique en signal électrique
• Dispositif de restitution: haut-parleurs (inversement)
• Codage/décodage source adéquat
 19

Caractéristiques
• Un son pur: onde parfaitement sinusoïdale.
• N’existe pas dans la nature (appareil électronique peut générer ce type de son).

Représentation fréquentielle
Représentation temporelle

Fréquences
des harmoniques

• Un son complexe (naturel) présente la superposition de:

• une fréquence fondamentale: la plus grave Un son
naturel
• des fréquences plus élevées, appelées harmoniques:
« La »
personnalisation du timbre
 20

Audition humaine

La bande passante des fréquences perceptibles par l'oreille humaine: 20 Hz et 20 000 Hz

 21

Format

• 2 types de formats pour stocker des sons ou de la musique :

• Les formats numériques: WAV, AIFF, MP3, …
• Les formats musicaux :MIDI , …
➢Formats numériques :
• Stocker une approximation du son analogique.
• Constitué d'une suite d'échantillons.
➢Formats musicaux :
• Stockent essentiellement des informations sur quand et comment jouer tel ou tel
instrument.
 22

Échantillonnage du son

• Nombre de mesures effectuées par seconde lors de la numérisation

• Exp.: échantillonnage à 11 KHz (le son est analysé 11.000 fois par seconde)

• Plus la fréquence est élevée, plus on se rapproche du signal analogique

Fréquence d’échantillonnage

Qualité téléphonique 8 KHz

Qualité AM 11 KHz

Qualité FM 32 KHz

Qualité HI-FI 37.8 KHz

Qualité CD-A 44,1 KHz

 23

La qualité d’un son numérique

• La qualité dépend de 3 paramètres :
• Fréquence d'échantillonnage
• Qualité téléphonique : 8 kHz.
• Qualité CD : 44,1 kHz.
• Le nombre de bits par échantillon :
• 8 bits (qualité médiocre). 8 bits mono 8 bits Stéréo 16 bits mono 16 bits stéréo
• 16 bits (qualité CD).
44,1KHz 352,8 Kb/s 705,6 Kb/s 705,6 Kb/s 1411,2 Kb/s
• Le nombre de canaux :
• 1 canal : son mono.
• 2 canaux : son stéréophonique.
• 4 canaux : son quadriphonique.
• Taille de la musique = Féchantillonnagex Nbbitsx Nbsecx Nbcannaux
 24

MIC: Modulation par Impulsion Codée

• Format non compressé

• En fait pas de compression: Échantillonnage - Quantification - Codage
• Téléphonie fixe:
• La bande passante nécessaire à la parole est de 300 Hz à 3 400 Hz (Fmax=4000 Hz)
• Fréquence échantillonnage= 2 x 4000 Hz = 8 kHz (Te = 125 s)
• Débit (b/s) = NbCanaux x B(bit) x fe (Hz)
• Codage sur 8 bits => Débit 64 kb/s (Europe, reste du monde)
• Codage sur 7 bits => Débit 56 kb/s (USA, Japon)
 25

Le codage perceptuel pour l’audio

• Motivation:
• Exploiter les propriétés de l’audition humaine (psycho-acoustique).
• Astuces:
• Distinction entre ce qui est audible et ce qui ne l’est pas (inaudible).
• Compression du son:
• Ne coder que l’information indispensable, dans la mesure où l’oreille est un capteur
imparfait.
• Outil:
• Modélisation du phénomène de masquage
 26

Courbe de sensibilité de l’oreille humaine

• A une fréquence donnée, notre oreille ne peut percevoir un son qu’à condition que son niveau de
pression acoustique soit supérieur à un seuil. Le seuil est différent pour chaque fréquence de la
bande audible.
Courbe de sensibilité de l’oreille dans un environnement calme
80

60
Pression
acoustique
(dB) 40
Son audible

20
Son
inaudible
0
f(Hz)
20 50 100 200 500 1000 2000 5000 10000 20000
 27

Exploitation du masquage pour la compression

• On ne code pas les sons masqués (inaudibles)
• On adapte la profondeur de codage : nombre de bits allouer selon le niveau de
l’erreur de quantification (< seuil d’audibilité).
80
Pression
acoustique
(dB) 60

Niveau de bruit (erreur) de

quantification acceptable
40

20 Seuil en Déformation de la
environnement courbe : seuil de
calme masquage
0
f(Hz)
20 50 100 200 500 1000 2000 5000 1000020000
 28

MPEG = Motion Picture Experts Group

• Motivation:
• Apparition de produits propriétaires avec de nouvelles applications
• Décodeurs propriétaires: incompatibilités

• MPEG: Groupe de travail WG 11 (ISO/IEC) crée en 1988

• Famille de standard de codage des données multimédia
• MPEG-1: Standard de stockage et de restitution des images, vidéos et
audio dans un support (e.g., CD-ROM) → 32 sous-bandes (bandes
critiques)
• Couche I:
Exploitation des propriétés
• Couche II psycho-acoustique

• Couche III (MP3)

• MPEG-2: Standard pour la télévision numérique, DVD

 29

La compression audio MPEG1

Fréquences d’échantillonnage : 32 à 48 kHz

Niveau Complexité Plage de Technique

débits
Couche 1 basse 32 à 448 Kb/s - Masquage fréquentiel
Couche 2 moyenne 32 à 384 kb/s. - Masquage fréquentiel
- Masquage temporel
Couche 3 élevée 32 à 320 kb/s - Masquage fréquentiel avec largeur
(MP3) des sous-bandes adaptée
- Masquage temporel
- Codage entropique (e.g. Huffman)
- Exploitation de la cohérence entre
les voies stéréo
 30

MPEG (suite)

• MPEG-4: Standard pour les applications multimédia (téléphonie mobile,

streaming, jeux vidéos, TVHD etc.)
• Compression audio-visuelle avec un débit très faible pour des bandes passantes
limitées (e.g., réseau sans fil).
• Débits de 2 à 64 kbit/s

• MPEG-7: Norme de description pour la recherche du contenu multimédia.

• MPEG-21: Norme proposant une architecture pour l’interopérabilité, protection
(copyright)
 31

3. Média image
 32

L’image

• Acquisition/création :
• Numérisation: scanners, appareils photos & caméscopes numériques
• Synthèse: via souris, tablettes graphiques ou par modélisation 3D
• Restitution : Affichage, projection, Impression
• Transformer l’image analogique (continue) en une image numérique (discrète)
• Trois phases:
• Échantillonnage et quantification
• Codage de l’information
• Codage
• Perte d'information envisageable à la compression
 33

La perception visuelle

• L‘œil humain :
• Grâce à la cornée et à l'iris l’image se forme sur la rétine
• Rétine : cônes + bâtonnets
• Bâtonnets : perçoivent la luminosité et le mouvement
• Cônes : différencient les couleurs
• 3 types : percevoir le bleu, le vert et le rouge.
• Perception entre 400 et 700 nm (longueur d’onde).
• Si un type de cônes manque : daltonisme.
 34

Spectre de la lumière 380nm 760nm

Couleur dépend de la longueur d'onde

Longueur d'onde (nm) Couleur

< 380 rayonnements ultraviolets
380 - 450 violet
450 - 490 bleu
490 - 560 vert
560 - 590 jaune
590 - 640 orange
640 - 760 rouge
> 760 rayonnements infrarouges

Couleur (notion perceptive)  long. d’onde (notion physique)

 35

Sensibilité de l'oeil
• Plus grande sensibilité aux variations d'intensité (luminance) qu'aux variations de
couleur (chrominance)

• Luminance: sensation visuelle de luminosité, pourcentage de noir ou de blanc

dans la couleur désirée, brillance de la couleur, aspect clair ou sombre
• Chrominance : information de couleur
 36

Format des images

• Les images vectorielles :

• On décrit l'image comme une association d’objets graphiques simples (droites,
ellipses,...).
• Formats SVG, SWF, EPS...

• Les images bitmap :

• Image pixélisée. On indique la couleur de chaque pixel
• Formats BMP, GIF, JPEG,...
 37

Échantillonnage
l’échantillonnage se fait selon les dimensions spatiales « x » ou « i » et « y » ou « j »
(et non pas selon le temps comme précédemment).
 38

Quantification
Le nombre de niveaux de quantification de la luminance est généralement de 256,
chaque niveau étant alors codé sur 8 bits.
Cas de quantification sur 3 bits
 39

Codage des couleurs

• Coder une image

• Le tableau de pixels.
• La couleur des pixels :
• Modèle de représentation: RGB, niveaux de gris
• Couleur des pixels : 2 méthodes
• Méthode simple (pixel↔couleur)
• Méthode par palette (pixel↔ indice dans la palette)
 40

Taille d'une image bitmap

• Taille brute : sans compression.

• Taille = X . Y . n.
• X = nombre de colonnes.
• Y = nombre de lignes.
• n = nombre d'octets nécessaires pour coder un pixel.
• Exemple d'une image de taille 1024 x 768 pixels.

Nombre de couleurs Taille En octets En Ko

Noir et Blanc X*Y*(1/8) 98.304 96 Ko

Palette de 16 couleurs X*Y*(1/2) 393.216 384 Ko
Palette de 256 couleurs X*Y*1 786.432 768 Ko
True Color, 16 millions de couleurs. X*Y*3 2.359.296 2.304 Ko
 41

Format JPG
• JPG ou JPEG (Joint Photographic Experts Group)
• Comité créé en 1986
• Norme adoptée en 1992/93 (ISO/IEC 10918-1 ou UIT-T Recommandation T.81. )
• Norme définissant le format d'enregistrement et l'algorithme de décodage pour la compression d'une
image fixe numérique.
• Compression en utilisant la Transformé en Cosinus Discret TCD
• JPEG 2000 : compression par Ondelettes.
• Caractéristiques
• 16 millions de couleurs.
• Compression avec perte
• Affichage entrelacé ou progressif
• Pas d’animation, pas de transparence
• Très utilisé
• Reconnu par tous les logiciels ou presque
• LE format du Web avec GIF
 42

JPEG compression
 43

Taux de compression JPG

Taux 1 Taux 10 Taux 20

897 Ko 457 Ko 346 Ko

Taux 50 Taux 75 Taux 99

241 Ko 119 Ko 40 Ko
 44

4. Média vidéo
 45

La vidéo

• Vidéo
• Suite rapide d'images
• Vidéo analogique ou bien numérique
• Analogique: signal électrique analogique (variation de tension).
• Numérique: numérisée à partir d'une source vidéo analogique (caméra,
magnétoscope,...)
• Séquence audio synchronisée avec les images
• La vidéo apporte une 3ème dimension : le temps. Cela se traduit
par beaucoup de changements en termes de codage…
 46

Vidéo numérique

• Une succession d’images numériques à une certaine cadence

• Fluidité: Nombre d’images par seconde (frame per second: fps)
• Débit
• En octet ou bits /sec (bitrate)= taille image * nb image/sec
• En images par seconde fps (framerate) : fréquence d’affichage
• Exemple: Framerate à 30 images/sec
• Taille image ~ 1Mo
• Débit ~30Mo/s
• ~30Mo/s (1,5 Go/mn)  Stockage, transport réseau difficile
➢ Compression
 47

Redondances dans la vidéo

• Redondance spatiale:
• Les valeurs des pixels voisins (dans une même trame)
sont très proches et similaires
• Méthodes de compressions d’images (JPEG, JPEG2000, etc)
• Redondance temporelle:
• Scènes avec peu de changements ou presque fixes
• Similarité entre images successives de la vidéo
• Cette redondance est très importante entre 2 images
consécutives d’une même scène (même shot)
 48

Compression de la vidéo

• Objectif: compresser les 2 types de redondances

• Méthode: 2 types d'images sont définies:
• Les images “intra” qui exploiteront la redondance spatiale
• Une image intra est codée comme une image fixe
• Les images “inter”(images prédites) qui exploiteront la redondance temporelle
• Ces images seront codées en relation avec d’autres images
• On codera en fait la différence entre ces images et les autres (images de
référence) puisque cette différence devrait être quasi-nulle
 49

M-JPEG (Motion JPEG  MPEG)

• Principe: coder indépendamment chaque image du flux en intra

• Applique successivement l'algorithme JPEG aux images
• Redondance temporelle non exploité
• Utilisé dans les studios de montage numérique
• Chaque image codée séparément  accès aléatoire à n'importe quelle partie d'une
vidéo
 50

MPEG

• MPEG (Moving Pictures Experts Group)

• Établi en 1988 (ISO/IEC)
• Codage des médias audio et vidéo

• Exploite la redondance temporelle

• Différence principale avec le M-JPEG
• Beaucoup de scènes fixes ou lentes
 51

Estimation de mouvement

• Représentation du mouvement: un modèle de vecteurs de mouvements à 2D

• Support du mouvement: l'ensemble des pixels de l'image auxquels le vecteur s'applique
(objet, bloc, pixel)
• Estimation de mouvement au niveau du codeur:
• Image référence
• Image courante
• Partitionnement en macro-blocs pour une meilleure estimation
• Block matching (recherche du meilleur bloc dans une fenêtre)
• Recherche du macro-bloc de l’image courante le plus similaire à un macro-bloc de l’image de
référence
➢Vecteur de mouvement d’une image par rapport à une autre (référence)
 52

Estimation de mouvement

Exemple Image
courante

Estimation de
mouvement

Vecteurs de
Image mouvement
référence
 53

Compensation de mouvement

• Compensation de mouvement au niveau du codeur :

• Sachant l’image référence
• On applique le vecteur mouvement estimé
• On a l’image prédite
• Mais, c’est pas tout !!!
• Erreur de prédiction
• On doit envoyer la différence entre l’image prédite & l’image courante
 54

Compensation de mouvement
Exemple

Vecteurs de
mouvement
Compensation
de mouvement

Image Image prédite

référence
 55

Erreur de prédiction

Exemple

Erreur de
Image
Image prédite prédiction
courante

➢Cette image d’erreur et les vecteurs de mouvement sont codés et transmis (en
addition à l’image de référence)
 56

Le codage MPEG

• Partitionnement de la séquence vidéo en:

• Images (codées en inter ou intra)

➢GOP (Group of Pictures): Séquence d’images commençant par une image codée en intra,
ensuite des images codées en inter jusqu’à la prochaine image intra
 57

MPEG

• Plusieurs techniques d'encodage

• Trame I (Intra coded frames ou codage interne) : codées séparément sans référence aux
images précédentes

• Trame P (Predictive coded frames ou codage prédictif) : décrites par différence avec une
image précédente

• Trame B (Bidirectionally predictive coded frames) : décrites par différence avec une
image précédente et une image suivante
 58

Trame I
Image codée entièrement avec JPEG
Assure la cohésion de la vidéo (les autres images sont décrites par rapport à elles)
Indispensables en cas d'erreur de réception
1 ou 2 par seconde
 59

Trame P

Codée par différence avec une image I ou P précédente

Image découpée en macroblocs (16x16 pixels)
Estimation de mouvement : où se trouve dans l’image t, le macrobloc
ressemblant le plus à un macro-bloc de l’image t-1
Calcul pixel à pixel des différences entre les macrobloc t et t-1
L’erreur de prédiction est codée spatialement (JPEG) comme pour les
images I.
 60

Trame B

Codée par différence avec une image précédente et suivante

Les images passées n’ont pas toute l’information
B fait référence à une image précédente I ou P et à une image suivante I ou P
Jamais à une autre image B.
Estimation & compensation de mouvement:
Moyenne entre précédent et suivant possible : la moyenne des erreurs et transmet les deux vecteurs de
mouvement.
Impossibilité de décoder B si l'image de référence se situe après
Changer l'ordre des images du flux vidéo
 61

Groupe d’images

GOP (Group Of Pictures)

Vidéo = suite de GOP
GOP = suite d'images I, B, et P
IBBPBBPBBPBB
L’ordre de transmission (IPB) est différent de l’ordre chronologique (IBP)

GOP à 9 trames

Ordre chronologique

Ordre de transmission
 62

De MPEG1 à MPEG2
• MPEG1:
• Proposée en 1991 par l’ISO
• Principes:
• Codage et compression de séquences vidéo à débits réduits (1.5Mb/s)
• Caractéristiques:
• Images codées en Intra, en Prédictive, et en Bidirectionnelle
• Applications:
• Stockage sur CD-ROM, Vidéo-CD
• MPEG2:
• Née en 1994
• Caractéristiques:
• Compatibilité avec MPEG1
• Amélioration du codage
• Orienté TV Numérique
• Débits 3-15 Mbps pour TV, 15-30 Mbps pour HDTV
• Prise en considération de la scalabilité pour certains profils
• Applications:
• DVD
• HDTV – High Definition TV HDTV – High Definition TV
 63

MPEG4

• MPEG4: 1998-2003
• Caractéristiques:
• Introduction de la notion d’objets médias
• Interactivité
• Applications:
• Transmission sans fil (bruit, erreur, bande passante limitée, etc)
• TV Numérique personnalisée (interactivité)
• Internet streaming (erreurs, différentes résolutions, scalabilité)
 64

Notion d’objet (MPEG 4)

Scène

Personne Arrière plan en Meubles Présentation

2D audiovisuelle

Voix Corps Bureau Globe

 65

MPEG 7

• Proposée en 2001 par l’ISO

• MPEG7 ou “Multimedia Content Description Interface”
• Objectif:
• Décrire le contenu d’un fichier multimédia
• Faciliter la recherche d’un extrait dans un document multimédia
• Exemples d’applications:
• Moteur de recherche audio/image/vidéo
• Filtrage pour bloquer certaines informations
• Accès universel aux données multimédia
• Caméra intelligente