Chapitre 1

Introduction aux applications multimédia

M2R IT – UE Réseaux et QoS – Z. MAMMERI

1

1. Introduction
Définitions des concepts liés au Multimédia (1/2)

Multi Multimédia Média

Multi : indique plusieurs

Média : moyen/support de diffusion, de distribution ou de transmission de signaux

porteurs de messages écrits, sonore, visuels (presse, cinéma, radio, TV…)

Multimédia (informatique) : présentation d’une application (généralement interactive) qui

intègre des éléments tels que texte, graphiques, vidéo, son.

Système multimédia : ordinateur et logiciels associés utilisés pour faire fonctionner une
application multimédia.

Système multimédia distribué : un SMM qui fonctionne sur un ensemble d’équipements

interconnecté par un réseau de communication.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

2

1
 1. Introduction
Définitions des concepts liés au Multimédia (2/2)

Multimédia Systèmes Multimédia Systèmes multimédia

distribués

Gestion de
Image Vidéo média

Gestion de Réseau
Texte
sécurité

Outils
Audio Voix
divers

Data
Streaming vidéo
Web autres
Streaming audio Client-serveur

M2R IT – UE Réseaux et QoS – Z. MAMMERI

3

1. Introduction
Equipements filaires pour le Multimédia

Internet

M2R IT – UE Réseaux et QoS – Z. MAMMERI

4

2
 1. Introduction
Equipements sans fil et mobiles pour le Multimédia

M2R IT – UE Réseaux et QoS – Z. MAMMERI

5

1. Introduction
Principe général des applications multimédia distribuées

Réseau

Récepteur
(Client)
Serveur
(Source d’info)

Récepteur
(Client)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

6

3
 1. Introduction
Exemple d’infrastructure pour applications multimédia
PC/station PC/station Window
system
Caméra K
A G H
Codec Codec

B L
Microphones
p
Mixeur
Connexions
Ecran
réseau Stockage
C Video file system vidéo
D M
Codec
Window system
Composant Bandwidth Latence Taux_Perte Ressources requises
Caméra Out: 10 frames/sec, vidéo brute Zéro
640x480x16 bits
A Codec In: 10 frames/s, vidéo brute Interactive faible 10 ms CPU chaque 100 ms;
Out: Stream MPEG-1 10 M octets de RAM
B Mixeur In: 44 kb/s audio Interactive Très faible 1 ms CPU chaque 100 ms;
Out: 44 kb/s audio 1 M octets de RAM
H Window In: Varié Interactive Faible 5 ms CPU chaque 100 ms;
system Out: 50 frame/sec framebuffer 5 M octets de RAM

K Connexion In/Out: Stream MPEG-1 Interactive Faible 1.5 Mb/s, Protocole

réseau à faible taux de perte
L Connexion In/Out: Audio 44 kb/s Interactive Très faible 44 kb/s, protocole à très
réseau Faible taux de perte

M2R IT – UE Réseaux et QoS – Z. MAMMERI

7

1. Introduction
Autres domaines
Satellites
Communication
(SATCOM)

Radar
Mode S
VHF HF

ACARS networks

Airline network PSTN

Air Airline
Traffic Operations
Control Control

M2R IT – UE Réseaux et QoS – Z. MAMMERI

8

4
 1. Introduction
Autres domaines

Airbag
Clim.
Tableau
Contrôle
C t ôl de bord
moteur
Vitres

Suspension
active

ABS

M2R IT – UE Réseaux et QoS – Z. MAMMERI

9

2. Classes d’applications multimédia

Classification des applications multimédia
■ Selon l’interactivité
– Non interactives : radio et TV, vidéo à la demande, e-learning...
– Interactives : vidéo surveillance, téléguidage, vidéo conférence, téléphonie,
conférence
fé téléphonique,
élé h i TV interactive,
i i télé-médecine,
élé éd i téléachat,
élé h bourse,
b
jeux…
■ Selon la criticité
– (Très) critiques : guidage et supervision, télé opération chirurgicale…
– (Moyennement) critiques : vidéo conférence, bourse, téléachat
– Non critiques : TV, radio, jeux…
■ Selon les timings (temps réel)
é
– Streaming de données audio/vidéo préalablement stockées
– Streaming 1-à-m temps réel de données audio-vidéo
– Applications interactives d’audio/vidéo

M2R IT – UE Réseaux et QoS – Z. MAMMERI

10

5
 2. Classes d’applications multimédia
Applications « streaming stored Audio/video » (1/2)
■ Clients
– demandent des fichiers audio/vidéo (musique, films)
– sauvegardent
g les données reçues
ç avant de les ‘jouer’
j
– les clients peuvent assurer : absorption de la gigue, décompression,
correction d’erreur (car ils n’agissent pas en temps réel)

■ Délai
– depuis la demande du client jusqu’au début du ‘play’ : 1 à 10 secondes
– la réception continue pendant le ‘play’.

■ Interactivité de l’utilisateur
– possibilités de contrôle : Pause, resume, rewind, fast forward…

M2R IT – UE Réseaux et QoS – Z. MAMMERI

11

2. Classes d’applications multimédia

Applications « streaming stored Audio/video » (2/2)

3. Vidéo reçue
1. Vidéo (rythme variable)
enregistrée
(rythme fixe)
Délai réseau
2. Vidéo émise variable
(rythme fixe)

Délai 4. Vidéo jouée

réseau au niveau client
(rythme fixe)temps

streaming: à cet instant, le client peut

commencer à ‘visualiser’ une partie de la vidéo
alors que le serveur poursuit la transmission du
reste de la vidéo.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

12

6
 2. Classes d’applications multimédia
Applications « streaming 1 à m temps réel »
ou « temps réel unidirectionnelles »
ou « Streaming Live Multimedia »
■ Spécificités
– Exemples : TV et radio (mais réception via Internet)
– Plusieurs utilisateurs reçoivent en même temps les mêmes données

■ Délai
– Depuis le click sur ‘play’ jusqu’au début du ‘play’ : une dizaine de secondes

■ Interactivité de ll’utilisateur
utilisateur
– Pas d’interaction en général
– Dans certains cas, on peut faire un pause avec enregistrement automatique,
puis reprise en léger différé

M2R IT – UE Réseaux et QoS – Z. MAMMERI

13

2. Classes d’applications multimédia

Applications « conversationnelles temps réel »

■ Spécificités
– Exemple : téléconférence
– Plusieurs utilisateurs reçoivent en même temps les mêmes données

■ Délai
– Vidéo
délai < 150 msec : acceptable
– Audio
délai < 150 msec : bon
délai < 400 msec : acceptable

■ Interactivité de l’utilisateur
– Pas d’interaction dans le sens Pause, Resume…
– L’utilisateur est un acteur direct dans la communications (il parle, bouge…)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

14

7
 2. Classes d’applications multimédia
Multimédia en environnement mobile

Global System for Mobile

Communications

■ Applications :
– Pompiers, ambulances, TV, VoD, Web, commerce mobile, jeux…

M2R IT – UE Réseaux et QoS – Z. MAMMERI

15

3. Compression de données

■ L’utilisateur souhaite avoir une source d’information (son/image) de haute qualité

■ La qualité du son/image a une conséquence directe sur les besoins en débits

■ Taille
T ill dde ddonnées
é + débits
débit limités
li ité ==>
> Problèmes
P blè d’exploitation
d’ l it ti des d applications
li ti MM

■ Réduction du débit exigé

- Par réduction de l’information (i.e. réduction de la qualité du son/image)
- Par compression

M2R IT – UE Réseaux et QoS – Z. MAMMERI

16

8
 3. Compression de données
Compression de vidéo
■ Principe de la vidéo
– Une vidéo est une séquence d’images jouées à raison de 24-30 images par seconde.
Chaque image est un tableau de n*m (n lignes et m colonnes de l’écran) pixels.
Chaque pixel est représenté sur un ensemble de bits (luminosité et couleur)
– Il existe deux types de redondance (exploitée par la compression) :
* redondance spatiale (des éléments sont analogues ou identiques dans une même image)
* redondance temporelle (des images se répètent totalement ou partiellement dans le temps)

■ Pour minimiser la capacité de stockage et bande passante

– Les données sont compressées

■ Réduction de la quantité de données avec un facteur de X

– Exemple : pour une image de 1024
1024*1024
1024 pixels avec un pixel codé sur 2 octets :
* Sans compression :
2 M octets de mémoire pour le stockage d’une image
160 secondes de délai de transmission sur un réseau à 100 kb/s.
* Avec une compression de facteur de 10 :
0,2 M octets de mémoire pour le stockage d’une image
16 secondes de délai de transmission sur un réseau à 100 kb/s.
M2R IT – UE Réseaux et QoS – Z. MAMMERI
17

3. Compression de données
Compression d’audio

■ Principe de l’audio
– Signal analogique échantillonné à un rythme constant :
Téléphonie: 8000 échantillons/s ==> 64 kb/s
Musique CD : 44000 échantillons/s
– Chaque échantillon est quantifié et représenté sur 8 bits (ou 7)
– A la réception le signal numérique est transformé en analogique.

– Exemples de débits
CD : 1,4 Mb/s
MP3 (MPEG layer 3) : 96, 128 ou 160 kb/s
Téléphonie sous IP : 55,3
3 kb/s à 13 kb/s

■ Compression
– Moments de silence
– Redondance temporelle

M2R IT – UE Réseaux et QoS – Z. MAMMERI

18

9
 3. Compression de données
Exemples de techniques de compression dans Internet

■ Compression de l’audio
– GSM (13 Kb/s); G.729 (8 Kb/s); G.723(6.4 et 5.3 Kb/s)
– MPEG layer 3 (MP3) : 96, 128, 160 ou 320 kb/s

■ Compression de la vidéo
– MPEG (Moving Picture Experts Group) :
MPEG 1, pour images animées + son - ‘CD-ROM quality video’ (<=1.5 Mb/s)
MPEG 2 : pour images animées + son - ‘high quality DVD video’ (3-6 Mb/s)
MPEG 4 : ‘object oriented video compression’ (de 5 kb/s à plus d’un Gb/s)
p
MPEG 7 : ‘Multimedia Content Description Interface’
MPEG21 : formalise plus la notion de contenu
– H.261 : populaire dans Internet - elle a servi à la définition de MPEG -
débit de 64 kb/s

M2R IT – UE Réseaux et QoS – Z. MAMMERI

19

4. Téléphonie sous IP en best effort

De la voix au paquet – Principe général

Convertisseur
Suppression de
Numérique - Codeur Ajout d’entête
silence
analogique

Chaîne de transmission/réception

M2R IT – UE Réseaux et QoS – Z. MAMMERI

20

10
 4. Téléphonie sous IP en best effort
Architecture générale du VoIP

M2R IT – UE Réseaux et QoS – Z. MAMMERI

21

4. Téléphonie sous IP en best effort

Principe de la téléphonie sous IP

• Communication téléphonique
p q : pparole,, silence,, pparole...
– Normalement : il faut 64 kb/s pendant la phase de parole
• Les paquets sont générés uniquement pendant les phases de parole
– Message = un morceau de parole (de 160 octets de données) + entête
• Chaque message est encapsulé dans un segment UDP.
• L’application envoie des segments UDP via la socket-UDP toutes les 20 ms durant les
phases de parole. Le débit d’envoi est de 8 kb/s.
• Jusqu’à 10% (voire 20%) de perte de paquets est tolérable.
• Les paquets qui affichent un retard supérieur à 400 ms sont rejetés à la réception.
• La gigue est gérée par l’utilisation d’estampilles de paquets, des numéros de séquence
et en retardant certains paquets avant d’être écoutés par le récepteur.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

22

11
 4. Téléphonie sous IP en best effort
Délai dans la phase de Playout (1/3)

■ Playout à délai fixe

• La source produit un morceau de parole et l’émet à l’instant t.
• Le récepteur essaie de jouer le morceau reçu q msec plus tard :
– Si le morceau arrive à t+q ou avant : le morceau est effectivement joué à t+q.
– Si le morceau arrive après t+q, le morceau est perdu.
• Compromis pour la valeur de q :
– Large valeur de q : moins de paquets perdus, mais mauvaise interactivité.
– Petite valeur de q : meilleure interaction, mais plus de perte de paquets.

■ On essaie de retarder le pplus ppossible le début du pplayy d’une pphase de pparole;; mais une
fois commencée, la phase de parole est jouée avec un rythme fixe.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

23

4. Téléphonie sous IP en best effort

Délai dans la phase de Playout (2/3)
Avec q’, on attend plus :
Paquets r : instant de réception de paquet donc moins de perte
p, p’ : instants de playout du paquet
q’
q

Retard,
Paquets perte
émis Playout à p’
Paquets
reçus Playout à p

Temps

r
p p’

M2R IT – UE Réseaux et QoS – Z. MAMMERI

24

12
 4. Téléphonie sous IP en best effort
Délai dans la phase de Playout (3/3)

■ Playout à délai adaptatif

• L’objectif est d’utiliser une valeur p - r qui reflète les performances du réseau en
terme de délai (variable) de communication durant un appel téléphonique.
téléphonique
• Le délai de playout est calculé pour chaque morceau en se basant sur la moyenne
de délai de communication et la variation observée de ce délai.
• Le début d’une phase de parole est identifié à partir d’estampilles de morceaux
successifs et/ou des numéros de séquence des paquets.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

25

4. Téléphonie sous IP en best effort

Recouvrement en cas de perte de paquets (1/2)
■ Comme les retransmissions sont inappropriées dans un contexte temps réel, une
stratégie de recouvrement doit être mise en place. Dans le cas de téléphonie sous IP,
deux techniques sont utilisées pour réduire l’impact des pertes : FEC (Forward error
correction) et Entrelacement.
Entrelacement

■ Recouvrement par FEC : Ajouter de l’information de redondance en mixant les valeurs

de plusieurs morceaux dans un paquet.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

26

13
 4. Téléphonie sous IP en best effort
Recouvrement en cas de perte de paquets (2/2)
■ Recouvrement par entrelacement
• Pas de redondance, mais il peut engendrer des retards dans le playout.
• Diviser les périodes de 20 msec de parole en périodes plus petites de 5 ms et entrelacer les
petits morceaux.
morceaux
• En cas de perte, utiliser des morceaux incomplets (plutôt que de perdre des gros morceaux
entiers).

M2R IT – UE Réseaux et QoS – Z. MAMMERI

27

5. Exigences des applications multimédia

Caractéristiques des applications multimédia

• Manipulation de grandes quantités de données ‘continues’

• Des débits minimum sont nécessaires
• Livraison des informations en respectant des timings
• Les applications interactives nécessitent des temps d’aller retour faibles
• Coexistence (et partage de ressources) avec des applications non multimédia
• Ressources requises :
– Processeurs (à haute performance)
– Serveurs puissants
– Mémoire principale dédiée (pour la bufferisation par le client)
Les bonnes quantités
– Mémoire disque à grande capacité Au bon moment.
– Bande passante de réseau avec un minimum de latence

M2R IT – UE Réseaux et QoS – Z. MAMMERI

28

14
 5. Exigences des applications multimédia
Exigences des applications multimédia (1/7)

■ Exigences : délai, gigue, débit

■ Les valeurs exigées changent avec l’évolution de l’offre technologique

On ne demande pas les mêmes choses pour une connexion Internet à 56 kb/s qu’à une connexion à 10 Mb/s.

■ L’utilisateur (humain) sait à la fois être exigeant et s’adapter à ce qu’on lui offre.

■ Tendance actuelle de la demande : des délais de plus en plus courts, des débits de plus en plus
élevés,, des taux de pperte de plus
p en pplus faibles.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

29

5. Exigences des applications multimédia

Exigences des applications multimédia (2/7)
■ Téléphonie et audio conférence
– Faible débit (~ 64 Kb/s), mais les délais doivent être courts (< 250 ms)
■ Vidéo à la demande
– Débit élevé (~ 10 Mb/s), latence non critique
■ Vidéo conférence
– Débit élevé pour chaque participant (~1.5 Mb/s), délai faible (< 100 ms), états
synchronisés.
■ Répétition musicale distribuée
– Débit élevé (~1.4 Mb/s), très faible latence (< 100 ms), haute
synchronisation de média (dérive entre son et image < 50 ms)
ms).

■ Jeux (selon une étude faite par ITU-T)

– Un délai maximum de 70 ms est plus apprécié par les joueurs qu’un délai de 200 ms.
– La gigue devra être de 20 ms maximum, car le joueur adapte sa stratégie à un délai
fixe (en tirant sur les cibles par exemple). La gigue élevée conduit à un jeu ennuyeux.
M2R IT – UE Réseaux et QoS – Z. MAMMERI
30

15
 5. Exigences des applications multimédia
Exigences des applications multimédia (3/7)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

31

5. Exigences des applications multimédia

Exigences des applications multimédia (4/7)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

32

16
 5. Exigences des applications multimédia
Exigences des applications multimédia (5/7)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

33

5. Exigences des applications multimédia

Exigences des applications multimédia (6/7)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

34

17
 5. Exigences des applications multimédia
Exigences des applications multimédia (7/7)

Perte de paquet

5% Conversationnel Messagerie
Voix et vidéo audio/vidéo
Streaming
audio/vidéo
100 msec 1 sec 10 sec Fax 100 sec
0% délai
Commande/contrôle Background
Zéro Transactions Messagerie,
interactif (eg. Telnet,
perte jeux) (eg E-commerce, téléchargement
Web-browsing, Accès
e-mail)

M2R IT – UE Réseaux et QoS – Z. MAMMERI

35

6. Protocoles RTP et RTCP

Real-Time Protocol (RTP) (1/3)

■ RTP : une solution pour les AMM avec Internet en best effort

■ Fonctionne essentiellement au dessus de UDP

Application

Couche RTP
transport
UDP

IP

Liaison de données

Couche physique

M2R IT – UE Réseaux et QoS – Z. MAMMERI

36

18
 6. Protocoles RTP et RTCP
Real-Time Protocol (RTP) (2/3)

■ Entête de paquet RTP

– Type de flux (7 bits)
– Numéro de séquence (16 bits) : utilisé pour détecter les pertes.
pertes
– Estampille (32 bits) : fournit l’instant d’échantillonnage du premier octet du paquet.
Elle est utilisée pour absorber la gigue.
– Identificateur de source de synchronisation (32 bits) : identifie la source du flux.
Chaque flux dans RTP a un identificateur affecté par la source de manière aléatoire (mais
distinct de ceux déjà existants) au début du flux.

Identificateur
Type de
T d Numéro
N é d de de source de Données
Estampille
flux séquence synchronisation

M2R IT – UE Réseaux et QoS – Z. MAMMERI

37

6. Protocoles RTP et RTCP

Real-Time Protocol (RTP) (3/3)

■ Champ Type de flux

Quelques types de flux vidéo

Quelques types de flux audio supportés par RTP supportés par RTP
Type Type
Format Echantil- Format
de flux Débit de flux
audio lonnage vidéo

0 PCM 8 KHz 64 Kb/s 26 Motion JPEG

1 1016 8 KHz 4.8 Kb/s 31 H.261
3 GSM 8 KHz 13 Kb/s 32 MPEG1 Vidéo
7 LPC 8 KHz 2 4 Kb/s
2.4 33 MPEG2 Vidéo
9 G.722 8 KHz 48-64 K/ps
14 MPEG Audio 90 KHz ----
15 G.728 8 KHz 16 Kb/s

M2R IT – UE Réseaux et QoS – Z. MAMMERI

38

19
 6. Protocoles RTP et RTCP
Real-Time Control Protocol (RTCP) (1/2)
• RTCP permet d’acheminer des paquets contenant des rapports concernant un
flux multimédia entre une source et un récepteur.
• Les rapports contiennent des statistiques sur : le nombre de paquets transmis,
le nombre de paquets perdus,
perdus la gigue de transfert…
transfert
• Les paquets rapports sont envoyés par les récepteurs, éventuellement à la
demande des sources.
• Les paquets rapports sont utilisés par la source pour modifier/adapter son
rythme aux conditions du réseau.
Source
RTP RTCP

Internet

RTCP
RTCP

Récepteur Récepteur

M2R IT – UE Réseaux et QoS – Z. MAMMERI

39

6. Protocoles RTP et RTCP

Real-Time Control Protocol (RTCP) (2/2)
• Si chaque récepteur envoie ses paquets-rapports à tous les autres sources/récepteurs
du flux : surcharge importante du réseau.
• RTCP ajuste les intervalles de temps entre rapports en fonction du nombre de
récepteurs participant à un flux
flux.
• Typiquement, la bande passante utilisée pour RTCP est limitée à 5% de la bande
passante de la session. Cette fraction est partagée entre les demandes de rapports
émises par les sources (25%) et les rapports émis par les récepteurs (75%)
– Ts : période de transmission de paquet RTCP par la source :
Nombre de sources
Ts = *Taille_paquet_moyen_RTCP
5%*25%*Bande_passante_session

– Tr : période d’émission de paquet RTCP par un récepteur :

Number de récepteurs* Taille_paquet_moyen_RTCP
Tr =
5%*75%*Bande_passante_session

M2R IT – UE Réseaux et QoS – Z. MAMMERI

40

20
 6. Protocoles RTP et RTCP
RTP et UMTS
P-CSCF : Proxy- Call Session
Control Function

PDF : Policy Decision Function

GGSN : Gateway GPRS

Support Node

CMTS : Cable Modem Termination

System

Internet

Etat actuel des standards 3GPP

M2R IT – UE Réseaux et QoS – Z. MAMMERI

41

7. Conclusion

Aujourd’hui
d’h : Diffusion
ff de
d vidéo
dé Demain : Vidéo
dé interactive
unidirectionnelle à la demande

M2R IT – UE Réseaux et QoS – Z. MAMMERI

42

21
 7. Conclusion
Convergence
Aujourd’hui Demain

BILLS

M2R IT – UE Réseaux et QoS – Z. MAMMERI

43

7. Conclusion
■ Applications multimédia
– Une réalité
– Elles touchent à tous les secteurs d’activités

■ Challenges
Ch ll du
d multimédia
lti édi
– Conception de contenu, ergonomie
– Support de média continus
– Synchronisation temps réel
– Gestion de qualité de service (QoS)
– Communication multi partite sur des réseaux filaires ou non filaires
– Gestion de la mobilité des clients et des serveurs
– Interopérabilité d’équipements hétérogènes
– Coût faible des équipements et des logiciels
– Equipements performants (écran, processeur, stockage...) embarqués et transparents

M2R IT – UE Réseaux et QoS – Z. MAMMERI

44

22
 7. Conclusion
Mutimédia et QoS
QoS de perception

Perception humain/user

QoS d’application

Applications/services

QoS de middleware Fonctions de gestion de la QoS

● allocation de ressources
Middleware/QoS-aware services ● négociation
● contrôle d’admission
QoS de système ● ordonnancement
● routage
t
OS, systèmes répartis, processeur… …

QoS de réseau

Réseau

M2R IT – UE Réseaux et QoS – Z. MAMMERI

45

7. Conclusion
Multimédia sur l’Internet actuel

■ TCP et UDP actuels

– PAS de garantie de délai ou perte
– Seulement un service best effort est fourni

■ Aujourd’hui les applications MM utilisent des techniques de niveau Application pour

remédier aux insuffisances d’Internet, ce qui conduit parfois à des services peu appréciés
par l’utilisateur final.

■ Il faut des mécanismes appropriés de gestion de la QoS à l’intérieur d’Internet.

M2R IT – UE Réseaux et QoS – Z. MAMMERI

46

23