Vidéo numérique

Dominique PRESENT
Dépt S.R.C. - I.U.T. de Marne la Vallée

Les applications
• Télévision numérique :
• actuellement diffusée sur le câble et les canaux hertziens
• destinée au grand public
• Vidéo à la demande :
• accès à une banque de données vidéo
• diffusion au moment choisi par le spectateur
• destinée au grand public
• Visioconférence, visiophonie :
• communication temps réel entre personnes ou entre groupes
• destinée au public professionnel, sera étendue au grand public
• DVD :
• stockage sur support individuel
• visualisation en local
• destinée au grand public

IUT Marne la Vallée vidéo numérique © D. Présent

1
 Numérisation d ’un signal vidéo
Pourquoi numériser ?
• Enregistrement ;
• Manipulation (indexation, stockage) ;
• Montage, modification ;
• Copies, diffusion.

Critères de numérisation.
• Echantillonnage à 13,5MHz ;
• Echantillons par ligne 720 ;
• Dimension d’un échantillon de 8bits à 10bits ;
• Nombre de lignes 525 ou 625.
Remarque :
format de l’image d’un moniteur L/l = 4/3 (ex. : 800x600 en VGA)

Débit brut : 8x3x13,5e6 = 324Mb/s

IUT Marne la Vallée vidéo numérique © D. Présent

Image au format 4:2:2 : codage

Recommandation CCIR 601 :
• Echantillonnage luminance à 13,5MHz ;
• Echantillonnage chrominance à 6,75MHz.
Soit par ligne :
• 720 échantillons en luminance ;
• 360 échantillons en chrominance.

Bloc de 6 pixels luminance

sur 6 lignes
chrominance

• 1 pixel chrominance sur 2

pixels luminance lignes paires
• 1 pixel chrominance sur 2
pixels luminance lignes impaires

IUT Marne la Vallée vidéo numérique © D. Présent

2
 Image au format 4:2:2 : décodage
Reproduction de l’image 4:2:2 :
• chaque échantillon de chrominance reçu est recopié
pour reproduire le pixel suivant ;

Bloc de 6 pixels Pixels luminance

sur 6 lignes
Pixels chrominance
reçus
Pixels chrominance
recopiés

IUT Marne la Vallée vidéo numérique © D. Présent

Sérialisation de l’image 4:2:2

Suppresion ligne
EAV

EAV
SAV

SAV

H-ANC 1440 éch (Y – Cb – Cr) H-ANC

EAV : End of Active Video
SAV : Start of Active Video

Données audio
Préamb DID DN DC Data CS
DID : identificateur de voie DN : n° du bloc de données CS : contrôle
4canaux de 4 voies DC : Lg du bloc de données

IUT Marne la Vallée vidéo numérique © D. Présent

3
 Image au format 4:2:0 : codage
ISO 13818 :
• Echantillonnage luminance à 13,5MHz ;
• Echantillonnage chrominance à 6,75MHz ;
• Transmission d’une trame sur 2 en chrominance.

Bloc de 6 pixels luminance

sur 6 lignes
chrominance

• 1 pixel chrominance sur 2

pixels luminance lignes paires
• 0 pixel chrominance sur les
lignes impaires
Remarques :
• En SECAM, les échantillons Cb et Cr transmis sont une moyenne des échantillons
de 2 lignes successives ;
• Format de base des codages D2MAC et MPEG-2 (MPEG-Main Level MP@ML).
IUT Marne la Vallée vidéo numérique © D. Présent

Image au format 4:2:0 : décodage

Reproduction de l’image 4:2:0 :
• chaque échantillon de chrominance reçu est recopié pour
reproduire le pixel suivant ;
• chaque échantillon de chrominance reçu est recopié pour
reproduire les pixels correspondant de la ligne suivante.

Bloc de 6 pixels Pixels luminance

sur 6 lignes
Pixels chrominance
reçus
Pixels chrominance
recopiés

IUT Marne la Vallée vidéo numérique © D. Présent

4
 Structure d’une image 4:2:0
Trame 1- 2:1:0
Trame 4:2:0
Trame 2- 2:1:0
B-Y
B-Y 144lignes
144lignes
360pixels
360pixels
Trame
Trame22
(lignes R-Y 144lignes
(lignesimpaires)
impaires) R-Y 144lignes
360pixels
360pixels
Trame
Trame11
(lignes
(lignespaires)
paires) Luminance
Luminance
288
288lignes
lignes
720
720pixels
pixels

Trame 1 : 288 lignes Codage MPEG 1

de 720 pixels

IUT Marne la Vallée vidéo numérique © D. Présent

SIF (Source Intermediate Format)

ISO 11172 (codage des signaux vidéo et audio pour des stockages à 1,5Mb/s) :
• Résolution luminance de 360x240 à une Fimage de 29,97Hz en 525 lignes ;
• Résolution luminance de 360x288 à une Fimage de 25Hz en 625 lignes ;
• Format 4 :2 :0.

Bloc de 6 pixels luminance

sur 6 lignes
chrominance

• 1 pixel chrominance sur 2

pixels luminance lignes paires
• 0 pixel chrominance sur les
lignes impaires

Remarques :
• Résolution proche de celle d’un magnétoscope VHS ;
•Format de base du codage MPEG-1.

IUT Marne la Vallée vidéo numérique © D. Présent

5
 Structure d’une image SIF
Trame 1- 2:1:0 Format SIF :
Trame 4:2:0 625 lignes de 360 pixels
Trame 2- 2:1:0
B-Y
B-Y 144lignes
144lignes
180pixels
180pixels
Trame
Trame22
(lignes R-Y 144lignes
(lignesimpaires)
impaires) R-Y 144lignes
180pixels
180pixels
Trame
Trame11
(lignes
(lignespaires)
paires) Réduction
Réduction
àà352
352pixels
pixels

Trame 1 : 288 lignes Codage MPEG 1

de 720 pixels

IUT Marne la Vallée vidéo numérique © D. Présent

CIF (Common Intermediate Format)

Normes H261 et H263 (International Union for Telecommunication).
• Standard de codage des signaux vidéo pour des services audiovisuels
à Px64Kb/s

Format CIF :
• Résolution luminance de 360x288 à Fimage de 29,97Hz ;
• Format 4 :2 :0.

Format QCIF :
• Résolution luminance 180x144 à Fimage sous-multiple de 29,94Hz ;

IUT Marne la Vallée vidéo numérique © D. Présent

6
 Formats MPEG
Le groupe de l’ISO dénommé MPEG (Moving Pictures Experts Group) à
conduit à 2 normes :

• ISO 11172 (1993)pour le codage et la transmission des signaux audio-

vidéo pour un stockage sur des supports à environ 1,5Mb/s :
! ISO 11172-1 définit la structure du multiplexage des signaux ;
! ISO 11172-2 définit le codage vidéo MPEG-1 ;
! ISO 11172-3 définit le codage audio MPEG-1.

• ISO 13818 (1995) pour le codage et la transmission des signaux audio-

vidéo pour la diffusion par satellite, câble ou réseau terrestre :
! ISO 13818-1 définit la structure du multiplexage ;
! ISO 13818-2 définit les résolutions et le codage vidéo MPEG-2 ;
! ISO 13818-3 définit le codage audio MPEG-2.

IUT Marne la Vallée vidéo numérique © D. Présent

Traitement d’une image vidéo MPEG

IUT Marne la Vallée vidéo numérique © D. Présent

7
 Compression MPEG
séquence
groupe d ’images

image

Macrobloc
tranche
(4 blocs)

bloc
1 image est composée de « n tranches » (8x8 pixels)
1 tranche contient « p macroblocs »

IUT Marne la Vallée vidéo numérique © D. Présent

Compression MPEG-1
Construction d ’une image :
• Bloc constitué de 8 x 8 pixels ;
• Macrobloc regroupe 2 x 2 blocs (soit 16 x 16 pixels) ;
• Tranche ensemble de macroblocs (le plus souvent une ligne de
l’image) ;
• Image composée de l’ensemble des lignes de l’écran, est de l’un des 3
types :
! I (Intraframe) codée sans référence à aucune autre image ;
! P (Predicted) codée par rapport à l’image « I » ou « P »
précédente ;
! B (Bidirectionnal interpolation) codée à partir des images « I » ou
« P » et « P » qui l’encadrent ;
• Groupe d’images (Group Of Pictures) regroupe les images codées à
partir d’une même image « I ».

Groupe d’images : défini par 2 paramètres :

• M distance (en nombre d’images) entre 2 images « P » successives ;
• G distance entre 2 images « I » successives.
Le format MPEG-1 utilise un groupe d’images en (3 ;12).
IUT Marne la Vallée vidéo numérique © D. Présent

8
 Image - Macroblocs - Blocs
Le macrobloc constitue l’unité de surface d’une image,
quelque soit le format utilisé.
Format 4:2:2 Format 4:2:0

luminance

Chrominance Cr

Chrominance Cb
2x2 blocs 2x2 blocs
« chrominance » par « chrominance » par
macrobloc « luminance » macrobloc « luminance »
IUT Marne la Vallée vidéo numérique © D. Présent

MPEG-2 : le vecteur mouvement

P
P
I

Vecteur mouvement macrobloc

zone
d ’analyse

Recherche du macrobloc le
plus proche

• une image P est caractérisée par un vecteur mouvement et les différences

des macroblocs des images I et P
IUT Marne la Vallée vidéo numérique © D. Présent

9
Estimation de mouvement en MPEG-2
• calcul sur 1 bloc du signal luminance ;
• appliqué aux 4 blocs du macrobloc ;
• appliqué au signaux R-Y et B-Y ;
• si incalculable, bloc codé en image I ;
• vecteur mouvement codé sur 12 bits ;

• un décodeur dispose en permanence de 4 images en mémoire ;

• un codeur dispose en permanence de 8 images en mémoire ;
• un décodeur est paramétré pour un profil donné ;

IUT Marne la Vallée vidéo numérique © D. Présent

Compression MPEG : le GOP

groupe d ’images

I B B P B B I
Un groupe d’images (GOP) est défini par 2 valeurs :
• le nb d’images séparant 2 images I ;
• le nb d’images séparant 2 images P ou une image P et une image I ;
Exemple ci-dessus (6 ; 3)

Groupe d’images (8 ; 2)
groupe d ’images

I B P B P B P B I

IUT Marne la Vallée vidéo numérique © D. Présent

10
 Compression MPEG : le GOP
groupe d ’images

I B B P B B I
• l’image P est codée par différence avec l’image I (ou P) qui la précède ;
• l’image B est codée par rapport à l’image I (ou P) qui la précède et
l’image P (ou I) qui la suit
Stockage : dans l’ordre d’arrivée
Codage : I B B P B B I

Transmission : I P B B I B B

Stockage/Décodage : I P B B I B B

Ré-ordonnancement : I B B P B B I
IUT Marne la Vallée vidéo numérique © D. Présent

Codec MPEG-2

IUT Marne la Vallée vidéo numérique © D. Présent

11
 Profils MPEG-2
La norme permet la définition de la résolution de l’image à
partir de 5 profils et 4 niveaux
100
débits 'Mb/s) 90
80 low 352x240x30 1/4 TV
70
main 720x480x30 TV
60
50 high-1440 1440x1080x30
40
30 high 1920x1080x30 TVHD
20
10
high-1440 1440x1080x30
0
low 352x240x30
e

n
pl

niveaux
e
ai
m

bl
m

gh
..
si

la

a.

Simple : sans image B

hi
a

sc
sc

Main : codage 4:2:0

ly
R

profils
ia
SN

SNR scalable : main + train d’info

at
sp

Spatial scalable : codage TVHD

High : codage 4:2:2

IUT Marne la Vallée vidéo numérique © D. Présent

Profils MPEG-2 : options

profils simple main snr spatial high
Images I, P I, P, B I, P, B I, P, B I, P, B
Formats 4:2:0 4:2:0 4:2:0 4:2:0 4:2:2
1920 1440 Éch/ligne
High 1152 1152 Lignes
60 60 Images/s
80 100 Mb/s
1440 1440 1440 Éch/ligne
High 1152 1152 1152 Lignes
1440 60 60 60 Images/s
60 60 80 Mb/s
720 720 720 720 Éch/ligne
Main 576 576 576 576 Lignes
30 30 30 30 Images/s
15 15 15 15 Mb/s
352 352 Éch/ligne
Low 288 288 Lignes
30 30 Images/s
4 4 Mb/s
IUT Marne la Vallée vidéo numérique © D. Présent

12
 Standards audio numériques
• Production :
Fe = 48KHz - 16 bits à 24 bits en mono, stéréo ou multicanal
D = 768Kb/s à 3,84Mb/s
• Diffusion :
Fe = 32KHz - 14 bits à 16 bits en mono ou stéréo
D = 896Kb/s
• Téléphone :
Fe = 8KHz - 12 bits en mono
D = 96Kb/
• Compact Disc :
Fe = 44,1KHz - 16 bits en stéréo
D = 1,4Mb/s
• AES :
Débit : Fe x N x nb canaux
Fe = 48KHz – 20 bits
D = 3,1Mb/s
IUT Marne la Vallée vidéo numérique © D. Présent

Techniques de compression audio

• Parole G711 (1972) : compression 1:1,5
• diffusion NICAM (1980) : compression 1:1,2
• transmission G722 (1986) MICDA : compression 1:3
• grand public Mini Disc Sony codage ATRAC : compression 1:5
• générique MPEG-1 (1992) : compression 1:6 à 1:12
• multicanaux Dolby AC3 (1994) : compression 1:6 à 1:12

IUT Marne la Vallée vidéo numérique © D. Présent

13
Compression audio MPEG-1 : 3 couches
Couche 1 : Compression 1:4
Débit en mono de 192Kb/s
Débit en stéréo de 384Kb/s
Application : Multimédia
Couche 2 : Compression 1:6
Débit en mono de 128Kb/s
Débit en stéréo de 256Kb/s
Application : diffusion
Couche 3 : Compression 1:12
Débit en mono de 64Kb/s
Débit en stéréo de 128Kb/s
Application : multimédia Internet
IUT Marne la Vallée vidéo numérique © D. Présent

Compression audio MPEG

Le codage/compression du signal audio utilise :
• Un modèle psycho-acoustique à masque variable ;
• Un banc de 32 filtres dits polyphase ;
• Echantillonnage à 32KHz, 44,1KHz, 48KHz ;
• Quantification du masquage sur une trame de 12x32 échantillons ;
• Quantification sur 16 bits avec facteur d’échelle ;
• Codage multicanal en MPEG-2 (Left, Center, Right, Left Suround,
Right Suround).

32 sous-bandes
IUT Marne la Vallée vidéo numérique © D. Présent

14
 Codage audio MPEG

128
96

s
n
64

lo
Facteur d ’échelle : 48

til
32

n
Facteur d ’échelle : 16

ha
0

éc
12
IUT Marne la Vallée vidéo numérique © D. Présent

Compression audio MPEG : Codec

gauche L0
R0
Codeur
centre
MPEG-1
droite matrice T3 +
Suround G T4 Codeur
T5 MPEG-2
Suround D

• algorithme de codage MUSICAM pour les radio (DAB) et télévision (DVB)

numériques
• débits de 32Kb/s à 192Kb/s par voie (Hi-Fi à partir de 128Kb/s par voie)
• un codage par DCT permet d ’obtenir la qualité Hi-Fi dès 64Kb/s

IUT Marne la Vallée vidéo numérique © D. Présent

15
 Compression audio MPEG : trames
Trame audio couche 1
en-tête CRC résolution Fact Ech 12x32 échantillons Données
auxiliaires
32 16 32 * 4 6 (bits)
• 384 échantillons par trame
• durée (t) du signal audio codé 384/Fe (8ms à 48KHz)
• nombre de bits pour un débit D est D * t (1536 bits pour D=192Kb/s)

Trame audio couche 2

en-tête CRC résolution Info FE FE 3(12x32 échantillons) Données
auxiliaires
32 16 32 * 4 2 6 (bits)
• 1152 échantillons par trame
• durée (t) du signal audio codé 1152/Fe (24ms à 48KHz)
• nombre de bits pour un débit D est D * t (3072 bits pour D=128Kb/s)

IUT Marne la Vallée vidéo numérique © D. Présent

Multiplexage MPEG-1
Le multiplexage permet d’assurer la transmission des signaux audio/vidéo
vers les unités de stockage.
Le multiplexeur :
• Reçoit du CODEC les trains élémentaires de données (Elementary
Streams) ;
• Découpe les trains élémentaires (ES) en paquets (Packetized
Elementary Stream) ;
• Regroupe les paquets en packs dont l’en-tête contient les
informations de temps et de débits.
Chaque pack contient :
• 0 à 16 paquets vidéo ;
• 0 à 32 paquets audio ;
• 0 à 2 paquets de données privées.
Pack 1 Pack 2
En-tête En-tête Dernier Code En-tête
de pack système 1er paquet paquets suivants paquet de fin de pack
IUT Marne la Vallée vidéo numérique © D. Présent

16
 Multiplexage MPEG-2
• Pour le stockage des données audio/vidéo, la norme MPEG-2 reprend
le multiplexage de la norme MPEG-1.
• La norme prévoit un flux de transport (Transport Stream) pour la
transmission sur les média des programmes destinés à la diffusion.
• Le multiplexeur :
• Découpe les flux élémentaires (ES) en paquets de 188 octets ;
• constitue des trains de données pouvant combiner plusieurs
programmes.
Paquet de flux élémentaires
E-T ES E-T ES

184 octets

E-T E-T E-T Autre flux E-T

188 octets
E-T En-tête de paquet transport
IUT Marne la Vallée vidéo numérique © D. Présent

Image MPEG-4
codec
Objet 1
codage
m
descriptif u
l
t
Analyse i ES
de codage p
l ’image fond l
descriptif e
x
a
codage g
e
descriptif
Objet 2
Elementary Streams : flux élémentaires
IUT Marne la Vallée vidéo numérique © D. Présent

17
 MPEG-4 : maillage des objets

Plus le maillage est fin, plus la forme est précise, plus les calculs sont nombreux
IUT Marne la Vallée vidéo numérique © D. Présent

Les standards informatiques

• Quick Time :
– comprend essentiellement des formats de données standardisés, des
procédés de compression et de décompression, et une interface utilisateur
spécifique.
– L'extension système utilisée est fondée sur le principe du maintien de
l'isochronie des données, et introduit donc le temps comme élément
principal du système d'exploitation.
• Vidéo pour Windows :
– ensemble logiciel permettant la capture et la restitution de vidéo animée
sur PC. L'exécution de séquences vidéo est possible sans matériel
spécifique, alors que la capture doit être faite au moyen d'une carte de
numérisation.
– offre des API (interfaces de programmation) relativement indépendantes
du matériel.
– utilise des algorithmes de compression propriétaires (Microsoft Vidéo 1,
Microsoft RLE compressor), mais intègre ceux proposés par des sociétés
tierces, comme Indeo d'Intel
IUT Marne la Vallée vidéo numérique © D. Présent

18
 La vidéo sur Internet
le réseau Internet n'est pas approprié au transport de vidéo temps réel :

• Le réseau doit fournir suffisamment de bande passante.

• La bande passante n ’est pas garantie durant toute la
communication. Il faut prévoir des mécanismes qui assureront la
réservation de bande passante pour les applications temps réel.
• Les paquets sont routés indépendamments les uns des autres. Leur
séquencement n ’est pas assuré (ordre, espacement). Les protocoles
de transport utilisés doivent assurer les exigences temporelles que
demande la vidéo temps réel comme la synchronisation.

IUT Marne la Vallée vidéo numérique © D. Présent

Les protocoles temps réel

• RSVP (Ressource ReSerVation Protocol) :
• utilisé par les applications temps réel pour réserver les ressources
nécessaires au niveau des routeurs situés le long du chemin de
transmission
• Un Contrôle de Police (Policy Control) détermine si l'utilisateur à la
permission administrative de faire de la réservation. Le contrôle
d'admission (Admission Control) détermine si le nœud à suffisamment de
ressource pour fournir la QoS demandée.
• RTP (Real-time Transport Protocol)
– assure la reconstruction temporelle, la détection de perte, la sécurité et
l'identification du contenu.
– travaille avec le protocole RTCP pour obtenir des feed-back concernant la
qualité de la transmission
– fournit un système d'horloge (timestamping), une numérotation des
séquences et d'autres mécanismes pour prendre garde aux problèmes liés
au temps.
– RTP tourne au-dessus de UDP
En-tête IP En-tête UDP En-tête RTP Données vidéo temps-réel

IUT Marne la Vallée vidéo numérique © D. Présent

19
 Les protocoles temps réel
RTCP (Real-Time Control Protocol)
– périodiquement des paquets RTCP pour donner des informations
sur la qualité du service délivré. travaille avec RTP. Les
participants envoient
– RTCP offre les services suivants : Contrôle de la congestion et
monitoring de la QoS ; Identification de la source ;
Synchronisation inter-média ; Information de contrôle
RTSP (Real-Time Streaming Protocol)
– initie et commande à distance des flux multimédia stockés sur un
serveur de données à travers un réseau IP.
– offre des fonctionnalités comme l'arrêt, l'avance rapide, la
recherche avancée pour des flux vidéo et audio.
– Les données quant à elles sont transmises séparément en utilisant
le plus souvent RTP.

IUT Marne la Vallée vidéo numérique © D. Présent

Session multimédia « temps réel »

Serveur « temps réel » 1-réservation des
ressources dans les Client
Application routeurs à l ’établissement
de la session Application
«temps réel» «temps réel»
2-transmission des données
dans des paquets RTP
RTP RTCP RTP RTCP RSVP
3-contrôle de la qualité de
la session (débit, gigue,
UDP perte) par des paquets UDP
RTCP
Routeur
RSVP
Routeur
RSVP
Routeur
RSVP

IUT Marne la Vallée vidéo numérique © D. Présent

20
 off-line et streaming
1 - le fichier est chargé sur l ’ordinateur client
2 - le fichier est visionné localement

Fichiers vidéo 2 client

Routeur 1 Routeur RTC
Internet
serveur vidéo Modem 56Kb/s
off-line
1 - test de performance de la liaison
Versions du fichier 2 - création d ’un buffer pouvant stocker Buffer
28Kb/s 56Kb/s 512Kb/s « n secondes » de vidéo 4 7Ko
3 - transmission des paquets 2
4 - visualisation « n secondes » après
l ’arrivée du premier paquet client
Routeur 3
Routeur RTC
Internet
serveur Modem 56Kb/s
"streaming"

IUT Marne la Vallée vidéo numérique © D. Présent

21