Vous êtes sur la page 1sur 75

Introduction

QS optimale
QS prédictive

Quantification Scalaire et Prédictive

Marco Cagnazzo

Département Traitement du Signal et des Images


TELECOM ParisTech

7 Décembre 2012

M. Cagnazzo Quantification Scalaire et Prédictive 1/64


Introduction
QS optimale
QS prédictive

Plan

1 Introduction
Définitions
Quantification uniforme

2 Quantification scalaire optimale


Quantification optimale en HR
Algorithme de Lloyd-Max

3 Quantification scalaire prédictive


Gain de prédiction

M. Cagnazzo Quantification Scalaire et Prédictive 2/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Plan

1 Introduction
Définitions
Quantification uniforme

2 Quantification scalaire optimale


Quantification optimale en HR
Algorithme de Lloyd-Max

3 Quantification scalaire prédictive


Gain de prédiction

M. Cagnazzo Quantification Scalaire et Prédictive 3/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Définitions

Q : x ∈ R → y ∈ C = {xb1 , xb2 , . . . xbL } ⊂ R

C : Dictionnaire, c’est un sous-ensemble discret de R


xbi : niveau de quantification, niveau de restitution,
codeword, mot de code
e = x − Q(x) : Bruit de quantification

Θi = x : Q(x) = xbi : Régions de décision
Un quantificateur scalaire (QS) est complètement défini pas les
régions et les niveaux

M. Cagnazzo Quantification Scalaire et Prédictive 4/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Définition : Quantification scalaire (QS)

Q : x ∈ R → y ∈ C = {xb1 , xb2 , . . . xbL } ⊂ R

xb7

xb6

xb5
t0 t1 t2 t3 t4
t5 t6 t7 t8

xb4

xb3

xb2
xb1

M. Cagnazzo Quantification Scalaire et Prédictive 5/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Exemple 1

x(n)

0.5

−0.5

−1

0 5 10 15 20 25 30

M. Cagnazzo Quantification Scalaire et Prédictive 6/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Exemple 1

x(n)

0.5

−0.5

−1

0 5 10 15 20 25 30

M. Cagnazzo Quantification Scalaire et Prédictive 6/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Exemple 1

x(n)
y(n)=Q[x(n)]
1

0.5

−0.5

−1

0 5 10 15 20 25 30

M. Cagnazzo Quantification Scalaire et Prédictive 6/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Exemple 1

y(n)=Q[x(n)]
e(n)=x(n)−y(n)
1

0.5

−0.5

−1

0 5 10 15 20 25 30

M. Cagnazzo Quantification Scalaire et Prédictive 6/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Exemple 2

x(n)
y(n)=Q[x(n)]
1

0.5

−0.5

−1

0 5 10 15 20 25 30

M. Cagnazzo Quantification Scalaire et Prédictive 7/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Exemple 2

y(n)=Q[x(n)]
e(n)=x(n)−y(n)
1

0.5

−0.5

−1

0 5 10 15 20 25 30

M. Cagnazzo Quantification Scalaire et Prédictive 7/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Définitions : Quantificateur régulier

Typiquement on considère un QS régulier :


1) Θi = (t i−1 , t i ), avec t ℓ ∈ R̄
2) xbi ∈ Θi

t0 t i−1 ti tL

xbi

Θi

M. Cagnazzo Quantification Scalaire et Prédictive 8/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantificateur régulier

Dans la suite on considérera uniquement des quantificateurs


réguliers
Pour un quantificateur régulier :

t 0 < xb1 < t 1 < xb2 < t 2 < . . . < xbL < t L

Si le signal d’entrée est non-limité, t 0 = −∞ et t L = +∞


Les t i sont appelés seuils de décision
On définit ∆i la longueur de Θi
Les ensembles T = {t i } et C = {xbi } définissent
complètement un QS régulier

M. Cagnazzo Quantification Scalaire et Prédictive 9/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification d’un signal discret

Typiquement on quantifie une suite (un signal discret) avec


un QS régulier
Les signaux d’intérêt ont une dynamique limitée [−A, A]
Dans ce cas, t 0 = −A et t L = +A, toutes les régions sont
finies, et l’erreur maximum est bornée
La quantification consiste donc à associer à chaque
échantillon d’entrée x(n) un indice i(n), qui détermine la
région de décision, c.-à.-d. le mot de code xbi(n)

M. Cagnazzo Quantification Scalaire et Prédictive 10/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification comme codage/décodage

x(n) i(n) xb (n)


E D

Θi C

Ce que le codeur envoie c’est les i(n)


Le “décodage” associe à i(n) le mot de code xbi(n)
Souvent (avec abus de langage) on appel quantification
l’application x → i et quantification inverse le décodage
i → xbi

M. Cagnazzo Quantification Scalaire et Prédictive 11/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Débit d’un QS

Le débit d’un QS est le nombre de bit nécessaire pour


représenter les indices i(n)
Par définition, R = log2 L
Cela correspond à un codeur à longueur fixe et à un
nombre de niveaux que soit une puissance entière de 2
On verra dans le cours de codage sans pertes qu’il est
souvent possible de réduire ce coût de codage

M. Cagnazzo Quantification Scalaire et Prédictive 12/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Distorsion

On définit la distorsion ponctuelle comme l’erreur


quadratique :
2
d [x(n), xb(n)] = |e(n)|2 = x(n) − xb(n)

Si on considère tout le signal x(·) de durée N, on utilise


comme distorsion l’erreur quadratique moyenne :
N−1
1 X
D= d [x(n), xb(n)]
N
n=0

M. Cagnazzo Quantification Scalaire et Prédictive 13/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Distorsion : cas aléatoire

Souvent on utilise des modèles aléatoires centrés pour les


signaux. Dans ce cas, l’EQM associé à la QS du
processus aléatoire X est :
n o n o
D = E |X (n) − Q(X (n))|2 = E |E (n)|2

La distorsion est donc la puissance du processus aléatoire


E (n) = X (n) − Q(X (n))
2
On indiquera la distorsion d’un QS comme σQ

M. Cagnazzo Quantification Scalaire et Prédictive 14/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Distorsion : modèles pour le signal de bruit

E (n)
Un modèle commun pour
la quantification est le X (n) b (n)
X
modèle additif

Le bruit de quantification est donc vu comme un bruit


additif
E (n) et X (n) sont modelés comme incorrelés
E (n) est modelé comme uniforme
E est un processus blanc (corrélation impulsionnelle)

M. Cagnazzo Quantification Scalaire et Prédictive 15/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Courbe débit/distorsion d’un QS

Souvent on caractérise un QS par rapport au


nombre de niveaux L
Le débit croit avec L : R = log2 L
Pour tout les cas d’intérêt, la distorsion décroit
avec L, mais la relation explicite entre D et L
est plus difficile à déterminer
En général, un QS est donc caractérisé par une courbe
paramétrique R(L), D(L)
Il est intéressant de trouver la relation explicite entre D et R :
c’est la courbe débit/distorsion D = D(R)

M. Cagnazzo Quantification Scalaire et Prédictive 16/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme

Un QS uniforme (QU) est caractérisé par :


Régions de décision d’amplitude fixe : ∀i, t i = t i−1 + ∆
Les niveaux de restitution sont les centres des régions :
i i−1
xbi = t +t2
Le QU est simple, minimise l’erreur maximale et est optimale
pour des v.a. uniformes.
On a encore :
∆i = ∆ = 2A/L

M. Cagnazzo Quantification Scalaire et Prédictive 17/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme : calcul de la distorsion


h i
b )2
2 = E (X − X
Hypothèse : X ∼ U (−A, A). Trouver σQ

M. Cagnazzo Quantification Scalaire et Prédictive 18/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme : calcul de la distorsion


h i
b )2
2 = E (X − X
Hypothèse : X ∼ U (−A, A). Trouver σQ

h i Z A
2
σQ b )2
=E (X − X = pX (u)[u − Q(u)]2 du
−A

M. Cagnazzo Quantification Scalaire et Prédictive 18/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme : calcul de la distorsion


h i
b )2
2 = E (X − X
Hypothèse : X ∼ U (−A, A). Trouver σQ

h i Z A
2
σQ b )2
=E (X − X = pX (u)[u − Q(u)]2 du
−A
L Z
X L Z x i +∆/2
1 1 X b
... = [u − xbi )]2 du = [u − xbi )]2 du
Θi 2A 2A xbi −∆/2
i=1 i=1
L Z ∆/2
X
1 1 ∆3 ∆2
= t 2 dt = L =
2A −∆/2 2A 12 12
i=1

En effet le bruit de quantification dans ce cas est une v.a.


uniforme en (−∆/2, ∆/2)

M. Cagnazzo Quantification Scalaire et Prédictive 18/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme : courbe D(R)

∆2 4A2 A2
D= = = =σX2 2−2R
12 12L2 3 · 22R
On peut mesurer la qualité par le rapport signal sur bruit :

E X2 σ2
SNR = 10 log10 = 10 log10 2 X−2R
D σX 2
= 10 log10 22R ≈ 6R

M. Cagnazzo Quantification Scalaire et Prédictive 19/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme en haute résolution

Hypothèse : L → +∞, X v.a. quelconque


En HR, pour tout Θi on approxime pX comme constante.

Donc le bruit de quantification en Θi est U − ∆ ∆
2, 2

Pour la probabilité totale, E ∼ U − ∆ ∆
2, 2
Donc :
∆2 A2 −2R
D= = 2
12 3

M. Cagnazzo Quantification Scalaire et Prédictive 20/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification uniforme en haute résolution

On peut écrire :

E X2 σX2 2R γ2
SNR = 10 log10 = 10 log10 2 ≈ 6R − 10 log10
D A2 /3 3
2
Xmax A2
où on a définit γ 2 = σX2
= σx2
rapport entre puissance de crête
et puissance moyenne (facteur de charge)
On trouve encore :

A2 −2R γ 2 2 −2R
D= 2 = σ 2 = KX σX2 2−2R
3 3 X
Le facteur de charge est donc un paramètre unique qui
caractérise les performance de la QU en HR.

M. Cagnazzo Quantification Scalaire et Prédictive 21/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Image Originale, 24 bpp

M. Cagnazzo Quantification Scalaire et Prédictive 22/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 21 bpp PSNR 47.19 dB TC 1.143

M. Cagnazzo Quantification Scalaire et Prédictive 23/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 18 bpp PSNR 42.38 dB TC 1.333

M. Cagnazzo Quantification Scalaire et Prédictive 24/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 15 bpp PSNR 36.97 dB TC 1.600

M. Cagnazzo Quantification Scalaire et Prédictive 25/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 12 bpp PSNR 31.40 dB TC 2.000

M. Cagnazzo Quantification Scalaire et Prédictive 26/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 9 bpp PSNR 29.26 dB TC 2.667

M. Cagnazzo Quantification Scalaire et Prédictive 27/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 6 bpp PSNR 27.83 dB TC 4.000

M. Cagnazzo Quantification Scalaire et Prédictive 28/64


Introduction
Définitions
QS optimale
Quantification uniforme
QS prédictive

Quantification scalaire : exemple sur image couleurs


Débit 3 bpp PSNR 25.75 dB TC 8.000

M. Cagnazzo Quantification Scalaire et Prédictive 29/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Plan

1 Introduction
Définitions
Quantification uniforme

2 Quantification scalaire optimale


Quantification optimale en HR
Algorithme de Lloyd-Max

3 Quantification scalaire prédictive


Gain de prédiction

M. Cagnazzo Quantification Scalaire et Prédictive 30/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale

Pour une densité de probabilité pX (x) donnée, déterminer le


quantificateur qui minimise la distorsion pour un débit donné.
Problème équivalent à déterminer les seuils t i et les niveaux xbi .
Solutions :
Solution analytique en haute résolution: D = hX σx2 2−2R
Si l’hypothèse de haute résolution n’est pas satisfaite, on
peut atteindre un minimum local de la distorsion avec
l’algorithme de Max-Lloyd

M. Cagnazzo Quantification Scalaire et Prédictive 31/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution

En hypothèse de haute résolution (L → +∞),

∀x ∈ Θi = (t i−1 , t i ), pX (x) ≈ pX (xbi )


∀i ∈ {1, . . . , L}, ∆(i) → 0
t i−1 + t i
∀i ∈ {1, . . . , L}, xbi =
2
On définit ∆(i) = t i − t i−1 et P(i) = Prob{X ∈ Θi }
En HR, P(i) = pX (xbi )∆(i)

M. Cagnazzo Quantification Scalaire et Prédictive 32/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution


2 :
Distorsion σQ
L
X Z ti
2
σQ = pX (xbi ) (u − xbi )2 du
i=1 t i−1

Comme
Z ti Z ∆(i)/2
∆(i)3
bi 2
(u − x ) du = u 2 du =
t i−1 −∆(i)/2 12
On a
L
2 1 X
σQ = P(i)∆(i)2
12
i=1
Le problème devient donc : rechercher les amplitudes des
2 = 1 E{∆2 }
intervalles qui minimisent σQ 12
M. Cagnazzo Quantification Scalaire et Prédictive 33/64
Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution

2 = 1 PL 2
Minimisation de σQ 12 i=1 P(i)∆(i)
Posons α3 (i) = pX (xbi )∆3 (i) = P(i)∆(i)2 .
L
X L
X Z
1 1
α(i) = [pX (xbi )] 3 ∆(i) ≈ [pX (u)] 3 du = cste
i=1 i=1 R

Donc on doit minimiser la somme de cubes de L nombres


positifs ayant somme constante.
Solution : α(1) = α(2) = · · · = α(L)

M. Cagnazzo Quantification Scalaire et Prédictive 34/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution


Tous les α3 (i) ont la même valeur : α3 (i) = α3
Donc
L
2 1 X 3 L 3
σQ = α (i) = α
12 12
i=1

Mais comme
L Z
1X 1 1
α= α(i) = [pX (u)] 3 du
L L R
i=1

Alors
Z 3
2 1 1
σQ = [pX (u)] du 3
12L2 R
C’est la formule de Bennett
M. Cagnazzo Quantification Scalaire et Prédictive 35/64
Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution

X
Soit U = σX
1
Si U ∼ pU (u), alors X ∼ σX pU ( σuX )
Calculer la distorsion de quantification optimale de X en fonction
de pU et σX

M. Cagnazzo Quantification Scalaire et Prédictive 36/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution

X
Soit U = σX
1
Si U ∼ pU (u), alors X ∼ σX pU ( σuX )
Calculer la distorsion de quantification optimale de X en fonction
de pU et σX

Z Z   Z
1 1 1/3 x 2/3 1/3
[pX (x )] dx
3 = 1/3
pU dx = σX pU (t)dt
R σX R σX R

x dx
Avec t = σX et dt = σX .
Donc :
Z 3
1 1/3
2
σQ = 2−2R σX2 pU (t)dt
12 R

M. Cagnazzo Quantification Scalaire et Prédictive 36/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution

2 = c σ 2 2−2R avec
Donc σQ X X

Z 3
1 1/3
cX = pU (t)dt
12 R

cX est appelé facteur de forme, car il dépend seulement de la


forme de la PDF de X (c.-à.-d. de pU ) et pas de sa variance

Facteurs de forme pour PDF communes :


Uniforme Gaussienne

3
cX 1 2 π ≈ 2.72

M. Cagnazzo Quantification Scalaire et Prédictive 37/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution

Pour le quantificateur optimale, α(1) = α(2) = · · · = α(L)


Donc : pX (xb1 )∆3 (1) = pX (xb2 )∆3 (2) = · · · = pX (xbL )∆3 (L).
Mais si X est uniforme, pX (xb1 )=pX (xb2 )= · · · pX (xbL ) et donc :

∆(1) = ∆(2) = · · · = ∆(L)

Le quantificateur optimale pour une v.a. uniforme est le QU

Pour les autres v.a.,


1/3
pX (xbi )∆(i) = α ⇒ ∆(i) ∝ pX (xbi )−1/3

M. Cagnazzo Quantification Scalaire et Prédictive 38/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution


Variable uniforme

1 2
Pour une v.a. uniforme, pX = 2A Rect−A,A (x), σX2 = A3
√ 1
Alors pour U = 3X /A on a pU (t) = 2√ 3
Rect−√3,√3 (t) et :

M. Cagnazzo Quantification Scalaire et Prédictive 39/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution


Variable uniforme

1 2
Pour une v.a. uniforme, pX = 2A Rect−A,A (x), σX2 = A3
√ 1
Alors pour U = 3X /A on a pU (t) = 2√ 3
Rect−√3,√3 (t) et :

Z 3 "Z √  1/3 #3
3
1/3 1
pU (t)dt = √ √ dt
R − 3 2 3
"Z √ #3
1 3
1  √ 3
= √ · √ dt = √ 2 3 = 12
2 3 − 3 2 3
cX = 1
D = σX2 2−2R
SNR = 6R

M. Cagnazzo Quantification Scalaire et Prédictive 39/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution


Variable gaussienne

2
√1 e 2
−t
pU (t) =

M. Cagnazzo Quantification Scalaire et Prédictive 40/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale en haute résolution


Variable gaussienne

2
√1 e 2
−t
pU (t) =

Z 3 "Z #3
1/3 1 2
− t6
pU (t)dt = e dt
R R (2π)1/6
"Z √ #3
1 2π3 − t 2 √ 3 √
=√ √ e 2·3 dt = (2π)−1/2 2π3 = 6π 3
2π R 2π3

3
cX = π
2
D = cX σX2 2−2R
SNR = 6R − 4.35dB

M. Cagnazzo Quantification Scalaire et Prédictive 40/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale non-HR

Les hypothèses d’haute résolution ne sont pas toujours


respectées
Les cas plus intéressants sont au contraire ceux où le
débit disponible est faible
On dispose pas de formules pour la quantification
optimale à faible débit
En revanche, on peut trouver des conditions nécessaires
et pour avoir un QO
Ces conditions permettent de déterminer un algorithme de
quantification (algorithme de Lloyd-Max)

M. Cagnazzo Quantification Scalaire et Prédictive 41/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Formulation du problème

Un quantificateur régulier est caractérisé par l’ensemble


des seuils T = {t 0 , t 1 , t 2 , . . . , t L } et l’ensemble des niveau
C = {xb1 , xb2 , . . . , xbL }
L’optimisation devrait se faire conjointement sur C et T
Par contre on a des conditions nécessaires d’optimalité:
Pour C étant donné T ; et
pour T étant donné C.

M. Cagnazzo Quantification Scalaire et Prédictive 42/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Condition du plus proche voisin

Les niveaux sont donnés, on doit choisir les seuils


L’objectif est de minimiser la distorsion :

Θi = {x ∈ R : ∀j 6= i, d (x, xbi ) ≤ d (x, xbj )}

Cette équation est appelée règle du plus proche voisin

M. Cagnazzo Quantification Scalaire et Prédictive 43/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Condition du plus proche voisin

Les niveaux sont donnés, on doit choisir les seuils


L’objectif est de minimiser la distorsion :

Θi = {x ∈ R : ∀j 6= i, d (x, xbi ) ≤ d (x, xbj )}

Cette équation est appelée règle du plus proche voisin


Cela se traduit, pour les seuils :

xbi + xbi+1
ti =
2

M. Cagnazzo Quantification Scalaire et Prédictive 43/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Condition du centroïd

Les seuils sont donnés, il faut optimiser le dictionnaire


On doit minimiser la distorsion
h i Z h i
2
D(C) = E (X − Q(X )) = pX (x) (x − Q(x))2 dx
R
L Z
X t i+1
= pX (x)(x − xbi )2 dx
i=1 ti

On impose
∂D
=0
∂ xbi

M. Cagnazzo Quantification Scalaire et Prédictive 44/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Condition du centroïd

On trouve :
Z t i+1
∂D ∂
= pX (x)(x − xbi )2 dx
∂ xbi ∂ xbi t i
Z t i+1 Z t i+1
=2 xpX (x)dx − 2xbi pX (x)dx = 0
ti ti
R t i+1
i xpX (x)dx
xbi = Rt t i+1 = E[X |X ∈ Θi ]
ti pX (x)dx

C’est la condition du centroïd

M. Cagnazzo Quantification Scalaire et Prédictive 45/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Quantification optimale
Algorithme de Lloyd-Max

Algorithme de Lloyd-Max
1 initialiser les régions (p.e. uniforme)
2 trouver les meilleures régions pour le dictionnaire donné

xbi + xbi+1
ti = , i ∈ {1, . . . , L − 1}
2
3 trouver le meilleur dictionnaire pour les régions données
R
Θ xpX (x)dx
xbi = E [X |X ∈ Θi ] = R i
Θi pX (x)dx

4 boucler en 2 jusqu’à la convergence

M. Cagnazzo Quantification Scalaire et Prédictive 46/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Algorithme de Lloyd-Max pour les données

On a pas toujours les distributions de probabilités des signaux,


souvent on a seulement un ensemble de M observations
L’algorithme de Lloyd-Max se modifie comme il suit :
1 Soit X = {u1 , u2 , . . . uM } l’ensemble des données à
quantifier
2 Initialisation (k =0) avec un dictionnaire quelconque (p.e.
uniforme) : C (k ) = {xb0i }i=1,...L
3 Règle du plus proche voisin :

Wki = {um ∈ X : ∀j 6= ikum − xbki k ≤ kum − xbkj k}


1
P
4 Règle du centroïd : xbki +1 = |Wki | um ∈Wki um
5 Boucler en 3 jusqu’à convergence

M. Cagnazzo Quantification Scalaire et Prédictive 47/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Convergenze de l’algorithme de Lloyd-Max

Rien n’assure la convergence à l’optimum global


Le résultat depend de l’initialisation
En tout cas, à chaque itération la distorsion n’augmente
pas
Critère d’arrêt :
Soit D (k ) la distorsion du k -ème quantificateur
Une condition d’arrêt typique est :

D (k ) − D (k +1)
≤ǫ
D (k )

M. Cagnazzo Quantification Scalaire et Prédictive 48/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Initialisation de LM

Initialisation uniforme : xbn − A0 + n∆∀n = 1, . . . , L


Initialisation aléatoire : les mots de code sont distribués
comme le signal d’entrée ou comme un signal qui optimise
les performances RD
Pruning
Pairwise nearest neighbours

M. Cagnazzo Quantification Scalaire et Prédictive 49/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Algorithme de Lloyd-Max

M. Cagnazzo Quantification Scalaire et Prédictive 50/64


Introduction
Quantification optimale en HR
QS optimale
Algorithme de Lloyd-Max
QS prédictive

Bilan de la quantification scalaire

D(R), QU et v.a. uniforme : D = σX2 2−2R


D(R), QU et v.a. non uniforme en HR : D = KX σX2 2−2R
2 = c σ 2 2−2R
D(R), QO et v.a. non uniforme en HR : σQ X X
cX est une constante qui dépend de la distribution de X
(facteur de forme)
cX = 1√ dans le cas uniforme
cX = 23 π dans le cas gaussien
À faible resolution, LM produit un QNU localement optimale

M. Cagnazzo Quantification Scalaire et Prédictive 51/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Plan

1 Introduction
Définitions
Quantification uniforme

2 Quantification scalaire optimale


Quantification optimale en HR
Algorithme de Lloyd-Max

3 Quantification scalaire prédictive


Gain de prédiction

M. Cagnazzo Quantification Scalaire et Prédictive 52/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Codage prédictive
Principes

La seule quantification est peu efficace pour la


compression
Modèle soujacent trop simple : échantillons indépendants
et tous également importants
Idée : exploiter la corrélation entre échantillon par une
prédiction
Réduction de la variance

M. Cagnazzo Quantification Scalaire et Prédictive 53/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Schéma de codage
Schéma en boucle ouverte

L’échantillon X (n) est lié au échantillons passés (et futurs)


On utilise les voisins de X (n) pour le prédire
Si on fait un bonne prédiction, Xb (n) ≈ X (n)
x(n) y(n) yb(n) xb(n)
Q

v(n) v(n)

Comment on fait la prédiction ?


Qu’est-ce qu’on gagne ?

M. Cagnazzo Quantification Scalaire et Prédictive 54/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Gain de prédiction

Erreur sur la prédiction = erreur sur le signal :

q(n) = y(n) − yb(n) = x(n) − v(n) − xb(n) + v(n) = q̄(n)

Donc l’objectif de la QS prédictive devient celui de minimiser la


distorsion de y
Gain de codage :

σX2 σ2 σ2
SNRp = 10 log10 = 10 log10 X2 + 10 log10 Y = GP + GQ
D σY D

La prédiction doit produire un signal d’erreur dont la variance


est inférieure à la variance du signal d’origine

M. Cagnazzo Quantification Scalaire et Prédictive 55/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Exemple

X (n) ∼ N (0, σ 2 ) E [X (n)X (m)] = σ 2 ρ|n−m|


V (n) = X (n − 1) ρ : GP > 0 ?

M. Cagnazzo Quantification Scalaire et Prédictive 56/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Exemple

X (n) ∼ N (0, σ 2 ) E [X (n)X (m)] = σ 2 ρ|n−m|


V (n) = X (n − 1) ρ : GP > 0 ?

Y (n) = X (n) − X (n − 1) v.a. Gaussienne centrée


h i
σY2 = E (X (n) − X (n − 1))2 = 2σ 2 − 2σ 2 ρ
σX2 σ2
GP = 10 log10 = 10 log10
σY2 2(1 − ρ)σ 2
1
GP > 0 ⇔ ρ >
2

M. Cagnazzo Quantification Scalaire et Prédictive 56/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Prédicteurs
On s’intéressera aux prédicteurs linéaires : simples et
optimaux dans le cas Gaussien
P
X
v(n) = − ai x(n − i) Filtre de prédiction à P paramètres
i=1
P
X
y(n) = x(n) − v(n) = ai (xn − 1) Erreur de prédiction
i=0

Avec a0 = 1.
On peut donc voir y comme filtrage de x avec le filtre de
fonction de transfert :
A(z) = 1 + a1 z −1 + . . . + aP z −P
Filtre optimale : minimisation de σY2
M. Cagnazzo Quantification Scalaire et Prédictive 57/64
Introduction
QS optimale Gain de prédiction
QS prédictive

Modèle AR du signal

Y (z)
Si Y (z) = A(z)X (z), X (z) = A(z)
On montre que, si la prédiction est optimale, Y (z) est du
bruit blanc de puissance σY2
σY2
Dans ce cas, la DSP de X est SX (f ) = |A(f )|2
Le modèle sous-jacente pour X est celui d’un signal
auto-regressif :

Y (z)
X (z) = ⇔
1 + a1 z −1 + . . . + aP z −P
x(n) + a1 x(n − 1) + . . . + aP x(n − P) = y(n)

x(n) est donc le filtrage AR de y(n)

M. Cagnazzo Quantification Scalaire et Prédictive 58/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Choix du prédicteur

Problème :
Trouver le vecteur (filtre linéaire) a qui minimise :
" #2 
n o  XP 
2 2
σY = E Y (n) = E X (n) + ai X (n − i)
 
i=1

M. Cagnazzo Quantification Scalaire et Prédictive 59/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Choix du prédicteur

n o P
X P X
X P
σY2 = E X 2 (n) + 2 ai E{X (n)X (n − i)} + ai aj E{X (n − i)X (n − j)}
i=1 i=1 j=1

= σX2 t t
+ 2r a + a RX a

avec :
 
rX (0) rX (1) ... rX (P − 1)
 rX (1) rX (2) ... rX (P − 2)
r = [rX (1) . . . rX (P)] RX =  
 ... ... ... ... 
rX (P − 1) rX (P − 2) ... rX (0)
rX (k ) = E{X (n)X (n − k )}

M. Cagnazzo Quantification Scalaire et Prédictive 60/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Choix du prédicteur

Minimisation de la variance de Y :
∂σY2
= 2r + 2RX a = 0
∂a

On a donc :

aopt = −R−1
X r σY2 = σX2 + r t aopt

L’autocorrélation rX peut généralement être estimé avec :

1 X
b
rX (k) = N − 1 − k X (n)(X (n + k)
N
n=0

M. Cagnazzo Quantification Scalaire et Prédictive 61/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Gain de prédiction

Gain de prédiction : rapport entre la puissance de l’erreur


sans et avec prédiction.

cσX2 2−2R σX2


GP (P) = 10 log10 = 10 log10 2
cσY2 2−2R σY
σX2 σX2 rX (0)
2
= 2 t opt
= PP opt
σY σX + r a rX (0) + i=1 ai rX (i)

Quand i croît, les rX (i) sont normalement de plus en plus


petits (la corrélation entre des échantillons éloignés est de
plus en plus petite)

M. Cagnazzo Quantification Scalaire et Prédictive 62/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Gain de prédiction

σX2 σX2
On peut montrer que : σY2
= [det R P ]1/P
Valeur asymptotique du gain de prédiction
σX2
GP = limP→+∞ [det R P ]1/P
Cette valeur est liée au dégrée de corrélation du signal
On peut montrer que :
R 1/2 PN−1 
−1/2 SX (f )df
1 k
N k =0 SX N
GP = R  ≈   N1
1/2
exp −1/2 ln SX (f )df ΠkN−1
=0 SX
k
N

Rapport entre moyennes arithmétiques et géométriques

M. Cagnazzo Quantification Scalaire et Prédictive 63/64


Introduction
QS optimale Gain de prédiction
QS prédictive

Schéma de codage
Schéma prédictif (DPCM) complet (boucle fermée)

Encodeur : Décodeur :
X (n) V (n) b (n)
V b (n)
V b (n)
X
Q
b (n)
V
Y (n) b (n) Y (n) b (n)
X X
P P

Y (n)

M. Cagnazzo Quantification Scalaire et Prédictive 64/64

Vous aimerez peut-être aussi