Vous êtes sur la page 1sur 21

Thorie de lInformation et Codage de Source

Exercices de cours corrigs


Olivier Rioul
Janv. 2006

Polycopi Information et Codage par O. Rioul et P. Duhamel


Cours : ENSTA/SIC/ES204 et LMD/SATS/CDS

I Exercices pour le chapitre 1 :


Outils de la thorie de linformation
Dbit dun modem tlphonique.
Sur le rseau NUMERIS le signal de parole est chantillon 8 kHz (largeur
de bande maximale < 4 kHz par le thorme dchantillonnage de Nyquist).
Chaque chantillon du signal de parole est ensuite quantifi sur 256 niveaux
damplitude.
1. Calculer le taux de codage R et le dbit binaire correspondant en kb/s.

Variable gaussienne.
2. Calculer le moyenne est la variance de la v.a. X de distribution de probabilit :
(x)2
1

p(x) = p
e 22
22
o et 2 > 0 sont des paramtres. Commenter.

Formule de Bayes. Traitement rciproque


3.

(a) Montrer la formule de Bayes :


p(y|x)p(x)
p(x|y) = Z
.
P
p(y|x)p(x)
x

(b) Commenter cette formule en considrant le traitement rciproque


dentre Y et de sortie X .

Chanes de Markov.
4.

(a) En saidant de la formule p(x, y) = p(x)p(y|x), montrer la mme formule conditionne par z :
p(x, y|z) = p(x|z)p(y|x, z)
(b) En dduire que X Y Z forme une chane de Markov si et seulement si X et Z sont indpendants sachant y, i.e. :
p(x, z|y) = p(x|y)p(z|y)
(c) Montrer que si X Y Z est une chane de Markov, alors la chane
rciproque Z Y X lest aussi.

Positivit de la divergence.
5.

(a) Montrer que la fonction logarithme est strictement concave.


(b) En dduire lingalit de Jensen :
E log2 f (X ) log2 E f (X )
avec galit si et seulement si la fonction f est constante p.p.
(c) En considrant D(p, q) dmontrer le rsultat fondamental du cours
concernant la positivit de la divergence.
(d) Retrouver ce rsultat avec lingalit loge x x 1.

Proprits de lentropie.
On considre lentropie H (X ) dune v.a. discrte X (pouvant prendre un nombre
fini M de valeurs).
6.

(a) Montrer que H (X ) est une auto-information H (X ) = I (X , X ). Interprter ce rsultat.


(b) Montrer que H (X ) 0 et dterminer le cas dgalit.
(c) En saidant du rsultat fondamental sur les divergences (ingalit de
Gibbs), montrer que H (X ) log2 M et dterminer le cas dgalit.

La connaissance rduite lincertitude.


7.

(a) Montrer et interprter (dans le cas de v.a. discrte) lingalit suivante :


H (Y |X ) H (Y ).
(b) La connaissance rduit-elle toujours lincertitude ?

Entropie diffrentielle et entropie absolue.


On considre une v.a. continue X que lon quantifie uniformment avec un
pas de quantification q pour obtenir une v.a. discrte [X ].
R
1
8. (a) En approximant lintgrale H (X ) = x p(x) log2 p(x)
par une somme
de Riemann, tablir que
H (X ) H ([X ]) log2 (1/q)
(b) Interprter ce rsultat lorsque q 0 et expliquer le terme entropie
diffrentielle.

II Exercices pour le chapitre 2 :


Application de la thorie de linformation au codage
Dmontration du thorme du traitement de donnes.
1.

(a) A laide des deux formules p(x, y) = p(x)p(y|x) et p(x, y|z) = p(x|z)p(y|x, z)
(voir exo leon 1), dmontrer la formule :
I ((X , Y ); Z ) = I (X , Z ) + I (Y , Z |X )
(b) On considre dornavant une chane de Markov X Y Z . Dvelopper I ((X , Y ); Z ) de deux manires diffrentes et en dduire le
thorme du traitement de donnes dans un cas particulier : I (Y , Z )
I (X , Z ).
(c) Sachant que Z Y X est galement une chane de Markov (voir
exo leon 1), montrer que I (X , Y ) I (X , Z ).
(d) En dduire lnonc gnral du thorme du traitement de donnes.

Fonction taux-distorsion : Cas extrmes.


On considre la fonction taux-distorsion R(D) pour une source sans mmoire.
2.

(a) Cas D = 0 (codage sans pertes). Etablir la borne de Shannon R(D = 0)


dans ce cas. Commenter
(b) Cas R = 0 (pas de transmission). Etablir D la borne de Shannon
R(D) = 0 dans ce cas. Commenter.

Entropie dune source gaussienne.


3.

(a) Calculer lentropie diffrentielle H (X ) lorsque X est une v.a. gaussienne. Commenter.
(b) Montrer que lentropie dune v.a. X de variance 2 est maximale lorsque
X est gaussienne.
3

Fonction taux-distorsion : Cas gaussien.


On considre une source gaussienne sans mmoire de moyenne nulle et de
variance 2 .
4.

(a) Montrer que R(D) = H (X ) max H (X |Y ).


(b) Trouver le maximum de lentropie conditionnelle sachant que H (X |Y ) =
H (X Y |Y ) H (X Y ). Justifier que ce maximum peut tre effectivement atteint.
(c) En dduire lexpression cherche de R(D).

III Exercices pour le chapitre 3 :


Codage entropique longueur variable
Condition du prfixe.
1.

(a) Justifier quun code vrifiant la condition du prfixe est dcodable


de manire instantane.
(b) Rciproquement, montrer quun code instantan vrifie la condition
du prfixe.
(c) En utilisant les rsultats du cours sur lingalit de Kraft-McMillan,
montrer que tout code u.d. peut tre remplac par un code instantan ( prfixe) de mme distribution de longueurs et donc de mme
taux. Commenter.

Dmonstration de lingalit de Kraft-McMillan.


2.

(a) Montrer que pour un code u.d., toute squence de l bits peut se dcomposer dau plus une faon comme concatnation de mots de
codes c i 1 c i 2 c i k o l i 1 + l i 2 + + l i k = l .
(b) En dduire que le nombre total Nl (k) de concatnations possibles de
k mots de codes donnant une squence code de longueur totale l
bits vrifie lingalit : Nl (k) 2l .
(c) Montrer par ailleurs que
(

M
X

x l i )k =

i =1

Nl (k)x l

(d) Conclure en faisant x = 1/2 et k .

Construction dun code instantan.


On se donne une distribution de longueurs l 1 l 2 . . . l M vrifiant lingalit de Kraft-McMillan. A chaque mot de code c i ( trouver) on associe le nombre
4

ci = 0, c i [0, 1[ dont les dcimales de lcriture en base 2 est forme des bits de
c i . On note I i lintervalle I i = [ci ; ci + 2l i [.
Par exemple, c i = 010 donne ci = 0, 010 = 14 . et I i = [0, 010; 0, 011[= [ 41 ; 38 [ est
lensemble des nombres de [0; 1[ dont les dcimales en base 2 commencent par
ci .
3.

(a) Montrer que c i dtermine I i , et rciproquement.


(b) Montrer que le code est instantan si et seulement si les I i sont des
intervalles disjoints.
(c) Interprter lingalit de Kraft-McMillan sur les I i et en dduire un
algorithme de construction du code.
(d) Prciser cet algorithme sur des exemples pour l 1 l 2 . . . l M , en
commenant par c1 = 0.0 . . . 0, et en posant ci +1 = extrmit droite de
I i chaque tape.
(e) Que se passe-t-il si les l i ne vrifient pas lingalit de Kraft-McMillan ?
Donner un exemple.

Algorithme de Huffman. Prliminaires


On considre un code VLC optimal pour une source de distribution de probabilit p 1 p 2 p M .
4.

(a) Montrer que ncessairement l 1 l 2 l M (raisonner par labsurde en supposant p i > p j et l i > l j ). Commenter.
(b) Montrer que ncessairement lingalit de Kraft McMillan est une
P
galit (raisonner par labsurde en supposant i 2l i < 1, et montrer
qualors on peut remplacer l M par l M 1).
(c) Dduire du raisonnement de la question prcdente que l M 1 = l M ,
et quon peut toujours se ramener au cas o les deux mots de codes
c M 1 et c M ne diffrent que par le dernier bit.

Algorithme de Huffman.
On considre une source M -aire de distribution de probabilit p 1 p 2
p M . La rduction de Huffman consiste considrer la source (M 1)-aire,
0
dite rduite, de distribution de probabilit p 1 , p 2 , , p M 2 , p M
1 = p M 1 +p M
(on combine les deux symboles les moins probables).
On note {c 1 , . . . , c M 1 , c M } le code optimal cherch ( lordre M ). Daprs cidessus, c M 1 et c M ne diffrent que par le dernier bit ; on peut crire c M 1 =
0
0
[c M
1 0] et c M = [c M 1 1]
5.

(a) En comparant les taux de codage de la source initiale et de la source


rduite aprs rduction de Huffman, montrer que le code
0
{c 1 , . . . , c M 2 , c M
1 }

est optimal pour la source rduite.


5

(b) Donner un moyen de contruire le code optimal {c 1 , . . . , c M 1 , c M }


0
partir de {c 1 , . . . , c M 2 , c M
1 }.
(c) Par rductions de Huffman successives jusquau cas M = 2 (o le
code {0,1} est optimal), obtenir un algorithme de construction du
code {c 1 , . . . , c M 1 , c M }.
Indication : Il faut rordonner chaque tape les probabilits aprs
chaque rduction de Huffman.

IV Exercices pour le chapitre 4 :


Quantification scalaire.
Caractristique Dbit-Distorsion en haute rsolution
On effectue une quantification scalaire uniforme haute rsolution dune source
quelconque de variance 2 et de densit de probabilit support born dans
[A, A].
1.

(a) Calculer la distorsion en fonction du taux de quantification. On crira


le rsultat en fonction du facteur = A .
(b) Expliquer le terme 6 dB par bit pour qualifier la caractristique dbit/distorsion.

Minima locaux de lalgorithme de Lloyd-Max.


On considre un signal alatoire X de densit de probabilit :

1 pour 1 x 1.5
p(x) =

2 pour 1.25 x 1

0 sinon.

Il est quantifi scalairement sur 3 niveaux. On considre les deux solutions suivantes caractrises par la position des centrodes :
{1
2.

1
1
1
3
3
, 1 , 1.25} et {1 , 1 + , 1 + }
16
16
8
8
8

(a) Donner, pour chacune de ces solutions, les cellules de quantification


optimales.
(b) Vrifier que ces deux situations vrifient les conditions de convergence (point stationnaire) de lalgorithme de Lloyd-Max.
(c) Calculer la contribution la distorsion quadratique dune cellule du
type [q, q] correspondant une amplitude A de la densit de probabilit.

(d) En dduire les valeurs des distorsions totales dans les deux cas considrs. Quelle est la solution la meilleure ?
(e) Quen dduire sur lalgorithme de Lloyd-Max ? La fonction log p(x)
est-elle concave ?

Densit des cellules de quantification


1
reprsente la densit des cellules en valuant
3. Justifier que (x) = M q(x)
R
lintgrale I (x) d x prise sur un intervalle I .

Optimisation de la formule de Bennett


4.

(a) Dans la formule de Bennett, quelle est la densit des cellules (x) =
1
M q(x) qui minimise la distorsion ? Indication : Ecrire le lagrangien
correspondant.
(b) Calculer la distorsion minimale correspondante.
(c) Appliquer ces rsultats la source gaussienne.

Ralisation de la quantification scalaire non uniforme par non-linarits.


On ralise une quantification scalaire non uniforme dune source U de la
manire suivante : On transforme dabord la source X = f (U ) laide dune
fonction non lineaire f . On applique ensuite une quantification scalaire uniforme X qui fournit Y , et on applique enfin la non-linarit inverse V = f 1 (Y ).
5.

(a) Faire un dessin.


(b) Sous les hypothses de haute rsolution, dterminer la densit des
1
cellules (u) = M q(u)
en fonction de la non-linarit f .
(c) En dduire la non-linarit optimale qui rend la distorsion quadratique minimale, en fonction de la densit de probabilit de la source
p(u). Indication : Utiliser lexercice prcdent.

Quantification vectorielle
En quantification vectorielle en dimension n, on attribue chaque vecteur
de source X = (X 1 , X 2 , . . . , X n ) une tiquette binaire correspondant un centrode Y en dimension n.
6.

(a) Reprendre, dans le cas vectoriel, les conditions du plus proche voisin
et du centrode vues en cours.
(b) En dduire lalgorithme de Lloyd-Max dans ce cas.
(c) Montrer que lalgorithme de Lloyd-Max peut converger vers un minimum local, mme si log p(x) est concave.

Indication : On considrera pour cela une source uniforme X dans


lintervalle [1, 1] quantifie en dimension 2 sur 1 bit par chantillon
(cest dire 4 centrodes en 2 dimensions) et les deux situations suivantes :
1 1
centrodes y = ( , )
2 2
et
1
3
centrodes y = ( , 0) et ( , 0).
4
4

V Exercices pour le chapitre 5 :


Codage par transforme
Gain de Codage
1.

(a) Donner lingalit de concavit du logarithme.


(b) En dduire que le gain de codage par transforme est toujours 1.
Quel est le cas dgalit ?
(c) Donner un exemple de source pour laquelle le gain de codage est
toujours = 1.

Ingalit de Hadamard
Soit X un vecteur alatoire, de composantes X i de variance 2i . On dfinit la
matrice dautocovariance :
R = E (X X t ).
2.

(a) Donner les coefficients r i , j de la matrice R.


(b) Quelle est la forme particulire de R pour des composantes X i dcorrles ?
Xi
(c) Les composantes rduites sont X i0 =
. Donner la matrice dautocoi
0
0
variance R des X i en fonction de R.

(d) En dduire det R en fonction de det R 0 et des 2i .


(e) Montrer que det R 0 1 (raisonner sur les valeurs propres de R 0 ).
(f) En dduire lingalit de Hadamard :
det R

Y
i

Quel est le cas dgalit ?

2i

Transforme de Karhunen-Love
3.

(a) En considrant le gain de codage, montrer que la transforme optimale est celle qui minimise le produit des variances en sortie de la
transforme.
(b) A laide de lingalit de Hadamard, montrer que la transforme optimale est celle qui dcorrle la sortie.
(c) Comment obtenir la transforme optimale partir de R
= E (X X t ) ?
XX
Cette transforme sappelle la transforme de Karhunen-Love.
(d) Expliciter le gain de codage optimal.
(e) Pour quel type de source le codage par transforme savre-t-il inutile ? Est-il pour autant nuisible ?

Codage par transforme pour n = 2


U1
source X

Q1

C1

bits cods
U2

Q2

C2

On considre un schma de codage de source par transforme orthogonale


dont la partie codage est reprsente dans la figure. Chaque bloc de source

1
X = XX 12 est transforme en deux chantillons U
U2 = U avant dtre quantifi et
cod. On a donc :
U = T X
o T est la matrice de la transforme orthogonale (TTt = I).
Les quantificateurs sont scalaires uniformes et les codeurs entropiques sont
des codeurs de Huffmann. Pour chaque branche i (i = 1, 2), la distorsion quadratique moyenne de au quantificateur Q i est note D i et le taux binaire moyen
aprs codage de Huffmann C i est not R i .
On modlise les signaux en sortie de transforme par des sources laplaciennes
de variances 21 et 22 . On admet la relation :
D i = c2i 22Ri

pour i = 1, 2

o c est une constante.


4.

(a) Justifier, daprs le cours, que les distorsion quadratique moyenne


globale D et taux global R sont donns par :
D=

D1 + D2
2
9

et

R=

R1 + R2
2

(b) Justifier (sans calcul), daprs le cours, quaprs optimisation des taux
R 1 et R 2 la distorsion minimise est donn par la formule :
D = c1 2 22R
La matrice dautocorrlation du signal dentre X est donne par :
R = E(X X

) = 2X

o est un coefficient de corrlation (1 < < 1).


(c) Calculer la matrice dautocorrlation de U en fonction de R et T.
(d) En dduire la matrice dautocorrlation de U lorsque

1 1
T =
1 1
(On dterminera dabord la valeur de pour que T soit orthogonale).
(e) Justifier que la transforme optimale est celle donne la question
prcdente. Sous quel nom est-elle connue ?
(f) Donner lexpression de la distorsion D pour cette transforme en
fonction de c, 2x , et R.
(g) Quobserve-t-on si augmente ? Commenter.

10

Solutions
log M

I-1) M = 256 niveaux en dimension n = 1 do R = n2 = 8 bits/ch. Frquence dchantillonnage T1 = 2 4 = 8 kHz do un dbit = TR = 64 kb/s.
I-2) Moyenne E (X ) = E (X ) + . Le premier terme est nul (intgrale dune
fonction impaire), do E (X ) = .
2

R
x
Variance E (X )2 = p 1 2 x 2 e 22 par changement de variable. Une in2
2

R
x
tgration par parties donne E (X )2 = p 1 2 2 e 22 = 2
2

On retrouve bien les paramtres de moyenne et de variance 2 .


Z
Z
P
P
p(x,y)
I-3a) p(x|y) = p(y) avec p(x, y) = p(y|x)p(x) et p(y) = p(x, y) = p(y|x)p(x),
do la formule.
I-3b) Le traitement direct dentre X et de sortie Y est caractris par p(y|x).
Le traitement rciproque (dentre Y et de sortie X ) est caractris par p(x|y)
donn par la formule ci-dessus : ce traitement dpend non seulement du traitement direct, mais aussi de la distribution de probabilit de X (exemple : racine
carre probabiliste).
p(x,y,z)

p(x,z)

I-4a) p(x, y|z) = p(z) = p(z) p(y|x, z) = p(x|z)p(y|x, z). Cest la mme formule que p(x, y) = p(x)p(y|x), mais conditionne par z.
I-4b) La condition de Markov est p(z|x, y) = p(z|y). Or p(z|x, y)p(x|y) = p(x, z|y)
daprs la question prcdente. Do la condition quivalente de lnonc en
remplaant p(z|x, y).
I-4c) X et Z sont indpendants sachant Y si et seulement si Z et X sont indpendants sachant Y , do le rsultat.
I-5a) La drive seconde de log x est 1/x 2 < 0.
I-5b) Cest une ingalit de concavit stricte (Jensen) : la moyenne dun log est
infrieure au log de la moyenne, avec galit si et seulement si on moyenne sur
une constante.
q(X )

q(X )

I-5c) D(p, q) = E log p(X ) log E p(X ) = log 1 = 0 avec galit ssi q(x) p(x)
p.p., cest dire p = q (mme normalisation).
Z
P
q(X )
q(X )
I-5d) E log p(X ) E p(X ) 1 = q(x) 1 = 0
p(x,x)

p(x, x) log2 p(x)p(x) , or p(x, x) = P r ob{X = x et X = x} = p(x),


P
1
do aprs simplification : I (X , X ) = x p(x) log2 p(x)
= H (X ). Lentropie est la
quantit dinformation quapporte, en moyenne, une ralisation de X sur la connaissance de X elle-mme.

I-6a) I (X , X ) =

11

I-6b) On sait que linformation mutuelle est positive ou nulle, donc H (X ) =


I (X , X ) 0. Il y a galit H (X ) = I (X , X ) = 0 si et seulement si X est indpendant de lui-mme, cest dire p(x, x) = p(x)p(x), ou p(x) = 0 ou 1, ou encore : X
est une v.a. dterministe.
I-6c) Lingalit de Gibbs scrit

1
p(x) log2 p(x)

1
p(x) log2 q(x)
, do en pre-

1
nant q(x) = M
: H (X ) log2 M . Il ya galit ssi p(x) = q(x) =
dire que X est uniforme.

1
M

pour tout x, cest

I-7a) H (Y )H (Y |X ) = I (X , Y ) 0 Connatre X rduit lincertitude moyenne sur


Y.
I-7b) Toujours en moyenne, daprs la question prcdente. Mais on peut avoir
H (Y |X = x) H (Y ) pour un vnement X = x particulier.
I-8a)

1
p(x) log2 p(x)
dx

1
q = H ([X ]) log2 (1/q).
p(x i ) log2 p(x
i)

I-8b) Quand q 0, log2 q1 et donc H ([X ]) si lentropie diffrentielle


est finie. Lentropie diffrentielle est donc une diffrence de deux entropies (H ([x])
et log2 q1 ) chacune tendant vers linfini quand la prcision augmente.
II-1a) On divise membre membre les deux formules :
p(x, y|z) p(x|z) p(y|x, z)
=
p(x, y)
p(x) p(y|x)
et on prend la moyenne du logarithme, on obtient bien I ((X , Y ); Z ) = I (X , Z ) +
I (Y , Z |X ).
II-1b) Dune part I ((X , Y ); Z ) = I (X , Z ) + I (Y , Z |X ) et dautre part, en changeant les rles de X et Y : I ((X , Y ); Z ) = I (Y , Z ) + I (X , Z |Y ) avec I (X , Z |Y ) = 0
par la condition de Markov. Do en identifiant I (Y , Z ) = I (X , Z ) + I (Y , Z |X )
I (X , Z ).
II-1c) Echanger les rles de X et Z .
II-1d) Soit une chane de Markov quelconque X U V
Y . Alors I (X , Y ) I (U , Y ) (considrer la sous-chane X U Y ) puis
I (U , Y ) I (U ,V ) (considrer la sous-chane U V Y ). On obtient bien lingalit gnrale I (X , Y ) I (U ,V ).
II-2a) D = 0 revient dire X = Y , do I (X , Y ) = I (X , X ) qui est lentropie H (X )
dans le cas discret (et dans le cas continu). On trouve donc R(D = 0) gal
lentropie de la source (codage sans pertes).

12

II-2b) R(D) = 0 implique quau minimum sur p(y|x),


Z I (X , Y ) = 0 : X et Y sont

2
indpendants, p(y|x) = p(y), avec D E (X Y ) = p(y)E X (X y)2 Le miy

nimum de lesprance sur X sobtient pour y = E (X ) (auquel cas ce minimum


est gal la variance de X ). En prenant Y constant gal E (X ), on obtient donc
D = 2 comme valeur minimale de D. Ainsi R(D) = 0 D 2
p
(X )2
(X )2
1
1
2
2
II-3a) H (X ) = E log2 p(X
) = E log2 2 exp 22 = 2 log2 (2 )+(log2 e)E 22 =
1
1
2
2 log2 (2 ) + 2 log2 e

2
1
2 log2 (2e )

. Cette valeur est positive si 2

1
2e , n-

gative sinon. Lentropie diffrentielle nest pas ncessairement positive.


II-3b) Lingalit de Gibbs scrit

R
1
1
p(x) log2 p(x)
d x p(x) log2 q(x)
d x, do en

prenant q(x) = gaussienne, H (X ) 12 log2 (2e2 ) (mme calcul que pour la question prcdente). Il y a galit si et seulement si p = q, cest dire si X est gaussien.
II-4a) R(D) = min I (X , Y ) = min H (X )H (X |Y ) = H (X )max H (X |Y ) car H (X ) =
1
2
2 log2 (2e ) est constant.
II-4b) H (X |Y ) = H (X Y |Y ) par changement de variable, puis H (X Y |Y )
H (X Y ) (la connaissance rduit lincertitude, avec galit si et seulement si
lerreur X Y est indpendante de Y ), puis H (X Y ) 12 log2 (2eD) avec galit
si et seulement si lerreur X Y est gaussienne.
En rsum, le maximum de lentropie conditionnelle est effectivement atteint si X Y peut tre gaussien de variance D, indpendant de Y . Cest possible
lorsque D 2 , car
X = (X Y ) + Y
donne alors une somme de v.a. gaussiennes indpendantes qui est bien une
gaussienne. Pour que la variance de X soit 2 , il faut que celle de Y soit = 2
D 0. Par ailleurs si D 2 , on sait que R(D) = 0 (cf. ci-dessus).
II-4c) On trouve R(D) = 21 log2 (2e2 ) 21 log2 (2eD) pour D 2 , do
(
R(D) =

1
2
2 log2 D

si D 2

sinon.

III-1a) Ds que le dcodeur a lu l i bits dun mot de code c i , aucun autre mot de
code que c i ne peut tre dcod, et c i est dcod instantanment.
III-1b) Puisque le dcodeur dcode instantanment tout mot de code c i , aucun
autre mot de code ne peut commencer par les l i bits de c i .

13

III-1c) Tout code u.d. admet une distribution de longueur vrifiant lingalit de
Kraft-McMillan. Puisque cette ingalit est satisfaite, il existe (construction de
Kraft) un code instantan de mme distribution de longueurs et donc de mme
taux. On peut donc toujours se restreindre la recherche de codes instantans
(si le critre porte sur le taux uniquement).
III-2a) Cest la dfinition mme du dcodage instantan.
III-2b) Le nombre total de suites de l bits est 2l , et daprs la question prcdente, chaque suite de ce type peut se dcomposer dau plus une faon comme
concatnation de k mots de codes. Do Nl (k) 2l .
III-2c)
(

M
X

x l i )k =

i =1

XX

i1 i2

x l i 1 +l i 2 ++l i k

ik

Nl (k)x l

en regroupant suivant l

P
P
III-2d) On trouve ( i 2l i )k l Nl (k)2l , or cette dernire somme est borne
par k (l max 1) o l max est la longueur maximale dun mot de code. Ainsi quand
k :
X l
2 i (ck)1/k 1
i

do lingalit cherche.
III-3a) c i dtermine ci et l i donc I i = [ci ; ci + 2l i [. Rciproquement, cette intervalle dtermine l i et les l i premire dcimales de ci sidentifient c i .
III-3b) La condition du prfice revient dire quaucun ci ne se trouve dans un
I j , j 6= i , autrement I i et I j sont disjoints i 6= j .
III-3c) La longueur de lintervalle I i est 2l i , et lingalit de Kraft-McMillan signifie que la somme totale des longueurs des intervalles I i est infrieure o gale
1 (longueur du segment [0, 1[). Il est donc possible choisir les I i de telle sorte
quils soient tous inclus dans le segment [0, 1[, ce qui fournit un code instantan.
III-3d) On met bout bout les intervalles par ordre dcroissant de longueurs
dans le segment [0, 1[. Cela revient commencer par le mot de code 0, puis
ajouter 1 (en base 2) chaque tape, en remplissant si ncessaire droite par
des zros de faon trouver la bonne longueur. Voici un exemple :
1
2
4
4
4
5
6

0
10
1100
1101
1110
11110
111110
14

III-3e) On obtient une impossibilit (on dborde de lintervalle [0, 1[). Exemple :
1
2
3
4
4
4

0
10
110
1110
1111
impossible

III-4a) Si on avait disons p i > p j et l i > l j , il suffirait dchanger c i et c j pour


obtenir un meilleur code (car p i l i + p j l j > p i l j + p j l i ). Cest absurde.
P
III-4b) Si i 2l i = N 2l M < 1, alors lentier N vrifie N < 2l M cest dire N
P
P
2l M 1 et donc i 2l i 12l M , ou encore i 2l i +2l M 1. On peut donc remplacer l M par l M 1 en conservant lingalit de Kraft-McMillan. On obtiendrait
ainsi un meilleur code (le taux est rduit), ce qui est absurde.
III-4c) Puisque
sances de 2 :

2l i = N 2l M = 1, on a N = 2l M . Or N est une somme de puisN = 2l M l 1 + + 2l M l M 1 + 1

qui est un nombre pair. On doit donc avoir l M 1 = l M . Avec la construction de


lexercice prcdent, les deux derniers mots de codes seront de la forme c M 1 =
0
0
[c M
1 0] et c M 1 = [c M 1 1].
III-5a) A lordre M :
RM =

X
i

0
p i l i = p 1 l 1 + + p M 2 l M 2 + l M p M
1

et pour le code rduit :


0
R M 1 = p 1 l 1 + + p M 2 l M 2 + (l M 1)p M
1
0
Ces deux taux ne diffrent que de la constante p M
1 . Ainsi, R M tant minimal,
R M 1 lest aussi pour la source rduite.
0
III-5b) Daprs lexercice prcdent il suffit de choisir c M 1 = [c M
1 0] et c M =
0
[c M 1 1].

III-5c) On rduit successivement en rordonnant chaque tape les probabilits, jusqu obtenir M = 2, auquel cas le code optimal est ncessairement {0, 1}.
Puis en tenant compte des r-ordonnements faits on attribue successivement
les mots de code comme la question prcdente. Exemple :
Descente. La colonne de gauche donne la distribution de probabilit initiale
(M = 8). Chaque rduction cre une nouvelle colonne droite (aprs rarrangement par ordre dcroissant) :
15

0.25
0.25
0.2
0.14
0.1
0.04
0.01
0.01

0.25
0.25
0.2
0.14
0.1
0.04
0.02

0.25
0.25
0.2
0.14
0.1
0.06

0.25
0.25
0.2
0.16
0.14

0.3
0.25
0.25
0.2

0.45
0.3
0.25

0.55
0.45

Remonte. De la droite vers la gauche, on construit de proche en proche


le code optimal en tenant compte des permutations faites (on peut utiliser le
mme tableau si on le fait la main) :
01
10
11
001
0000
00010
000110
000111
IV-1a) D =

q2
12

avec q =

2A
M

01
10
11
001
0000
00010
00011

01
10
11
001
0000
0001

01
10
11
000
001

00
01
10
11

1
00
01

0
1

et M = 2R , do
D=

1 2A 2
2 2 2R
=
2
12 2R
3

IV-1b) Si on attribue un bit supplmentaire au quantificateur (R R + 1), la


distortion est divise par 4 (6dB) et donc le rapport signal bruit augmente de
6dB par bit.
IV-2a) Les frontires des cellules optimales sont mi-distance des centrodes.
2
Solution 1 : 1 16
et 0 (ou tout autre frontire dans la zone intermdiaire pour
la densit de probabilit est nulle). Solution 2 : 0 (mme remarque) et 1 + 14 .
IV-2b) La condition du plus proche voisin est satisfaite par la question prcdente. Celle du centrode dcoule du fait que la distribution de probabilit est
constante dans chaque des deux intervalles 1 x 1.5 et 1.25 x 1.
IV-2c)

Rq
q

Ax 2 d x = A

2q 3
3
3

IV-2d) Solution 1 : 22 2(1/16)


+ 2(1/4)
Solution 2 : 2 2(1/8)
+2 2(1/8)
La solution
3
3
3
3
2 est clairement meilleure.
IV-2e) Lalgorithme de Lloyd-Max peut converger vers deux solutions distinctes.
Daprs le cours, ce ne serait pas le cas si log p(x) tait concave.
16

IV-3)
Z
I

(x) d x =
=

X Z
i ; R i I R i

X
1
1
dx =
qi
M qi
M qi
i ; R i I

1 X
|{i ; R i I }|
1=
M i ; Ri I
M

Cest la proportion du nombre de cellules contenues dans I (rapport au nombre


total = M de cellules).
R p(x)
IV-4a) La distorsion donne par la formule de Bennett est minimale si 2 (x) d x
R
est minimum, pour une densit de cellules vrifiant la contrainte (x) d x = 1.
Le lagrangien correspondant est
Z
Z
p(x)
L=
d
x
+

(x) d x
2 (x)
o est le multiplicateur de Lagrange associ la contrainte. En drivant par
rapport (x), on obtient
L
p(x)
= 2 3
+ = 0
(.)
(x)
et donc loptimum (x) p(x)1/3 . La constante de proportionnalit est dtermine par la contrainte de normalisation. On doit donc avoir
p(x)1/3

(x) = R

p(x)1/3 d x

IV-4b) A loptimum
Z

p(x)
d
x
=
2 (x)

p(x)1/3 d x

et la formule de Bennett devient


D=

1
12

3
p(x)1/3 d x 22R

IV-4c) Pour une source gaussienne p(x) =


Z

do D =

p(x)

1/3

dx

=p
22

p
3 2 2R
.
2 2

IV-5a) Voil

17

p 1 e
22

x2
232

x2
22

dx

on trouve

p
3
62
= p
22

Q.S.U.

f 1

IV-5b) (u) = 1/M


q(u) reprsente le rapport des pas de quantification uniforme (sur
X ) et non-uniforme (sur U ). En haute rsolution, on peut approximer ceci par
la pente infinitsimale de la non linarit = f 0 (u)
IV-5c) On sait qu loptimum (u) p(u)1/3 do f (u) =

Ru

p(u)1/3 d u + c

IV-6a) Plus proche voisin :


n
o
R i = x | kx y k kx y k j
i

Centrode :

yi = R i

xp(x)d x

Ri

p(x)d x

IV-6b) Comme dans le cas scalaire avec les deux conditions ci-dessus.
IV-6c) Ici p(x) est constante dans un carr, donc log-concave. Il est immdiat de
voir quen imposant la condition du plus proche voisin, les deux solutions vrifient la condition du centrode. On trouve que la premire solution est meilleure.
Lalgorithme de Lloyd-Max peut donc converger vers deux solutions distinctes.
V-1a) E log X log E X (Jensen), cest dire en discret :
X

p i log x i log

p i xi

P
avec p i 0 et i p i = 1. Comme le logarithme est strictement concave, il y a
galit si et seulement si X = x i =constante.
V-1b) Prendre p i =

1
n

dans la question prcdente. En passant lexponentielle :


rY
n

xi

1X
xi
n i

(moyenne gomtrique moyenne arithmtique). Pour x i = 2i , il vient G TC 1.


Le cas dgalit est que les 2i sont tous gaux.
V-1c) Une source sans mmoire (bruit blanc) a pour matrice dautocorrlation
= 2 I. Aprs transforme orthogonale T, cette source reste blanche puisque de
matrice dautocorrlation = T2 ITt = 2 I). Elle vrifie donc 2i = 2 et G TC = 1.
On ne peut pas amliorer le gain de codage dune source blanche par transforme.
18

V-2a) r i , j = E (X i X j ).
V-2b) r i , j = E (X i X j ) = 0 pour i 6= j et r i ,i = E X i2 = 2i , do R est diagonale.
V-2c) Posons la matrice diagonale dlments diagonaux i . On a
R 0 = E (1 X (1 X )t ) = 1 R1
V-2d) det R 0 =

det R
(det )2

do det R = det R 0

2i .

Q
V-2e) Ce dterminant est le produit des valeurs propres i i de R 0 . Or la somme
P
i i de ces valeurs propres est la trace, gale la somme des lments diagoP
naux qui valent tous 1. Donc i i = n et
rY
1X
n
i
i = 1
n i
i
cest dire det R 0 1.
V-2f) Daprs les questions prcdentes det R = det R 0

2i

2i . Il y a ga-

lit si les valeurs propres de R 0 sont toutes gales, cest dire si R 0 = I (matrice
identit). Cela revient dire quil y a galit si et seulement si les composantes
X i sont dcorrles.
1 P
2
i i
2
n
q
= q
o 2
n Q
n Q
2
2

i
i i
Q i
source. Ce gain est maximum lorsque i 2i est minimum.

V-3a) Le gain de codage scrit G TC =

V-3b)
det R

U ,U

est la variance de la

Q
2i est minimum lorsque lingalit de Hadamard est une galit : i 2i =
, ce qui revient dire que les chantillons Ui en sortie de la transforme

sont dcorrls.
V-3c) On R

U ,U

= EUU t avec U = T X , do R

diagonale si et seulement si T diagonalise R

U ,U

X ,X

=TR

X ,X

. Plus prcisment, les lignes de

T forme une base orthonorme de vecteurs propres de R


V-3d) A loptimum, les 2i sont les valeurs propres de R
1
n

G TC = qQ
n

2i

2
i i

T 1 . Cette matrice est

1
n Tr(R X ,X )

= q
n det R

X ,X

X ,X

. Donc

X ,X

V-3e) La transforme optimale dcorrle la source, le codage par transforme


est donc inutile lorsque les chantillons de source sont dj dcorrls. Dans
ce cas on a vu que G TC = 1 pour toute transforme orthogonale. La codage par
transforme nest donc pas nuisible.
19

V-4a) Voir le cours (D =

D 1 +D 2
2

parce que la transforme est orthogonale).

V-4b) Voir le cours : D = D1 = D2 =

q
p
D 1 D 2 = c 21 22 22R .

V-4c) EUU t = E TX X t Tt = TRTt


V-4d) = p1 pour que les lignes et colonnes soient normes. On trouve la ma2
trice diagonale

1+
0
2X
0
1
V-4e) Comme la matrice dautocorrlation de U est diagonale, T dcorrle la
source. Cest la transforme (optimale) de Karhunen-Love.
V-4f) D = c1 2 22R = c2X

1 2 22R

V-4g) Si = 0, la source est blanche et la transforme namliore pas les performances. Quand || augmente, la distorsion optimale D diminue. Le codage par
transforme est donc dautant plus efficace que la source est corrle.

20

Cadre priv } sans modifications


Par le tlchargement ou la consultation de ce document, lutilisateur accepte la licence dutilisation qui y est
attache, telle que dtaille dans les dispositions suivantes, et sengage la respecter intgralement.
La licence confre lutilisateur un droit dusage sur le document consult ou tlcharg, totalement ou en partie, dans
les conditions dfinies ci-aprs, et lexclusion de toute utilisation commerciale.
Le droit dusage dfini par la licence est limit un usage dans un cadre exclusivement priv. Ce droit comprend :
le droit de reproduire le document pour stockage aux fins de reprsentation sur un terminal informatique unique,
le droit de reproduire le document en un exemplaire, pour copie de sauvegarde ou impression papier.
Aucune modification du document dans son contenu, sa forme ou sa prsentation, ni aucune redistribution en tout ou
partie, sous quelque forme et support que ce soit et notamment par mise en rseau, ne sont autorises.
Les mentions relatives la source du document et/ou son auteur doivent tre conserves dans leur intgralit.
Le droit dusage dfini par la licence est personnel, non exclusif et non transmissible. Tout autre usage que ceux prvus par la licence est soumis autorisation pralable et expresse de lauteur : sitepedago@enst.fr

Vous aimerez peut-être aussi