Université Cadi Ayyad Année universitaire : 2018-2019

Faculté des Sciences Semlalia Théorie de l’information et du codage

Master C2I2S - Option : Electronique S3 - Master C2I2S
Marrakech

Solution du TD N◦ 2

Mohamed BOULOUIRD - m.boulouird@uca.ac.ma

Exercice 1 :

On considère deux sources discrètes X et Y telle que X = {x1 , · · · , xN } et Y = {y1 , · · · , yM }.

1. L’entropie conjointe ou mutuelle des deux sources X et Y est définie par :

∑
N ∑
M
H(X, Y ) = − P (xi , yj ) log2 P (xi , yj ) (1)
i=1 j=1

⋄ Il est évident que cette quantité est toujours positive. Alors :

H(X, Y ) ≥ 0 (2)

⋄ Pour la borne supérieure, on procède de la façon suivante :

∑
N ∑
M ∑
N
H(X, Y ) − H(X) − H(Y ) = − P (xi , yj ) log2 P (xi , yj ) + P (xi ) log2 P (xi )
i=1 j=1 i=1

∑
M
+ P (yj ) log2 P (yj )
j=1

∑
N ∑
M ∑
N ∑
M
= − P (xi , yj ) log2 P (xi , yj ) + P (xi , yj ) log2 P (xi )
i=1 j=1 i=1 j=1

∑
M ∑
N
+ P (xi , yj ) log2 P (yj )
j=1 i=1

Car on a :
∑
N ∑
M ∑
N ∑
M
P (xi , yj ) log2 P (xi ) = P (yj /xi )P (xi ) log2 P (xi )
i=1 j=1 i=1 j=1

∑
N ∑
M
= P (xi ) log2 P (xi ) P (yj /xi )
i=1 j=1

∑
N
= P (xi ) log2 P (xi )
i=1

1
 Alors :
∑
N ∑
M
P (xi )P (yj )
H(X, Y ) − H(X) − H(Y ) = P (xi , yj ) log2
i=1 j=1
P (xi , yj )
{ }
1 ∑∑
N M
P (xi )P (yj )
≤ P (xi , yj ) −1
log 2 i=1 j=1 P (xi , yj )

1 ∑∑ 1 ∑∑
N M N M
≤ P (xi )P (yj ) − P (xi , yj )
log 2 i=1 j=1 log 2 i=1 j=1
≤ 0

D’où :
H(X, Y ) ≤ H(X) + H(Y ) (3)
Enfin de (2) et (3), on déduit la relation demandée.
2. L’égalité de la borne supérieure est vérifiée dans le cas où les deux sources sont indépendantes,
c’est à dire : P (xi , yj ) = P (xi )P (yj ). Donc :

H(X, Y ) = H(X) + H(Y ) (4)

Exercice 2 :

1. Par définition, l’entropie de X est définie par :

∑
3
H(X) = − P (X = xi ) log2 P (X = xi ) (5)
i=1

et pour calculer cette entropie il faut déterminer les valeurs des probabilités de X. Comme

∑
3
P (X = xi ) = P (X = xi , Y = yj )
j=1
= P (X = xi , Y = y1 ) + P (X = xi , Y = y2 ) + P (X = xi , Y = y3 ) (6)

Donc :
1 1
P (X = x1 ) = 0 + +0=
4 4
1 1 1
P (X = x2 ) = +0+ =
4 4 2
1 1 1
P (X = x3 ) = + +0=
8 8 4
Enfin,
H(X) = 1.5 Sh/symbole (7)

Pour l’entropie de Y, H(Y ), on procède de la même façon :

∑
3
H(Y ) = − P (Y = yj ) log2 P (Y = yj ) (8)
j=1

et,
1 1 3
P (Y = y1 ) = 0 + + =
4 8 8
1 1 3
P (Y = y2 ) = + 0 + =
4 8 8

2
 1 1
P (Y = y3 ) = 0 + +0=
4 4
Donc :
H(Y ) = 1.5613 Sh/symbole (9)

Maintenant, on va calculer l’entropie conditionnelle de X sachant Y. La définition de cette

quantité est la suivante :

∑
3
H(X/Y ) = P (Y = yj )H(X/Y = yj ) (10)
j=1

où l’entropie de X conditionnelle à Y = yj est définie par :

∑
3
H(X/Y = yj ) = − P (X = xi /Y = yj ) log2 P (X = xi /Y = yj ) (11)
i=1

Comme
P (X = xi , Y = yj )
P (X = xi /Y = yj ) = (12)
P (Y = yj )
Donc, pour Y = y1 :
P (X = x1 /Y = y1 ) = 0
1
4 2
P (X = x2 /Y = y1 ) = 3 =
8
3
1
8 1
P (X = x3 /Y = y1 ) = 3 =
8
3
Pour Y = y2 :
2
P (X = x1 /Y = y2 ) =
3
P (X = x2 /Y = y2 ) = 0
1
P (X = x3 /Y = y2 ) =
3
Pour Y = y3 :
P (X = x1 /Y = y3 ) = 0

P (X = x2 /Y = y3 ) = 1

P (X = x3 /Y = y3 ) = 0

D’où :

H(X/Y ) = P (Y = y1 )H(X/Y = y1 ) + P (Y = y2 )H(X/Y = y2 )

+ P (Y = y3 )H(X/Y = y3 ) (13)

Enfin :
H(X/Y ) = 0.6887 Sh/symbole (14)

Pour le calcul de l’entropie conditionnelle de Y sachant X, H(Y /X), on suit les mêmes dé-
marches :

∑
3
H(Y /X) = P (X = xi )H(Y /X = xi ) (15)
i=1

3
 où l’entropie de Y conditionnelle à X = xi est définie par :

∑
3
H(Y /X = xi ) = − P (Y = yj /X = xi ) log2 P (Y = yj /X = xi ) (16)
j=1

Pour X = x1 :
P (Y = y1 /X = x1 ) = 0

P (Y = y2 /X = x1 ) = 1

P (Y = y3 /X = x1 ) = 0

Pour X = x2 :
1
P (Y = y1 /X = x2 ) =
2
P (Y = y2 /X = x2 ) = 0
1
P (Y = y3 /X = x2 ) =
2
Pour X = x3 :
1
P (Y = y1 /X = x3 ) =
2
1
P (Y = y2 /X = x3 ) =
2
P (Y = y3 /X = x3 ) = 0

D’où :

H(Y /X) = P (X = x1 )H(Y /X = x1 ) + P (X = x2 )H(Y /X = x2 )

+ P (X = x3 )H(Y /X = x3 ) (17)

Enfin :
H(Y /X) = 0.75 Sh/symbole (18)

L’entropie conjointe des deux variables X et Y est déterminée en utilisant soit la définition, soit
la propriété H(X, Y ) = H(X) + H(Y /X) = H(Y ) + H(X/Y ), par suite :

H(X, Y ) = 2.25 Sh/symbole (19)

Pour déterminer la valeur de l’information mutuelle moyenne, on peut utiliser la définition

suivante :

∑
3 ∑
3
P (X = xi , Y = yj )
I(X, Y ) = P (X = xi , Y = yj ) log2 (20)
i=1 j=1
P (X = xi )P (Y = yj )

ou bien exploiter directement la propriété I(X, Y ) = H(X) − H(X/Y ) = H(Y ) − H(Y /X),
donc :
I(X, Y ) = 0.8113 Sh/symbole (21)

2. Représentation sur le diagramme de Venn :

4
Exercice 3 :

1. L’information mutuelle moyenne I(X, Y ) est exprimée par la formule suivante :

I(X, Y ) = H(Y ) − H(Y /X) (22)

En appliquant la définition de l’entropie conditionnelle :

∑
2
H(Y /X) = P (X = xi )H(Y /X = xi )
i=1
= α H(Y /x1 ) + (1 − α) H(Y /x2 )
= α[−(1 − p) log2 (1 − p) − p log2 p]
+(1 − α)[−p log2 p − (1 − p) log2 (1 − p)]
= −p log2 p − (1 − p) log2 (1 − p) (23)

Par conséquent, en utilisant (22), nous obtenons :

I(X, Y ) = H(Y ) + p log2 p + (1 − p) log2 (1 − p) (24)

2. Pour calculer H(Y ), il faut d’abord déterminer les probabilités des sorties yj du canal binaire
symétrique. L’application du théorème de Bayes permet de résoudre se problème. Alors,

P (y1 ) = (1 − p)α + p(1 − α) (25)

P (y2 ) = pα + (1 − p)(1 − α) (26)

Pour α = 0.5 et p = 0.1, nous avons les résultats suivants :

P (y1 ) = P (y2 ) = 0.5

Les symboles de la sortie du canal sont équiprobables, l’entropie de la sortie est obtenue par
exploitation du théorème de la maximisation d’entropie :

H(Y ) = log2 2 = 1 Sh/symbole

Donc,
I(X, Y ) = 0.531 Sh/symbole

3. Quand α = 0.5 et p = 0.5, nous obtenons :

H(Y ) = 1 Sh/symbole

et,

p log2 p + (1 − p) log2 (1 − p) = −1

Donc, nous pouvons écrire :

I(X, Y ) = 0

Dans le cas où p = 0.5, aucune information n’est transmise et une décision acceptable serait de
supprimer le réseau et de réaliser un tirage au sort au niveau du récepteur.
Dans un cas pareil, le canal de communication est dit inutile.

5
Exercice 4 :

On considère une source discrète sans mémoire qui possède un alphabet constitué de 4 symboles.

1. L’entropie de la source S est donnée par :

∑
4
H(S) = − P (si ) log2 P (si ) (27)
i=1

En substituant les valeurs des probabilités, on obtient :

H(S) = 1.8464 Sh/symbole

2. La quantité d’information fournie par un symbole si est définie par :

I(si ) = − log2 P (si ) (28)

Donc la quantité d’information contenue dans le message s1 s2 s1 s3 est égale à :

I(s1 s2 s1 s3 ) = − log2 P (s1 s2 s1 s3 )

= − log2 P (s1 )P (s2 )P (s1 )P (s3 )
= 6.7027 Sh (29)

Pour le message s4 s3 s3 s2 , la quantité d’information est :

I(s4 s3 s3 s2 ) = − log2 P (s4 s3 s3 s2 )

= − log2 P (s4 )P (s3 )2 P (s2 )
= 9.7027 Sh (30)

3. On remarque que : I(s1 s2 s1 s3 ) ≤ 4 H(S) et I(s4 s3 s3 s2 ) ≥ 4 H(S).

Exercice 5 :

1. 1.1. Le schéma du canal binaire à effacement est le suivant :

Ce canal a deux entrées x1 = 0 et x2 = 1 et trois sorties y1 = 0, y2 = e et y3 = 1, où

"e" indique un effacement, c’est-à-dire que la sortie n’est pas sûre et donc elle doit être
effacée.

6
 1.2. On suppose que P (x1 ) = P (x2 ) = 0.5 et p = 0.2. En exploitant le théorème de Bayes,
nous pouvons écrire :

P (y1 ) = (1 − p)P (x1 )

= 0.4

P (y2 ) = pP (x1 ) + pP (x2 )

= 0.2

et
P (y3 ) = P (y1 ) = 0.4

2. On suppose que P (x1 ) = α.

2.1. L’entropie de la sortie du canal de communication est déterminée par :

∑
3
H(Y ) = − P (yj ) log2 P (yj ) (31)
j=1

Les probabilités des sorties du canal sont les suivantes :

P (y1 ) = (1 − p)α

P (y2 ) = pα + p(1 − α) = p

P (y3 ) = (1 − p)(1 − α)

Donc :

H(Y ) = −(1 − p)α log2 (1 − p)α − p log2 p

−(1 − p)(1 − α) log2 (1 − p)(1 − α)
= (1 − p)[−α log2 α − (1 − α) log2 (1 − α)]
−p log2 p − (1 − p) log2 (1 − p) (32)

2.2. À partir de la définition de l’entropie conditionnelle, on peut écrire :

∑
2
H(Y /X) = P (X = xi )H(Y /X = xi )
i=1
= αH(Y /x1 ) + (1 − α)H(Y /x2 )
= −α(1 − p) log2 (1 − p) − αp log2 p
−(1 − α)p log2 p − (1 − α)(1 − p) log2 (1 − p)
= −p log2 p − (1 − p) log2 (1 − p) (33)

2.3. En utilisant la propriété I(X, Y ) = H(Y ) − H(Y /X) et les deux équations (32) et (33),
on retrouve l’expression de l’information mutuelle moyenne :

I(X, Y ) = (1 − p)[−α log2 α − (1 − α) log2 (1 − α)]

= (1 − p)H(X) (34)