Université Cadi Ayyad Année universitaire : 2018-2019

Faculté des Sciences Semlalia Théorie de l’information et du codage

Master C2I2S - Option : Electronique S3 - Master C2I2S
Marrakech

Solution du TD N◦ 1

Mohamed BOULOUIRD - m.boulouird@uca.ac.ma

Exercice 1 :

1. La quantité d’information d’une lettre si de la source S est définie par :

I(S = si ) = − log2 P (S = si ) (1)

En appliquant la définition, les quantités demandées sont :

I(s1 ) = I(s2 ) = 2 Sh

I(s3 ) = I(s4 ) = 3 Sh

I(s5 ) = I(s6 ) = I(s7 ) = I(s8 ) = 4 Sh

2. L’entropie de la source S est la valeur moyenne des quantités d’information des symboles si .
C’est-à-dire :
∑
8
H(S) = P (S = si )I(S = si ) = 2.75 Sh/symbole (2)
i=1

3. La valeur maximale de H(S) est déterminée par l’application du théorème de la maximisation

d’entropie. Puisque la source possède un alphabet de 8 symboles, alors :

Hmax (S) = log2 8 = 3 Sh/symbole

4. Définition de la redondance d’une source :

L’excès de l’entropie maximale sur l’entropie réelle rapporté ou non à cette même entropie
maximale s’appelle Redondance. Elle s’exprime en pourcentage :

Hmax (S) − H(S)

R(S) =
Hmax (S)
H(S)
= 1− (3)
Hmax (S)

Donc la redondance de la source S est :

2.75
R(S) = 1 − = 8.33%
3

1
Exercice 2 :

1. Puisque ce système possède trois lampes qui peuvent être soit éteintes soit allumées, il y a 23 = 8
combinaisons possibles. Huit (8) symboles différents peuvent donc être émis.
Donc, cette source est constituée d’un alphabet de 8 symboles ou lettres.
2. D’après le théorème de la maximisation d’entropie, l’entropie de cette source est maximale
lorsque ces symboles sont équiprobables.
Donc :

H(S)max = log2 (8)

= 3 Sh/Symbole (4)

3. 3.1. Si seulement trois symboles sont utilisés, et si ils sont équiprobables, la quantité d’infor-
mation moyenne qu’ils peuvent apporter ou l’entropie réelle de la source est :

H(S) = log2 (3)

= 1.585 Sh/Symbole (5)

3.2. La redondance de cette source est :

1.585
R(S) = 1 −
3
= 47.17% (6)

Exercice 3 :

On a une source binaire, c-à-d que S = {0, 1}. L’extension d’ordre deux de cete source est :
S = {s1 , s2 , s3 , s4 } où :
2

s1 = (0, 0), s2 = (0, 1), s3 = (1, 0), s4 = (1, 1)

Puisque la source S est sans mémoire, alors :

P (s1 ) = P (0, 0) = P (0)2

P (s2 ) = P (s3 ) = P (0)P (1)

P (s4 ) = P (1)2

Donc :
∑
4
H(S 2 ) = − P (si ) log2 P (si )
i=1
= −P (0)2 log2 P (0)2 − 2 P (0)P (1) log2 (P (0)P (1)) − P (1)2 log2 P (1)2
= −2P (0) (P (0) + P (1)) log2 P (0) − 2P (1) (P (0) + P (1)) log2 P (1)
= 2H(S) (7)

N.B : Ce résultat peut être généralisé à l’ordre n pour toute source sans mémoire qui n’est pas
forcément binaire.

H(S n ) = nH(S) (8)

2
Exercice 4 :

1. L’entropie de cette source est :

2 2 3 3
H(S) = − log2 ( ) − log2 ( )
5 5 5 5
= 0.97 Sh/Symbole (9)

2. Le débit moyen de cette source est défini par :

1
DS =
× 2
5 10−3
+ 35 × 2 × 10−3
= 625 symbole/s (10)

3. Son taux d’émission est donc égal à :

τ (S) = DS H(S)
= 606, 25 Sh/s (11)

Exercice 5 :

1. On a :
H(X/Y )
ρ = 1−
H(X)
H(X) − H(X/Y )
=
H(X)

En exploitant les définitions de H(X) et H(X/Y ), on obtient :

I(X, Y )
ρ= (12)
H(X)

2. En utilisant le théorème, I(X, Y ) ≥ 0, alors, 0 ≤ ρ. (égalité si X et Y sont indépendants)

I(X, Y ) ≤ H(X), alors ρ ≤ 1. (égalité si X et Y sont égales).

Exercice 6 :

1. Le schéma du canal est le suivant :

3
2. Pour calculer l’entropie de la sortie du canal H(Y ), on va d’abord calculer les probabilités des
symboles reçus à l’aide du théorème de Bayes :

P (Y = y1 ) = P (Y = y1 /X = x1 )P (X = x1 )
= 0.36

P (Y = y2 ) = P (Y = y2 /X = x1 )P (X = x1 ) + P (Y = y2 /X = x2 )P (X = x2 )
= 0.32

P (Y = y3 ) = P (Y = y3 /X = x1 )P (X = x1 )+
P (Y = y3 /X = x2 )P (X = x2 ) + P (Y = y3 /X = x3 )P (X = x3 ) = 0.32

Par suite :
H(Y ) = 1.583 Sh/symbole

3. Par définition, l’entropie conditionnelle de Y sachant X est :

∑
3
H(Y /X) = P (X = xi )H(Y /X = xi ) (13)
i=1

et comme l’entropie de Y conditionnelle à X = xi est :

∑
3
H(Y /X = xi ) = − P (Y = yj /X = xi ) log2 P (Y = yj /X = xi ) (14)
j=1

Alors :
3 3 3 1 1 1
H(Y /X = x1 ) = − log2 ( ) − log2 ( ) − log2 ( )
5 5 5 5 5 5
= 1.371 Sh/symbole

2 2 1 1
H(Y /X = x2 ) = − log2 ( ) − log2 ( )
3 3 3 3
= 0.918 Sh/symbole

H(Y /X = x3 ) = −1 log2 (1)

= 0 Sh/symbole

Enfin :

H(Y /X) = P (X = x1 )H(Y /X = x1 ) + P (X = x2 )H(Y /X = x2 )+

P (X = x3 )H(Y /X = x3 ) = 1.098 Sh/symbole

4. En appliquant la propriété I(X, Y ) = H(Y ) − H(Y /X), on retrouve :

I(X, Y ) = H(Y ) − H(Y /X)

= 0, 485 Sh/symbole