INPTIC

Travaux Dirigés N°1

Théorie de l’information

Exercice 1 :
Un canal binaire symétrique simple avec des variables aléatoires X pour l’entrée et Y pour la sortie est
donné par la matrice de transmission suivante :
1 − ε ε
[ ]
ε 1 − ε
Ainsi, la probabilité d’une erreur de transmission est ε. Posons P(X = 0) = p et P(X = 1)= q =1 − p.
 Calculer H(X), P(Y) et H(Y |X).
 Pour ε = 0.1, P(X=0) = p = 0.2, Calculez H(X,Y).
 Evaluer l’information mutuelle I(X,Y) et la perte d’information.

Exercice 2 :
Soit une source binaire sans mémoire S telle que :

𝑃(𝑆 = 0) = 0.01, 𝑃 (𝑆 = 1) = 0.99

Le débit symbole de S est de 300 Kbits/sec. Pour transmettre le contenu de S, on dispose d'un canal binaire
symétrique de probabilité d'erreur p = 2.10-2 fonctionnant au débit maximum de 200 Kbits/sec.
1. Est-il possible de transmettre le contenu de S par le biais du canal binaire symétrique avec une
probabilité d'erreur aussi petite que souhaitée ?

Exercice 3 :
On considère le canal de transmission ci-dessous ;
1. Calculer sa capacité.
On se propose de transmettre le contenu d'une source S par le
biais du canal de la question précédente. Les valeurs possibles de
cette source sont a, b, c, d, eavec les probabilités respectives
1 1 1 1 1
{ , , , , }. On suppose que p 10-2 et que le débit d'utilisation
3 3 9 9 9
du canal est de 5000 symboles (5-aires) par seconde.

2. Quelle doit être la valeur maximale du débit de la source (en

symboles 6-aires par seconde) afin qu'une transmission du
contenu de la source au travers du canal puisse s'effectuer avec
une probabilité aussi petite que souhaitée ? (L’application
numérique est indispensable).

Exercice 4 :
Calculer la capacité du canal discret de la figure ci-dessous, on suppose le débit rs=1 symbole/sec.
Ecole Nationale Polytechnique Département Génie Industriel/DSIA

Exercice 5 :

Soient X1 et X2 identiquement distribuées mais not nécessairement indépendantes. Soit

𝐻(𝑋2 |𝑋1 )
𝜌=1−
𝐻(𝑋1 )
𝐼(𝑋2 ;𝑋1 )
1. Montrez que 𝜌 =
𝐻(𝑋1 )
2. Montrez que 0 ≤ 𝜌 ≤ 1
3. Discuter les cas ou 𝜌 = 0 et 𝜌 = 1

Exercice 6 :

Soit le canal en Z discret de la figure ci-dessous :

1- Donnez la matrice de transition des probabilités.
2- Calculer la capacité du canal discret.
N.B. on suppose P(a1) =1-  et P(a2) = 
Exercice 7 :
Soit p(x, y) donné par la figure ci-contre:
Trouvez :
a. H(X), H(Y)
b. H(X|Y), H(Y|X)
c. H(X,Y)
d. H(Y) - H(Y|X)
e. I(X, Y)
f. Tracez le diagramme de Venn pour les quantités de (a) à (e).