Université Cadi Ayyad Année universitaire : 2015-2016

Ecole Nationale des Sciences Appliquées Théorie de l’information et du codage

Filière Génie Réseaux & Télécoms 2ème année du Cycle Ingénieur
Marrakech Génie Réseaux & Télécoms

TD N◦ 3

M. Boulouird - m.boulouird@uca.ac.ma

Exercice 1 :

Un tournoi consiste dans une séquence de trois combats et termine aussitôt un des joueurs gagne
deux combats. Soit X la variable aléatoire qui représente le résultat d’un tournoi entre les joueurs A
et B, par exemple AA, ou BAB. Soit Y le nombre de combats effectués. Y peut prendre les valeurs
2 et 3.

1. Sous l’hypothèse que les joueurs A et B sont équilibrés et que les combats sont indépendants,
calculer H(X), H(Y ), et H(X/Y ).
2. Soit Z l’équipe gagnante. Déterminer H(X/Z) et comparer avec H(X).

Exercice 2 :

Une source binaire S est modélisée par un modèle markovien du premier ordre :

P (s[k] = 0/s[k − 1] = 0) = 2
3 P (s[k] = 0/s[k − 1] = 1) = 1
6
P (s[k] = 1/s[k − 1] = 0) = 1
3 P (s[k] = 1/s[k − 1] = 1) = 5
6

1. A l’aide du théorème de Bayes, calculer P (0), P (1) et les probabilités conjointes.

2. Calculer l’entropie de la source et sa redondance.
3. Démontrer la relation :
H0 (S 2 ) = H1 (S) + H0 (S)

Exercice 3 :

Une source X émet trois symboles o, n et s. Sa modélisation markovienne du premier ordre conduit
aux probabilités conditionnelles P (x[t]/x[t − 1]) suivantes :

5 1 1
P (o/o) = 8 P (o/n) = 4 P (o/s) = 8
1 1 1
P (n/o) = 4 P (n/n) = 2 P (n/s) = 4
1 1 5
P (s/o) = 8 P (s/n) = 4 P (s/s) = 8

1. Déterminer l’entropie de cette source.

2. Calculer sa redondance.

1
Exercice 4 :

Considérons le cas d’une modélisation markovienne d’ordre deux d’une source binaire représentée
par la figure ci-dessous. Les états sont constitués des deux derniers symboles reçus (x[t]x[t − 1]).

X1

01

1/ 4 2/ 3

X0 X2
1/ 3 3/ 4
1/ 5 1/ 3
00 11

4/ 5 2/ 3

X3

10

Figure 1 – Diagramme construit à partir de la modélisation markovienne d’ordre 2 d’une

source binaire

1. Calculer les probabilités des états et déduire l’entropie de la source H2 (S).

2. Déduire les probabilités des symboles 0 et 1.
3. Quelle est l’entropie de la modélisation markovienne d’ordre 0 de la source ?
4. Déterminer l’entropie H1 (S) qui correspond au modèle de Markov d’ordre 1.
5. Interpréter ces résultats.