Vous êtes sur la page 1sur 3

PHELMA 2a/Sicom Jan 2009

Contenu : 1 page Durée : 1h30,


Documents de cours et calculatrice autorisés.

Examen de Théorie de l’Information

Exercice I- Codage de sources


Pour mettre au point un asservissement de position, on mesure toutes les 1 msec l’état S d’une erreur
(entre la sortie d’un capteur et une commande) à valeurs parmi : { N (négative), Z (zéro), P
(positive)} avec les probabilités respectives pN , pZ , pp . Plusieurs scénarios sont envisagés.

I) S est un source simple avec les probabilités pN = 1/8 ; pZ = 1/2 ; pP = 3/8 .


1) Calculer l’entropie, la redondance, et le débit d’information de S.
2) Après codage de source idéal, quel serait théoriquement le débit binaire minimum (Db_min) ?
3) On réalise un codage binaire de Shannon-Fano : donner le résultat du codage, l’efficacité du
code, et en déduire le débit Db après codage , en bit /sec.
4) Le codage aurait-il été plus efficace en ternaire plutôt qu’en binaire (Justifier) ?
5) Après recentrage du dispositif, on obtient de nouvelles probabilités pN = pP = 1/4 et pZ = 1/2;
Donner le nouveau Db_min, et un codage binaire instantané permettant de l’atteindre (Justifier).

En fait, dû à l’asservissement, il y a une dépendance entre les états successifs mesurés :

II) S est une source avec mémoire avec les probabilités (stationnaires) pN = pP =1/4 et pZ = 1/2 .
Le tableau des probabilités de transition (ou conditionnelles à l’instant « n » sachant l’état « n-1 » ) :

P( S[n] / S[n-1] )
S[n] N Z P
S[n-1]
N x 1-x 0
Z y z y où x, y et z sont des inconnues
P 0 1-x x

1) Connaissant les probabilités stationnaires, exprimer y et z en fonction de x.


2) On suppose d’abord que l’asservissement est très réactif de sorte que x = 0.
2a- déduire les valeurs de y et z. Commenter (par un diagramme d’état par exemple).
2b- exprimer l’entropie de la source avec mémoire. En déduire le débit binaire littéral
théoriquement atteignable après codage de source idéal, Db_min.
2c- en pratique, quel débit littéral Db peut-on obtenir en appliquant un code binaire
(Huffman) aux mots de 2 lettres plutôt qu’à chaque lettre ? Commentaires ?
3) Avec une boucle moins réactive telle que x =1/2, quel serait le nouveau Db_min ?

Exercice II Capacité de canal


Soit un canal discret d’entrée X ∈ { 0 ; 1 ; 2 ; 3 }, et sortie Y ∈ { 0 ; 1 ; 2 }.
Le canal est tel que : Y = X + Z ( mod 3)
où Z ∈ { 0 ; +1 } est aléatoire, avec les probabilités respectives P_Z = { 2/3 ; 1/3 }
Note modulo: on a 1 (mod 3) = 1 ; 3 (mod 3) = 0 ; 4 (mod 3) = 1 ; …

1) Donner la matrice de transition du canal P(Y/X), ainsi que le diagramme de transition.


2) Pour des entrées équiprobables, calculer l’information mutuelle I(X,Y).
3) Déterminer la capacité de ce canal et le (un ?) jeu de probabilité P*_X qui maximise I(X,Y).
Interpréter le résultat.

1
Eléments de réponses
Exercice I
D(S) = 1(/1 msec) = 1 klettre/sec

I) S est un source simple avec les probabilités pN = 1/8 ; pZ = 1/2 ; pP = 3/8 .


1- H(S) = 1,406 Sh/lettre, R(S) = 11,35%, et débit d’information Ht(S) = 1406 Sh/sec
2- 1° Th Shannon : Lmin = 1,406 bit/lettre => D(U)min = Lmin.D(S) = 1406 bit/sec
3- Codage binaire de Shannon-Fano : Z => 0 ; P =>10 ; N = 11 ;
L = (½) .1 + (3/8).2 + (1/8).2 = 12/8 = 1,5 bit/lettre, efficacité = 93,73%
Db = 1,5x1000 = 1,5 kbit/sec
4- en ternaire : Z =0, P=1, N = 2 ; L’ = 1symb ternaire/ lettre.
Nouvelle efficacité : L’min/L’ = H(S)/lb(3) = 88,7% : moins efficace.
5- Après recentrage du dispositif : pN = pP = ¼ et pZ = 1/2;
Avec un codage binaire Q=2, ces probabilités permettent de faire un code optimum absolu,
tel que li = lb(prob). On construit le code directement (ou à partir d’un algorithme) :
Z => 0 ; P =>10 ; N = 11 ; toujours L = 1,5 bit/lettre avec cette fois Lmin = H(S) = 1,5
bit/lettre et donc efficacité = 100%. Et Db = Db_min = 1500 bit/sec.

II) S est un source avec mémoire avec les probabilités (stationnaires) pN = pP = ¼ et pZ = 1/2 .
P( S[n] / S[n-1] )
S(n) N Z P
S(n-1)
N x 1-x 0
Z y z y où x, y et z sont des inconnues
P 0 1-x x

1) z = 1-2y. De plus, lorsque les probabilités stationnaires sont atteintes on a :


¼ = x.1/4 + y.1/2 ; d’où on déduit : x = 1 - 2y ;
Finalement z = x ; et y = ½ - x.½

2) On suppose que x = 0. D’où y = ½ et z = 0.


P( S[n] / S[n-1] )
S(n) N Z P
S(n-1)
N 0 1 0
Z ½ 0 ½
P 0 1 0

Il y a systématiquement un changement d’état à chaque instant. Les changements d’erreur


Positive vers Négative passent forcément par l’état intermédiaire Zéro.
HM=1(S) = H(S(n) | S(n-1)) = - (¼.1.lb(1) + ½.½.lb(1/2).2 + ¼.1.lb(1)) = 0,5 Sh
D’où après codage de source binaire idéal Db_min = Ht(S) = 500bit/sec.

2c- Code binaire de Huffman de S^2


Les seuls mots de 2 lettres possibles sont : GZ (¼), ZG(¼), ZD (¼), DZ (¼).
4 mots équiprobables sont codés au mieux sur 2bits/ mot (soit 1bit/lettre), d’où un débit après codage
de Db = 1000 bit/sec >> Db_min.
En fait, en codant de la sorte, on n’exploite pas la dépendance qui existe aussi entre les mots. Mais on
réduit tout de même le débit par rapport à la situation où on ne prenait pas du tout en compte la
dépendance (Db = 1500 bit/sec en codant au mieux les lettre 1 par une).

2
3) boucle moins réactive telle que x =1/2. D’où z = ½ et y = ¼ .
S(n) N Z P
S(n-1)
N ½ 1/2 0
Z ¼ 1/2 ¼
P 0 1/2 ½
Il n’y a plus systématiquement un changement d’état à chaque instant, mais cela multiplie les
transitions possibles, d’où une augmentation de l’incertitude moyenne :
HM=1(S) = H(S(n) | S(n-1)) = - (¼. ½.lb(½).2 + ½.¼.lb(¼).2 + ½ .½.lb(½) + ¼. ½.lb(½).2) = 1,25 Sh
D’où après codage de source binaire idéal Db_min = Ht(S) = 1250 bit/sec.

Exercice II - Capacité de canal


Entrée X ∈ {0 ; 1 ; 2, 3 } symboles à N = 4 états et, sortie Y ∈ {0 ; 1 ; 2 } symboles à M=3 états .
Z ∈ {0 ; +1 } est aléatoire, avec les probabilités respectives P_Z = { 2/3 ; 1/3 }

1) Matrice de transition du canal P(Y/X). On a :


P(Y/X=0) = P(Z) = {2/3 ; 1/3} pour respectivement Y= 0 ; et 1
P(Y/X=1) = P(Z+1) = {2/3 ; 1/3} pour respectivement Y= 1 ; et 2
P(Y/X=2) = P(Z+2) = {2/3 ; 1/3} pour respectivement Y= 2 ; et 3 (donc 0)
P(Y/X=3) = P(Z+3) = {2/3 ; 1/3} pour respectivement Y= +3 (donc 0) ; et 4 (+1)
 2 / 3 1/ 3 0 
 0 2 / 3 1/ 3 
P(Y / X ) =  
1/ 3 0 2 / 3
 
 2 / 3 1/ 3 0 
Le canal est donc uniforme par rapport à l’entrée, mais pas par rapport à la sortie.

2) Pour des entrées équiprobables, p(xi) = 1/4 ∀i = 0,1,2,3 ;


on vérifie facilement que :
P(yj) = Σi=0…3 p(yj/xi).p(xi) => P_Y = {5/3 x 1/4 ; 4/3 x 1/4 ; 3/3 x 1/4 }
Soit P(Y) = {5/12 ; 4/12 ; 3/12 } ;
I(X,Y) = H(Y) – H(Y/X) ;
Avec H(Y) = -5/12 lb(5/12) - 4/12 lb(4/12) -3/12lb(3/12) = 1.554585 Sh/symb
Et d’après le cours, pour un canal uniforme par rapport à l’entrée,
H(Y/X) = H(Y/X = xi) ∀ xi = -2/3lb(2/3) –1/3lb(1/3) = lb3 - 2/3 = 0,918295 Sh/symb ;
D’où I(X,Y) = 0.636 Sh/symb.

3) Capacité de ce canal et le jeu de probabilité P*(X) qui maximise l’information mutuelle ?


D’après le cours avec un canal uniforme par rapport à l’entrée, pour rendre I(X,Y) maximum (et donc
calculer C) il faut maximiser H(Y) vis à vis des probabilités d’entrée. De plus si il existe un jeu de
P_X qui rendent P_Y équiprobables, alors C = lb(3) – H(Y/X = xi) = 2/3 = 0,6667 Sh/symb.

Il est facile de vérifier qu’il existe (au moins) un jeu de prob. d’entrée P_X = {p0 ; p1 ; p2 ; p3},
qui rend P_Y équiprobables = {1/3 ; 1/3 ; 1/3}, en prenant p0 = p1= p2 = 1/3 et p3=0 (non utilisation
du dernier symbole d’entrée, avec alors canal 3x3 symétrique).
En fait, utiliser le dernier symbole « x3 » revient au même que d’utiliser le premier « x0 », et on peut
donc vérifier qu’il faut que p1 = p2 = 1/3, et p0 + p3 = 1/3.

N.B. : avec les équations : 2/3 (p0 + p3) + 1/3p2 = 1/3 et 2/3 p1 + 1/3 (p0 + p3) = 1/3
2/3 p2 + 1/3p1 = 1/3 avec p1 + p2 + p3 + p4 =1