PRENOM :

NOM :

Examen Thorie de lInformation

Documents et calculatrices autoriss, dure 45 minutes
Correction Correction Correction Correction Correction Correction Correction

I- Exercice Codage LZ
Donner les 12 premiers mots du dictionnaire obtenu pour le codage LZ de la squence
suivante et les codes transmis (sarrter quand le dictionnaire une taille de 12) :
001000001000100010011...
Squence code : a a b c f e c h d i
Dictionnaire :
0
a
1
b
00
c
01
d
10
e
000
f
0001
g
100
h
001
i
1000
j
010
k
0011
l

II- Exercice Capacit dun canal

Canal type binary erasure channel , canal binaire avec perte.
On tudie la capacit dun canal nomm binary erasure channel dont la modlisation
est donne en figure 1. Par rapport au un canal binaire symtrique, ce type de canal modlise
un cana l de transmission o des bits peuvent tre perdus au lieu dtre corrompus.
Ce canal est constitu en entre de deux symboles et de trois symboles en sortie. Ainsi, le
rcepteur connait les bits qui ont t perdus.

Modle de canal binaire avec perte de symbole.

Insa 5GE TdSi

-1/3-

2009

PRENOM :

NOM :

Le but de cet exercice est :

- dans la premire partie, de calculer la capacit de ce canal (pas trivial cause du
symbole e, mais intuitivement simple ! : C 1 , isnt it ?),
- dans la deuxime partie, dtudier leffet dun feedback sur la capacit du canal.
Premire Partie : Capacit
a) Ecrire la matrice P[Y/X] du canal o X, respectivement Y, reprsente la variable
alatoire pour les donnes dentre et de sortie.
b) En calculant H(Y/X) montrer que cette entropie est identique H(Y/X) dun canal
binaire symtrique normal (sans perte de symbole).
H(Y/X) = -SSp(xi).p(yj/xi).log(p(yj/xi)) = - p(0).( (1-a).log(1-a) + (a.log(a) ) - p(1).(
(1-a).log(1-a) + (a.log(a) )
= -(1-a).log( 1-a ) - a.log( a ) identique H(Y/X) du canal binaire symtrique du
cours
c) La capacit du canal se calcule partir de la formule suivante :
C max I ( X; Y)
p( x)

O I reprsente la transinformation et p(x) reprsente la distribution de X.

Exprimer la capacit C avec H(Y) et H(Y/X) puis donner la valeur maximum
thorique de H(Y).
C=max(H(Y) H(Y/X) )= max (H(Y)) H(Y/X). Max thorique de H(Y)=log2(3)
d) Le maximum thorique de H(Y) ne peut pas tre atteint par un quelconque choix
de p(x). Pour obtenir la bonne expression de H(Y), il faut prendre en compte les
probabilits de X et lvnement {Y=e}.
En notant p la probabilit dapparition du symbole 1 en entre ( c.--d.
p(X=1) = p), exprimer p(Y=0), p(Y=1) et p(Y=e)
Montrer que H(Y) peut se mettre sous la forme :
H (Y ) 1 . 1 p .log 2 1 p 1 . p.log 2 p 1 .log 2 1 .log 2
Rappel : log(a.b) = log(a) + log(b)
P(1) = p.(1-a)
P(0) = (1-p).(1-a)
P(e) = a
H(Y) = - (1-p).(1-a).log( (1-p).(1-a) ) - p.(1-a).log( p.(1-a) ) - a.log( a )
= - (1-p).(1-a).log( 1-p ) - (1-p).(1-a).log( 1-a ) - p.(1-a).log( p ) - p.(1-a).log( 1-a ) a.log( a )
= - (1-a).(1-p).log( 1-p ) - (1-a).p.log( p ) - (1-a).log( 1-a )( (1-p) + p) - a.log( a )
e) A partir des questions prcdentes, en dduire que la capacit du canal est
C 1 , donner la valeur de p permettant dobtenir C.
C = max[ - (1-a).(1-p).log( 1-p ) - (1-a).p.log( p ) - (1-a).log( 1-a ) - a.log( a )
+ (1-a).log( 1-a ) + a.log( a ) ]
= max[ - (1-a).(1-p).log( 1-p ) - (1-a).p.log( p ) ]
= 1 a pour p=1/2

Insa 5GE TdSi

-2/3-

2009

PRENOM :

NOM :

Seconde Partie : Feedback

Pour amliorer le taux de transmission, on propose lajout dune boucle de retour
(feedback) tel que prsent sur la figure suivante :

f) Par rapport au canal tudi, et sous lhypothse dune transmission instantane et

sans mmoire, dcrire la manire dont sera utilis le feedback.
Quand e est recu, on demande la rmission du dernier symbole.
g) En sappuyant sur la rponse prcdente, justifier que la capacit du canal avec
feedback CFB est CFB = C.
La valeur max de I(X ;Y) sobtiendra toujours pour les mmes conditions et valeurs que
pour C : la capacit est max si p=1/2 et a le plus petit possible car ainsi il ny a pas de
rmission de symbole. CFB=C=1-a.
Les caractristiques du canal ne sont pas modifies par lajout dun feedback (le feedback
ne modifie pas a) donc la capacit reste la mme (autant de 0 que de 1 rmettre en
entre car P(Y=e) ne dpend pas de p(x) ).
h) Quelque soit le canal CFB = C. Conclure sur lintrt dun feedback dans une
transmission.
Le feedback ne modifie pas les proprits du canal, donc ne modifie pas la capacit,
cependant, il facilite le codage/dcodage ! Explications :
On pourrait sattendre ce que le feedback diminue la capacit en disant quil y de
nombreuse r mission, or ce nest pas le cas car la capacit ne prend pas en compte la
quantit de symboles.
De mme on pourrait sattendre ce que la capacit augmente puisque le canal transmet
mieux (tous les symboles arrivent sans ambigut). Or ceci ne relve pas de la capacit mais
du dcodage de canal.
Ainsi, on arrive, grce un feedback, un dcodage quasi certain (ca dpend des canaux
et de la faisabilit du feedback) sans modifier la capacit !
Dun point de vue capacit, le Feedback ne sert rien ; il facilite juste le dcodage.

Insa 5GE TdSi

-3/3-

2009