Ex10

Rep.
1. Matrice de transition :    p (b j | a i  pour ai   A, B, C , D et b j   A, B, C , D, E 

Le partitionnement de la matrice de transition donne deux matrices: la matrice carrée M = (1-p).I4 et

la matrice colonne V = p (1 1 1 1) t. M est symétrique, donc Π est symétrique, et par conséquent le
canal est symétrique.

2. La capacité C du canal est exprimée telle que:

C  max  ( X ; Y ) où X est la variable aléatoire (v.a) de l’entrée et Y est la v.a de sortie

avec :  ( X ; Y )   ( X )   ( X | Y )   (Y )   ( Y | X )
Le canal étant symétrique, la capacité est atteinte pour une loi uniforme sur l’alphabet d’entrée, c.à.d.
p X ( A)  p X ( B)  p X (C )  p X ( D)  1 4

 Distribution de probabilité de sortie : pY ( y )   p ( y | x) p

x
X ( x)

1
pY ( A)  p ( A | A) . p X ( A)  p ( A | B ) . p X ( B )  p ( A | C ) . p X (C )  p ( A | D ) . p X ( D )  (1  p )
4
1
pY ( B )  p ( B | A) . p X ( A)  p ( B | B ) . p X ( B )  p ( B | C ) . p X (C )  p ( B | D ) . p X ( D )  (1  p )
4
1
pY (C )  p (C | A) . p X ( A)  p (C | B ) . p X ( B )  p (C | C ) . p X (C )  p (C | D ) . p X ( D )  (1  p )
4
1
pY ( D )  p ( D | A) . p X ( A)  p ( D | B ) . p X ( B )  p ( D | C ) . p X (C )  p ( D | D) . p X ( D )  (1  p )
4
1
pY ( E )  p ( E | A) . p X ( A)  p ( E | B ) . p X ( B )  p ( E | C ) . p X (C )  p ( E | D ) . p X ( D )  4 . p .  p
4

 Entropie de la v.a Y, H(Y) :

5
 1 1  
 (Y )    p (b i) . log 2 ( p (bi ))   4  (1  p)  log 2  (1  p )   p . log 2  p  
i 1  4 4  
 2 . (1  p)  p . log 2 ( p )  (1  p ) . log 2 (1  p) bits

 Entropie conditionnelle  ( Y | X ) : Dans un canal symétrique H(Y \ X) ne dépend pas de X :

 (Y | X )    p ( y | x) log 2 p ( y | x)
5
( Y | X  A)    p (bi | A) log 2 p (bi | A)
i 1

 p ( A | A) log 2 p ( A| A)  p ( B | A) log 2 p ( B | A)  p (C | A) log 2 p (C | A)

  
  p ( D | A) log 2 p ( D | A)  p ( E | A) log 2 p ( E | A) 
  p .log 2 p  (1 p). log 2 (1 p)
5
 ( Y | X  B)    p (b
i 1
i | B ) log 2 p (bi | B )   p . log 2 p  (1  p ). log 2 (1  p )
5
( Y | X  C)    p (b
i 1
i | C ) log 2 p (bi | C )   p . log 2 p  (1  p ). log 2 (1  p )
5
 ( Y | X  D)    p (b
i 1
i | D) log 2 p (bi | D )   p . log 2 p  (1  p ). log 2 (1  p )

 Capacité, C, du canal : pour une distribution uniforme à l’entrée du canal, on a

C   (Y )   ( Y | X )  2 . (1  p )

3. Comme la source S est de cardinal 4 = 22, alors il faut prendre une extension d'ordre 2 du code
binaire. Par exemple, on peut avoir :
A = 00; B = 01; C = 10; D = 11; E = erreur:

4. On sait que la source binaire est sans mémoire et qu'un mot source est codé avec 2 éléments
binaires. Or, d'après le schéma de transmission, un mot mal transmis arrive à E = erreur. Donc :
 P (mot mal transmis) = p
 P (mot bien transmis) = 1- p