T HÉORIE DE L’ INFORMATION Session 8

Remarque préliminaire : Les exercices (ou parties d’exercice) marqués d’une étoile (F)
sont facultatifs et ne concernent que les élèves motivés et intéressés.

Exercice I :
a– Montrer que la cascade d’un nombre quelconque de canaux binaires symétriques est
encore un canal binaire symétrique.
b– Dans le cas particulier où l’on cascade N fois le même canal de probabilité de change-
ment de bit p, quelle relation de récurrence vérifie la probabilité PN de changement
de bit pour le canal équivalent ?
c– Soit QN = 1 − 2 PN . Trouver l’expression de QN en fonction de p. En déduire la valeur
de PN en fonction de p et N .
d– Que vaut la capacité du canal ainsi obtenu (c.-à-d. après cascade de N fois le même
canal symétrique binaire) ? Montrer que cette capacité tend vers 0 (pour 0 < p < 1).
Solution de l’exercice I :
a Considérons la cascade de 2 canaux binaires symétriques (CBS) de probabilité de chan-
gement p1 et p2 :

1 − p1 1 − p2
0 0 0
p1 p2
p1 p2
1 1 − p1 1 1 − p2 1

Que vaut P (Y |X) ?

P (0|0) = (1 − p1 ) (1 − p2 ) + p1 p2 = 1 − [p1 (1 − p2 ) + p2 (1 − p1 )]

P (0|1) = p1 (1 − p2 ) + p2 (1 − p1 )
et de même pour P (1|0) et P (1|1).

La cascades de 2 CBS est donc un CBS de probabilité de changement p = p 1 (1 − p2 ) +

p2 (1 − p1 ).

Alors de proche en proche, la cascade de N CBS est un CBS dont la probabilité de chan-
gement vérifie la relation de récurrence :

PN = PN −1 (1 − pN ) + pN (1 − PN −1 )

b Si pour tout n ≤ N , pn = p, on obtient :

PN = PN −1 (1 − p) + p (1 − PN −1 ) = (1 − 2 p) PN −1 + p

ÉC O L E P O L Y T E C H N I Q U E
DI-LIA 1/6
FÉ DÉR A L E D E L A U S A N N E
T HÉORIE DE L’ INFORMATION Session 8

c En introduisant QN = 1 − 2 PN , on a la relation :
QN = 1 − 2 (1 − 2 p) PN −1 − 2 p
= (1 − 2 p) (1 − 2 PN −1 )
= (1 − 2 p) QN −1
Et comme Q1 = (1 − 2 p), on obtient QN = (1 − 2 p)N et donc :
1 − (1 − 2 p)N
PN =
2

d La capacité de ce canal (cascade) est alors :

CN = 1 − h(PN )
Cette capacité tend vers 0 pour 0 < p < 1, car PN tend vers 1/2 pour de telles valeurs de
p.

Ce qui montre la nécessité, lors de la mise en série de plusieurs canaux, de l’introduction

de « modules répétiteurs », c.-à-d. de modules capables de décoder/corriger le message
afin de le réémettre correctement et ainsi assurer une transmission bout-à-bout d’un niveau
satisfaisant.

Exercice II :
Quelle est la capacité d’un canal ternaire (entrées et sorties ternaires) de matrice de proba-
bilité M (c.-à-d. que Mi j = P (Y = i|X = j)) avec :
 
1 0 0
M =  0 2/3 1/3 
0 1/3 2/3
Solution de l’exercice II :
Notons pi = P (X = i) pour i = 1, 2 ou 3. On a alors :
X X
H(Y |X) = − P (X = x) P (Y = y|X = x) log P (Y = y|X = x)
x y
= p1 · 0 + p2 h(1/3) + p3 h(1/3)
= (p2 + p3 ) h(1/3)

Pour calculer H(Y), posons Z la variable aléatoire telle que :

Z=0 ⇔ Y =1⇔X =1
Z = 1 ⇔ Y ∈ {2, 3} ⇔ X ∈ {2, 3}

ÉC O L E P O L Y T E C H N I Q U E
DI-LIA 2/6
FÉ DÉR A L E D E L A U S A N N E
T HÉORIE DE L’ INFORMATION Session 8

On voit que quand la valeur de Y est connue, Z est parfaitement déterminée. Donc :

H(Y Z) = H(Z|Y ) + H(Y ) = 0 + H(Y )

⇒ H(Y ) = H(Y Z)
⇒ H(Y ) = H(Y |Z) + H(Z)
⇒ H(Y ) = p1 H(Y |Z = 0) + (1 − p1 )H(Y |Z = 1) + H(Z)
1
p2 + 23 p3
⇒ H(Y ) = 0 + (1 − p1 ) h( 3 ) + h(p1 )
p2 + p 3

d’où l’expression de I(X; Y ) :

1
+ 23 p3 p
3 2 1
I(X; Y ) = H(Y ) − H(Y |X) = (1 − p1 ) h( ) + h(p1 ) − (1 − p1 ) h( )
p2 + p 3 3
1
p +2p
3 2 3 3
Lorsque p1 est fixée, le maximum de I(X; Y ) est clairement obtenu quand p2 +p3
= 1/2,
donc quand p2 = p3 = (1 − p1)/2. On a alors l’expression :

Imax|p1 (X, Y ) = (1 − p1 )(1 − h(1/3)) + h(p1 )

dont on annule la dérivée par rapport à p1 pour en trouver le maximum :

dImax|p1 (X,Y )
dp1 =0
p1
⇔ h(1/3) − 1 − log( 1−p 1
) =0
⇔ p1 = (1 + 21−h(1/3) )−1

Le maximum de I(X; Y ) est ainsi atteint pour la distribution suivante sur X :

p1 = (1 + 21−h(1/3) )−1 ' 0, 486

p2 = (1 − p1 )/2 ' 0, 257
p3 = (1 − p1 )/2 ' 0, 257

On a alors : C ' 1.041 bit.

ÉC O L E P O L Y T E C H N I Q U E
DI-LIA 3/6
FÉ DÉR A L E D E L A U S A N N E
 T HÉORIE DE L’ INFORMATION Session 8

Exercice III :
F Considérons un canal binaire symétrique dont les propriétés varient dans le temps :

1 − pi
0 0
pi
pi
1 1
1 − pi
Supposons de plus que l’évolution des propriétés du canal soit indépendante des messages
transmis, et donc que les yi soient indépendants (entre eux) conditionnellement à x1 , ..., xn :
n
Y
P (Y = (y1 , ..., yn )|X = (x1 , ..., xn )) = P (Yi = yi |Xi = xi )
i=1

On se place de plus dans le cas où x est une source sans mémoire, c.-à-d. que les x i sont
indépendants entre eux.
a– Quelle est la capacité Cn de ce canal pour des messages de taille n ?
b– Quelle est sa capacité moyenne (temporelle), c.-à-d. Cn /n ?
Solution de l’exercice III :
a Notations :
– X = (X1 , ..., Xn ), Y = (Y1 , ..., Yn ) représentent les variables aléatoires,
– x = (x1 , ..., xn ), y = (y1 , ..., yn ) représentent les valeurs qu’elles peuvent prendre,
– P (X) est une distribution de probabilité,
– P (x) = P (X = x) est la valeur de P (X) en x.
Par définition :

C = max I(X; Y )
P(X)

= max [H(Y ) − H(Y |X)]

P(X)

= max [H(Y1 ...Y2 ) − H(Y1 ...Y2 |X1 ...Xn )]

P(X1 )...P(Xn )

n
Y
Or par hypothèse P (y|x) = P (yi |xi ), et d’autre part les Xi sont indépendants, donc
i=1
n
Y
P (x) = P (xi ), d’où :
i=1
X
P (Y = y) = P (Y = y|X = x) · P (X = x)
x=(x1 ,...,xn )
X n
Y
= P (Yi = yi |Xi = xi ) P (Xi = xi )
x=(x1 ,...,xn ) i=1

ÉC O L E P O L Y T E C H N I Q U E
DI-LIA 4/6
FÉ DÉR A L E D E L A U S A N N E
T HÉORIE DE L’ INFORMATION Session 8

X n
XY
= ... P (Yi = yi |Xi = xi ) P (Xi = xi )
x1 xn i=1
! !
X X
= P (Y1 = y1 |X1 = x1 ) P (X1 = x1 ) ... P (Yn = yn |Xn = xn ) P (Xn = xn )
x1 xn
= P (Y1 = y1 ) ...P (Yn = yn )
Yn
P (Y = y) = P (Yi = yi )
i=1

Cela prouve que (Yi )1≤i≤n sont des variables aléatoires indépendantes, et l’on peut alors
écrire : n
X
H(Y ) = H(Yi )
i=1

Calculons maintenant H(Y |X). Dans la suite, x1 ...xn /xl signifie x1 ...xl−1 xl+1 ...xn :

X X
−H(Y |X) = P (X = x) P (Y = y|X = x) log P (Y = y|X = x)
x y
n
X Y n
X Y n
X
−H(Y |X) = P (Xi = xi ) P (Yj = yj |Xj = xj ) log P (Yk = yk |Xk = xk )
x1 ...xn i=1 y1 ...yn j=1 k=1

C’est donc une somme de logarithmes. Dans cette somme, identifions le facteur f (k, x k , yk )
de log P (Yk = yk |Xk = xk ) pour k, xk et yk fixés. Pour alléger les équations, on note xi et
yi les évènements Xi = xi et Yi = yi :

X n
Y X n
Y
f (k, xk , yk ) = P (xi ) P (yj |xj )
x1...xn/xk i=1 y1 ...yn /yk j=1
X Y X Y
f (k, xk , yk ) = P (xk ) P (yk |xk ) P (xi ) P (yj |xj )
x1...xn/xk i6=k y1 ...yn /yk j6=k

f (k, xk , yk ) = P (xk ) P (yk |xk )

Donc :
n XX
X
−H(Y |X) = P (xi ) P (yi |xi ) log P (yi |xi )
i=1 xi yi
n X
X X
−H(Y |X) = P (xi ) P (yi |xi ) log P (yi |xi )
i=1 xi yi

ÉC O L E P O L Y T E C H N I Q U E
DI-LIA 5/6
FÉ DÉR A L E D E L A U S A N N E
T HÉORIE DE L’ INFORMATION Session 8

n X
X
−H(Y |X) = P (xi ) (−H(Yi |xi ))
i=1 xi
Xn
−H(Y |X) = (−H(Yi |Xi ))
i=1
Xn
H(Y |X) = H(Yi |Xi )
i=1

On peut maintenant calculer la capacité Cn :

" n #
X
Cn = max {H(Yi ) − H(Yi |Xi )}
P(X1 )···P(Xn )
i=1
n
X
Cn = max [H(Yi ) − H(Yi |Xi )]
P(Xi )
i=1
Xn
Cn = [1 − h(pi )]
i=1
n
X
Cn = n − h(pi )
i=1

b La moyenne temporelle de la capacité vaut donc :

n
1 X
<Cn> = 1 − h(pi )
n i=1
= 1− <h(p)>

où <h(p)> est la moyenne temporelle empirique des h(pi ).

ÉC O L E P O L Y T E C H N I Q U E
DI-LIA 6/6
FÉ DÉR A L E D E L A U S A N N E