Université de Djilali Liabbès- Faculté des Sciences Exactes Promotion :1ière Année Master

Département d’Informatique Matière : Théorie de l’information et du codage

Fiche TD N°3 : Canales de transmission - Capacité et codage

Exercice 1 :
Soit un canal dont les alphabets d'entrée et de sortie sont binaires, et dont la matrice des probabilités de transition p(y/x)
1 0
est donnée par 𝑀 = # avec x,y Î{0 ;1}
1/2 1/2(
Déterminer la capacité de ce canal et la distribution p(x) qui réalise le maximum.

Exercice 2 :
Soit le Canal de transmission en Z suivant :

Calculer la capacité du canal. (indication : la valeur de I(X,Y) à été calculer dans l’exo 5 du Td N°1)
Université de Djilali Liabbès- Faculté des Sciences Exactes Promotion :1ière Année Master
Département d’Informatique Matière : Théorie de l’information et du codage

Solutions des exercices de la fiche TD N°3 : Canales de transmission : Capacité et codage

Exercice 1
1 0
La matrice de transitions du canal est donnée par 𝑀 = #
1/2 1/2(
, puisque l’alphabet d’entré est binaire {0,1}, la
distribution PX est binomiale, c'est-à-dire PX(0)=p et PX(1)=1-p.

0 1 0
½
1 ½ 1

On calcule d’abord H(X)=-pLog2(p)-(1-p)Log2(1-p)=H2(p).

On calcul ensuite PY :
PY(0)=PX(0)*1+PX(1)* ½ =p+ ½ (1-p)= ½ + p/2=1-(½ -p/2)
PY(1)=PX(0)*0+PX(1)* ½= ½ (1-p)= ½ -p/2
Donc H(Y)=-(½-p/2)Log2(½ -p/2)-(1-(½-p/2))Log2((1-(½-p/2))) =H2(½ -p/2)
On calcule ensuite H(Y/X) :
H(Y/X)=∑2345 𝑃(𝑋 = 𝑥) ∗ 𝐻(𝑌/𝑥))
H(Y/X=0)=− ∑; 𝑃(𝑦/𝑋 = 0) ∗ 𝐿𝑜𝑔2 (𝑃(𝑦/𝑋 = 0))
=-P(Y=0/X=0)Log2(P(Y=0/X=0))- P(Y=1/X=0)Log2(P(Y=1/X=0))
=-1*Log2(1)-0Log2(0)=0
H(Y/X=1)= − ∑; 𝑃(𝑦/𝑋 = 1) ∗ 𝐿𝑜𝑔2 (𝑃(𝑦/𝑋 = 1))
=-P(Y=0/X=1)Log2(P(Y=0/X=1))- P(Y=1/X=1)Log2(P(Y=1/X=1))
=- ½Log2(½)- ½Log2(½)= ½ + ½ =1
Donc H(Y/X)=PX(0)*H(Y/X=0)+PX(1)H(Y/X=1)
=p*0+(1-p)*1=1-p
I(X,Y)=H(Y)-H(Y/X)= H2(½ -p)+p-1=-(½-p/2)Log2(½ -p/2)-(1-(½ -p/2))Log2(1-(½ -p/2))+p-1
= -(½-p/2 )Log2(½-p/2)-(½+p/2)Log2(½+p/2 )+p-1
Pour trouver C=Max(I(X,Y)) on dérive I(X,Y) par rapport à p :
dI(X,Y)
dp
= ½Log2(½ -p/2)+½ - ½Log2(½ +p/2)-½ -1
=½Log2(½ -p/2)-½Log2(½ +p/2)-1
G J
5 I 5 5IO
=2 Log 2 FHG JH L + 1 = 2 Log 2 N5KOP + 1
K
H H
5 5IO 5 5IO 5IO 5IO 5 5
La dérivé s’annule pour 2 Log 2 N5KOP + 1 = 0 ⟹ 2 Log 2 N5KOP = −1 ⟹ Log 2 N5KOP = −2 ⟹ 5KO = R ⟹ 1 − p = R +
5 S T S
R
p ⟹ R = Rp ⟹ p = T
Donc la distribution qui maximise I(X,Y) est donnée par : P(X=0)=3/5 et P(X=1)=1-3/5=2/5
La capacité C=H2(½ -3/10)+3/5-1=H2(1/5)-2/5=0.321

Exercice 2

Soit le canal en Z :
On pose P(X=0)=p et P(X=1)=1-p
0.75 0.25
Sa matrice de transition est donnée par : 𝑀 = N P
0 1
D’aprés l’exercice N° 5 du TD N° 1, l’expression de I(X,Y) en fonction de p est donnée par :
I(X,Y)= H2(0.75p)-pH2(0.75)
=-0.75pLog2(0.75p)-(1-0.75p)Log2(1-0.75p)-p*H2(0.75)
On dérive par rapport à p on trouve :
-0.75Log2(0.75p)-0.75+0.75Log2(1-0.75p)+0.75-H2(0.75)
=0.75(Log2(1-0.75p)-Log2(0.75p))-H2(0.75)
5IX.YTZ
=0.75Log 2 N X.YTZ P − H2 (0.75p)
La dérivé s’annule pour
5IX.YTZ 5IX.YTZ H (0.75) 5IX.YTZ 5IX.YTZ
0.75Log 2 N X.YTZ P − H2 (0.75p) = 0 ⟹ Log 2 N X.YTZ P = 20.75 ⟹ Log 2 N X.YTZ P = 1.08 ⟹ X.YTZ = 25.X] =
2.114 ⟹ 1 − 0.75𝑝 = 1.585 ⟹ 𝑝 = 0.428

Donc la distribution qui maximise I(X,Y) est P(X=0)=0.428 et P(X=1)= 0.572, avec la capacité C=-
0.321Log2(0.321) -0.679Log2(0.679)-0.428*0.8112=0.558