Chapitre 4: Canales de

transmission -Capacité et codage

1
 Introduction
• Dans le codage de source, aucun élément extérieur ne vient
modifier l’information. Au contraire lorsque l’information
transite dans un canal, elle est perturbée par un bruit.
• Le résultat principal de ce chapitre est qu’il est possible de
coder de l’information de façon à ce que la détérioration
soit négligeable. Ceci se fait au prix d’une redondance de
l’information ou encore d’une vitesse de transmission ou de
capacités de stockage plus faibles.
• Pour tout canal de transmission on définit une grandeur
caractéristique appelée capacité du canal et que l’on peut
interpréter comme la quantité maximale d’information
pouvant transiter à travers le canal.

2
 Modèle de transmission
BRUIT

xk yj
SOURCE CANAL RECEPTEUR

• X = {x1, x2, … , xk, … , xn} |X| = n

– Alphabet de l’émetteur
• Y = {y1, y2, … , yj, … , ym} |Y| = m
– Alphabet du récepteur
• On doit mesure P(xk/yj): la probabilité qu’un symbole
xi soit émis sachant que yi est reçu .

3
 Modèle de transmission
• Dans un Canal digital on décrit le message émis par une
suite x1,x2, …. de symboles, et le message reçu par une suite
y1,y2,…. de symboles du même alphabet (transmission sans
codage).
• Dans le cas idéale on s'attend à ce que l'on n'ait
systématiquement xi = yi, sinon ceci exprime l’existence
d’un Bruit.
• On fait l'hypothèse que le bruit s'applique
indépendamment à chaque symbole et qu'il n'y a ni
symboles perdus ni symboles surnuméraires ; le canal est
alors modélisé seulement par ça matrice de transition :
Pij=P(Y=yj/X=xi)

4
• Du point de vue du récepteur :
- x est un symbole inconnu
- y est un symbole connu
- x et y sont corrélés Þ non indépendants
1
• La quantité I(x i /y j ) = Log 2 ( ) mesure l’incertitude sur xi
P(x i /y j )
connaissant yj .
• Exemple : X = {a, b} p(a) = p(b) = 1/2 ; I(a) = I(b) = 1 bit
Y = {c, d} p(a/c) = p(b/d) = 3/4 p(b/c) = p(a/d) = 1/4
I(a/c) = I(b/d) = log2(4/3) = 2 - log23 bits
I(b/c) = I(a/d) = log2(4) = 2 bits
I(a/c) = 2 - log23 < 1 donc I(a/c) < I(a)
L’incertitude sur « a » a diminué en connaissant « c ».
La connaissance de « c » apporte de l’information sur « a ».
I(a/d) = 2 > 1 donc I(a/d) > I(a).
L’incertitude sur « a » a augmenté en connaissant « d ».
La connaissance de « d » apporte de la désinformation sur « a5».
 Information transmise sur un canal
• Soit x un symbole émis , et y le symbole reçu en sortie du
canal:
La quantité I(x,y)=I(x)-I(x/y) mesure en bit l’information
sur x apportée par y.
1 1 P(x/y)
I(x, y) = I(x) - I(x/y) = Log 2 ( ) - Log 2 ( ) = Log 2 ( )
P(x) P(x/y) P(x)
• Exemple :
I(a,c) =I(a) - I(a/c) = 1 - 2 + log23 = log23 - 1 > 0
« c » apporte une information positive sur « a »
I(a,d) = I(a) - I(a/d) = 1 - 2 = -1 < 0
« d » apporte une information négative sur « a »

6
 Incertitude sur la source
• Pour un symbole yi reçu, l’incertitude sur la source X par
rapport à la réception de yi est définie par :
n
1
H(X/y i ) = å P(x k /y i ) * Log 2 ( )
k =1 P(x k /y i )
• On peut montré que H(X/yi)≤ H(X) :
La connaissance d’un symbole reçu diminue toujours
l’incertitude sur la source
• En moyenne, l’incertitude sur la source X par rapport à la
sortie du canal Y est donnée par:
m m n
H(X/Y) = å P( y j ) * H(X/y j ) = -åå P(x i , y j ) * Log 2 (P(x i /y j ))
j =1 j =1 i =1

7
 Incertitude sur la source

• La valeur de H(X/Y) mesure en bit l’incertitude moyenne

sur la source connaissant en moyenne les symboles reçus :
l’entropie de la source connaissant la sortie du canal.
• On montre que H(X/Y)≤ H(X)
La connaissance moyenne des symboles reçus diminue
toujours l’incertitude sur la source
• Cette mesure est appelée aussi l’équivoque du canal.

8
 Information mutuelle moyenne
• L’information mutuelle moyenne définie par :
n m
I(X, Y) = åå P(x i , y j ) * I(x i , y j )
i =1 j =1

= H(X) - H(X/Y)

Mesure en bit la quantité d’information apportée par la

connaissance de la sortie Y sur la source X
• On montre que I(X,Y)=I(Y,X) ³0. Cette quantité est appelée
aussi Transinformation du canal.

9
 Information mutuelle moyenne
• Propriétés
1) I(X,Y)=H(X)-H(X/Y)
= H(Y)-H(Y/X)
L’information apportée par la sortie sur la source est égale
à l’information apportée par la source sur la sortie
(symétrie source/sortie )
2) 0 ≤ I(X,Y) ≤ H(X)
0 ≤ I(X,Y) ≤ H(Y)
L’information apportée par Y sur X est au plus égale
à l’incertitude sur X ou Y.

10
 Cas Extrêmes
• H(X/Y) = 0 Þ I(X,Y)=H(X)
– L’incertitude sur X est nulle quand on connaît Y.
– L’information apportée par Y égale l’incertitude sur X.
– Y est déterminé par X (dans le cas générale Y=X).
– Pas d’erreurs de transmissions sur le canal.
• H(X/Y) = H(X) Þ I(X,Y)=0
– X et Y sont indépendants.
– L’incertitude sur X reste la même quand on connaît Y.
– Y « n’apprend » rien sur X.
– Bruit maximum, l’information est totalement perdu.
• Cas pratique : 0 ≤ I(X,Y)≤ Min(H(X),H(Y))

11
 Bruits et information mutuelle
• Pour un canal de transmission, on connait:
– la distribution de la source P(xi)
– le bruit du canal P(yj/xk): distribution de chaque sortie
(yj) pour chaque entrée (xk) (matrice de transitions)
• On peut déduire :
– la distribution de la sortie P(yj)
– La distribution de la source connaissant la sortie P(xk/yj).
• Ce qui permet de mesuré ensuite : H(X), H(Y), H(X/Y),
H(Y/X) et bien sûr I(X,Y)
• La transinformation est une mesure en bits de la
dégradation de l’information transmise avec du bruit.

12
 Capacité d’un canal
• I(X,Y) représente l’information transmise par le canal
elle mesure aussi la dégradation de l’information transmise
à travers le canal :
I(X,Y) augment Þ bruit diminue ÞMeilleur transmission
I(X,Y) diminue Þ bruit augmente Þ Mauvaise transmission
• I(X,Y) dépend seulement de la distribution de la source X et
de la matrice de transition du canal.
• Puisque la matrice est constante, il existe donc (au moins)
une distribution de X telle que I(X,Y) soit maximal.
• On peut modifier la distribution de X en codant la source
pour l’adapter au bruit du canal.

13
 Capacité d’un canal
• La capacité d'un canal est définie par l'information
mutuelle maximale entre la source X à valeurs sur
l'alphabet d'entré du canal, et sa sortie correspondante Y
sur le canal .
C = Max(I(X, Y))
P(X)

• Mesure en bits la quantité maximum d’information qu’un

canal peut transmettre, en faisant varier la distribution de
la source.
• C’est une limite infranchissable due au bruit qui est une
caractéristique du canal.

14
 Capacité d’un canal
Information transmise

I(X,Y)

0 H(X/Y) H(X) log2n

I(X,Y) = H(X) – H(X/Y)

Toute variation de H(X) Þ variation de H(X/Y) Þvariation

de I(X,Y) Þ $ valeur max de I(X,Y)
Le calcule de la capacité est spécifique pour chaque type de
canal (formule fixe pour certaines, et algorithmes spécifiques
pour d’autres)

15
 Capacité du Canal binaire symétrique
Avec la matrice de transitions:
æ1 - p p ö
çç ÷÷
è p 1- p ø

• Si la distribution de X est P(X=0)=a et P(X=1)=1-a alors il

faut trouver la valeurs de la distribution X (de a) qui
maximise I(X,Y) pour p fixe.
• On calcule d’abord la distribution de Y:
P(Y=0)=P(X=0)*(1-p)+P(X=1)*p = a*(1-p)+(1- a)*p
= a-2pa+p
P(Y=1)=P(X=1)*(1-p)+P(X=0)*p= (1-a)*(1-p)+ a*p
= 2pa+1-p- a
16
 Capacité du Canal binaire symétrique
• Ensuite on calcule H(Y):
H(Y)=-(a-2pa+p)Log2(a-2pa+p)-(2pa+1-p- a)Log2(2pa+1-p- a)

• On calcule ensuite H(Y/X) =

H(Y/0) H(Y/1)
a(-(1-p)Log2(1-p)-pLog2(p))+(1- a) (-(1-p)Log2(1-p)-pLog2(p))
=-(1-p)Log2(1-p)-pLog2(p) qui est indépendant de a.
• Finalement I(X,Y)=H(Y)-H(Y/X), pour maximisé il faut
calculer la dérivé par rapport à a:
dI(X, Y) dH(Y) dH(Y/X) dH(Y)
= - =
da da da da

17
 Capacité du Canal binaire symétrique
• On pose f(a)=a-2pa+p donc
H(Y)=-f(a)Log2(f(a))-(1- f(a))Log2(1-f(a))
Et on obtient
dH(Y) 1 - f(a ) 1 - f(a )
= f' (a )Log 2 ( ) = (1- 2 p )Log 2 ( )
da f(a ) f(a )

Cette valeur est nulle pour 1-f(a)=f(a)Þf(a)=1/2 = a-2p

a+pÞ a=(1/2-p)/(1-2p)=1/2.
Ainsi la valeur de I(X,Y) est maximale lorsque X est
uniforme (P(0)=P(1)=1/2) et donc la capacité du canal est
donnée par :
C=1+pLog2(p)+(1-p)Log2(1-p) =1-H2(p)
18
 Capacité du Canal à effacement
Avec la matrice de transitions
æ1 - p p 0 ö
M = çç ÷÷
è 0 p 1- p ø

• Si la distribution de X est P(X=0)=a et P(X=1)=1-a alors il

faut trouver la valeurs de la distribution X (de a) qui
maximise I(X,Y) pour p fixe.
• On calcul la distribution de Y:
P(Y=0)=P(X=0)*(1-p)= a(1-p)
P(Y=1)=P(X=1)*(1-p)= (1- a)(1-p)
P(Y=e)=P(X=0)*p+P(X=1)*p= ap+(1-a)p= p

19
 Capacité du Canal à effacement
• Ensuite on calcule H(Y):
H(Y)=-a(1-p)Log2(a(1-p))-(1- a)(1-p)Log2((1- a)(1-p))-pLog2p
=(1-p)H2(a)+H2(p)

• On calcule ensuite
H(Y/X) =P(X=0)*H(Y/0)+P(X=1)*H(Y/1)=P(X=0)*H2(p)+P(X=1)*H2(p)
=H2(p)
• Et donc
I(X,Y) =H(Y)-H(Y/X)=(1-p)H2(a)+H2(p)-H2(p)=(1-p)H2(a)
On dérive par rapport à a:
dI(X, Y) dH 2 (a ) d(a log 2 (a ) + (1 - a )Log 2(1 - a ))
= =-
da da da
a
= (1 + Log 2 (a ) - (1 + Log 2 (1 - a ))) = Log 2 (a ) - Log 2 (1 - a ) = Log 2 ( )
1-a
20
 Capacité du Canal à effacement
• La dérivé s’annule pour :
Log2(a/(1- a))=0 donc a=1- a Þ a=1/2

(Distribution uniforme de X)
• La valeur de la capacité est dans ce cas:
C=(1-p)*H2(1/2)=1-p

La capacité est maximale quand p=0, c’est-à-dire pas

d’erreurs. Inversement, si p=1 alors la capacité est nulle.
Chaque type de canal doit être étudier comme cas
particulier pour calculer sa capacité, pours certaines, il
n’existe pas de formules précis (TD).

21
 Codage d’un canal
• Shannon a imaginé les choses de la manière suivante :
1- H(X) est la quantité d'information moyenne contenue
dans les symbole de la source.
2- La transinformation est calculer par I(X,Y)=H(X)-H(X/Y)

• H( X /Y ) est liée à l'existence d'une probabilité d'erreur de

transmission. H(X/Y) est due à l'existence de bruit sur le
canal et révèle le fait que celui-ci ne transmet pas parfois
l'information. H(X/Y) est en quelque sorte une mesure de
la quantité d'information perdue.
• I(X,Y) devient ainsi la quantité d'information correcte
transmise par le canal.
• La capacité du canal doit s'entendre au sens de la capacité
de transmission sans erreur.
22
 Codage d’un canal
• Pour que la transmission soit performante, il faut fournir
au récepteur la quantité d'information manquante qui est
H(X/Y). Pour cela il est imaginé d'introduire une
redondance dans l'information qui permettra de détecter et
de corriger les erreurs dues à la transmission.
• Exemples simples :
- Ajouter un bit de parité et, en cas d'erreur à la réception,
interroger de nouveau l'émetteur.
- Transmettre l'information en trois exemplaires et, en cas
de désaccord, faire confiance à la majorité.
• D'après le modèle de Shannon, ces méthodes ont pour effet
de diminuer la quantité d'information perdue et donc
d'augmenter la capacité du canal.
23
 Codage d’un canal
• Grâce à cette analyse, il est possible de mettre au point des
méthodes de codage plus efficaces pour atteindre cet
objectif.
• Un codage de canal performant est d'autant plus
nécessaire que le canal est bruité et perd de l'information.
Le choix d'un codage est donc lié à la nature du canal. Une
transmission sur fibre optique par exemple est assurément
plus "propre" qu'une transmission hertzienne par réflexion
troposphérique.
• On étudiera certaines méthodes de codages correcteurs
d’erreurs dans le chapitre suivant.

24
 Codage par bloc d’un canal
• Nous considérons des suites binaires sources qui sont des
blocs de longueur fixe m de lettres de l’alphabet X = {0, 1}.
• Chaque bloc est d’abord codé à l’aide d’un code binaire de
longueur constante égale à n, et de cardinal M ≤ 2m
(contient M séquence de longueur n). Ce code est appelé
codage de canal par blocs.
• Les blocs codés passent ensuite dans un canal discret sans
mémoire (X,Y, Π), où X est l’alphabet d’entrée du canal et Y
est son alphabet de sortie. On suppose ici que X = Y = {0, 1}.
• Après le passage dans le canal, on souhaite retrouver la
suite binaire initiale. C’est le rôle joué par le décodeur. Le
décodage transforme donc une suite de n lettres de Y en
une suite source de m lettres de X.

25
 Codage par bloc d’un canal
• On définie le rendement du code (le taux de transmission ),
par R=Log2(M)/n ≤ 1.
R=1 indique qu’aucune redondance n’est introduite par le
code. R=1/2 par exemple indique que la taille est doublé par
le code.
• Exemples :
- Code a répétition de longueur 3: C = {000,111}, m=1, n=3, M=2
- Code de parité de longueur 4: C = {0000, 0011, 0101, 0110, 1001,
1010, 1100, 1111}, m=3, n=4, M= 8
- Code de Hamming de longueur 7: C = {0000000, 1101000, 0110100,
0011010,0001101, 1000110, 0100011, 1010001, 1111111, 0010111,
1001011, 1100101, 1110010, 0111001, 1011100, 0101110}, m=3, n=7,
M=16

26
 Codage par bloc d’un canal
• Soit C un code par bloc (M, n) utilisé dans un canal (X,Y, Π):
Définition : Un algorithme de décodage de C est une
procédure qui a tout bloc de n lettres de Y associe un mot de
code de C.

• L‘événement mauvais décodage pour un algorithme de

décodage et un canal donne est défini par :
Un mot de code xÎC Ì Xn est transmis a travers le canal, le
mot y Î Yn est reçu et est décode en x’ ≠x.
• Définition : Le taux d'erreur de C (dans le canal considéré)
noté Pe(C) est le minimum de la probabilité de mauvais
décodage pour tous les algorithmes de décodage. Ce taux
est appelé taux d’erreurs résiduel.
27
 Second théorème de Shannon
• Théorème : Soit un canal discret sans mémoire de capacité C.
Pour tout nombre réel R < C, il existe une suite de codes en
bloc (Cn(M, n)) n>0 de taux de transmission Rn telle que:

Pour un taux d’information R d’une source aussi inférieur que

l’on veut à la capacité de transmission du canal, il est toujours
possible de trouver un code qui rend la probabilité d’erreur aussi
petite que l’on veut.

• Ce théorème signifie donc qu’il existe des codes en bloc

permettant de réaliser un code dont le taux de transmission
est aussi proche qu’on le souhaite de la capacité du canal
avec un taux d’erreur arbitrairement petit.

28
 Second théorème de Shannon

• Théorème (Réciproque) : Soit un canal binaire symétrique de

capacité C. Pour tout code de taux R > C, il existe une
constante strictement positive KR,C ne dépendant que de R et
C telle que tout algorithme de décodage de ce code est de
taux d’erreur résiduel vérifie Pe > KR,C.
• Ce théorème indique qu’il est inutile de chercher des codes
de taux supérieur à la capacité du canal. La capacité est donc
bien le taux de codage maximal que l’on puisse atteindre
pour faire transiter une information dans un canal.

29
 Second théorème de Shannon
• Conséquence du second théorème de Shannon:
Soit un canal discret de capacité C et une source discrète
d'entropie H.
1. Si H ≤ C , alors il existe un système de codage tel que
l'information de la source peut être transmise sur le canal
avec une probabilité d'erreur aussi petite que l'on veut.

2. Si H > C il est possible d'encoder la source de manière à

obtenir une perte d'information proche de H-C. Il n'y a pas
de méthode de codage qui dans ce cas fournisse une perte
d'information inférieure à H-C.

30
 Conclusion
• La capacité d’un canal de transmission sans mémoire est
entièrement définie par la quantité d’information mutuelle
transmise qui ne dépond que de la distribution de la source
et de la probabilité d’erreur (matrice de transitions)
• Selon la valeur de cette capacité, des codes peuvent être
construits pour corrigé les erreurs de transmissions
produits en introduisant de la redondance d’information
dans le message pour compensé la valeur H(X/Y) perdu.
• De telles codes ont un taux de transmission entièrement
définie par la valeur de la capacité du canal. Ainsi, une
limite minimale de redondance est imposé pour obtenir
une transmission sûre et sans erreurs.

31