Perf S System Es Codes

Codage de Canal :
Performances de systmes cods

Olivier Rioul
TELECOM ParisTech
Dept. Comelec
olivier.rioul@telecom-paristech.fr
Version 3.0 (2011)
ii
Cadre priv } sans modifications

Par le tlchargement ou la consultation de ce document, lutilisateur accepte la licence dutilisation qui y est
attache, telle que dtaille dans les dispositions suivantes, et sengage la respecter intgralement.
La licence confre lutilisateur un droit dusage sur le document consult ou tlcharg, totalement ou en partie, dans
les conditions dfinies ci-aprs, et lexclusion de toute utilisation commerciale.
Le droit dusage dfini par la licence est limit un usage dans un cadre exclusivement priv. Ce droit comprend :
le droit de reproduire le document pour stockage aux fins de reprsentation sur un terminal informatique unique,
le droit de reproduire le document en un exemplaire, pour copie de sauvegarde ou impression papier.
Aucune modification du document dans son contenu, sa forme ou sa prsentation, ni aucune redistribution en tout ou
partie, sous quelque forme et support que ce soit et notamment par mise en rseau, ne sont autorises.
Les mentions relatives la source du document et/ou son auteur doivent tre conserves dans leur intgralit.
Le droit dusage dfini par la licence est personnel, non exclusif et non transmissible. Tout autre usage que ceux prvus par la licence est soumis autorisation pralable et expresse de lauteur : sitepedago@enst.fr
Table des matires

1 Introduction
1.1 Formulation gnrale du problme . . . . . . . . . . . . . . . . . . .
1.2 Systmes cods ou non cods . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Transmission symbole par symbole . . . . . . . . . . . . . . .
1.2.2 Transmission mot par mot . . . . . . . . . . . . . . . . . . . .
1.2.3 Systme cod par un code en blocs . . . . . . . . . . . . . . .
1.2.4 Systme cod par un code convolutif . . . . . . . . . . . . . .
1.3 Exemples de canaux continus . . . . . . . . . . . . . . . . . . . . . . .
1.3.1 Canal gaussien rel . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.3.2 Canal gaussien complexe . . . . . . . . . . . . . . . . . . . . . 11
1.3.3 Canal de Rayleigh* . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.4 Canal de Rayleigh normalis* . . . . . . . . . . . . . . . . . . . 14
1.3.5 Canal de Rayleigh avec vanouissements indpendants* . . 14
1.3.6 Performances sur un canal de Rayleigh* . . . . . . . . . . . . 16
1.4 Exemples de canaux discrets . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.1 Canal binaire symtrique . . . . . . . . . . . . . . . . . . . . . 17
1.4.2 Canal q-aire symtrique . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3 Canal effacement* . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4.4 Canal effacements et erreurs* . . . . . . . . . . . . . . . . . . 22
1.4.5 Performances moyennes sur un canal effacement et erreurs* 23
1.5 Paramtres fondamentaux dune transmission . . . . . . . . . . . . . 24
1.5.1 Taux et dbit binaire . . . . . . . . . . . . . . . . . . . . . . . . 24
1.5.2 Taux et efficacit spectrale . . . . . . . . . . . . . . . . . . . . . 24
1.5.3 Rapport signal--bruit et puissance dmission . . . . . . . . 25
1.5.4 Transmission bande ou puissance limite . . . . . . . . . 26
iii
iv
TABLE DES MATIRES
2 Maximum de vraisemblance
29
2.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Maximiser la probabilit a posteriori . . . . . . . . . . . . . . . . . . 30
2.3 Maximiser la vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Minimiser la distance euclidienne . . . . . . . . . . . . . . . . . . . . 31
2.4.1 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.2 Canal de Rayleigh* . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 Minimiser la distance de Hamming . . . . . . . . . . . . . . . . . . . 32
2.5.1 Canal q-SC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5.2 Canal erreurs et effacements* . . . . . . . . . . . . . . . . . . 33
2.6 Dcodage Hard et dcodage Soft . . . . . . . . . . . . . . . . . . . 34
2.6.1 Dcodage Soft . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.2 Dcodage Hard . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.3 Dcodage Hard avec effacements* . . . . . . . . . . . . . . . 36
3 Bornes sur la probabilit derreur
39
3.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Borne de lunion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3 Borne de Bhattacharyya . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4 Cas dun canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.1 Calcul exact de la probabilit derreur par paire . . . . . . . . 41
3.4.2 Borne de Bhattacharyya . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Cas dun canal q-SC ou BSC . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.1 Calcul exact de la probabilit derreur par paire . . . . . . . . 43
3.5.2 Borne de Bhattacharyya . . . . . . . . . . . . . . . . . . . . . . 44
3.6 Autres bornes* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6.1 Borne de Chernoff* . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6.2 Borne de Gallager* . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.7 Distribution de distances . . . . . . . . . . . . . . . . . . . . . . . . . 47
4 Performances de modulations linaires
51
4.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2 Modulation binaire (BPSK) . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.1 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
TABLE DES MATIRES
4.2.2 Canal de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . 53

4.3 Perte par rapport la BPSK . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.1 Perte en rapport signal bruit par symbole . . . . . . . . . . . 54
4.3.2 Perte en rapport signal bruit par bit . . . . . . . . . . . . . . 55
4.4 Taux derreur par bit et par symbole . . . . . . . . . . . . . . . . . . . 56
4.5 Modulation en amplitude (PAM) . . . . . . . . . . . . . . . . . . . . . 57
4.6 Modulation en phase (PSK) . . . . . . . . . . . . . . . . . . . . . . . . 58
4.7 Modulation damplitude QAM . . . . . . . . . . . . . . . . . . . . . . 59
5 Systmes cods en blocs
65
5.1 Distribution de distances dun code . . . . . . . . . . . . . . . . . . . 65

5.1.1 Les coefficients A d . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.1.2 Polynme numrateur de poids . . . . . . . . . . . . . . . . . 66
5.1.3 Identit de Mac Williams . . . . . . . . . . . . . . . . . . . . . 67
5.1.4 Enumration de poids dun code moyen* . . . . . . . . . . 68
5.2 Performances sur le canal q-SC . . . . . . . . . . . . . . . . . . . . . . 69
5.2.1 Mot de code nul mis . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.2 Borne de lunion . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2.3 Borne de lunion + Bhattacharyya . . . . . . . . . . . . . . . . 70
5.2.4 Calcul exact* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2.5 Une borne classique . . . . . . . . . . . . . . . . . . . . . . . . 72
5.2.6 Comparaison avec la borne de lunion* . . . . . . . . . . . . . 73
5.2.7 Taux derreur rsiduel . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 Performances en dcodage incomplet* . . . . . . . . . . . . . . . . . 75
5.3.1 Gnralits* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3.2 Stratgie ARQ* . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.3.3 Stratgie FEC* . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.4 Calcul exact de P c (en FEC)* . . . . . . . . . . . . . . . . . . . 79
5.3.5 Calcul exact de P i (en ARQ)* . . . . . . . . . . . . . . . . . . . 79
5.3.6 Cas de la dtection pure* . . . . . . . . . . . . . . . . . . . . . 81
5.3.7 Taux derreur rsiduel en FEC* . . . . . . . . . . . . . . . . . . 82
5.4 Dcodage hard et soft . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.4.1 Mode de code nul mis . . . . . . . . . . . . . . . . . . . . . . 85
5.4.2 Lien entre distances euclidienne et de Hamming . . . . . . . 86
vi
TABLE DES MATIRES

5.4.3 Borne de lunion . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.4 Borne de lunion + Bhattacharyya . . . . . . . . . . . . . . . . 87
5.4.5 Taux derreur rsiduel . . . . . . . . . . . . . . . . . . . . . . . 88
5.4.6 Gain asymptotique en fort rapport signal bruit . . . . . . . 88
5.4.7 Gain asymptotique en faible rendement . . . . . . . . . . . . 91
6 Performances optimales dun code
93
6.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 Taux du code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.3 Technique du codage alatoire . . . . . . . . . . . . . . . . . . . . . 94
6.3.1 Loi de probabilit sur les codes . . . . . . . . . . . . . . . . . . 94
6.3.2 Loi de probabilit sur les mots de code . . . . . . . . . . . . . 95
6.3.3 Loi de probabilit sur les symboles cods . . . . . . . . . . . . 96
6.3.4 Remarque pour les canaux continus . . . . . . . . . . . . . . . 96
6.3.5 Performance du meilleur code . . . . . . . . . . . . . . . . . 97
6.4 Calcul de la probabilit derreur moyenne . . . . . . . . . . . . . . . 97
6.5 Taux critique R 0 du canal . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.5.1 Le thorme R 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.5.2 Cas du canal q-SC . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.5.3 Cas du canal gaussien* . . . . . . . . . . . . . . . . . . . . . . . 102
6.5.4 Cas du canal gaussien entre binaire . . . . . . . . . . . . . 103
6.6 Capacit C du canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.6.1 Le thorme de Shannon . . . . . . . . . . . . . . . . . . . . . 103
6.6.2 Rciproque du thorme de Shannon . . . . . . . . . . . . . . 105
6.6.3 Cas du canal q-SC . . . . . . . . . . . . . . . . . . . . . . . . . 106
6.6.4 Cas du canal gaussien . . . . . . . . . . . . . . . . . . . . . . . 107
6.6.5 Cas du canal gaussien entre binaire . . . . . . . . . . . . . 109
6.7 Performances optimales en dcodage hard . . . . . . . . . . . . . . 109
6.8 Performances optimales en dcodage soft . . . . . . . . . . . . . . 112
6.9 Comparaison entre dcodage hard et soft . . . . . . . . . . . . . . . . 115
7 Exercices
119
7.1 Bornes et quivalents de la fonction de Marcum . . . . . . . . . . . . 121

7.2 Amlioration de la borne de Bhattacharyya . . . . . . . . . . . . . . . 122
TABLE DES MATIRES
vii
7.3 Ingalits de Tchbycheff et Chernoff . . . . . . . . . . . . . . . . . . 124

7.4 Borne de Chernoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.5 Polynme A(z) et borne de Plotkin . . . . . . . . . . . . . . . . . . . . 128
7.6 Identit de Mc Williams . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.7 Enumration de poids dun code MDS . . . . . . . . . . . . . . . . . 132
7.8 BPSK Code sur canal de Rayleigh . . . . . . . . . . . . . . . . . . . . 135
7.9 Modulation par signaux orthogonaux . . . . . . . . . . . . . . . . . . 139
7.10 Distances moyennes et thorme R 0 . . . . . . . . . . . . . . . . . . . 143
7.11 Exposant de Gallager pour le canal gaussien . . . . . . . . . . . . . . 146
7.12 Maximisation de lentropie . . . . . . . . . . . . . . . . . . . . . . . . 147
7.13 Borne de Shannon sur la capacit . . . . . . . . . . . . . . . . . . . . 149
7.14 Capacit du canal gaussien entre binaire . . . . . . . . . . . . . . 151
7.15 Rciproque forte du thorme de Shannon . . . . . . . . . . . . . . . 153
7.16 Performances sur le canal binaire effacement . . . . . . . . . . . . 155
viii
TABLE DES MATIRES
Table des figures

1.1 Illustration du problme du dcodage . . . . . . . . . . . . . . . . . .
1.2 Systme cod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.4 Canal de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 Canal de Rayleigh avec entrelaceur . . . . . . . . . . . . . . . . . . . 15
1.6 Canal discret erreur additive . . . . . . . . . . . . . . . . . . . . . . 17
1.7 Canal binaire symtrique (BSC) . . . . . . . . . . . . . . . . . . . . . . 17
1.8 Canal q-aire symtrique (q-SC) . . . . . . . . . . . . . . . . . . . . . . 19
1.9 Canal binaire effacement (BEC) . . . . . . . . . . . . . . . . . . . . 21
1.10 Canal binaire effacement et erreurs . . . . . . . . . . . . . . . . . . 22
2.1 Illustration du problme du dcodage (bis) . . . . . . . . . . . . . . . 29
4.1 Performances de la BPSK . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Performances de la BPSK sur canal gaussien et sur canal de Rayleigh 55
4.3 Performances de la Modulation M -PAM en fort rapport signal
bruit, en fonction du rapport signal bruit par symbole et par bit . 59
4.4 Constellation 8-PSK . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5 Performances de la Modulation M -PSK en fort rapport signal
4.6 Constellation 64-QAM . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.7 Constellation 32-QAM . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.8 Performances de la Modulation M -QAM en fort rapport signal
5.1 Les trois rgions de dcodage incomplet . . . . . . . . . . . . . . . . 76
ix
TABLE DES FIGURES

6.1 Capacit et Taux critique pour le canal BSC, en fonction du paramtre du canal p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2 Capacit et Taux critique en dcodage hard sur canal gaussien, en
fonction du rapport signal bruit moyen E m /N0 = Rb
. . . . . . . 110
6.3 Rapport signal bruit b minimum pour une transmission fiable,

en dcodage hard sur canal gaussien, en fonction du taux R . . . . . 111
6.4 Capacit et Taux critique en dcodage soft sur canal gaussien entre binaire, en fonction du rapport signal bruit moyen E m /N0 =
Rb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
en dcodage soft sur canal gaussien entre binaire, en fonction
du taux R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
en dcodage hard et soft sur canal gaussien entre binaire, en
fonction du taux R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.7 Gain potentiel du codage binaire : Limites de Shannon en dcodage
hard et soft, en comparaison avec la modulation binaire non code 117
Liste des tableaux

4.1 Gains asymptotiques, par rapport la BPSK, en fort rapport signal
bruit, pour la modulation M -PAM . . . . . . . . . . . . . . . . . . . 58
bruit, pour la modulation M -PSK . . . . . . . . . . . . . . . . . . . 60
bruit, pour la modulation M -QAM . . . . . . . . . . . . . . . . . . . 63
5.1 Gains hard et soft sur canal gaussien de quelques codes BCH binaires primitifs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
xi
xii
LISTE DES TABLEAUX
Prsentation gnrale
La thorie du codage correcteur derreurs vue en dominante Communications est esthtique du point de vue mathmatique mais pose un certain
nombre de problmes pratiques. A cet gard, Elwyn R. Berlekamp, lune des
grandes figures dans ce domaine, pose les questions fondamentales :
1. How good are the best codes ?
2. How can we design good codes ?
3. How can we decode them ?
Ce document prsente les bases et ltat de lart en ce qui concerne ces trois
problmes, qui sont toujours dactualit. Il sadresse aux tudiants dsireux de
travailler dans ce domaine et donc de possder des bases solides en thorie des
communications.
1. Etant donn un code, comment peut-on savoir sil est bon ? Autrement dit,
comment estimer les performances dun code donn en termes de probabilit derreur ? Nous donnerons les mthodes de calcul des performances
des systmes cods (borne de lunion, borne de Batthacharyya) la fois
pour les codes en blocs et les codes convolutifs, pour diffrents types de
canaux utiliss en pratique.
2. Comment peut-on trouver de bons codes ? Ils sont difficiles trouver, bien
que la thorie de linformation suggre quun code choisi au hasard a des
chances dtre bon ! Nous illustrerons ce paradoxe apparant en introduisant la technique du codage alatoire.
3. Comment peut-on dcoder facilement un code ? Cette question trouver
des algorithmes de dcodage efficaces donnant lieu une implantation
aise est extrment importante. Cest en effet la complexit du dcodage
1
PRSENTATION GNRALE
qui constitue le principal goulet dtranglement pour la ralisation dune
chane de transmission. Imposer quun code soit la fois bon du point
de vue des performances et facile implanter, rend ncessaire ltude de
codes trs structurs, comme les codes BCH et de Reed-Solomon.
Nous donnons dans un deuxime document intitul Corps finis, Transforme de Fourier et Codes spectraux, tous les outils mathmatiques
ncessaires (notamment la transforme de Fourier) pour ltude dtaille
de ces codes et de quelques algorithmes de dcodage dcisions fermes
(algorithme de Berlekamp-Massey et algorithme dEuclide). Ce document
ne concerne que les algorithmes de dcodage "hard" ( dcisions fermes),
par opposition au dcodage "soft" ( dcisions douces : Algorithmes de
Forney, de Wagner gnralis, de Viterbi entre et/ou sortie souples...)
qui sera expos dans un autre module de loption.
Bibliographie
[1] Andrew J. Viterbi et Jim K. Omura, Principles of Digital Communication and
Coding, 560 p., chaps. 24, McGraw-Hill, 1979.
[2] Robert J. McEliece, The Theory of Information and Coding, 302 p., chaps. 2, 4, 7
et 9, Encyclopedia of Mathematics and Applications, Addison-Wesley, 1977.
[3] Richard E. Blahut, Theory and Practice of Error Control Codes, 500 p.,
chaps. 1415, Addison-Wesley, 1983.
[4] John G. Proakis, Digital Communications, 928 p., chaps. 78, McGraw-Hill,
3rd edition, 1995.
Claude E. Shannon
Chapitre 1
Introduction au problme du
dcodage optimal
1.1 Formulation gnrale du problme
Nous utilisons ici un modle trs gnral de transmission numrique, dcrit
la Fig. 1.1.
Y
-
Canal
- X = f (Y )
Dcodeur
F IG . 1.1 Illustration du problme du dcodage

La variable (ou vecteur) alatoire discrte X prend ses valeurs dans un alphabet fini X . Elle reprsente soit un symbole (ou un mot) dinformation, soit un
symbole (ou un mot) de code (voir section suivante).
Le canal accepte en entre X et fournit une variable (ou un vecteur) alatoire
Y appele symbole (ou mot) reu. Mathmatiquement, le canal est dfini par la
donne des probabilits de transition p(y|x) (probabilit conditionnelle de Y
sachant que X = x). Ce canal modlise un certain type de perturbation que
subit X au cours dune transmission dans un milieu de propagation, en incluant,
le cas chant, une partie des organes dmission et de rception.
5
CHAPITRE 1. INTRODUCTION
Trs souvent, on dfinit le canal par une relation de la forme :
Y = X +B
o B est une variable (ou un vecteur) alatoire reprsentant le bruit ou une

erreur additive. B est suppose indpendante de X , de sorte que la loi p(y|x)
est tout simplement donne par la loi de B en y x.
La fonction f de la Fig. 1.1 est appele, suivant les cas, dtecteur si X reprsente des symboles dinformation, ou dcodeur si X reprsente des symboles
cods. Etant donn Y = y, il fournit, par application dune rgle dterministe, une
valeur estime de X note x = f (y). La variable (ou vecteur) alatoire X prend
ses valeurs dans le mme alphabet fini X que X .
Lobjectif, en communications numriques, est de concevoir une rgle de
dcodage (ou dtection) la plus efficace possible, qui permette de retrouver X = X
avec la plus forte probabilit possible. On veut donc minimiser la probabilit
derreur
P e = P r { X 6= X }.
1.2 Systmes cods ou non cods

On dcrit ici succintement un systme de transmission, symbole par symbole ou mot par mot, cod ou non cod. On fera ensuite une description plus
prcise des modles de canaux utiliss aux 1.3 et 1.4, ainsi que des paramtres
fondamentaux de la transmission au 1.5.
1.2.1 Transmission symbole par symbole

X est ici une variable alatoire (en abrg v.a.) reprsentant un symbole dun
alphabet X q lments (symbole q-aire).
On considre souvent une transmission symbole par symbole lorsquon a affaire un systme non cod. La v.a. X reprsente alors un symbole dinformation.
Sa loi est donne par les probabilits
p(x) = P r {X = x} o x X
On supposera en gnral que les symboles sont quiprobables :
p(x) =
1
q
x X
1.2. SYSTMES CODS OU NON CODS
Noter que la probabilit derreur est ici une probabilit derreur par symbole,
parfois note P e/s .
On distingue deux types de canaux :
Canal continu
Exemples : Canal gaussien, de Rayleigh, . . .
Le symbole dentre X est un point dune constellation R ou C, parfois
Rn (voir exercice). Cette constellation (alphabet de X ) est dtermine par le
type de modulation utilis.
Le symbole reu Y est une v.a. continue. Les probabilits de transition dfinissant le canal sont alors des densits de probabilit :
4
p(y|x) =
p(x, y)
p(x)
Ce sont, en effet, pour chaque valeur de X = x, des fonctions positives de la

variable continue y R ou C, et on a :
R
Z
y
p(y|x)d y =
p(x, y)d y
p(x)
p(x)
= 1.
p(x)
Canal discret
Exemples : Canal binaire symtrique (CBS), canal effacements, . . .
Le symbole reu y est une v.a. discrte prenant ses valeurs dans un alphabet
Y . Souvent Y = X (mme alphabet que X ), et en gnral Y X (pour le canal
effacements, par exemple).
Le canal est alors dfini par la donne des probabilits conditionnelles pour
tout x X et y Y :
4
p(y|x) =
p(x, y)
p(x)
qui vrifient :
X
y
p(y|x) =
p(x, y)/p(x) =
p(x)
= 1.
p(x)
1.2.2 Transmission mot par mot

X est ici un vecteur alatoire (v.a.) reprsentant un bloc de n symboles :
X = (X 1 , X 2 , . . . , X n )
Le canal accepte successivement les symboles X 1 , X 2 , . . . , X n en entre et fournit

Y1 , Y2 , . . . , Yn , o chaque symbole reu Yi ne dpend que de X i comme pour une
transmission symbole par symbole.
On peut donc modliser le canal dentre X et de sortie :
Y = (Y1 , Y2 , . . . , Yn )
(le mot reu) par ce quon appelle une extension nime sans mmoire du canal
dfini pour les symboles (dentre X i et de sortie Yi ). Mathmatiquement, il est
dtermin par les probabilits de transition :
4
p(y|x) =
n
Y
p(y i |x i )
i =1
o x = (x 1 , x 2 , . . . , x n ) et y = (y 1 , y 2 , . . . , y n ). En dautres termes, les lois de Yi sachant X i = x i sont indpendantes. Noter que lon a bien :
Z Y
Z
Z
YZ
p(y i |x i )d y i =
p(y i |x i )d y i = 1
p(y)d y =
yn i
y1
yi
pour un canal continu et

X
X XY
YX
p(y|x) =
p(y i |x i ) =
p(y i |x i ) = 1
y
y1
yn i
yi
pour un canal discret.
1.2.3 Systme cod par un code en blocs

On considre souvent une transmission mot par mot lorsquon a affaire une
systme cod (par un code en blocs). Ce type de systme est dcrit la Fig. 1.2.
I
X
-
codeur
canal
Y-
dcodeur f
X
-
codeur
I
-
F IG . 1.2 Systme cod

Un mot dinformation I = (I 0 , I 1 , . . . , I k1 ) est constitu de k symboles q-aires
(alphabet A de taille q), indpendants et de mme loi. On fait, en gnral, lhypothse que les symboles sont quiprobables :
p(i m ) =
1
q
i m A
1.3. EXEMPLES DE CANAUX CONTINUS
do
p(i ) =
1
qk
Un codeur associe chaque mot dinformation i = (i 0 , i 1 , . . . , i k1 ) un mot de

code unique x = (x 0 , x 1 , . . . , x n1 ). Le code C de paramtres (n, k) contient donc
M = q k mots de code A n . Le dcodeur fournit un mot de code x C , qui
correspond, en inversant le codeur, le mot dinformation .
Noter que puisquil y a une correspondance bijective entre i et x, si on suppose les symboles dinformation quiprobables, on a :
p(x) =
1
qk
1
M
x C
Les mots du code C sont galement quiprobables.

Toujours parce quil y a une correspondance bijective entre mots dinformation et de code, la probabilit derreur scrit indiffremment :
P e = P r { I 6= I } = P r { X 6= X }
Cest une probabilit derreur par mot (dinformation ou de code), parfois note
P e/mot .
1.2.4 Systme cod par un code convolutif

Lapproche est la mme que pour un code en blocs, ceci prs que I reprsente maintenant la squence (infinie) de symboles dinformation et X la
squence (infinie) de symboles cods.
En pratique pour valuer les performances dun tel systme on se ramne
des squences finies correspondant des chemins fondamentaux dans le
treillis. De la sorte, les rsultats quon tablira pour des mots de longueur finie
sappliqueront au cas dun systme cod par un code convolutif.
1.3 Exemples de canaux continus

Lexemple fondamental est le canal gaussien (en anglais, AWGN channel :
Additive White Gaussian Noise Channel).
On a vu en Dominante Communications la mise en uvre, pour la transmission dun symbole dans un intervalle [0, T ], dun modulateur et dun dmodulateur sur le canal gaussien. Ce canal gaussien a pour entre x(t ) et pour sortie
10
y(t ) = x(t )+b(t ), o b(t ) est un processus gaussien blanc centre de densit spectrale de puissance bilatrale N0 /2. Nous avons tabli une statistique suffisante en
nous ramenant, en sortie du canal, un espace de Hilbert de dimension finie n (la
dimension de lespace des signaux mis). Nous supposons ici ces connaissances
acquises, et nous travaillons, pour un choix donn dune base orthonorme de
lespace des signaux mis, avec les composantes de x(t ) et de y(t ) sur cette base.
Dans la description ci-dessous, le canal gaussien rel correspond au cas n = 1.
Le canal gaussien complexe correspond au cas n = 2, en quivalent bande de
base (symboles complexes). Lexercice 7.9 sur la modulation par des signaux
orthogonaux de mme nergie traite dun cas o n est quelconque (symboles
Rn ).
1.3.1 Canal gaussien rel

Le canal gaussien rel (voir Fig. 1.3) modlise une transmission en bande
de base par modulation linaire (BPSK ou PAM) sur un canal gaussien sans
interfrence entre symboles (IES=0), en dtection cohrente.
Transmission symbole par symbole
?
- n
Canal
F IG . 1.3 Canal gaussien
Symbole dentre X R est dans une constellation relle. Lnergie moyenne

par symbole (quil soit cod ou non cod) est :
E m = E(X 2 )
11
Bruit En sortie du canal (voir Fig. 1.3) : Y = X + B , o B est un bruit additif

gaussien rel, centr (de moyenne nulle), indpendant de X , de densit
spectrale de puissance bilatrale (variance) gale
N0
2 , de sorte que lon a :
(yx)2
1
p(y|x) = p
e N0
N0
Rapport signal bruit Dans le symbole reu Y = X + B apparait une partie utile
X (signal) et le terme de bruit B . Le rapport signal bruit est le rapport
des deux puissances 1 :
=
Em
N0
Transmission mot par mot

Pour une transmission mot par mot il vient immdiatement :
p(y|x) =
p(y i |x i ) =
o ||x||2 =
1
(N0 )
e
n/2
kyxk2
N0
x i2 est la norme dun vecteur de Rn . Noter quici lnergie moyenne
par symbole est :

Em =
1
E kxk2
n
et la distance (dans lespace de Hilbert des signaux mis) entre deux mots x et x 0
est :
d (x, x 0 ) = ||x x 0 ||
1.3.2 Canal gaussien complexe

Le canal gaussien complexe modlise une transmission autour dune frquence porteuse par modulation linaire (en amplitude et/ou en phase) sur un
canal gaussien, sans interfrence entre symboles (IES=0), en dtection cohrente
et en quivalent bande de base.
1. En fait
E(X 2 )
E(B 2 )
mais tout le monde adopte cette dfinition de .
=2
Em
N0
12

Symbole dentre X C appartient une constellation dans le plan complexe.
Lnergie moyenne par symbole (quil soit cod ou non cod) est :
1
E m = E(|X |2 )
2
Le facteur
1
2
provient du fait quon est en quivalent bande de base.
Bruit En sortie du canal : Y = X + B , o B est un bruit additif gaussien complexe,

centr (de moyenne nulle), indpendant de X , de densit spectrale de
puissance bilatrale (variance) gale E(|B |2 ) = 2N0 . La partie relle et
imaginaire du bruit sont indpendantes, chacune de variance N0 , de sorte
que lon a :
p(y|x) =
|yx|2
1
e 2N0
2N0
Rapport signal bruit Dans le symbole reu Y = X + B apparait une partie utile
X (signal) et le terme de bruit B . Le rapport signal bruit est le rapport
des deux puissances :
=
E(|X |2 ) E m
=
E(|B |2 ) N0

Pour une transmission mot par mot il vient immdiatement :
p(y|x) =
o ||x||2 =
kyxk2
1
2N
0
e
(2N0 )n
|x i |2 est la norme dun vecteur de Cn .
Attention ! Il faut bien prendre garde au facteur
1
2
d la modlisation en
quivalent bande de base : Ainsi lnergie moyenne par symbole est :

Em =
1
E kxk2
2n
et la distance (dans lespace de Hilbert des signaux rels mis) entre deux mots x
et x 0 est telle que :
1
d 2 (x, x 0 ) = ||x x 0 ||2
2
do
1
d (x, x 0 ) = p ||x x 0 ||
2
13
1.3.3 Canal de Rayleigh*

Le canal de Rayleigh (Fig. 1.4) modlise une transmission autour dun frquence porteuse par modulation linaire (en amplitude et/ou en phase) sur un
canal vanouissements, en dtection cohrente et en quivalent bande de base.
?

?
- n
- Y
Canal
F IG . 1.4 Canal de Rayleigh

Symbole dentre X C appartient une constellation dans le plan complexe.
Lnergie moyenne par symbole (quil soit cod ou non cod) est :
1
E m = E(|X |2 )
2
Bruit En sortie du canal : Y = X +B , o B est un bruit additif dfini de la mme
faon que pour un canal gaussien complexe. On a donc :
p(y|x, ) =
|yx|2
1
e 2N0
2N0
Evanouissement R : En dtection cohrente = |c|, o c C est le gain

complexe instantan de loi gaussienne centre de variance 22 (parties
relles et imaginaires indpendantes de variance 2 ) :
p(c) =
2
1
|c| 2
2
e
22
On peut dterminer facilement la loi de ; En posant c = e j , on a :

p(c)d c = p()p()d d
En identifiant les densits en et sachant que d c = d d on obtient
que suit une loi de Rayleigh :
p() =
22
e 2
2
14
Sa variance est
E(2 ) = E |c|2 = 22
Rapport signal bruit Dans le symbole reu Y = X + B apparait une partie

utile X (signal) et le terme de bruit B . Le rapport signal bruit est le
rapport des deux puissances :
2 E(|X |2 )
Em
= 2
E(|B |2 )
N0
Le rapport signal bruit moyen est donc (en moyennant par rapport ) :
= E(2 )
Em
N0
1.3.4 Canal de Rayleigh normalis*

On peut toujours, si on le dsire, normaliser de telle sorte que E(2 ) = 1
(ce qui correspond =
p1 ).
2
Pour ce canal de Rayleigh normalis, on a la mme
expression du rapport signal bruit que pour un canal gaussien :

=
Em
N0
et la loi de est donne par :

2
p() = 2e
Dornavant, par souci de simplification, on supposera toujours quun canal de

Rayleigh est normalis.
1.3.5 Canal de Rayleigh avec vanouissements indpendants*

Pour une transmission mot par mot un problme pratique se pose : les vanouissements correspondent des variations plus ou moins lentes du canal non
stationnaire et sont donc souvent fortement corrls.
Pour obtenir des vanouissement dcorrls (idalement : indpendants)
on rajoute un entrelaceur et un dsentrelaceur comme cela est indiqu dans la
Fig. 1.5.
Un entrelaceur effectue une permutation grande chelle sur les symboles
x i , de telle sorte quaprs entrelacement deux symboles successifs correspondent
en fait deux symboles les plus loigns possible dans le temps. Le dsentrelaceur
Entrelaceur
- Rayleigh
15
- Dsentrelaceur
- Y
F IG . 1.5 Canal de Rayleigh avec entrelaceur

effectue lopration inverse ; Ainsi, en sortie du dsentrelaceur on peut supposer
que les i sont suffisemment indpendants.
Si on note :
= (1 , 2 , . . . , n )
la sortie Y est donne par :
Y = X +B
o on a not
X = (1 X 1 , 2 X 2 , . . . , n X n )
En prsence dun entrelaceur idal, on peut considrer que les i sont indpendants.
Lorsque les x i sont effectivement valeurs complexes (pour une modulation
en phase par exemple), il apparait le problme suivant : le mme vanouissement
i sapplique pour la partie relle et la partie imaginaire du symbole X i . Pour
obtenir des vanouissement dcorrls (idalement : indpendants) la fois sur
les parties relles et imaginaires des symboles, il suffit dentrelacer non seulement
les symboles, mais aussi leurs parties relles et imaginaires.
On obtient alors le modle suivant : Lentre est un vecteur de 2n symboles
rels (les parties relles x 2i et imaginaires x 2i +1 des symboles) :
X = (X 1 , X 2 , . . . , X 2n )
La sortie est donne par
Y = X +B
o les vanouissements
= (1 , 2 , . . . , 2n )
sont indpendants. Dans ce cas lnergie moyenne par symbole est :
Em =
1
E(kxk2 )
2n
16
lorsque est normalis (kxk est ici la norme dans R2n ).

Ce canal de Rayleigh peut donc tre vu comme une extension (2n)ime sans
mmoire dun canal de Rayleigh rel dcrit par :
Y = X + B
o X est un symbole rel, suit une loi de Rayleigh, B est un bruit gaussien rel
centr de variance N0 (et non pas N0 /2, puisquil correspond une partie relle
ou imaginaire du bruit gaussien complexe).
1.3.6 Performances sur un canal de Rayleigh*

Pour le dcodage, on peut, si lon veut, estimer au pralable les affaiblissements et donc les supposer connus la rception 2 . Mais il faut moyenner
ensuite les performances par rapport la loi de probabilit de .
Ainsi, lors dune transmission mot par mot, on dtermine, pour chaque , la
probabilit derreur
P e| = P r { X 6= X |}
Au final, pour obtenir la probabilit derreur moyenne il faut moyenner sur le
vecteur de Rayleigh :
Pe =
P e| p()d
Rappelons que pour un canal de Rayleigh normalis vanouissements indpendants :

p() =
Y
i
p(i ) =
2i e i .
1.4 Exemples de canaux discrets

Ce type de canaux est couramment utilis pour valuer les performances
dun dcodage hard sur canal gaussien (voir chapitre suivant).
2. Cest en particulier la stratgie adopte en dcodage soft (mais pas, en gnral, en dcodage
hard : voir exercice 7.8). Voir 2.6 pour explication des termes hard et soft.
1.4. EXEMPLES DE CANAUX DISCRETS
17
1.4.1 Canal binaire symtrique

Le canal binaire symtrique (BSC : Binary Symmetric Channel) est dcrit la
Fig. 1.6.
E
- ?
h
- Y
Canal
F IG . 1.6 Canal discret erreur additive

Lalphabet est binaire : X = F 2 , o F 2 = {0, 1} est le corps fini deux lments.
Les symboles dentre X et de sortie Y sont binaires. La variable alatoire binaire
E modlise lerreur : Y = X + E . La loi de E est donne par :
p(E = 1) = p
p(E = 0) = 1 p
o p est appel paramtre du canal BSC (raw error probability). Ainsi E = 0 si et

seulement si il ny a pas derreur, E = 1 sinon.
1p
0Q
Q
- 0
3

Q
Q
Q
Q
Q
Q

1
1p

p
Q p
Q
Q
sQ
1
F IG . 1.7 Canal binaire symtrique (BSC)

On reprsente graphiquement les probabilits de transition p(y|x) comme
18
la Fig. 1.7, o une flche reliant x y est tiquette par p(y|x). On dit que le canal
est symtrique cause de la symtrie de la figure.
On peut, par commodit dans le cas dun dcodage hard par exemple, choisir un autre alphabet binaire comme X = {1}. Cela ne change pas la description
du canal BSC donne la Fig. 1.7.
Lors dune transmission mot par mot on a :
Y = X +E
et, puisque :
p
p(y|x) =
1p
si y 6= x
si y = x
on obtient facilement :
p(y|x) =
n
Y
p(y i |x i ) = p
d H (x,y)
(1 p)
nd H (x,y)
i =1
o
d H (x, y) = w H (e)
est la distance de Hamming entre x et y, i.e., le nombre derreurs (positions i
telles que x i 6= y i ), gal au poids de Hamming du vecteur derreurs e (nombre de
i telles que e i = 1).
Noter que la probabilit davoir t symboles errons dans le mot reu y est :
p(t ) =
p(y|x) = Cnt p t (1 p)nt .
y|d H (x,y)=t
1.4.2 Canal q-aire symtrique

Le canal q-aire symtrique (q-SC : q-ary Symmetric Channel) est une gnralisation du BSC dcrit la Fig. 1.6.
Lalphabet est q-aire : X = F q , o F q est le corps fini q lments. Les symboles dentre X et de sortie Y sont q-aires. La variable alatoire q-aire E (
19
valeurs dans F q ) modlise lerreur : Y = X + E . La loi de E est donne par :
p(E = e) = p
p(E = 0) = 1 (q 1)p
si e 6= 0
o p est appel paramtre du canal q-SC.

Ainsi E = 0 si et seulement si il ny a pas derreur, E 6= 0 sinon. La probabilit
derreur est :
P = p(E 6= 0) = (q 1)p
On reprsente graphiquement les probabilits de transition p(y|x) comme
la Fig. 1.8, o une flche reliant x y est tiquette par p(y|x). On dit que le canal
est symtrique cause de la symtrie de la figure.
1 (q 1)p
XXX
0 H
:
Z
*

H
X
@
p
>

ZH XX
pp

X

XX
@ ZH
XX
H
Xp

H
@
Z
1
(q
1)p

pX
z
X
X
H
X
1 H
Z
:

*

H

ZHX@
p
X
H
Z

X

>

pp
ZHH
@XX
H
Z
H

X

X
Z

@
H
X
p
H
Z

X

p
H
X
Z
1 (q
1)p
H

X
z

Z
j
H

H
:

@

2 X
Z
HX
HH
pp
Z

*
X

HXX
Z
@

H Z
H
Z
H
X

Z
X@
p
HpH
X
X

H
X
Z

X
Z

H
pXH
1
1)p
(q
j
@

X
z
X
Z
~
Z
X
H
3 XX H Z p
:
@

X
Z p
X
H
XXH
p@
XX p

Z

XH
X
H

X@
p
Z

X
H
j
1
(q
1)p
z
X
~
Z

4
R
@
1
2
3
F IG . 1.8 Canal q-aire symtrique (q-SC)

Lors dune transmission mot par mot on a :
Y = X +E
et, puisque :
p
p(y|x) =
1 (q 1)p
si y 6= x
si y = x
20
on obtient facilement :
p(y|x) =
n
Y
p(y i |x i ) = p
d H (x,y)
(1 (q 1)p)
nd H (x,y)
i =1
o :
d H (x, y) = w H (e)
est la distance de Hamming entre x et y, i.e., le nombre derreurs (positions i
telles que x i 6= y i ), gal au poids de Hamming du vecteur derreurs e (nombre de
i telles que e i 6= 0).
Noter que la probabilit davoir t symboles errons dans le mot reu y est :
p(t ) =
p(y|x)
y|d H (x,y)=t
= (q 1)t Cnt p t (1 (q 1)p)nt

= Cnt P t (1 P )nt
o P = (q 1)p.
1.4.3 Canal effacement*

On se limite ici au cas binaire, bien quon puisse facilement gnraliser des
symboles q-aires.
Le canal binaire effacement (BEC : Binary Erasure Channel) est dcrit la
Fig. 1.9 qui reprsente graphiquement les probabilits de transition p(y|x), o
une flche reliant x y est tiquete par p(y|x). Ce canal sappelle aussi canal
en cause de la forme de cette figure.
Lalphabet de lentre X est binaire : X = {0, 1} (ou, sil on prfre : {1}),
mais lalphabet de la sortie Y est ternaire : Y = {0, 1, } (ou {1, }). Le symbole
reprsente un effacement.
Le canal est dtermin par les probabilits de transition :
p(|x) =
x (effacement)
p(0|1) = p(1|0) = 0
(pas derreur)
p(0|0) = p(1|1) = 1
Noter quici il ny a pas de vritable erreur puisque p(0|1) = p(1|0) = 0.
21
1
- 0
0 H
HH
H
HH
H
HH
H
j
H
3

- 1
1
1
F IG . 1.9 Canal binaire effacement (BEC)

Pour une transmission mot par mot, on adopte les notations suivantes :
dsigne lensemble des positions effaces dans le mot reu :
= {i | y i = }
de sorte que le nombre deffacements prsents est = Card. On dfinit y
comme le vecteur constitu des valeurs non effaces de y, et de mme x est le

vecteur constitu des x i pour i 6 .
On trouve alors facilement :
p(y|x) =
n
Y
p(y i |x i ) = (1 )n y
i =1
o y
=x
=x
vaut 1 si y = x (les symboles dentre et de sortie non effacs corres
pondent) et 0 sinon.
Noter que la diffrence avec le BSC est que la rception, on connait le
nombre et la position des effacements (alors que pour le BSC le nombre et la
position des erreurs sont inconnus a priori).
La probabilit dun motif de effacements est p() = (1 )n . Par
consquent, la probabilit davoir symboles effacs dans le mot reu y est :
p() =
X
|Card=
p() = Cn (1 )n .
22
1.4.4 Canal effacements et erreurs*

1p
0 H
0
@H

H
@ HH
@
HH
p@
H
HH
@
HH
j
@
*

@

@
p
@

@

@

R
@

1
1
1p
F IG . 1.10 Canal binaire effacement et erreurs

On peut compliquer en introduisant une probabilit derreur p = p(0|1) =
p(1|0) (en plus de la probabilit deffacement ) non nulle (voir Fig. 1.10) :
p(|x) =
x (effacement)
p(0|1) = p(1|0) = p
(erreur)
p(0|0) = p(1|1) = 1 p
Typiquement en dcodage hard la probabilit derreur est trs faible devant la

probabilit deffacement : p .
Pour une transmission mot par mot, on trouve facilement, avec les mmes
notations que pour le canal effacements sans erreur :
p(y|x) =
n
Y
p(y i |x i ) = p
d H (x ,y )
(1 p )
nd H (x ,y )
i =1
o = (y) est le motif deffacements prsents dans y, et est leur nombre.

Pour ce type de canal il est intressant de traiter les symboles non effacs
sparment des symboles effacs, pour un motif donn. La probabilit dun
23
motif de effacements est donne par :

X
p() =
p(x, y)
x,y|(y)=
X
x
p(x)
p(x)
p(y|x)
y|(y)=
X
y
X
t
d H (x ,y )
(1 p )
nd H (x ,y )
t
Cn
p t (1 p )nt
= (p + 1 p )n = (1 )n
de sorte que, comme pour le canal effacement sans erreur, la probabilit que
symboles soient effacs dans le mot reu y est
p() = Cn (1 )n .
Etant donn (y) = , notre canal est quivalent un canal BSC dentre x
et de sortie y que nous appelerons canal BSC quivalent. Les mots dentre et
de sortie de ce canal quivalent sont de longueur n et son paramtre est :

p
.
1
p =
En effet, la probabilit de transition p(y |x ) est donne par
p(y|x, ) =
p(y, |x)
p()
=
=
p
p
p(y|x)
=
p()
d H (x ,y )
nd H (x ,y )
(1 p )
(1 )n
d H (x ,y )
nd H (x ,y )
(1 p )
1.4.5 Performances moyennes sur un canal effacement et erreurs*

Pour le dcodage, est connu la rception et on se ramne, comme indiqu
ci-dessus, au cas dun canal BSC dont on value les performances. Mais il faut
ensuite moyenner celles-ci par rapport la loi p() de (cette situation est
similaire celle dun canal de Rayleigh).
Ainsi, lors dune transmission mot par mot, on dtermine, pour chaque , la
probabilit derreur :
P e| = P r { X 6= X |}
24
Noter que cette probabilit derreur ne dpend de que par lintermdiaire du

nombre deffacements = Card. Au final, pour obtenir la probabilit derreur
moyenne il faut moyenner sur la probabilit de :
Pe
p() P e|
n
X
=0
p()P e|
o, rappelons-le :
p() = Cn (1 )n .
1.5 Paramtres fondamentaux dune transmission

1.5.1 Taux et dbit binaire
Le taux R est un paramtre trs important dun systme (cod ou non). Il est
dfini comme le nombre moyen de bits dinformation par symbole mis dans
le canal. En notant M le nombre de messages dinformation possibles et n la
longueur (nombre de symboles) dun point X mis dans le canal, on a donc :
R=
log2 M
n
Ainsi, pour un systme non cod, on a n = 1 et donc R = log2 M bits par

symbole mis. Il sagit par exemple du taux dune modulation M -aire.
k
log2 q.
n
Ce taux sidentifie au rendement k/n du code dans le cas binaire (q = 2).
Pour un systme cod par un code linaire (n, k), on a M = q k et R =
Le taux R est un paramtre intimement reli au dbit binaire D b du systme,

qui est dfini comme le nombre de bits dinformation transmis par seconde. En
notant T la priode symbole (intervalle de temps correspondant la transmission
dun symbole dans le canal), on a :
Db =
R
T
bits/sec.
1.5.2 Taux et efficacit spectrale

La largeur de bande B occupe par un systme sur canal gaussien (dcodage
hard ou soft) est galement un paramtre important. On a vu en dominante
1.5. PARAMTRES FONDAMENTAUX DUNE TRANSMISSION
25
Communications quon pouvait approximer B par :

B
1
T
o T est la priode symbole. Plus prcisment on a, par exemple dans le cas

dune modulation linaire par un cosinus surlev :
B=
1+
T
o est le facteur de dbordement (roll-off ) utilis. Dsormais on identifiera

B 1/T pour simplifier.
Lefficacit spectrale est par dfinition, le dbit binaire rapport la largeur
de bande occupe :
=
Db
B
bits/sec/Hz.
Avec les relations D b = R/T et B = 1/T on voit quon peut identifier efficacit
spectrale et taux :
R.
Il est important de se rappeler la relation entre le dbit binaire, la largeur de
bande et le taux :
Db
R
B
Elle montre que, mme dbit binaire et mme bande occupe, on doit comparer
des systmes de mme taux. Aussi, dbit binaire fix, une diminution du taux
(efficacit spectrale) se traduit par un largissement de la largeur de bande.
1.5.3 Rapport signal--bruit et puissance dmission

Dans la description des diffrents types de canaux continus faites ci-dessus,
on a dfini le rapport signal bruit par :
=
Em
N0
o E m est lnergie moyenne dun symbole mis dans le canal. Celui-ci peut,
suivant le type de systme, rsulter ou non dun codage. Il dpend en tout cas du
taux R de la transmission.
Afin de comparer de manire simple diffrents systmes, on est amen
dfinir un rapport signal bruit qui soit indpendant du type de codage utilis
26
en rapportant lnergie moyenne par bit dinformation. Toujours en notant M

le nombre de messages dinformation possibles et n la longueur (nombre de
symboles) dun point X mis dans le canal, un symbole mis correspond en
moyenne R =
log2 M
n
bits dinformation. On peut donc crire :

Em = R Eb
o E b est lnergie moyenne dun bit dinformation. Le rapport signal--bruit par

bit dinformation est alors dfini par :
b =
Eb
N0
Afin de comparer les performances de plusieurs systmes en termes de probabilit derreur fonction du rapport signal--bruit, il convient donc dutiliser cette
dfinition du rapport signal--bruit pour plus de cohrence.
Le rapport signal--bruit par bit dinformation est galement reli la puissance dmission. Notant toujours T la priode symbole, un symbole est mis
toutes les T secondes avec une nergie moyenne de E m joules, soit :
Em = P T
o P est puissance dmission (exprime en watts). Il vient :
b =
1 Em
PT
=
R N0 R N0
do :
b =
P
N0 D b
La rapport signal bruit sexprime ainsi en fonction de la puissance dmission

P , de la d.s.p. du bruit N0 , et du dbit binaire D b .
1.5.4 Transmission bande ou puissance limite

On parle souvent de transmission bande limite lorsque lefficacit spectrale est suffisamment grande (R > 1 : de lordre de 1 quelques bits par symbole),
par opposition une transmission puissance limite lorsque lefficacit spectrale est trs petite : typiquement R 0.
1.5. PARAMTRES FONDAMENTAUX DUNE TRANSMISSION
27
Noter que en transmission dite puissance limite, lefficacit spectrale est

trs petite : D b /B 1, do :
P /N0 B
ce qui explique le terme puissance limite.
28
Chapitre 2
Dcodage maximum de
vraisemblance
2.1 Gnralits
Reprenons le schma gnral de la Fig. 1.1, reproduit la Fig. 2.1.
Canal
- X = f (Y )
Dcodeur
F IG . 2.1 Illustration du problme du dcodage (bis)
X et X sont des variables (ou vecteurs) alatoires discrtes pouvant prendre

les valeurs {x 1 , x 2 , . . . , x M }. Rappelons que dans le cas dun systme cod, les x i
sont les mots dun code (n, k) sur F q o M = q k . Dans le cas dune modulation
linaire, les x i sont des symboles M -aires dune constellation. Suivant le type de
canal, Y est une v.a. discrte ou continue. La loi conjointe de X et Y est donne
par p(x, y). On a :
Z
XP
x
p(x, y) = 1
29
30
CHAPITRE 2. MAXIMUM DE VRAISEMBLANCE
Z
P
o on a adopt la notation spciale pour spcifier :
X
Zy
dy
lorsque Y est discret

lorsque Y est continu
Dans le premier cas, p(x, y) est une probabilit en y, dans le deuxime p(x, y) est
une densit de probabilit en y. Les calculs vont tre formellement identiques
dans les deux cas.
Lobjectif est de concevoir une rgle de dcodage (ou de dtection) f qui
minimise la probabilit derreur :
P e = P r { X 6= X }.
2.2 Maximiser la probabilit a posteriori

En introduisant la notation 1 A = 1 si A est vraie, = 0 sinon, on peut facilement
exprimer la probabilit derreur en fonction de p(x, y) :
Z
XP
Pe =
p(x, y) 1 f (y)6=x
y
Transformons p(x, y) = p(y)p(x|y). On obtient :

Z
P
Pe =
p(y)P e|y = E y (P e|y )
y
o la probabilit derreur connaissant y reu est donne par :

P e|y =
X
x
p(x|y) 1 f (y)6=x
Pour minimiser P e , il faut et il suffit de minimiser P e|y pour tout y. Or :

P e|y = 1
p(x|y) 1 f (y)=x = 1 p(x|y)
o x = f (y). Ainsi y tant donn, la rgle de dcodage optimale consiste trouver

la valeur de x = x qui maximise la probabilit a posteriori :
x = arg max p(x|y)
x
Un dcodeur qui applique cette rgle sappelle dcodeur MAP : Maximum A

Posteriori Probability.
2.3. MAXIMISER LA VRAISEMBLANCE
31
2.3 Maximiser la vraisemblance

Concevoir un dcodeur MAP ncessite de connaitre lexpression de p(x|y).
Or il est plus simple, en gnral, dexprimer lautre probabilit conditionnelle
p(y|x), car cest une probabilit de transition du canal. Si par exemple Y = X + B
o B est indpendant de X , on a tout simplement p(y|x) = p(b), o b = y x. On
transforme donc :
p(x, y) p(y|x)p(x)
=
p(y)
p(y)
Une simplification supplmentaire arrive lorsque les x i sont quiprobables :
p(x|y) =
p(x) =
1
M
x {x 1 , x 2 , . . . , x M }
ce quon suppose en gnral dans ce document. Alors, dans la maximisation a

posteriori, le terme p(y) est une constante car
p(y) =
X
x0
p(x 0 , y) =
p(y|x 0 )p(x 0 ) =
x0
1 X
p(y|x 0 )
M x0
est indpendante du mot ou symbole mis x.

Ainsi, dans le cas o les x i sont quiprobables, y tant donn, la rgle de
dcodage optimale consiste trouver la valeur de x = x qui maximise la vraisemblance 1 :
x = arg max p(y|x)
x
Un dcodeur qui applique cette rgle sappelle dcodeur ML : Maximum Likelihood.

En cas dex aequo (plusieurs valeurs de x maximisent la vraisemblance) on
peut, par exemple, choisir le vainqueur x au hasard, ou adopter comme on le
fera ici une vision pessimiste en dcidant que la dcision est incorrecte. Dans ce
dernier cas il ny a dcision correcte que si une seule valeur de x = x qui maximise
la vraisemblance. Noter que lorsque le canal est continu, cet effet de bord na
aucune influence mesurable sur la probabilit derreur.
2.4 Minimiser la distance euclidienne

On considre ici une transmission mot par mot, chaque mot comportant n
symboles. Le cas dune transmission symbole par symbole sen dduit en faisant
1. On utilise parfois la fonction de vraisemblance log p(y|x).
32
n = 1.
2.4.1 Canal gaussien

Pour un canal gaussien rel ou complexe, p(y|x) est proportionnel :
p(y|x) e
kyxk2
c
o c est une constante. Le dcodeur maximum de vraisemblance cherche

donc trouver, y tant donn, le x = x le plus proche de y au sens de la distance
euclidienne :
x = arg min ||y x||
x
2.4.2 Canal de Rayleigh*

Pour un canal de Rayleigh vanouissements indpendants, les vanouissements tant connus, on obtient, exactement de la mme faon que pour le
canal gaussien, que le dcodeur maximum de vraisemblance cherche trouver,
y tant donn, le x = x minimisant la distance euclidienne :
x = arg min ||y x||
x
On minimise ainsi, pour chaque , la probabilit derreur :

P e| = P r { X 6= X |}
Rappelons que pour obtenir la probabilit derreur moyenne il faut moyenner
sur le vecteur de Rayleigh :
Pe =
P e| p()d .
2.5 Minimiser la distance de Hamming

On considre une transmission mot par mot sur un canal discret, chaque mot
comportant n symboles.
2.5. MINIMISER LA DISTANCE DE HAMMING
33
2.5.1 Canal q-SC

Ici p(y|x) est donn par :
p
p(y|x) =
1 (q 1)p
d H (x,y)
(1 (q 1)p)n
Il est clair quon peut toujours supposer, en pratique, que :

p<
de sorte que
p
1(q1)p
1
q
< 1. Sinon, le canal provoquerait plus de symboles errons
(probabilit p) que de symboles corrects (probabilit 1 (q 1)p) !

Dans ces conditions, on voit clairement que le dcodeur maximum de
vraisemblance cherche trouver, y tant donn, le x = x le plus proche de y au
sens de la distance de Hamming :
x = arg min d H (x, y)
x
2.5.2 Canal erreurs et effacements*

Le cas du canal binaire effacements (sans erreur) est trait dans lexercice 7.16.
Pour un canal binaire erreurs et effacements, les effacements (motif )
tant connus, on obtient, exactement de la mme faon que pour le BSC, que
le dcodeur maximum de vraisemblance cherche trouver, y 0 tant donn, le
x 0 = x0 minimisant la distance de Hamming :
x0 = arg min
d H (x 0 , y 0 )
0
x
Rappelons que lon dfinit y 0 comme le vecteur constitu des valeurs non effaces
de y, et de mme x 0 est le vecteur des valeurs x i pour i 6 .
On minimise ainsi, pour chaque motif deffacements , la probabilit derreur :
P e| = P r { X 6= X |}
On a vu que pour obtenir la probabilit derreur moyenne il faut moyenner sur le
nombre deffacements :
Pe =
n
X
=0
p() P e| .
34
2.6 Dcodage Hard et dcodage Soft

Un systme cod sur un canal continu (gaussien ou Rayleigh, par exemple)
peut tre implant de diffrentes manires, selon le niveau de discrtisation des
symboles reus.
2.6.1 Dcodage Soft

Cest la situation optimale sur un canal continu. A chaque symbole dentre
x correspond une sortie continue y sur laquelle on ne prend aucune dcision
particulire. Nanmoins, limplantation numrique du codeur fait quen pratique,
on quantifie trs finement y. On parle alors de dcision douce (soft decision).
Dans ce document on considre le cas limite o chaque symbole reu peut
prendre une valeur (relle ou complexe) quelconque.
Le canal (transmission mot par mot) que lon considre pour le systme cod
est donc tout simplement une extension nime sans mmoire du canal continu
initial (transmission symbole par symbole).
Comme on la expliqu ci-dessus, le dcodeur ML consiste alors trouver
le mot de code le plus proche, au sens de la distance euclidienne, du mot reu
y = (y 1 , y 2 , . . . , y n ) Rn ou Cn .
Bien quen thorie un dcodeur soft ML soit optimal, il ncessite lemploi
dalgorithmes de dcodage qui peuvent tre extrmement complexes, voire irralisables.
2.6.2 Dcodage Hard

Cest la situation sous-optimale extrme : on quantifie chaque symbole de
sortie en prenant une dcision symbole par symbole, sans tenir compte de la
redondance introduite par le code.
Sur un canal gaussien ou de Rayleigh, cette dcision ferme (Hard decision)
sur un symbole de sortie fournit, daprs ce quon a vu, le symbole x = x qui
minimise la distance |x y|. En pratique cela revient utiliser des dtecteurs
seuil.
Dans ces conditions le canal (transmission mot par mot) que lon considre
pour le systme cod a pour entre x et pour sortie y = (x1 , x2 , . . . , xn ) : le mot
2.6. DCODAGE HARD ET DCODAGE SOFT
35
reu est consitu de dcisions Hard. Il sagit cette fois-ci dune extension nime
sans mmoire dun canal discret dont le symbole dentre est x X et le symbole
de sortie est x X .
Prenons un exemple (important) : On considre un systme cod sur le canal
gaussien avec une modulation binaire BPSK (x = a). La dcision ferme seffectue
sur le symbole reu y laide dun seuil 0 et fournit
+a
x =
a
si y > 0
si y < 0
Alors, le canal discret quivalent est un BSC dalphabet X = {a} et de paramtre

p = P e/bit
o P e/bit est la probabilit derreur moyenne la dtection sur le symbole y,
quil est facile dvaluer (voir chapitre 4). Noter quici le canal binaire est bien
symtrique parce que la constellation lest : la probabilit derreur ne dpend pas
du symbole mis.
Le cas de la modulation binaire BPSK sur canal de Rayleigh est trait dans
lexercice 7.8.
En gnral, pour une modulation q-aire quelconque sur canal gaussien, on
obtient un canal discret dont les probabilits de transition se calculent partir des
probabilits derreurs P e|x pour chaque symbole mis. On approxime souvent,
tort ou raison, le canal par un q-SC, bien quen gnral ce canal nest pas
symtrique ( lexception du cas trs utilis de la modulation BPSK o on obtient
un canal BSC).
Comme on la expliqu ci-dessus, le dcodeur hard consiste alors trouver le
mot de code le plus proche, au sens de la distance de Hamming, du mot reu, ce
qui revient une correction derreurs. Quelques algorithmes correcteurs derreurs
ont t tudis en dominante Communications.
Bien quen thorie un dcodeur hard soit sous-optimal par rapport au
dcodage soft , il existe des codes performants pour lesquels des algorithmes
de dcodage correcteur derreurs (dcodage hard) peuvent tre extrmement
efficaces, surtout des dbits levs.
36
2.6.3 Dcodage Hard avec effacements*

Cest une situation sous-optimale intermdiaire, une premire tape du dcodage hard vers le dcodage soft.
Cas du canal gaussien

Prenons comme exemple le cas de transmission dun symbole binaire (modulation BPSK sur canal gaussien : x = a (on peut gnraliser facilement des
constellations de taille quelconque).
Si on fait un dcodage hard classique avec un dtecteur seuil (seuil 0)
on remarque que la dcision ferme faite sur un symbole devient douteuse si
le symbole reu y se trouve tre proche du seuil. Pour pallier ce problme on
introduit un symbole deffacement :
x =
+a
si y > s
si |y| 6 s
si y < s
o on choisit une valeur raisonnable du seuil s (par exemple s = a/2).

Le canal discret quivalent est alors un canal binaire effacements et erreurs
dont il est facile de calculer les paramtres p et . Noter quen pratique p . Si
on nglige p devant on obtient un canal BEC effacement (sans erreur).
Les performances dun dcodeur dans ce contexte sont suprieures au cas
du dcodage hard classique, car (voir le cours de dominante Communications)
un code correcteur derreurs comble grosso modo deux fois plus deffacements
que derreurs. Lexercice 7.16 donne les performances obtenues pour un systme
cod sur canal BEC.
Cas du canal de Rayleigh

Sur un canal de Rayleigh, on sait que la dcision hard sur un symbole
dpend de lestimation de . Si lvanouissement est trop important, le rapport
signal bruit 2 E m /N0 est trop faible pour que la dcision hard soit fiable. Il
est alors naturel dintroduire un symbole deffacement x = ds que < s, o s
est un seuil daffaiblissement bien choisi.
2.6. DCODAGE HARD ET DCODAGE SOFT
37
On obtient l aussi un canal erreurs et effacements, dont il est facile de

calculer les paramtres p et . L encore, si on nglige p devant on obtient un
canal effacement (sans erreur). Par exemple, la probabilit dun effacement
pour un canal de Rayleigh normalis est
Z s
2
2
= P r { < s} =
2e d = 1 e s .
0
De mme que pour un canal gaussien, les performances dun dcodeur dans
ce contexte sont suprieures au cas du dcodage hard classique. On peut les
valuer en utilisant lexercice 7.16, qui donne les performances obtenues pour
un systme cod sur canal BEC.
38
Chapitre 3
Evaluation de la probabilit
derreur : Bornes
3.1 Gnralits
Nous avons vu quun dcodeur maximum de vraisemblance trouve la valeur
de x = x (parmi un nombre fini de valeurs possibles {x 1 , x 2 , . . . , x M }) qui maximise
p(y|x). Cela revient dire que la sortie du dcodeur sera x si et seulement si
lentre du dcodeur y appartient la rgion de dcision :
> p(y|x) x 6= x}
R x = {y | p(y|x)
Noter que les rgions de dcision R x1 , R x2 , . . . , R x M partitionnent lespace des y
(ils sont deux deux disjoints et recouvrent tout lespace 1 ).
Pour estimer les performances de tel ou tel systme cod avec dcodage
maximum de vraisemblance, il faut tre capable dvaluer la probabilit derreur,
qui scrit :
P e = P r {y 6 R x } =
Z
XP
x
p(x, y) 1 y6R x
En effet, si x est mis, il y a erreur (x 6= x) si et seulement si y 6 R x .

Transformons p(x, y) = p(x)p(y|x) ; on obtient, puisque les symboles sont
1. Cette affirmation ne tient pas compte des frontires des rgions de dcision (cas dex aequo
Voir remarque p. 31.
pour diffrents x).
39
40
CHAPITRE 3. BORNES SUR LA PROBABILIT DERREUR
supposs quiprobables :
Pe =
p(x)P e|x =
1 X
P e|x
M x
o :
P e|x =
Z
P
y6R x
p(y|x) = P r {y 6 R x |x}
est la probabilit derreur sachant que x a t mis. Cette probabilit est, sauf
cas particulier trs simple, difficile valuer avec exactitude. On cherche donc
lapprocher en la majorant par des bornes qui sont, elles, plus faciles calculer.
3.2 Borne de lunion

On peut faire apparatre dans la formule donnant P e|x une runion en remarquant que si x est mis, il y a erreur si et seulement si il existe un x 0 6= x tel que
p(y|x 0 ) > p(y|x). Ainsi :
P e|x = P r {y
R xx 0 | x}
x 0 6=x
o R xx 0 = {y | p(y|x 0 ) > p(y|x)}.

La borne de lunion consiste majorer la probabilit de lunion
R xx 0 par
la somme des probabilits sur les R xx 0 . On obtient alors :

P e|x 6
P xx 0
x 0 6=x
o :
P xx 0 = P r {y R xx 0 |x} =
Z
P
p(y|x)
y | p(y|x 0 )>p(y|x)
est appele probabilit derreur par paire. Elle sinterprte comme la probabilit
que le dcodeur prfre x 0 x, lorsque x est mis (comme si x et x 0 taient les
deux seuls mots susceptibles dtre mis).
Ainsi, avec la borne de lunion on est ramen calculer des probabilits
derreur par paire P xx 0 , ce qui est souvent une tche plus aise que dvaluer
P e|x , puisque la premire solution ne ncessite de prendre en compte que deux
mots x et x 0 .
Remarquons nanmoins que la borne de lunion nest quune approximation :
elle nest exacte que si les rgions R xx 0 sont disjointes, cest dire si M = 2
(Exemple : modulation BPSK sur canal gaussien).
3.3. BORNE DE BHATTACHARYYA
41
3.3 Borne de Bhattacharyya

Voici une majoration de la probabilit derreur par paire, souvent utile et
compltement gnrale. On a :
P xx 0 =
Z
P
y | p(y|x 0 )>p(y|x)
p(y|x) =
Z
P
p(y|x) 1 p(y|x 0 )
y
p(y|x)
>1
En utilisant la majoration (artificielle, mais triviale) suivante :

s
1 p(y|x 0 )
>1
p(y|x)
p(y|x 0 )
p(y|x)
on trouve :
P xx 0 6
Z
P q
p(y|x)p(y|x 0 )
Cest la borne de Bhattacharyya.

Dans les sections suivantes on dtermine la probabilit derreur par paire
(calcul exact et borne de Bhattacharyya) pour les canaux q-SC et gaussien. La cas
du canal BEC ( effacement) est trait dans lexercice 7.16.
3.4 Cas dun canal gaussien

On va appliquer les rsultats des sections prcdentes au cas du canal gaussien, pour le calcul de P xx 0 (on a vu que ce calcul est rutilisable tel quel pour
un canal de Rayleigh).
3.4.1 Calcul exact de la probabilit derreur par paire

Pour un canal gaussien le calcul exact de P xx 0 est facile. Prenons le cas
dune transmission mot par mot (de n symboles) sur le canal gaussien complexe.
On a p(y|x 0 ) > p(y|x) ||y x 0 || 6 ||y x||, et on fait le changement de variable
y = x + b, o b est le vecteur du bruit gaussien. Il vient
||y x 0 || 6 ||y x|| ||b + x x 0 ||2 6 ||b||2
2Re < b|x 0 x > > ||x 0 x||2
1
1
Re < b|u > > ||x 0 x|| = p d (x, x 0 )
2
2
42
o on a pos u =
x 0 x
||x 0 x|| , le vecteur unitaire suivant la direction
Z = Re < B |u >=
x, x 0 . Or :
ReB i Reu i ImB i Imu i
est une v.a. gaussienne relle de moyenne nulle est de variance :

N0
X
(Reu i )2 + (Imu i )2 = N0 ||u||2 = N0
i
do finalement :
P xx 0 = P r {Z >
d (x, x 0 )
d (x, x 0 )
}
=
Q
p
p
2N0
2
o Q(x) est la fonction de Marcum (voir exercice 7.1).

Noter que pour un canal gaussien rel le calcul est inchang, sauf quon
remplace N0 par N0 /2 et 12 ||x 0 x|| par 12 d (x, x 0 ). Do :
P xx 0 = P r {Z >
d (x, x 0 )
2
d (x, x 0 )
d (x, x 0 )
}=Q p
=Q p
2N0
2 N0 /2
On obtient exactement la mme formule.
3.4.2 Borne de Bhattacharyya

Afin dasseoir la finesse de la borne de Bhattacharyya, il est intressant de
faire le calcul approch pour le canal gaussien : cette borne scrit (pour le canal
gaussien complexe) :
1
P xx 0 6
(2N0 )n
2N1
||yx||2 +||yx 0 ||2 /2
dy
En appliquant lgalit du paralllogramme :
u + v 2
uv
1
2
+
(||u||2 + ||v||2 ) =
2
2
2
pour u = y x et v = y x 0 , on obtient :
1
P xx 0 6
(2N0 )n
2
x+x 0
2N1 y 2
0
dy
xx 0 2
2N1 2
0
Lintgrale porte sur une loi gaussienne sur tout lespace et vaut donc 1. Finalement :
P xx 0 6 e
4N1 d 2 (x,x 0 )
0
3.5. CAS DUN CANAL Q-SC OU BSC
43
En comparant au calcul exact on saperoit que lutilisation de la borne de Bhattacharyya revient faire la majoration :
Q(x) 6 e x
/2
majoration qui est par ailleurs classique (voir exercice 7.1, qui montre que Q(x)
est en fait quivalent
2
p 1 e x /2 ).
2x
Ainsi la borne de Bhattacharyya est ici raisonnablement fine lorsque lnergie

de diffrence kx x 0 k2 est grande devant la puissance du bruit, ce qui correspond,
en gnral, une hypothse de fort rapport signal bruit.
3.5 Cas dun canal q-SC ou BSC

3.5.1 Calcul exact de la probabilit derreur par paire
Pour un canal q-SC ou BSC le calcul exact de P xx 0 est plus difficile. Nous
considrons une transmission mot par mot (de n symboles) sur le canal q-SC. Le
cas du canal BSC sen dduit en faisant q = 2.
On a p(y|x 0 ) > p(y|x) d H (y, x 0 ) 6 d H (y, x), et on fait le changement de
variable y = x + e, o e est le vecteur derreur. Il vient :
d H (y, x 0 ) 6 d H (y, x)
w H (e + x x 0 ) 6 w H (e)
X
X
w H (e i + x i x i0 ) 6 w H (e i )
i
en crivant la dfinition du poids de Hamming sur les n composantes.

Il est clair que les indices i pour lesquels x i = x i0 donnent un i me terme
identique dans les deux sommes. On supposera donc dornavant que i est tel
que x i 6= x i0 . Il y a d H (x, x 0 ) tels indices. Leur ensemble sera not I .
Parmi ceux-ci, ceux pour lesquels e i 6= 0 et e i 6= x i0 x i donnent galement un
i ime terme identique dans les deux sommes. Par consquent il suffit de prendre
en compte les incides i tels que e i = 0 ou e i = x i0 x i .
Appelons donc t le nombre dindices i I vrifiant e i = x i0 x i et u le nombre
dindices i I vrifiant e i 6= x i0 x i et e i 6= 0. Alors d H (x, x 0 ) t u est le nombre
dindices i I pour lesquels e i = 0, et il vient :
P xx 0 = P r {t > d H (x, x 0 ) t u}
44
Cette probabilit se calcule facilement en notant que la probabilit pour que

e i soit : 1) gal une valeur dtermine non nulle est p ; 2) gal 0 est 1 P o
P = (q 1)p ; 3) la fois non nul et diffrent dune valeur spcifie non nulle est
(q 2)p = P p. On trouve :
P xx 0 =
X
u,t | u+2t >d
Cdt p t Cud t (P p)u (1 P )d t u
o on a not d = d H (x, x 0 ) pour simplifier les critures. Cest lexpression exacte

de P xx 0 .
Dans le cas du canal BSC lexpression se simplifie car forcment u = 0 :
P xx 0 =
X
t > d2
Cdt p t (1 p)d t = P r {t >
d
}
2
o t suit une loi binmiale de paramtre p et de longueur d .

On approxime souvent ces expressions par leurs quivalents lorsque p 0.
En dcodage hard, cela correspond une hypothse de fort rapport signal bruit.
Pour le canal q-SC en gnral, on voit aisment que cet quivalent est obtenu
pour u = 0 et t = d d2 e :
dd e
P xx 0 . Cd2 p d 2 e
o d = d H (x, x 0 ).
3.5.2 Borne de Bhattacharyya

La borne de Bhattacharyya majore les expressions exactes trouves au paragraphe prcdent par une expression simple.
Commenons par un calcul gnral (valable pour tout canal sans mmoire)
partir de la borne de Bhattacharyya :
Z
P q
P xx 0 6
p(y|x)p(y|x 0 )
y
6
6
n q
Y
y 1 ,y 2 ,...,y n i =1
n Xq
Y
i =1 y i
p(y i |x i )p(y i |x i0 )
La dernire quation provient de ce quon a reconnu un dveloppement gnral

dun produit de sommes.
3.5. CAS DUN CANAL Q-SC OU BSC
45
Le terme sous le produit vaut 1 si x i = x i0 . En effet :

Xp
p(y i |x i )p(y i |x i ) =
yi
p(y i |x i ) = 1
yi
On aboutit donc :
P xx 0 6
Y Xq
i |x i 6=x i0 y i
Le produit contient d H (x, x 0 ) termes.

Pour le canal q-SC, lorsque x i 6= x i0 , on a :
q
p
p(y i |x i )p(y i |x i0 ) = p(1 P )
lorsque y i vaut x i ou x i0 , et :
q
q
p(y i |x i )p(y i |x i0 ) = p 2 = p
sinon. Donc :
Xq
yi
p(y i |x i )p(y i |x i0 ) = 2
p(1 P ) + (q 2)p
o P = (q 1)p.
Finalement, la borne de Bhattacharyya pour le canal q-SC scrit :
P
xx 0
q
d
6 2 p(1 q 1)p + (q 2)p
o on a not d = d H (x, x 0 ). Pour le BSC cela se simplifie en :

p
d
P xx 0 6 2 p(1 p)
Si on approxime ces expressions par leurs quivalents lorsque p 0 (fort

rapport signal bruit en dcodage hard), on a, pour le canal q-SC en gnral :
P xx 0 . 2d p d /2
o d = d H (x, x 0 ). En comparant lquivalent exact du paragraphe prcdent, on
voit que, sur les quivalents, lutilisation de la borne de Bhattacharyya revient
faire la majoration :
/2e dd /2e
Cdd
p
6 2d p d /2
d
Noter quavec la borne de Bhattacharyya on nobtient pas la bonne puissance de p

(d /2 au lieu de (d +1)/2) lorsque d est impair (voir exercice 7.2 pour amlioration).
46
3.6 Autres bornes*

Dans ce paragraphe on aborde dautres bornes classiques de la littrature.
3.6.1 Borne de Chernoff*

On peut utiliser lingalit de Chernoff, classique en probabilits (voir exercice 7.3), directement sur lexpression gnrale de la probabilit derreur par
paire. Puisque p(y|x 0 ) > p(y|x) quivaut log
p(y|x 0 )
p(y|x)
> 0, on a, en appliquant
lingalit de Chernoff :
P xx 0
p(y|x 0 )
P r {log
> 0 |x}
p(y|x)
p(y|x 0 )
6 E e log p(y|x)
=
Z
P p(y|x 0 )
p(y|x)
6
y p(y|x)
pour tout > 0. La borne de Chernoff sur la probabilit derreur par paire scrit
finalement :
P xx 0 6
Z
P
p(y|x)1 p(y|x 0 )
y
Cette borne est minimiser sur > 0.

Noter que la borne de Bhattacharyya apparait ici comme un cas particulier
de la borne de Chernoff pour = 21 . Malgr cela, il se trouve que pour les canaux
symtriques comme le canal gaussien ou le canal q-SC, la borne de Chernoff
napporte aucune amlioration par rapport la borne de Bhattacharyya (voir
exercice 7.4).
3.6.2 Borne de Gallager*

La borne de Gallager concerne la probabilit derreur P e|x = P r {y 6 R x |x},
o R x est la rgion de dcision associe x. Elle amliore la fois la borne de
lunion et de Bhattacharyya.
On utilise lingalit triviale suivante. Si y 6 R x , alors il existe x 0 6= x tel que
p(y|x 0 )
p(y|x)
> 1 et donc :
!
X p(y|x 0 )
> 1 , > 0
x 0 6=x p(y|x)
3.7. DISTRIBUTION DE DISTANCES
47
Par consquent, en suivant la mme approche que pour ltablissement de la

borne de Bhattacharyya, on peut crire :
P e|x
!
Z
P X p(y|x 0 )
6
p(y|x)
y x 0 6=x p(y|x)
!
Z
X
P
1
0
6
p(y|x)
p(y|x )
y
x 0 6=x
Noter quon retrouve la borne de lunion+Chernoff en faisant = 1.

On choisit =
1
1+ ,
de sorte que 1 = dans lexpression prcdente et
on obtient :
P e|x 6
Z
P
p(y|x)
1
1+
p(y|x )
1
1+
x 0 6=x
Cest la borne de Gallager, minimiser sur > 0. Noter quici, on retrouve la

borne de lunion+Bhattacharyya en faisant = 1.
Cette borne est thoriquement trs importante, puisquelle permet de dmontrer le thorme de Shannon sur le codage canal (voir chapitre 6). Elle est
donc trs fine et en ce sens, optimale. On peut montrer que sur le canal gaussien
(dcodage hard ou soft), la borne de Gallager est trs bonne mme en faible
rapport signal bruit pour 0 6 < 1, alors que la borne de Bhattacharyya ( = 1)
suffit en fort rapport signal bruit. Malgr ces avantages, la borne de Gallager est,
en pratique, trs difficile valuer sauf cas trs particuliers (voir exercice 7.9).
3.7 Distribution de distances

Dans ce chapitre, la plupart des bornes sur la probabilit derreur globale P e
dun systme de communications numriques se basent sur la borne de lunion :
P
P e|x 6 x 0 6=x P xx 0 .
On a vu que pour les diffrents canaux tudis ici, on value la probabilit
derreur par paire P xx 0 par une fonction de d = d (x, x 0 ), la distance entre x et
x0 :
P xx 0 6 f (d )
Cette distance d est une distance de Hamming d = d H (x, x 0 ) pour un canal q-SC,
ou une distance euclidienne d = d (x, x 0 ) ||x x 0 ||2 pour un canal gaussien.
48

Par exemple, la borne de Bhattacharyya donne f (d ) = (2
un canal BSC, et f (d ) = e
d2
4N
0
p(1 p))d pour
pour un canal gaussien. Clairement f (d ) est une
fonction dcroissante de d . La dcroissance est dautant plus forte que le rapport

signal bruit est fort pour le canal gaussien (dcodage hard ou soft).
Rappelons que, suivant le cas, x et x 0 reprsentent des symboles (points dune
constellation, par exemple) ou des mots de code. Dans la suite de ce paragraphe
on les dsignera sous le nom de points.
Revenons maintenant la borne de lunion. Elle donne, daprs ce quon
vient de voir :
P e|x 6
f d (x, x 0 )
x 0 6=x
o x et x 0 prennent leurs valeurs dans un ensemble fini {x 1 , x 2 , . . . , x M }. On peut

maintenant regrouper les diffrents termes en dfinissant A d (x) comme tant le
nombre de points x 0 6= x situs distance d de x :
A d (x) = Card{x 0 | d (x, x 0 ) = d }
On obtient :
P e|x 6
A di (x) f (d i )
o les {d i } constituent lensemble des distances possibles entre les points x et

x 0 {x 1 , x 2 , . . . , x M } diffrents 2 de x.
1
M
Finalement, on arrive la borne sur la probabilit derreur globale P e =

P
x P e|x (toujours en supposant les x quiprobables) :
Pe 6
A di f (d i )
o on a dfini A d comme tant le nombre moyen de points situs une distance d

dun point donn :
A d =
1 X
A d (x).
M x
2. On a (videmment) suppos ici que les points {x 1 , x 2 , . . . , x M } sont distincts de sorte que la
somme porte sur des distances d i > 0. Si on voulait tre parfaitement gnral en tenant compte de
lventualit o les points ne sont pas tous distincts, il faudrait crire :
P e|xm 6
(cf. exercice 7.10).
X
m 0 6=m
f d (x m , x m 0 ) =
A di (x m ) f (d i )
d i >0
3.7. DISTRIBUTION DE DISTANCES
49
Ainsi, pour valuer cette borne sur la probabilit derreur il faut tre capable
dvaluer la distribution des distances dun code ou dune constellation, i.e.,
lensemble des quantits A d pour toutes les distances d possibles. Ceci sera fait
dans les chapitres suivants. Dans le cas dun systme cod par un code linaire,
par exemple, les A d seront donns par le polynme numrateur du poids du
code.
Enfin, notons que, en fort rapport signal bruit sur le canal gaussien (dcodage hard ou soft), puisque f (d ) dcroit fortement avec d , on peut ne retenir que
le terme f (d min ) o d min est la distance minimale entre deux points x et x 0 . On
obtient alors
P e . A dmin f (d min )
valuation qui suffit dans bien des cas. Le coefficient derreur A dmin est le nombre
moyen de points situs une distance d min dun point donn. On lappelle parfois
le kissing number.
50
Chapitre 4
Performances de modulations
linaires
4.1 Gnralits
Sauf mention contraire, nous considrons les performances de modulations
linaires sur le canal gaussien complexe. Le symbole M -aire mis est donc un
nombre complexe x = I , o I appartient une constellation M -aire, et est
un facteur dchelle qui tient compte de lnergie par symbole lmission. On
supposera, comme dhabitude, que les symboles sont quiprobables.
La constellation {I 1 , I 2 , . . . , I M } est constitu de M points dans le plan complexe. Cest elle qui dtermine le type de modulation utilis. En gnral la modulation est bidimensionnelle. Bien entendu, lorsque la modulation est monodimensionnelle (i.e., les symboles sont rels comme pour la BPSK ou la PAM), on
peut lemployer sur un canal gaussien rel. Les rsultats sont alors identiques
ceux tablis ci-dessous pour le cas complexe.
Le facteur dchelle se dtermine en fonction de lnergie moyenne par
symbole :
1
2
2 2
E m = E (|x|2 ) =
E (|I |2 ) =
2
2
2 I
o 2I =
1
M
k |I k |
est la variance de la constellation. Noter quon se limite ici aux
constellations centres autour de 0, de sorte que la moyenne des symboles est

51
52
CHAPITRE 4. PERFORMANCES DE MODULATIONS LINAIRES
nulle : E (I ) = 0 et quon a bien E (|I |2 ) = 2I . On en dduit en fonction de E m :

s
2E m
2I
Nous noterons (I , I 0 ) = |I I 0 | la distance entre 2 points I et I 0 de la constellation dans le plan complexe. Ainsi on a, pour les symboles correspondants x et
x0 :
1
d (x, x ) = p |x x 0 | = p (I , I 0 ) =
2
2
0
Em
2I
(I , I 0 )
On note min la distance minimale entre deux points de la constellation. Ce

paramtre va intervenir dans le calcul de la probabilit derreur.
4.2 Modulation binaire (BPSK)

4.2.1 Canal gaussien
La modulation binaire est connue sous le nom de MDP-2 : Modulation par
Dplacement de Phase M = 2 tats (BPSK : Binary Phase Shift Keying). La
constellation binaire correspondante est donne par :
I = 1
On a donc 2I = 1 et min = 2. Noter que puisquici =
p
2E m , les symboles
correspondants sont :
p
x = 2E m
La modulation binaire est le seul cas o la borne de lunion est exacte. En

effet cest le seul cas o les rgions de dcision R x coincident avec les demiespaces R xx . De plus, dans la borne de lunion napparait quun seul terme :
P e|x = P xx . On obtient donc pour la probabilit derreur :
v
u E m 2
d min
min
Pe = Q p
= Q t
2N0 2I
2N0
ce qui donne :
s
Pe = Q
2E m
N0
4.2. MODULATION BINAIRE (BPSK)
53
Cest la formule qui sert de rfrence pour tous les autres systmes sur canal
gaussien. Noter quici P e est une probabilit derreur par bit (symbole binaire)
et E m est une nergie moyenne par bit, quil soit cod (dcodage Hard) ou non.
La courbe de performance (P e en fonction du rapport signal bruit E m /N0 ) est
donne dans la Fig. 4.1
-1
10
-2
10
-3
10
-4
Bit Error Rate
10
-5
10
-6
10
-7
10
-8
10
-9
10
-10
10
6
8
10
Bit SNR Eb/No (dB)
12
14
16
F IG . 4.1 Performances de la BPSK
4.2.2 Canal de Rayleigh

Nous avons vu que pour un affaiblissement donn, le cas du canal de
Rayleigh est identique au cas du canal gaussien, ceci prs que le rapport signal
bruit est multipli par 2 . On obtient donc :
s
P e| = Q
2E m
2
N0
54
Pour obtenir les performances dans la cas du canal de Rayleigh il faut moyenner
P e| suivant la loi de Rayleigh p(). En supposant le canal de Rayleigh normalis,
de sorte que la rapport signal--bruit moyen est toujours =
Pe =
Z
0
p()P e| d =
Z
0
Em
N0 , il vient :
p
2
2e Q( 2)d
Connaissant la drive de la fonction Q(x) (voir exercice 7.1), on peut faire une
intgration par parties et on obtient :
r Z
2
1
Pe =
e (1+) d
2
0
do finalement :
1
P e = (1
2
E m /N0
)
1 + E m /N0
Lexercice 7.8 compare ce calcul exact la borne de Bhattacharyya, seule borne

utilisable dans le cas de systmes cods sur canal de Rayleigh.
On voit facilement quen fort rapport signal--bruit :
Pe
1
4E m /N0
Ainsi, cause des affaiblissements sur canal de Rayleigh, la probabilit derreur a

perdu sa dcroissance exponentielle en E m /N0 pour une dcroissance linaire
(voir Fig. 4.2).
4.3 Perte par rapport la BPSK

4.3.1 Perte en rapport signal bruit par symbole
Pour les autres modulations (non binaires), nous savons que la borne de
lunion fournit plusieurs termes qui dpendent de la distribution des distances
de la modulation considre.
Dans ce chapitre on se limitera au terme, dpendant de d min , qui prdomine
en fort rapport signal--bruit. Sur canal gaussien on crira donc :
d min
P e . A dmin Q p
2N0
1 P
o A dmin = M
k A d min (I k ) est le nombre moyen de points de la constellation
situs distance minimale dun point I k donn.
4.3. PERTE PAR RAPPORT LA BPSK
55
-1
10
Rayleigh
-2
Bit Error Rate
10
AWGN
-3
10
-4
10
-5
10
-6
10
10
15
Bit SNR Eb/No (dB)
20
25
30
F IG . 4.2 Performances de la BPSK sur canal gaussien et sur canal de Rayleigh

r
Sachant que d min =
Em
, on peut mettre cette expression sous la forme
2I min
suivante :
s
P e . A dmin Q
2E m
g
N0
o g est un terme de gain (en gnral < 1) :

g=
(min /2)2
2I
qui donne la perte en rapport signal--bruit par rapport la BPSK. Noter que le
rapport signal bruit E m /N0 est ici un rapport signal bruit par symbole M -aire.
Cette perte est de 10 log10 (g ) dB. Cela signifie que par rapport la BPSK, en
fort rapport signal bruit, il faut augmenter le rapport signal bruit E m /N0 de
|10 log10 (g )| dB pour obtenir une probabilit derreur comparable.
4.3.2 Perte en rapport signal bruit par bit

Lorsquon veut comparer les performances de diffrentes modulations avec
des nombres dtats M diffrents, il est pas trs judicieux de faire cette com-
56
paraison en termes de rapport signal bruit par symbole E m /N0 , puisque ce

quon nomme un symbole peut comporter un nombre diffrent de bits dune
modulation lautre.
Il est alors ncessaire dopter pour le rapport signal bruit par bit. Pour une
modulation M tats, un symbole (cod ou non) comporte log2 M bits, lnergie
par bit (cod ou non) est E b =
Em
log2 M
do :
Eb
1 Em
=
N0 log2 M N0
En fonction de ce rapport signal bruit par bit, le gain dune modulation par
rapport la BPSK devient 10 log10 (g log2 M ) dB au lieu de 10 log10 (g ) dB. Par
rapport la BPSK, en fort rapport signal bruit, il faut donc augmenter le rapport
signal bruit par bit E b /N0 de |10 log10 (g log2 M )| dB pour obtenir une probabilit
derreur comparable.
4.4 Taux derreur par bit et par symbole

Jusqu prsent on a estim les performances dune modulation en estimant
la probabilit derreur P e . Cette probabilit derreur est une probabilit derreur
par symbole M -aire.
De mme quil est plus judicieux dvaluer la probabilit derreur en fonction
du rapport signal bruit par bit plutt que par symbole, on peut envisager destimer la probabilit derreur par bit moyenne P e/b plutt que celle par symbole
P e/s = P e .
Cependant, le calcul de P e/b est plus difficile effectuer car il dpend de
ltiquetage binaire des diffrents points de la constellation, cest--dire du choix
des reprsentations sur log2 M bits des diffrents symboles M -aires (en supposant que M soit une puissance de deux). Certains calculs ont t vus en dominante Communications.
Noter que dans le cas o M est une puissance de deux, P e/b peut tre dfini
par :
P e/b =
1
E (w H (I I))
log2 M
cest dire le nombre moyen de bits errons par symbole erron ( I 6= I ), rapport
par bit. (La situation est encore plus complexe si M nest pas une puissance de
deux !)
4.5. MODULATION EN AMPLITUDE (PAM)
57
Bien que P e/b soit difficile valuer, on peut obtenir un encadrement gnral
en remarquant quun symbole erron produit, au mieux, un bit erron 1 , do
w H (I I) = 1. Au pire, tous les bits sont errons et w H (I I) = log2 M . Ainsi :
1
P e/s 6 P e/b 6 P e/s
log2 M
Ainsi les probabilits derreur par symbole et par bit sont toujours du mme
ordre de grandeur. On peut donc dire que la comparaison des performances de
diffrentes modulations se fait aussi bien en termes de probabilit derreur par
symbole P e/s quen termes de probabilit derreur par bit P e/b . Dans la suite on
se limitera donc lvaluation de P e = P e/s .
4.5 Modulation en amplitude (PAM)

La modulation en amplitude M tats est connue sous le nom de MIAM : Modulation dImpulsion en Amplitude M tats (M -PAM : M -ary Pulse
Amplitude Modulation). On suppose ici que M est pair. On retrouve la BPSK pour
M = 2.
La constellation M -aire correspondante est donne par :
I = 1, 3, . . . , (M 1)
On a donc min = 2 et :
2I =
1
M2 1
2(12 + 32 + + (M 1)2 ) =
M
3
On a utilis ici lidentit 12 + 32 + + (M 1)2 =
M (M 2 1)
6
quil est facile dtablir.
Tous les points de la constellation admettent deux voisins distance minimale, sauf les deux extrmes qui nen admettent quun seul. Le paramtre A dmin
est donc gal :
1
1
A dmin =
(2(M 2) + 2) = 2 1
M
M
On obtient donc pour la probabilit derreur :

!
s
2E m
1
gM
Pe . 2 1
Q
M
N0
1. Ceci constitue une bonne approximation pour une modulation PSK avec un codage de Gray
(cf. dominante Communications).
58

M
g M (dB)
g M log2 M (dB)
-6.99
-3.98
-13.22
-8.45
16
-19.29
-13.27
32
-25.33
-18.34
64
-31.35
-23.57
TAB. 4.1 Gains asymptotiques, par rapport la BPSK, en fort rapport signal
bruit, pour la modulation M -PAM
o le gain asymptotique en fort rapport signal bruit est :

gM =
3
M2 1
La Table 4.5 donne quelques valeurs de g M (gain en rapport signal bruit par
symbole) et g M log2 M (gain en rapport signal bruit par bit).
Les courbes de performance (P e en fonction du rapport signal bruit par
symbole ou par bit) sont donnes dans la Fig. 4.3.
4.6 Modulation en phase (PSK)

La modulation en phase M tats est connue sous le nom de MDP-M :
Modulation par Dplacement de Phase M tats (M -PSK : M -ary Phase Shift
Keying). On retrouve la BPSK pour M = 2. La QPSK (Quadrature Phase Shift
Keying) correspond au cas M = 4.
I k = e 2 j k/M
pour k = 0, 1, . . . , M 1
(voir Fig. 4.4). On a donc 2I = 1 et :

min = |1 e 2 j /M | = 2 sin
Tous les points de la constellation admettent deux voisins distance minimale,

donc A dmin = 2.
4.7. MODULATION DAMPLITUDE QAM
59

s
!
2E m
P e . 2Q
gM
N0
g M = sin2
4.7 Modulation damplitude QAM

La modulation en amplitude et en phase M tats est connue sous le nom
de MAQ-M : Modulation dAmplitude en Quadrature M tats (M -QAM : M -ary
-2
-2
10
10
-3
-3
10
10
M=4
M=2
-4
M=8
M=16
M=32
M=64
M=2
-4
10
M=4
M=8
M=16
M=32
M=64
Error Rate
Error Rate
10
-5
-5
10
10
-6
-6
10
10
-7
-7
10
10
15
20
25
SNR (dB)
30
35
40
45
10
10
15
20
25
Bit SNR Eb/No (dB)
30
35
40
45
F IG . 4.3 Performances de la Modulation M -PAM en fort rapport signal bruit,

en fonction du rapport signal bruit par symbole et par bit
60
F IG . 4.4 Constellation 8-PSK

M
g M (dB)
g M log2 M (dB)
-3.01
-0.00
-8.34
-3.57
16
-14.20
-8.17
32
-20.17
-13.18
64
-26.18
-18.40
bruit, pour la modulation M -PSK
Quadrature Amplitude Modulation). On suppose ici que M est un carr : M = M 0 ,

o M 0 est pair. On retrouve la QPSK pour M = 4.
I = a + jb
o a, b {1, 3, . . . , (M 0 1)}
(voir Fig. 4.6). On a donc min = 2 et :

2
2I = 2a + 2b = 2
M0 1
M 1
=2
3
3
On sest ramen ici au cas dun modulation PAM pour les symboles a et b.
Tous les points de la constellation admettent 4 voisins distance minimale,
sauf 4(M 0 2) points aux bords qui nen admettent que trois, et les quatre coins
61
qui nen admettent que deux. Le paramtre A dmin est donc gal :
A dmin
1
4 2 + 4(M 0 2) 3 + (M 4 4(M 0 2)) 4
M
1
= 4 1 p
M

!
s
1
2E m
Pe . 4 1 p
Q
gM
N0
M
gM =
3
2(M 1)
On peut galement dfinir une modulation QAM lorsque M nest pas un

2
carr, mais de la forme M = 21 M 0 , o M 0 est pair. Cela permet par exemple de

dfinir les modulations 8 Q AM et 32 Q AM (voir Fig. 4.7). Ici la constellation
correspondante est donne par :
I = a + jb
o a, b {1, 3, . . . , (M 0 1)}
-2
-2
10
10
-3
-3
10
10
-4
M=2
-4
10
10
M=8
M=16
M=32
M=64
Error Rate
Error Rate
M=4
M=4
M=2
-5
10
M=8
M=16
M=64
M=32
-5
10
-6
-6
10
10
-7
10
-7
10
15
20
25
SNR (dB)
30
35
40
45
10
10
15
20
25
Bit SNR Eb/No (dB)
30
35
40
45
F IG . 4.5 Performances de la Modulation M -PSK en fort rapport signal bruit,

62
1
1
F IG . 4.6 Constellation 64-QAM

sous la constrainte que a + b est multiple de 4. On choisit donc un point sur deux
2
dans une modulation M 0 -QAM.
1
1
F IG . 4.7 Constellation 32-QAM

p
On trouve facilement qualors min = 2 2 et :
2
2I =
1 M0 2
0
2 M I
2
o 2I 0 est la variance de la constellation M 0 -QAM. On obtient donc :

2I = 2I 0 = 2
2M 1
3
do un gain asymptotique en fort rapport signal bruit :

gM =
3
2M 1
63
g M (dB)
g M log2 M (dB)
-3.01
-6.99
-2.22
16
-10.00
-3.98
32
-13.22
-6.23
64
-16.23
-8.45
bruit, pour la modulation M -QAM

-2
-2
10
10
-3
-3
10
10
M=4
-4
M=8
M=16 M=32 M=64
M=4
-4
10
M=8
Error Rate
Error Rate
10
10
M=32
-6
-6
10
10
M=64
-7
-7
10
M=16
-5
-5
10
10
15
20
SNR (dB)
25
30
35
10
10
15
20
Bit SNR Eb/No (dB)
25
30
35
F IG . 4.8 Performances de la Modulation M -QAM en fort rapport signal bruit,

64
Chapitre 5
Performances de systmes cods

en blocs
5.1 Distribution de distances dun code
5.1.1 Les coefficients A d
Nous avons dj mentionn au 3.7 limportance que revt la distribution des
distances dun code C pout lvaluation de la probabilit derreur dun systme,
en particulier celle du paramtre
A d =
1 X
1
A d (x) = Card {(x, x 0 ) | d H (x, x 0 ) = d }
M x
M
Cest le nombre moyen de mots de code situs une distance d dun mot de code
donn. Ici le type de distance utilis est la distance de Hamming.
Nous allons dterminer les coefficients A d pour un certain nombre de codes
q-aires (dfinis sur F q ) de paramtres (n, k, d min ). Nous verrons que ceci est
indispensable pour lvaluation des performances dun systme cod :
sur un canal discret (q-SC) ;
en dcodage hard sur canal gaussien ou de Rayleigh ;
et mme en dcodage soft lorsque le code est binaire (q = 2).
Dans la suite on se limitera aux codes linaires, qui sont les plus utiliss en
pratique.
Pour un code linaire la dfinition de A d se simplifie. En effet, pour tout mot
de code x C , le code translat par x coincide avec le code lui-mme qui nest
65
66
CHAPITRE 5. SYSTMES CODS EN BLOCS
autre que le code translat par le mot de code nul 0 = (0, 0, . . . , 0). En dautres
termes, on a : x +C = C . Il en rsulte que le nombre A d (x) de mots de code situs
une distance d dun mot de code donn x est indpendant du mot de code x
choisi. On peut donc crire :
A d (x) = A d (0) = A d
o A d est, par dfinition, le nombre de mots de code de poids d :
A d = Card{x C
| w H (x) = d }
Finalement, pour un code linaire, on aboutit :

A d = A d
et il reste dterminer les coefficients A d .
Un certain nombre de proprits des coefficients A d sont videntes :
A =1
Ad = 0
Pn
A = qk
d =0 d
pour 0 6 d 6 d min 1 et d > n
qui proviennent, respectivement, du fait que :

Le mot de code nul est le seul mot de code de poids nul ;
la distance minimale (poids minimimum) du code est d min ;
le nombre total de mots de code est q k .
5.1.2 Polynme numrateur de poids

Plutt que de dterminer lensemble des A d , on prfre souvent trouver les
valeurs des A d sous forme compacte en dterminant le polynme numrateur
de poids du code, dfini par :
A(z) =
n
X
d =0
Ad z d = 1 +
n
X
Ad z d
d =d min
Une mthode gnrale pour dterminer A(z) consiste lister tous les mots de
code et dnombrer leurs poids. La liste des mots de code sobtient en calculant
toutes les combinaisons linaires des lignes dune matrice gnratrice du code.
5.1. DISTRIBUTION DE DISTANCES DUN CODE
67
Cette mthode exhaustive nest faisable, en pratique, que lorsque la dimension k

du code est trs petite.
Pour certaines familles de codes on peut dterminer directement A(z). Voici
deux exemples triviaux de dtermination de A(z) pour des codes binaires :
Code rptition (n, 1, n). Il y a deux mots de code : 0 et (1, 1, . . . , 1) de poids
n donc :
A(z) = 1 + z n
Code Simplexe (2m 1, m, 2m1 ). Cest le dual du code de Hamming. On
peut montrer que les 2m 1 mots de codes non nuls ont tous le mme poids
d min = 2m1 . Donc :
A(z) = 1 + (2m 1)z 2
m1
5.1.3 Identit de Mac Williams

Une autre mthode gnrale de dtermination de A(z) consiste dterminer
dabord le polynme numrateur de poids B (z) du code dual (n, n k). Ceci est
faisable de manire exhaustive lorsque n k est petit : il suffit de lister tous les
mots du code dual (combinaisons linaires des lignes de la matrice de parit du
code initial).
Une fois le polynme numrateur B (z) du code dual dtermin, on en
dduit immdiatement le polynme numrateur de poids A(z) recherch en
appliquant lidentit de Mac Williams :
q nk A(z) = (1 + (q 1)z)n B
1z
1 + (q 1)z
La dmonstration gnrale fait appel des notions dalgbre pousses. On trouvera dans lexercice 7.6 une dmonstration dans le cas binaire o lidentit de
Mac Williams devient :
2
nk
1z
A(z) = (1 + z) B
1+z
n
Lidentit de Mac Williams est trs utile pour dterminer A(z) pour certaines
familles de codes bien connues. Voici deux exemples dans le cas binaire :
Code parit (n, n 1, 2). Cest le dual du code rptition (n, 1, n) donc,
daprs lexemple ci-dessus, B (z) = 1 + z n . Appliquant lidentit de Mac Williams
68
on trouve immdiatement :
1
A(z) = [(1 + z)n + (1 z)n ]
2
On retrouve que pour le code parit, tous les mots de code sont de poids pair
(A 2d +1 = 0) et on a A 2d = C2d
n , formule quon aurait pu tablir directement.
Code de Hamming (2m 1, 2m 1 m, 3). Cest le dual du code simplexe de
lexemple ci-dessus, pour lequel B (z) = 1 + (2m 1)z 2
m1
. En appliquant lidentit
de Mac Williams on trouve immdiatement :

A(z) =
=
"
n+1 #
1z 2
1
n
(1 + z) 1 + n
2m
1+z
1
n
2 n1
2
(1
+
z)
+
n(1
z)(1
z
)
2m
On peut vrifier quon a bien A 0 = 1, A 1 = A 2 = 0 et A 3 =
n(n1)
6
6= 0, do on
retrouve que d min = 3.
5.1.4 Enumration de poids dun code moyen*

Nous verrons au chapitre 6 que lorsque n est trs grand, un code (non linaire)
choisi au hasard, selon une loi de probabilit uniforme sur les symboles, a des
chances dtre bon. On utilise parfois cette rgle pour estimer grossirement
les coefficients A d lorsque le code est trs long, en les identifiant leurs valeurs
moyennes.
Lexercice 7.10 montre que la valeur moyenne de A d selon ce tirage alatoire
est donn par :
E ( A d ) =
Cdn (q 1)d
q nk
Cette approximation est parfois assez bonne, comme le montre lexemple des
codes de Reed-Solomon (n = q 1, k, n k + 1) pour lesquels (voir exercice 7.7) :
A d = Cdn (q 1)
o loprateur
PM
i =N
q i =
PM
i =0 q
(q 1)d 1
q nk

supprime les puissances ngatives de q
dans un dveloppement en srie de Laurent.
5.2. PERFORMANCES SUR LE CANAL Q-SC
69
5.2 Performances sur le canal q-SC

Ltude des performances dun code q-aire (n, k, d min ) sur le canal q-SC est
utile pour valuer ses performances en dcodage hard sur canal gaussien et canal
de Rayleigh. Le cas du canal BEC ( effacement) est trait dans lexercice 7.16.
Dans cette section, on suppose tout dabord que le dcodage est complet,
i.e., le dcodeur trouve toujours le mot de code x le plus proche (au sens de la
distance de Hamming) du mot reu y.
5.2.1 Mot de code nul mis

Pour les codes linaires, la dtermination de la probabilit derreur par mot
se simplifie. En effet, dans lexpression
Pe =
1 X
P e|x
M x
on peut montrer que P e|x est indpendant de x de la faon suivante. Nous savons
que :
P e|x =
X
y
p(y|x) 1x 0 6=x / p(y|x)6p(y|x 0 )
Or, sur un canal q-SC nous avons vu que p(y|x) ne dpend que du poids de y x.
On peut donc faire le changement de variable y y x pour obtenir :
P e|x =
X
y
p(y|0)1x 0 6=x / p(y|0)6p(y|x 0 x)
Puisque le code est linaire, lorsque x 0 dcrit lensemble des mots de code 6= x, la
diffrence x 0 x dcrit lensemble des mots de code non nuls. On arrive donc :
P e|x = P e|0
x C
et ainsi :
P e = P e|0
Ainsi, non seulement lexpression de la probabilit derreur se simplifie, mais
aussi on peut toujours supposer que cest le mot de code nul qui a t mis. Cela
facilite grandement la dtermination de P e .
70
5.2.2 Borne de lunion

Avec la simplification P e = P e|0 , la borne de lunion scrit :
Pe 6
P 0x
X
x6=0
et on a vu que la probabilit derreur par paire P 0x ne dpend que de d =

d H (0, x) = w H (x). On a obtenu, au chapitre 3, lexpression exacte de P 0x sous
la forme :
P 0x = f (d )
avec, par exemple :
d
X
f (d ) =
i =d d2 e
Cid p i (1 p)d i
lorsque le code est binaire (q = 2). En regroupant les termes de mme poids on
obtient donc une formule du type :
n
X
Pe 6
A d f (d )
d =d min
Noter que cette formule est en accord avec la formule gnrale donne au chapitre 3, puisque A d = A d pour un code linaire. Ainsi, pour un code binaire, on
a:
Pe 6
n
X
d =d min
Ad
d
X
i =d d2 e
Cid p i (1 p)d i
On approxime souvent ces expressions par leurs quivalents lorsque p 0.

En dcodage hard sur canal gaussien, cela correspond une hypothse de fort
rapport signal bruit. Pour le canal q-SC en gnral, on a vu au chapitre 3 que
dd e
f (d ) Cd2 p d 2 e do
d
d min
2
P e . A dmin Cd
min
e d dmin e
2
5.2.3 Borne de lunion + Bhattacharyya

En appliquant la borne de Bhattacharyya :
P 0x = f (d ) 6 d
o d = w H (x) et
=2
p(1 P ) + (q 2)p
71
la borne de lunion sur la probabilit derreur se simplifie encore :

n
X
Pe 6
A d d
d =d min
cest dire :
P e 6 A() 1
o A(z) est le polynme numrateur de poids du code linaire.
5.2.4 Calcul exact*

Rappelons quon peut toujours effectuer, en pratique, un dcodage complet
en utilisant le calcul du syndrme, qui caractrise le coset leader 1 y x , o x est
le mot de code le plus proche du mot reu y. Une fois le syndrme calcul, il
suffit de soustraire y le coset leader correspondant pour obtenir le mot de code
le plus proche (au sens de la distance de Hamming). Cet algorithme de dcodage
complet ncessite, en pratique, de prcalculer et de mmoriser q nk syndrmes
et q nk coset leaders. Cette mthode nest donc faisable que lorsque n k est trs
petit (typiquement n k 6 11).
Connaissant la liste des coset leaders il est facile dvaluer P e = P e|0 : Cest
la probabilit que le vecteur derreur e = y x = y soit diffrent de tous les
coset leaders. Puisque la probabilit que e soit un coset leader de poids d est
p d (1 P )nd , en notant d le nombre de coset leaders de poids d , on obtient :
Pe = 1
d p d (1 P )nd
d >0
Cest lexpression exacte de la probabilit derreur par mot.

En rgle gnrale, il est difficile dvaluer les coefficients d pour un code
donn. Le meilleur moyen est encore de construire la liste des q nk syndrmes et
leurs coset leaders associs, ce qui demande une complexit de calcul exponentielle ( q nk ). On a nanmoins un certain nombre de proprits immdiates
1. Une traduction possible est : chef de classe. Cest un reprsentant de poids minimum de
la classe dquivalence de y (modulo le code).
72
des d :
P
nk
d >0 d = q
6 (q 1)d Cd
d
n
d
d
d = (q 1) Cn
d = 0
d > 0
pour 0 6 d 6 b dmin2 1 c
pour d > (rayon de recouvrement du code)
qui proviennent, respectivement, du fait que :

Il y a au total q nk coset leaders.
Le nombre total de mots F qn de poids d est (q 1)d Cdn .
Lorsque d est infrieur ou gal la capacit de correction du code, tous les
mots de poids d sont des coset leaders (sont corrigibles).
Le rayon de recouvrement est, par dfinition, la plus grande distance de
Hamming possible entre y et un mot de code (sa dtermination est presque
aussi difficile que celle des d ).
5.2.5 Une borne classique

Une majoration simple et utile de P e sobtient facilement en notant quun
mot y sera corrigible ds lors que d H (x, y) 6 b dmin2 1 c, la capacit de correction
du code. Do :
P e = P e|0 6 P r {d H (0, y) = w H (y) > d
d min
e}
2
Puisque la probabilit que y soit de poids d est gale Cdn (q 1)d p d (1 P )nd =
Cdn P d (1 P )nd , il vient :
Pe 6
n
X
d =d
d min
2
Cdn P d (1 P )nd
e
Noter que cette borne se retrouve facilement partir du calcul exact donn dans
la section prcdente, en tenant compte de d = (q 1)d Cdn pour 0 6 d 6 b dmin2 1 c
et d > 0 sinon.
Il est important de noter que cette borne classique est exacte lorsque le code
est parfait, car alors les boules de rayon b dmin2 1 c recouvrent tout lespace F qn (de
sorte que y est corrigible si et seulement si d H (x, y) 6 b dmin2 1 c). Cette remarque
ne concerne que quelques codes non triviaux (codes de Hamming et de Golay).
73
5.2.6 Comparaison avec la borne de lunion*

Lorsque p 0, un quivalent de la borne classique (du paragraphe prcdent) est donn par :
d
d min
2
P e . Cn
(q 1)d
d min
2
e d
d min
2
comparer avec ce quon avait obtenu par la borne de lunion :

d
d min
2
P e . A dmin Cd
min
e d dmin e
2
Laquelle des deux bornes est la meilleure ? Il est facile de voir que les deux
bornes (ou plutt leurs quivalents lorsque p 0) sont identiques pour les
codes binaires suivants :
d
d min
2
Code rptition (n, 1, n) : On a A n = 1 do A dmin Cd
d min
2
dne
d min
2
= Cn2 = Cn
min
d
d min
2
Code parit (n, n 1, 2) : On a A 2 = C2n do A dmin Cd

Cn
min
= C2n C22 = C2n =
.
n(n1)
6
Code de Hamming (2m 1, 2m 1 m, 3) : On a A 3 =

d
d min e
A dmin Cd 2
min
d min
2
C2n
d
2
2
3 C 3 = Cn = Cn
C423 = Cn
C2n
3
do
.
d min
2
Code de Golay (23, 12, 7) : On a A 7 = 253 do A dmin Cd

d
d min
2
min
= 253 C47 =
La situation est diffrente pour les codes simplexes o on a les rsultats suivants
(A dmin = n) :
d
d min
2
A dmin Cd
min
d min
2
Cn
Simplexe (7,3,4)
42
21
(15,4,8)
1050
1365
(31,5,16)
398970
7888725
Pour les codes (q-aires) de Reed-Solomon (n = q 1, k = n 2t , d min = 2t + 1)

d
corrigeant t erreurs, on a A dmin = (q 1)Cnmin daprs lexercice 7.7, do les valeurs

suivantes des constantes :
(q 1)d
d min
2
d min
2
e d
Cn
= n t +1 Cnt +1
pour la borne classique et

d
d min
2
A dmin Cd
min
+1 t +1
t
t +1
= nC2t
C2t +1 = nCnt
n
+1 Cn
74
pour la borne de lunion. Il en rsulte que la borne de lunion est ici toujours
meilleure (asymptotiquement lorsque p 0) puisque
t
Cnt
+1 =
t
t n t i
Y
Y
6 n = nt .
i
i =1
i =1
On peut montrer, plus gnralement, que si d min est impair, disons d min =
2t + 1, alors la borne de lunion est toujours meilleure (asymptotiquement lorsque
p 0), cest dire :
d
d min
2
A dmin Cd
min
= A dmin Cdt +1
6 (q 1)t +1 Cnt +1 = (q 1)d
min
d min
2
d min
2
e d
Cn
En effet, les mots de poids t + 1 distance = t dun mot de code x donn (qui
sera forcment de poids d min = 2t + 1) sobtiennent en annulant t composantes
de x parmi les d min non nulles. Il y en a donc Cdt
min
= Cdt +1 . Au total il y a par

min
consquent A dmin Cdt +1 mots de poids t + 1 situs distance t dun mot de code.
min
Mais puisque le nombre total des mots de code de poids t + 1 est (q 1)t +1 Cnt +1 ,
on a bien A dmin Cdt +1 6 (q 1)t +1 Cnt +1 .
min
5.2.7 Taux derreur rsiduel

Il est souvent plus parlant dvaluer la probabilit derreur par symbole (par
bit si le code est binaire) plutt que par mot. Cette probabilit derreur est dfinie
par :
P e/s =
1
E(w H ( I I ))
k
o I et I sont les mots dinformation mis et dcod, respectivement.

Il est difficile dvaluer directement P e/s . Le meilleur moyen serait de dterminer dabord le tableau standard du code, cest dire le tableau de tous les mots
reus y possibles, arrangs par classe. En supposant que le mot de code nul est
mis, on dispose alors de la liste de tous les mots y qui sont dcods en un mot
dinformation donn i = i (y), et il suffit de dnombrer :
P e/s =
X
1X
w (y)
nw H (y)
w H (i )
p H (1 P )
.
k i
y|i (y)=i
Cest videmment une tche extrment fastidieuse.

Pour simplifier lvaluation, on fait souvent lhypothse (plus ou moins raliste selon le codeur) que les symboles errons sont quirpartis entre symboles
5.3. PERFORMANCES EN DCODAGE INCOMPLET*
75
dinformation et de contrle. Sous cette hypothse, P e/s est gal au taux derreur
rsiduel :
1
E(w H ( X X ))
n
L encore, une valuation prcise du taux derreur rsiduel est difficile elle
P e/s =
peut sobtenir partir du tableau standard par une mthode similaire celle
dcrite ci-dessus mais on peut obtenir un encadrement en remarquant quun
mot erron produit, au mieux, d min symboles errons do w H (x x) = d min ,
et au pire, w H (x x) = n symboles errons. Ainsi :
d min
P e 6 P e/s 6 P e
n
Une approximation gnralement adopte (mais discutable) est :
P e/s
d min
Pe
n
Elle provient du raisonnement approximatif suivant : Avec une forte probabilit,

en cas derreur, x est voisin du mot de code 0 mis, donc situ une distance
d min de celui-ci.
Remarquons que les probabilits derreur par mot et par symbole sont toujours du mme ordre de grandeur. On peut donc dire que la comparaison des
performances de diffrents systmes cods se fait aussi bien en termes de probabilit derreur par mot P e quen termes de probabilit derreur par symbole P e/s .
Dans ce document on se limitera donc souvent lvaluation de P e .
5.3 Performances en dcodage incomplet*

5.3.1 Gnralits*
Jusqu prsent on a suppos que le dcodeur tait complet, cest--dire
quil trouve toujours le mot de code x le plus proche (au sens de la distance de
Hamming) du mot reu y. Trs souvent, lorsquon dispose dun algorithme de
dcodage efficace, il est incomplet : il ne garantit la correction que dun certain
nombre t derreurs. Autrement dit, il ne trouve le mot de code x le plus proche
6 t.
du mot reu y qu la condition que d H (y, x)
Noter que le paramtre t est ici dfini comme la capacit de correction de
lalgorithme de dcodage incomplet considr. Il est, en gnral, infrieur ou
76
gal la capacit de correction du code = b dmin2 1 c, qui est le maximum derreurs

que lon pourrait corriger avec ce code (et un autre algorithme de dcodage). Par
exemple, les algorithmes classiques de dcodage dun code BCH permettent de
corriger jusqu t = b
d BCH 1
c erreurs, o d BCH
2
est la distance BCH du code. Cette
dernire nest pas toujours gale d min . On peut avoir d BCH < d min comme dans
lexemple du code de Golay binaire (23, 12) o d min = 7 et d BCH = 5.
F IG . 5.1 Les trois rgions de dcodage. Sont reprsentes les boules de rayon t
autour des mots de code. Zone grise : rgion de dcodage correct (boule de rayon
t centre sur le mot de code mis x = 0). Zone hachure : rgion de dcodage
incorrect (boules de rayon t centres sur les autres mots de code). Zone blanche :
Rgion de non-dcodage (interstices entre les boules).
Selon la position du mot reu y par rapport aux mots de code on doit distinguer trois configurations possibles (cf. Fig. 5.1) :
1. Le mot reu y est une distance 6 t du mot de code mis x (zone grise
sur la Fig. 5.1) : d H (x, y) 6 t . Dans ce cas, lalgorithme de dcodage dcode
correctement x. La probabilit correspondante est appele P c (probabilit
de dcodage correct).
2. Le mot reu y est une distance 6 t dun autre mot de code x 0 diffrent
de celui mis (zone hachure sur la Fig. 5.1) : x 0 6= x | d H (x 0 , y) 6 t . Dans
ce cas, lalgorithme de dcodage fournit x 0 (et se trompe donc, mais na
77
aucun moyen de savoir quil se trompe). La probabilit correspondante est

appele P i (probabilit de dcodage incorrect).
3. On ne se trouve dans aucun des deux cas ci-dessus. Autrement dit, le mot
reu y est une distance > t de tout mot de code (la zone blanche sur
la Fig. 5.1) : x 0 , d H (x 0 , y) > t . Dans ce cas, lalgorithme de dcodage est (en
gnral) capable de savoir quon est dans cette situation (en dtectant plus
de t erreurs dans le mot reu). La probabilit correspondante est appele
P n (probabilit de non-dcodage decoding failure en anglais).
On a bien entendu
Pc + Pi + Pn = 1
de sorte quil suffit de dterminer deux de ces trois probabilits pour valuer
les performances du dcodeur incomplet. Cest ce quon va faire dans les paragraphes suivants.
Plusieurs stratgies sont envisageables au dcodeur, selon ce quon dcide de
faire dans le cas 3) ci-dessus, cest dire lorsque y est trop loign dun mot de
code. On les classe souvent dans deux catgories :
5.3.2 Stratgie ARQ*

La stratgie ARQ (Automatic Repeat reQuest) consiste, lorsque y est dans la
rgion de non-dcodage, demander la retransmission du mot de code x en le
signalant sur une voie de retour.
Noter que si t > 0, cest une stratgie mixte correction-dtection derreurs.
En effet, on corrige si y est une distance 6 t dun mot de code, mais on se
contente de dtecter lerreur (en demandant une retransmission) dans le cas
contraire.
Un cas extrme souvent utilis (par exemple en tlinformatique) est le cas
t = 0 : Il correspond une dtection pure (sans correction derreur) ; on demande
la retransmission ds lors que y nappartient pas au code.
En stratgie ARQ (quelque soit la valeur de t ) il ny aura, au bout du compte,
erreur que dans le cas o y se trouve dans la rgion de dcodage incorrect. La
probabilit derreur par mot est donc ici :
Pe = Pi = 1 Pc Pn
78

Cette probabilit derreur est en gnral bien plus faible que pour une strat-
gie FEC (voir ci-dessous). Le prix payer est lutilisation dune voie de retour et
les problmes de dlai de retransmission et de synchronisation que cela suppose.
Mme en admettant, pour simplifier, que la demande de retransmission est
instantane (sans dlai) ds dtection dun mot incorrigible 2 (et se fait sans
erreur !), on aboutit videmment une diminution du rendement du code (donc
une perte en dbit) que lon peut quantifier : Puisquun mot de code est retransmis avec une probabilit P n , la probabilit quun mot soit transmis r fois au total
(les r 1 premires chouant et la r me tant la bonne) est = P nr 1 (1 P n ). Par
consquent, le nombre moyen de (re)transmissions ncessaire par mot est :
E(r ) =
r P nr 1 (1 P n ) =
r >1
1
.
1 Pn
Ainsi, un mot dinformation de k symboles correspond, en moyenne,
n
1P n
symboles cods, de sorte que le rendement moyen nest plus k/n, mais
R = (1 P n )
k
n
Le cas du canal binaire effacement en stratgie ARQ est trait dans lexercice 7.16.
5.3.3 Stratgie FEC*

La stratgie FEC (Forward Error Correction) consiste dcoder tous les
mme si y est dans la
coups. Le dcodeur fournit systmatiquement un mot x,
rgion de non-dcodage. Cest la seule stratgie envisageable dans un systme
de stockage (disques compacts digitaux par exemple) puisque les donnes sont
codes et stockes sur support physique une fois pour toutes. Cest aussi une
stratgie souvent utilise en transmission de donnes lorsque les exigences du
temps rel interdisent toute retransmission.
La probabilit derreur par mot est alors :
Pe = 1 Pc = Pi + Pn
Elle est plus leve que dans le cas dune stratgie ARQ mais permet une plus
grande simplicit du systme et un temps doccupation du canal moindre.
2. delayless noiseless feedback en anglais
79
5.3.4 Calcul exact de P c (en FEC)*

Le calcul exact de P c (qui donne la probabilit derreur 1 P c en FEC) est
trs simple. En supposant, comme dhabitude, que le mot de code nul 0 est mis,
il y a dcodage correct lorsque w H (y) 6 t , do :
Pc =
t
X
Cdn (q 1)d p d (1 P )nd =
t
X
Cdn P d (1 P )nd
d =0
d =0
On obtient donc en stratgie FEC :

n
X
Pe = 1 Pc =
Cdn P d (1 P )nd
d =t +1
do un quivalent lorsque p 0 :
P e Cnt +1 (q 1)t +1 p t +1 .
En stratgie FEC il est plus intressant dvaluer la probabilit derreur par symbole (taux derreur rsiduelle). Ceci est fait en section 5.3.7.
5.3.5 Calcul exact de P i (en ARQ)*

Le calcul exact de P i (qui donne la probabilit derreur en ARQ) est plus
compliqu mais reste tractable. En supposant, comme dhabitude, que le mot de
code nul 0 est mis, on peut dcomposer :
Pi =
P i (x)
x6=O
o P i (x) est la probabilit que y se trouve une distance 6 t du mot de code

(non nul) x, quon peut nouveau dcomposer en :
P i (x) =
t
X
=0
P i (x, )
o P i (x, ) est la probabilit que y se trouve une distance gale du mot de

code x. Cette dernire probabilit svalue facilement. On a :
P i (x, ) =
n
X
p w (1 P )nw N (w, , x)
w=0
o N (w, , x) est le nombre de mots y F qn de poids w situs une distance du

mot de code x. Il ne reste plus qu le calculer en dnombrant :
80

1. Le nombre a des positions i correspondant un symbole nul de x (x i = 0)
parmi n w H (x) pour lesquels le symbole correspondant de y est non
a
nul (y i 6= 0). Pour un tel nombre a donn, il y a (q 1)a Cnw
H (x)
choix pour
ces (i , y i ).
2. Le nombre b des positions i correspondant un symbole non nul de x
(x i 6= 0) parmi w H (x) pour lesquels le symbole correspondant de y est
non nul et diffrent de x i . Pour un tel nombre b donn, il y a (q 2)b Cbw
H (x)
choix pour ces (i , y i ). Noter que b = 0 en binaire (q = 2).

3. Le nombre c des positions i correspondant un symbole non nul de x (x i 6=
0) parmi les w H (x) b restants pour lesquels le symbole correspondant
de y est nul (y i = 0). Pour un tel nombre c donn, il y a Ccw
H (x)b
choix pour
ces (i , y i ).
4. Les n (a + b + c) positions i restantes sont telles que y i = x i .
Puisquau total on doit avoir
a + b + c = d (x, y) =
H
w H (x) + a c = w H (y) = w
on obtient :
N (w, , x) =
X
a,b,c
a+b+c=
a+w H (x)=c+w
a
Cb
Cc
(q 1)a (q 2)b Cnw
.
H (x) w H (x) w H (x)b
Deux remarques utiles : N (w, , x) ne dpend que du poids de x, il sera dornavant not N (w, , w H (x)). Par ailleurs, daprs la dfinition de N (w, , w H (x)), on
doit avoir N (w, , w H (x)) = 0 ds lors que w < w(x) ou w > w(x) + . Cest
effectivement le cas avec la formule obtenue, puisque la contrainte sous le signe
somme donne dune part w = a + w H (x) c = w H (x) + 2a + b > w H (x) et
dautre part w = a + w H (x) c = w H (x) 2c b + 6 w H (x) + .
On obtient donc finalement, en regroupant les diffrentes quations obtenues :
Pi =
t
XX
w HX
(x)+
x6=0 =0 w=w H (x)
p w (1 P )nw N (w, , x)
do, en regroupant les mots de code x 6= 0 suivant leurs poids d = w H (x) :

Pi =
n
t
X
X
dX
+
d =d min =0 w=d
p w (1 P )nw A d N (w, , d )
81
o les A d sont les coefficients numrateurs des poids du code et o :

N (w, , d ) =
X
a,b,c
a+b+c=
a+d =c+w
a
(q 1)a (q 2)b Cnd
Cbd Ccd b .
Dans le cas binaire (q = 2), la formule donnant N (w, , d ) se simplifie car

ncessairement b = 0, do
N (w, , d ) =
X
a,c
a+c=
a+d =c+w
a
Cnd
Ccd =
+wd w+d
C 2 C 2
si + w + d est pair,
sinon.
nd
Que ce soit en binaire ou en q-aire, on approxime souvent, en stratgie ARQ,

P e = P i par son quivalent lorsque p 0. Rappelons quen dcodage hard sur
canal gaussien, cela correspond une hypothse de fort rapport signal bruit. Ici
on obtient facilement, lorsque p 0,
P e p dmin t A dmin N (d min t , t , d min )
La quantit N (d min t , t , d min ) se dtermine aisment en notant que, avec les
contraintes sur a, b, c, on a ncessairement a = b = 0 et c = t do N (d min
t , t , d min ) = Cdt
min
et
P e A dmin Cdt min p dmin t
Noter quici, en ARQ, la puissance dominante de p est d min t alors quelle

tait gale t + 1 en FEC. Puisquen gnral t 6 b dmin2 1 c, on a t + 1 6 d min t et
le gain sur la probabilit derreur est plus important en ARQ quen FEC, comme
on sy attendait.
Noter encore que ce gain augmente avec t en FEC (on a intrt corriger le
plus derreurs possibles), alors quau contraire il diminue en ARQ : du seul point
de vue de P e , on a intrt corriger le moins derreurs possibles et donc en
dtecter le plus possible. Le prix payer, comme on la vu, est une diminution du
rendement moyen du code.
5.3.6 Cas de la dtection pure*

On a vu que le code est utilis en dtection pure derreurs lorsque t = 0 en
stratgie ARQ. Autrement dit, tout mot reu y nappartenant pas au code est
rejet (on demande la retransmission du mot de code).
82

Dans ces conditions, la probabilit derreur par mot est gale la probabi-
lit que y soit un mot de code diffrent de celui qui a t mis. On a donc, en
supposant, comme dhabitude, que le mot de code nul est mis :
Pe =
p w H (x) (1 P )nw H (x) ,
X
x6=0
do, en regroupant les mots de code x suivant leur poids d = w H (x) :

Pe =
n
X
A d p d (1 P )nd
d =d min
o les A d sont les coefficients numrateurs des poids du code. On retrouve videmment cette expression comme cas particulier de la formule gnrale donne
la section prcdente en notant que N (w, 0, d ) vaut 1 si w = d et vaut 0 sinon.
Lorsque p est trs faible (asymptotiquement p 0), on obtient :
P e A dmin p dmin .
5.3.7 Taux derreur rsiduel en FEC*

En utilisant les mmes outils que pour le calcul de P i on peut calculer le taux
derreur rsiduel :
P e/s =
1
E(w H ( X X ))
n
obtenu en stratgie FEC. A cette occasion, il faut prciser quelle est la stratgie
adopte lorsque le mot reu y se trouve dans la rgion de non-dcodage :
Une possibilit serait de fournir un mot de code x cote que cote, provenant
ventuellement de lalgorithme de dcodage utilis, mais sans garantie quil
sagisse du mot de code le plus proche de y. Il se peut fort, dans ces conditions,
produise encore plus derreursque le dcodeur, en fournissant un mot de code x,
y) > d H (x, y)).
symbole que ceux introduits par le canal (d H (x,
Une stratgie plus raisonnable, qui est souvent adopte, consiste, pour le
dcodeur, laisser y en ltat lorsque celui-ci se trouve dans la rgion de nondcodage. En dautres termes, la sortie du dcodeur est alors gale son entre, et,
bien que le mot dcod x = y nappartienne pas au code, tout au moins garantiton que le dcodeur nempire pas la situation (naugmente pas le taux derreur par
symbole). On adopte ici cette stratgie pour le calcul du taux derreur rsiduel.
83
En se ramenant au cas o le mot de code nul est mis on peut crire :

P e/s = P e/s|0 =
1 X w H (y)
nw H (y)
p
(1 P )
w H (x).
n y
Suivant la rgion de dcodage atteinte par y on a :

= 0 lorsque le dcodage est correct (cest dire w H (y) 6 t ). Cette
1. w H (x)
situation ne contribue videmment pas au calcul du taux derreur.
= d lorsque y se trouve en rgion de dcodage incorrect, une
2. w H (x)
distance 6 t autour du mot de code x de poids d . Daprs la section 5.3.5
Pt
N (w, , d ).
le nombre de mots y de poids w concerns est gal =0
= w lorsque y (de poids w > t ) se trouve dans la rgion de non3. w H (x)
dcodage, et est laiss en ltat par le dcodeur. Daprs la section 5.3.5 le
nombre de mots y de poids w concerns est gal
n
X
(q 1)w Cnw
Ad
d =d min
t
X
=0
N (w, , d ).
car il y a, au total, (q 1)w Cnw mots de poids w et
Pn
d =d min
Ad
Pt
=0 N (w, , d )
mots (de poids w > t ) en rgion de dcodage incorrect.

On obtient donc, en regroupant les mots y suivant leur poids et la rgion
laquelle ils appartiennent :
P e/s =
1 X w
p (1 P )nw
n w>t
"
n
X
d Ad
d =d min
t
X
=0
N (w, , d ) + w (q 1)
Cnw
n
X
d =d min
Ad
t
X
=0
N (w, , d ) ,
do finalement :
"
P e/s =
p (1 P )
nw
w>t
#
n
t
X
X
w
d w
w w
(q 1) Cn +
Ad
N (w, , d ) .
n
=0
d =d min n
Il est possible dexpliciter deux quivalents diffrents du taux derreur rsiduel quand p 0 (fort rapport signal bruit en dcodage hard). [Rappelons
que la probabilit derreur par mot vaut, en FEC, P e (q 1)t +1 Cnt +1 p t +1 asymptotiquement lorsque p 0.]
84

Tout dabord, si lalgorithme de dcodage exploite totalement la capacit de
correction du code, cest dire si d min = 2t + 1, il est facile de voir (sachant que
t
N (t + 1, t , 2t + 1) = C2t
+1 , cf. section 5.3.5) que
t +1
t
(q 1)t +1 Cnt +1 + A dmin Cdt min p t +1
P e/s
n
n
Daprs la section 5.2.6, on a (puisque d min = 2t + 1) : A dmin Cdt
min
6 (q 1)t +1 Cnt +1 ,
do la majoration :
d min
d min
(q 1)t +1 Cnt +1 p t +1
Pe
n
n
P e/s .
On aurait pu obtenir le mme rsultat autrement, en faisant lhypothse (pessimiste) que, lorsque le dcodage nest pas correct, le mot dcod x contient, au
6 w H (y) + t , do la majoration :
pire, t erreurs de plus que y : w H (x)
P e/s 6
X w +t w
Cn (q 1)w p w (1 P )nw .
n
w>t
qui donne la mme borne lorsque p 0.

Lautre cas correspond d min > 2t +1 (lalgorithme de dcodage nexploite pas
totalement la capacit de correction du code). Il est alors facile de voir (sachant
que N (w = t + 1, , d min ) = 0 puisque t + 1 < d min t , cf. section 5.3.5) que lon a,
asymptotiquement lorsque p 0,
P e/s
t +1
t +1
(q 1)t +1 Cnt +1 p t +1
Pe
n
n
En rsum, on a obtenu, pour le taux derreur rsiduel, une approximation

du type :
P e/s
Pe
n
o varie entre t + 1 et d min , suivant le type de dcodage et de code utilis. En

comparant avec la section 5.2.7, o on avait toujours P e/s >
d min
n Pe
en dcodage
complet, on sapercot quune stratgie FEC en dcodage incomplet peut savrer

tre plus performante. Ceci grce au fait que le dcodeur laisse le mot reu en
ltat lorsquil est trop loign dun mot de code.
5.4 Dcodage hard et soft sur le canal gaussien (cas binaire)

On limitera ici ltude aux codes binaires avec une modulation B P SK sur
canal gaussien (le cas du canal de Rayleigh est trait dans lexercice 7.8).
5.4. DCODAGE HARD ET SOFT
85
Le cas des codes q-aires est beaucoup plus compliqu, surtout en dcodage
soft (o ce qui est dvelopp ici dans le cas binaire ne se gnralise pas). Lutilisation de codes q-aires fait appel la notion de modulation code et dborde du
cadre de ce cours.
Rappelons que la modulation BPSK associe chaque symbole binaire x = 0
ou 1 un symbole x de la constellation BPSK. Par exemple, si le canal gaussien est
rel :
x =0
7
x = 1 7
p
x = + E m
p
x = E m
Dans la suite on suppose le canal rel, mais les calculs sont videmment analogues et donnent des rsultats identiques pour un canal complexe.
Noter que E m est lnergie moyenne par bit cod (composante dun mot de
code C ). Pour le calcul des performances du systme, il faut ramener cette nergie
lnergie par bit dinformation E b . Puisque k bits dinformation correspondent
n bits cods, on a kE b = nE m do :
E m = RE b
o R =
k
n
est le rendement du code.
5.4.1 Mode de code nul mis

En gnral, on a affaire un canal symtrique, cest dire :
p(y|x =
p
p
E m ) = p(y|x = E m )
Ceci est valable en particulier pour le canal gaussien et le canal de Rayleigh

(cf. formules donnant p(y|x)). Avec cette seule hypothse, on va simplifier la
dtermination de la probabilit derreur de la mme manire que dans le cas du
canal q-SC trait ci-dessus.
On peut en effet montrer que, pour tout x C , P e|x = P e|0 de la manire
suivante. Par dfinition :
Z
Z Y
P e|x =
p(y i |x i ) 1{x 0 =(x10 ,...,xn0 ) | Qi p(y i |xi0 )>Qi p(y i |xi )} d y 1 d y n

y1
yn i
Effectuons le changement de variable :
p
y0 = y
si xi = + E m , i.e., x i = 0
i
i
y 0 = y i si xi = pE m , i.e., x i = 1
i
86
p
Alors, puisque p(y i |x i ) = p(y i0 | E m ) dans les deux cas (grce la symtrie du
canal), et puisque p(y i |x i0 ) = p(y i0 |x i0 x i ) on obtient :
P e|x =
Z
y 10
Y
y n0 i
p(y i0 |
p
E m ) 1{x 0 | Qi p(y 0 |x 0 xi )>Qi p(y 0 |pE m )} d y 1 d y n
i
Cette dernire expression se rduit :

Z
P e|x =
p(y 0 |0) 1{x 0 xC | p(y 0 |x 0 x)>p(y 0 |0)} d y 0
y0
Enfin, puisque le code est linaire, lorsque x 0 dcrit lensemble des mots de code
6= x, la diffrence x 0 x dcrit lensemble des mots de code non nuls. On arrive
donc :
P e|x = P e|0
x C
et ainsi :
P e = P e|0
Ainsi, non seulement lexpression de la probabilit derreur se simplifie, mais
aussi on peut toujours supposer que cest le mot de code nul qui a t mis. Cela
facilite grandement la dtermination de P e .
5.4.2 Lien entre distances euclidienne et de Hamming

Pour un code binaire il existe un lien remarquable trs simple entre distance
x0 ).
de Hamming d H (x, x 0 ) et distance euclidienne des mots correspondants : d (x,
En effet :
x0 ) = ||x x0 ||2 =
d 2 (x,
X
i
(x i x0 i )2
On remarque que :
0
(x i x0 i )2 =
(2pE m )2 = 4E m
si x i = x i0
sinon
et on obtient donc que les deux distances sont proportionnelles :

x0 ) = 4E m d H (x, x 0 )
d 2 (x,
Ainsi, que se soit en dcodage hard ou soft, les bornes dur la probabilit derreur
vont dpendre uniquement des distances de Hamming entre mots de code.
87
5.4.3 Borne de lunion

En dcodage hard, nous savons que le canal discret quivalent est un BSC de
paramtre p donn par la probabilit derreur par bit de la modulation BPSK :
!
s
!
s
2E m
2E b
=Q
p =Q
R
N0
N0
Ainsi, daprs ci-dessus, la borne de lunion conduit lexpression (pour un code
binaire) :
Pe 6
n
X
d
X
Ad
i =d d2 e
d =d min
Cid p i (1 p)d i
En dcodage soft, nous savons que la probabilit derreur par paire scrit :
s
!
d (0, x)
2E m
=Q
w H (x)
P 0x = Q p
N0
2N0
La dernire galit tient compte de la relation vue entre distance de Hamming et
distance euclidienne. La borne de lunion devient donc :
s
!
X
2E m
P e = P e|0 6
Q
w H (x)
N0
x6=0
do, en regroupant les termes de mme poids :
n
X
Pe 6
Ad Q
d =d min
2E m
d
N0
5.4.4 Borne de lunion + Bhattacharyya

En dcodage hard, la borne de lunion+Bhattacharyya est la mme que pour
q
p
2E m
le canal BSC avec p = Q
N0 , soit P e 6 A() 1, o = 2 p(1 p).
Etonnamment, la borne de lunion + Bhattacharyya pour le dcodage soft
prend une forme similaire. En effet, la borne de Bhattacharyya sur la probabilit
derreur par paire est :
P 0x 6 e
4N1 d 2 (0,x)
0
w H (x)
= e E m /N0
cause du lien entre distance euclidienne et distance de Hamming. On obtient

donc :
Pe 6
n
X
d =d min
d
A d e E m /N0
88
Cette borne est encore de la forme A() 1, avec cette fois-ci = e E m /N0 .
En rsum, la borne de lunion + Bhattacharyya scrit, en dcodage hard
comme en dcodage soft :
P e 6 A() 1
o :
p
q
2E m
2 p(1 p) o p = Q
en dcodage hard
N0
=
e E m /N0
en dcodage soft
5.4.5 Taux derreur rsiduel

Ce qui a t dit en section 5.2.7 pour la probabilit derreur par symbole et le
taux derreur rsiduel reste videmment valable ici, que ce soit en dcodage hard
ou en dcodage soft pour des codes binaires ( cause de lidentification vue entre
distances de Hamming et euclidienne). On a donc toujours lapproximation :
P e/s
d min
Pe
n
5.4.6 Gain asymptotique en fort rapport signal bruit

Maintenant que nous savons valuer les performances de systmes cods en
blocs en dcodage hard et soft, il est utile de prciser le gain obtenu par rapport
un systme non cod, en fonction des paramtres du code choisi.
Nous valuons ici le gain en rapport signal bruit dun code binaire par
rapport au cas non cod, cest dire au cas dun modulation BPSK simple, pour
q
2E b
laquelle P e = Q
N0 . Nous cherchons donc une valuation de la probabilit
q
b
derreur aprs codage de la forme Q
g 2E
N0 ; le gain en rapport signal bruit
sera alors gal g , soit 10 log10 (g ) dB.
On se place dans un premier temps dans lhypothse dun fort rapport signal
bruit. Dans les valuations des probabilits derreur donnes ci-dessus, seul le
premier terme (pour d = d min ) domine.
En dcodage hard, la borne de lunion nous donne, en fort rapport signal
bruit :
d
d min
2
P e . A dmin Cd
o :
p =Q
min
e d dmin e
2
2E b
R
N0
89
Pour obtenir un gain en rapport signal bruit, on utilise lapproximation suivante,

valable en fort rapport signal bruit (cf. exercice 7.1 sur la fonction de Marcum) :
p
Q( 2x) e x
de sorte que la borne sur P e devient :
Pe . c pd
d min
2
c e
Rd
d min
2
e Nb
p
o c est un constante. Toujours avec lapproximation Q( 2x) e x , on peut
mettre cette borne sous la forme :
s
Pe . c Q
!
2E b d min
e
Rd
N0
2
On obtient donc un gain asymptotique de

g hard = 10 log10 (Rd
d min
e) dB
2
En dcodage soft, la borne de lunion nous donne, en fort rapport signal

bruit :
s
P e . A dmin Q
2E b
Rd min
N0
On obtient donc un gain asymptotique de

g soft = 10 log10 (Rd min ) dB
En comparant g hard g soft , on sappercoit que, grosso modo, le dcodage soft
apporte (asymptotiquement) 3d B de plus que le dcodage hard pour le mme
code. La Table 5.1 donne quelques valeurs numriques.
Bien entendu, il faut relativiser ce rsultat : il nest valable quen trs fort
rapport signal bruit, pour des probabilits derreur trs faibles. Pour dautres valeurs de P e , la diffrence peut tre moindre. De plus, ce gain ne tient pas compte
de la valeur de la constante c A dmin qui peut tre trs variable pour un gain
asymptotique similaire dun code lautre et donc jouer un rle significatif.
Enfin, il faut galement, en pratique, prendre en compte la complexit de lalgorithme de dcodage pour un code donn. Celle-ci est en gnral bien plus leve
pour un dcodage soft que pour un dcodage hard.
90
(n, k, d min )
Gain hard
Gain soft
(n, k, d min )
Gain hard
Gain soft
(7,4,3)
0.58 dB
2.34 dB
(127,120,3)
2.76 dB
4.52 dB
(7,1,7)
-2.43 dB
0.00 dB
(127,113,5)
4.26 dB
6.48 dB
(15,11,3)
1.66 dB
3.42 dB
(127,106,7)
5.24 dB
7.67 dB
(15,7,5)
1.46 dB
3.68 dB
(127,99,9)
5.91 dB
8.46 dB
(15,5,7)
1.25 dB
3.68 dB
(127,92,11)
6.38 dB
9.01 dB
(15,1,15)
-2.73 dB
0.00 dB
(127,85,13)
6.71 dB
9.40 dB
(31,26,3)
2.25 dB
4.01 dB
(127,78,15)
6.91 dB
9.64 dB
(31,21,5)
3.08 dB
5.30 dB
(127,71,19)
7.47 dB
10.26 dB
(31,16,7)
3.15 dB
5.58 dB
(127,64,21)
7.44 dB
10.25 dB
(31,11,11)
3.28 dB
5.91 dB
(127,57,23)
7.31 dB
10.14 dB
(31,6,15)
1.90 dB
4.63 dB
(127,50,27)
7.41 dB
10.27 dB
(31,1,31)
-2.87 dB
0.00 dB
(127,43,29)
7.06 dB
9.92 dB
(63,57,3)
2.58 dB
4.34 dB
(127,36,31)
6.57 dB
9.44 dB
(63,51,5)
3.85 dB
6.07 dB
(127,29,43)
7.01 dB
9.92 dB
(63,45,7)
4.56 dB
6.99 dB
(127,22,47)
6.19 dB
9.11 dB
(63,39,9)
4.91 dB
7.46 dB
(127,15,55)
5.19 dB
8.13 dB
(63,36,11)
5.35 dB
7.98 dB
(127,8,63)
3.04 dB
5.99 dB
(63,30,13)
5.23 dB
7.92 dB
(127,1,127)
-2.98 dB
0.00 dB
(63,24,15)
4.84 dB
7.57 dB
(255,247,3)
2.87 dB
4.63 dB
(63,18,21)
4.97 dB
7.78 dB
(255,239,5)
4.49 dB
6.71 dB
(63,16,23)
4.84 dB
7.67 dB
(255,231,7)
5.59 dB
8.02 dB
(63,10,27)
3.47 dB
6.32 dB
(255,223,9)
6.41 dB
8.96 dB
(63,7,31)
2.50 dB
5.37 dB
(255,215,11)
7.04 dB
9.67 dB
(63,1,63)
-2.94 dB
0.00 dB
(255,207,13)
7.55 dB
10.23 dB
TAB. 5.1 Gains hard et soft, asymptotiques en fort rapport signal bruit, sur
canal gaussien, de quelques codes BCH binaires primitifs. Les codes pour lesquels
d min = 3 sont des codes de Hamming, ceux pour lesquels k = 1 sont des codes
rptition. On constate de ces derniers napportent aucun gain sur canal gaussien.
91
5.4.7 Gain asymptotique en faible rendement

On peut galement obtenir un gain en rapport signal bruit faible rendement. Ce gain est calcul sous lhypothse que R << 1, ce qui nest a priori
valable que pour des codes particuliers (codes simplexes de grande longueur, par
exemple). Par contre, elle permet de saffranchir de lhypothse de fort rapport
signal bruit.
Partons de la borne de lunion+Bhattacharyya :
P e 6 A() 1
En dcodage hard, on a = 2
p(1 p) avec
p =Q
s
!
2E b
1
1 Eb
R

R
N0
2
N0
Cette dernire approximation est valable pour R trs faible (voir exercice 7.1 sur
la fonction de Marcum). On obtient donc :
s
4p(1 p)
4R E b
N0
que lon peut approximer au premier ordre par

e
2 R Nb
Ceci est comparer au cas du dcodage soft, pour lequel = e
R Nb
On obtient donc cette fois ci un gain en dcodage hard de

2
g hard = 10 log10 ( Rd min ) dB
La perte du dcodage hard par rapport au dcodage soft nest plus que de :
10 log10 (/2) 2 dB
au lieu de 3 dB en fort rapport signal bruit. Incidemment ces 2 dB correspondent
la perte optimale la limite de Shannon (voir chapitre 6).
92
Chapitre 6
Performances asymptotiques
optimales dun systme cod en
blocs
6.1 Motivation
Dans les chapitres prcdents, on a tent dvaluer plus ou moins prcisment la probabilit derreur P e dun systme cod, lorsquon utilise un code bien
choisi. Nous avons vu quune valuation prcise de P e est difficile.
Qui plus est, nous avons trs peu dindications sur ce qui rend un code bon
sur tel ou tel canal (si ce nest la valeur de quantits comme nk d min ). Nous avons
encore moins dindications concernant les performances, pour un rendement et
une longueur donns, du meilleur code. Do une srie de questions lgitimes :
Peut-on trouver des bons codes et par quoi se caractrisent-ils ?
Sont-ils rares ?
Quelles performances optimales peut-on atteindre sur un canal donn ?
Dans ce chapitre on va tenter de rpondre ces questions par un argument
densemble, quon dsigne souvent par le terme codage alatoire. On se
limitera ici au cas du codage en blocs, le cas des codes convolutifs pouvant tre
trait de manire analogue.
93
94
CHAPITRE 6. PERFORMANCES OPTIMALES DUN CODE
6.2 Taux du code

Rappelons quen gnral, un code en blocs [M , n] est un ensemble de mots de
codes x = (x 1 , x 2 , . . . , x n ) :
C = {x 1 , x 2 , . . . , x M }
Les paramtres M (taille du code) et n (dimension ou longueur des mots de code)
permettent de dfinir en gnral le taux du code :
R=
log2 M
bits/symbole
Cest le nombre moyen de bits dinformation transmis par symbole cod envoy
sur le canal. Par exemple, pour un code linaire binaire (n, k), on a M = 2k de
sorte que R =
k
n
est le rendement du code. Dans le cas dun code q-aire, il y a une
diffrence entre rendement
k
n
et taux puisque R =
k
n
log2 q. Ce paramtre R est
trs important puisquil traduit un facteur de perte en dbit d la redondance

introduite par le codage.
Pour le problme du codage canal on a donc plusieurs paramtres envisager :
taille M , longueur n, et taux R.
probabilit derreur globale du systme P e .
paramtres du canal (p pour un canal q-SC, rapport signal bruit E m /N0
pour un canal gaussien).
Lobjectif est, bien sr, pour un canal donn, de minimiser P e , pour un taux R le
plus grand possible.
6.3 Technique du codage alatoire

6.3.1 Loi de probabilit sur les codes
Plutt que dvaluer la probabilit derreur P e (C ) pour un code C donn,
on va valuer la probabilit derreur moyenne sur tous les codes [M , n] possibles.
Pour cela, on introduit une loi de probabilit p(C ) sur les codes C de taille M et
de longueur n, et on va calculer
E(P e ) =
Z
P
C
p(C )P e (C )
6.3. TECHNIQUE DU CODAGE ALATOIRE
95
Tout ce passe donc comme si on calculait les performances moyennes dun

systme cod o le code serait choisi au hasard selon la loi p(C ), do le nom
donn cette technique : codage alatoire.
Il ne faut pas se laisser abuser par le terme codage alatoire. En pratique
le code est fixe, et est choisi une fois pour toutes. La loi de probabilit p(C ) est
totalement artificielle. Elle nest introduite que pour moyenner la probabilit
derreur de sorte que E(P e ), moyenne sur lensemble des codes, est plus facile
valuer que P e pour un code donn.
Noter que lon aurait pu simplement valuer la moyenne arithmtique des
probabilits derreur sur tous les codes ; pour un code binaire, cela correspond
au choix p(C ) =
1
. Ici, on a prfr introduire un
2nM
p(C ) plus gnral pour plus
de flexibilit.
6.3.2 Loi de probabilit sur les mots de code

Afin que E(P e ) soit facile valuer on choisit p(C ) de la forme :
p(C ) =
M
Y
m=1
p(x m )
Tout ce passe donc comme si les M mots de code taient tirs au hasard de
manire indpendante avec la mme loi p(x).
Les notations sont ici un peu confuses ; il ne faut pas confondre p(x), loi de
probabilit artificielle introduite sur chacun des mots de codes x = x m , et ce
quon a dj not p(x), la loi de probabilit dun mot de code lentre du canal.
En effet, la loi de probabilit dentre du canal p(x) se dfinit pour un code
donn C , comme la loi dun mot de code x C . On a fait lhypothse, en gnral
dans ce document, que les mots de code sont quiprobables : p(x) =
1
M . Pour ne
pas alourdir les notations, on ne fera plus rfrence directement cette loi p(x)
dans la suite.
Par contre, la loi de probabilit artificielle p(x) porte sur un vecteur x = x m
de dimension n quelconque. Pour un canal continu rel, x m Rn et p(x m ) est
une densit de probabilit. Pour un canal discret, avec des symboles F q par
exemple, x m (F q )n et p(x m ) est une loi de probabilit discrte.
96
6.3.3 Loi de probabilit sur les symboles cods

Rappelons que tous les canaux envisags dans ce document sont sans mmoire, cest dire quils perturbent les mots de code indpendamment symbole
par symbole. On a vu que cela correspond mathmatiquement lquation :
p(y|x) =
n
Y
p(y i |x i )
i =1
Afin de terminer le calcul de E(P e ) pour un canal sans mmoire, on choisira

de prendre la loi de probabilit artificielle p(x) sous la forme :
p(x) =
n
Y
p(x i )
i =1
Tout ce passe donc comme si on tirait les composantes des mots de code au
hasard selon la mme loi p(x). L encore, il ne faut pas confondre cette loi p(x)
avec la loi dun symbole x = x i dun mot de code x dun code donn lentre du
canal.
6.3.4 Remarque pour les canaux continus

Nous avons dfini, pour le canal gaussien rel par exemple, lnergie moyenne
par symbole E m comme la moyenne de n1 kxk2 sur la loi de probabilit des mots
de codes lentre du canal. Puisque que lon suppose que les mots de codes sont
quiprobables, cela signifie quon doit avoir, pour tout code C = {x 1 , . . . , x M },
M
1 X
kx k2 = E m
nM m=1 m
Il faudrait donc, dans ce qui va suivre, tenir compte de cette contrainte pour
les canaux continus ceci est possible, mais alourdit les calculs. On prfrera
ici imposer une condition ncessaire correspondante sur la loi de probabilit
artificielle p(x) :
En effet, cette loi doit tre telle que la contrainte sur E m soit satisfaite en
moyenne sur p(x), cest dire :
M
1 X
kx k2
Em = E
nM m=1 m
6.4. CALCUL DE LA PROBABILIT DERREUR MOYENNE
97
o lesprance porte sur p(x). Avec les choix faits ci-dessus sur p(x), cela nous
donne la contrainte suivante de variance :
Em =
1
Ekxk2 = E(x 2 ).
n
Ainsi, pour un canal continu, le choix de p(x) sera fait, dans la suite, de telle sorte
R
que E(x 2 ) = x 2 p(x) d x = E m .
6.3.5 Performance du meilleur code

Nous avons dj mentionn un intrt de la technique du codage alatoire :
E(P e ) est beaucoup plus simple valuer que P e pour un code donn (voir
prochaine section). Mais cela serait insuffisant si on ne peut pas dduire du
calcul de E(P e ) une indication sur les performances dun code donn.
En fait, lautre grand intrt du codage alatoire est le fait suivant, qui permet
de borner la probabilit derreur du meilleur code [M , n] partir dune borne sur
E(P e ) :
Si E(P e ) < , alors il existe un code (le meilleur, par exemple) pour
lequel P e < .
En effet, si ce ntait pas le cas, on
Z aurait, pour tous les codes C , P e (C ) > .
P
Mais cela impliquerait E(P e ) =
p(C )P e (C ) > , ce qui est impossible par
C
hypothse.
Ainsi, la technique du codage alatoire pourra nous fournir des renseignements sur la performance optimale dun systme cod, pour le meilleur code.
6.4 Calcul de la probabilit derreur moyenne

Nous partons de la borne de Gallager sur la probabilit derreur sachant que
x = x m a t mis :
P e|x m 6
Z
P
y
p(y|x m )
1
1+
X
m 0 6=m
p(y|x m 0 )
1
1+
Rappelons que cette borne est valable pour tout > 0, et se rduit la borne de
lunion+Bhattacharyya lorsque = 1.
98

On moyenne maintenant sur la loi de probabilit p(C ). Dans tout ce qui va
suivre, lesprance porte sur cette loi. Puisque les mots de code sont indpendants
vis--vis de p(C ), on trouve :
E(P e|x m ) 6
Z
P
E p(y|x m )
1
1+
"
X
m 0 6=m
p(y|x m 0 )
1
1+
# !
On value ici E(P e|x m ) au lieu de E(P e ), mais le lien est facile faire puisque
1 P
Pe = M
m P e|x m .
On se restreint maintenant un paramtre tel que 0 6 6 1, afin que la
fonction f (x) = x soit concave. On peut alors appliquer lingalit de Jensen pour
une v.a. X :
E f (X ) 6 f (E(X ))
Cette ingalit nest autre que lingalit de convexit :

Z
P
x
Z
P
Z
P
p(x) f (x) 6 f
p(x)x
p(x) = 1.
On obtient ainsi :
E(P e|x m ) 6
Z
P
Z
P
E p(y|x m )
E p(y|x m )
6 (M 1)
1
1+
"
X
m 0 6=m
1
1+
"
X
m 0 6=m
p(y|x m 0 )
E p(y|x m 0 )
1
1+
1
1+
!#
Z
i+1
1
P h
E p(y|x) 1+
y
1
La dernire ingalit provient de ce que E p(y|x m ) 1+ est le mme quel que soit
lindice m, puisque les mots de code x = x m suivent tous la mme loi p(x).
On va maintenant utiliser le fait que le canal est sans mmoire. Puisque les
composantes x i dun mot de code x sont indpendantes suivant la loi p(x), on a :
E p(y|x)
1
1+
n
Y
= E
p(y i |x i )
1
1+
i =1
n
Y
1
E p(y i |x i ) 1+
i =1
6.4. CALCUL DE LA PROBABILIT DERREUR MOYENNE
99
On obtient donc :
E(P e|x m ) 6
Z Yh
i+1
1
E p(y i |x i ) 1+
y i
Z h
i+1
YP
1
M
E p(y i |x i ) 1+
yi
La dernire quation provient de ce quon reconnait le dveloppement dun

produit de sommes du type :
Z
n P
Y
i =1
yi
n
Y
Z
P
f (y i ) =
y 1 ,y 2 ,...,y n i =1
f (y i )
P
1
1
On remarque que E p(y i |x i ) 1+ =
p(x)p(y|x) 1+ est le mme quel que soit
x
lindice i , puisque les composantes x i suivent la mme loi p(x). On obtient donc
finalement lexpression toute simple :
n
E(P e|x m ) 6 M J 0 ()
o on a pos :
J 0 () =
Z Z
P P
y
+1
p(x)p(y|x) 1+
Il est utile de faire apparaitre le taux R =
log2 M
n
des codes en mettant la borne
sous la forme :
E(P e|x m ) 6 2n(E 0 ()R)
o
E 0 () = log2 J 0 ()
est lexposant de Gallager.
Insistons sur le fait que cette borne est valable pour tout paramtre tel que
0 6 6 1, et pour toute loi (ou densit) de probabilit p(x) (sur laquelle nous
navons pas encore fix notre choix).
Pour minimiser cette borne il faut maximiser E 0 () R par rapport
(0 6 6 1) et maximiser E 0 () par rapport p(x). De toute faon, pour tout choix
de et de p(x) tel que E 0 () R > 0, on aura une dcroissance exponentielle
de la probabilit derreur moyenne vers 0 lorsque la longueur n crot. Dans les
paragraphes suivants on va obtenir cette dcroissance vers 0 avec diffrentes
hypothses sur R.
100
6.5 Taux critique R 0 du canal

6.5.1 Le thorme R 0
Reprenons ce qui a t fait au paragraphe prcdent lorsque = 1. Cela
signifie que lon part de la borne de lunion+Bhattacharrya sur la probabilit
derreur, et les calculs qui suivent sont identiques. On obtient donc :
E(P e|x m ) 6 2n(E 0 R)
o E 0 = E 0 ( = 1). Afin de minimiser cette borne, on choisit maintenant la loi de
probabilit p(x) qui maximise E 0 .
La quantit
R 0 = max E 0 = log2 min J 0

p(x)
p(x)
est appel taux critique 1 du canal. Noter quil ne dpend que des probabilits de
transition p(y|x) du canal. Puisque
J 0 = J 0 (1) =
Z Z
P P
y
p
p(x) p(y|x)
il est facile de voir 2 que 0 6 J 0 6 1, de sorte que R 0 est une quantit positive.
On obtient donc une dcroissance exponentielle :
E(P e|x m ) 6 2n(R0 R)
ds lors que R < R 0 . Daprs ce quon a vu il existe un code [M , n] dont la probabilit derreur est galement 6 2n(R0 R) . On a donc prouv le thorme suivant :
Thorme R 0 . Pour tout R < R 0 il existe un code de taux > R et de longueur n
tel que, pour tout mot de code x :
P e|x 6 2n(R0 R) 0 quand n
Ce thorme signifie que quon peut transmettre avec une probabilit derreur
arbitrairement petite ds lors que le taux R est infrieur au taux critique du canal.
1. cut-off rate en anglais.
p
p
2. Appliquer par exemple
Z Z lingalit de Jensen pour la fonction x. On obtient E( p(y|x)) 6
p
P P
E(p(y|x)) do J 0 6
p(x)p(y|x) = 1.
y
6.5. TAUX CRITIQUE R 0 DU CANAL
101
De plus, il donne une borne explicite de la probabilit derreur du meilleur code

[M,n], ce qui permet de faire des comparaisons loptimum pour des systmes
cods.
Pour trouver la valeur du taux critique R 0 pour un canal donn, il faut minimiser J 0 = J 0 ( = 1) par rapport p(x). Or :
J0
2
p
=
p(x) p(y|x)
y
x
Z q
Z
P
0 P
0
p(y|x)p(y|x )
=
p(x)p(x )
x,x 0
y
Z q
P
= E
p(y|x)p(y|x 0 )
Z Z
P P
Le terme entre parenthses nest autre que la borne de Bhattacharyya sur la probabilit derreur par paire. Celle-ci a dj t calcule au chapitre 3 pour diffrents
canaux. Il suffit ensuite de minimiser lesprance de cette borne sur p(x) pour
dterminer R 0 .
6.5.2 Cas du canal q-SC

Dans le cas du canal q-SC, on a vu que la borne de Bhattacharyya scrit
Xq
p(y|x)p(y|x 0 ) = d H (x,x )
o = 2
p(1 P )+(q 2)p. Ici d H (x, x 0 ) vaut 0 si x = x 0 , et 1 sinon. On peut donc
mettre J 0 sous la forme :

J0
p(x)p(x 0 ) +
X
x
x6=x 0
= (1 )
p(x)2
p(x) +
o on a utilis le fait que
x,x 0 p(x)p(x
) = 1. Il faut minimiser cette quantit sur

P
la loi de probabilit p(x) qui est telle que p(x) > 0 et x p(x) = 1. On obtient
facilement (par exemple par la mthode du multiplicateur de Lagrange) que
p(x) doit tre constant, i.e. p(x) =
q
min J 0 = (1 ) q 2
1
q
pour tout x. Le minimum de J 0 est donc
+ = q1 (1 + (q 1)) et on obtient :
R 0 = log2 q log2 (1 + (q 1))
102
Pour le canal BSC (q = 2) le taux critique devient :

R 0 = 1 log2 (1 + 2
p(1 p))
Le cas du canal BEC ( effacement) est trait dans lexercice 7.16. Par ailleurs,
lexercice 7.10 donne une autre dmarche pour le calcul de R 0 dans ce cas.
6.5.3 Cas du canal gaussien*

Dans le cas du canal gaussien, on a vu que la borne de Bhattacharyya scrit :
Z q
y
p(y|x)p(y|x 0 ) d y = e
(x,x
d 4N
0)
Prenons par exemple le cas du canal gaussien rel : d 2 (x, x 0 ) = (x x 0 )2 . On veut

donc minimiser
ZZ
J0 =
p(x)p(x 0 )e
0 )2
0
(xx
4N
d xd x 0
sur la densit de probabilit p(x). Noter quon peut toujours se restreindre p(x)
R
tel que E(x) = xp(x) d x = 0, quitte effectuer une translation sur x et x 0 dans
lintgrale dfinissant J 0 . La minimisation doit aussi se faire sous la contrainte
R
que E m = E(x 2 ) = x 2 p(x)d x est lnergie moyenne par symbole.
La minimisation de J 0 est dlicate 3 . Cependant, linstar du calcul de la
capacit fait ci-dessous au 6.6.4, il semble raisonnable de choisir p(x) gaussien 4 .
Le calcul gnral de J 0 () dans ce cas est fait dans lexercice 7.11. Pour = 1, on
trouve :
v
u
u
J 0 = J 0 (1) = t
1
1 + ENm0
do la valeur de R 0 = log2 J 0 pour une distribution dentre gaussienne :

R0 =
1
Em
log2 (1 +
).
2
N0
3. Une rcompense celle ou celui qui me fournira une solution.

4. On peut montrer, par ailleurs, que le choix de p(x) gaussien optimise effectivement J 0
RR
en faible rapport signal bruit. En effet, on alors au premier ordre : J 0
p(x)p(x 0 )(1
(xx 0 )2
1 Em
0
4N0 ) d xd x = 1 2 N0 qui est bien gal (toujours au premier ordre) lexpression donne
E m 1/2
ici pour J 0 = (1 + N )
lorsque p(x) est gaussien.
0
6.6. CAPACIT C DU CANAL
103
6.5.4 Cas du canal gaussien entre binaire

Dans le cas dun systme cod par un code en blocs binaire sur canal gaussien
(rel par exemple, avec modulation BPSK), les symboles (binaires) lentre du
p
canal sont de la forme x = E m o E m est lnergie par bit cod x.
On a vu que la borne de Bhattacharyya scrit dans ce cas :
Z q
2
0
0
d (x,x )
p(y|x)p(y|x 0 ) d y = e 4N0 = d H (x,x )
y
o = e E m /N0 . La dernire galit provient du fait, dj vu au chapitre 5, que

distance euclidienne et distance de Hamming sont lies par la relation d 2 (x, x 0 ) =
4E m d H (x, x 0 ). Ici d H (x, x 0 ) vaut 0 si x = x 0 , et 1 si x = x 0 .
On peut donc mettre J 0 sous la mme forme que dans le cas du canal BSC.
La seule diffrence est que a une autre valeur. On obtient donc, de mme que
pour le BSC, que J 0 est minimum pour des bits quiprobables : p(x) = 21 , et
R 0 = 1 log2 (1 + ), cest dire :
R 0 = 1 log2 (1 + e E m /N0 )
Lexercice 7.10 donne une autre dmarche pour le calcul de R 0 dans ce cas.
6.6 Capacit C du canal

6.6.1 Le thorme de Shannon
Nous revenons maintenant au cas gnral. Lexposant qui nous intresse est :
E () = E 0 () R = log2 J 0 () R
o :
J 0 () =
Z Z
P P
y
p(x)p(y|x)
1
1+
+1
On va dabord dterminer les conditions sur le taux R pour que E () soit

positif pour une valeur de comprise entre 0 et 1. En dautres termes, on veut
garantir que max0661 E () soit positif. Ceci afin de garantir une dcroissance
exponentielle de la probabilit derreur moyenne vers 0 lorsque n tend vers
linfini. On sintressa ensuite au choix optimal de la loi de probabilit artificielle
p(x).
104

Tout dabord on voit immdiatement que pour = 0, J 0 (0) = 1 et E (0) = 0. La
fonction E () tant clairement continue et drivable en la variable , on aura

bien un maximum de E () positif si on peut montrer que E () prend des valeurs
positives au voisinage ( droite) de 0. Pour cela, il suffit de montrer que la drive
de E () en 0 est positive.
Afin de faciliter le calcul de cette drive E 0 ( = 0), on transforme J 0 () de la
manire suivante :
J 0 () =
Z
P
Z
P
p(x)p(y|x)
1
1+
Z
P
p(x )p(y|x )
1
1+
x0
x,y
p(x, y)
"Z
P
x,y
p(y|x 0 )
p(x )
p(y|x)
x0
0
1 #
1+
Il est facile de voir que pour une fonction drivable f () quelconque on a :
d log f ()
d
f ()
=
e
= log f (0)
d
d
=0
=0
Avec cette rgle on obtient facilement :
J 00 (0) =
Z
P
x,y
P
0
0
p(x
)p(y|x
)
x0
p(x, y) log
p(y|x)
do
E 00 (0)
1 J 00 (0)
=
log 2 J 0 (0)
Z
P
0
0
Z
p(x
)p(y|x
)
x0
1 P
p(x, y) log
=
log 2 x,y
p(y|x)
p(y|x)
Z
P
p(x)p(y|x) log2 Z
P
x,y
p(x 0 )p(y|x 0 )
x0
La quantit :
I (X , Y ) =
Z
P
p(x)p(y|x) log2 Z
P
x,y
p(y|x)
p(x 0 )p(y|x 0 )
x0
est une fonction de p(x) et de p(y|x) appele information mutuelle moyenne

entre X et Y . Son tude constitue le point central de la thorie de linformation
de Shannon.
105
Ainsi la drive de E () en = 0 nest autre que I (X , Y ) R. Elle est positive

lorsque R < I (X , Y ), auquel cas il existe une valeur de pour laquelle E () > 0.
Nous avons donc montr que la probabilit derreur moyenne E(P e|x ) 6 2nE ()
tend exponentiellement vers 0 lorsque n , pourvu que R < I (X , Y ). Daprs
ce quon a vu il existe un code [M , n] dont la probabilit derreur est galement
6 2nE () .
Afin doptimiser ce rsultat il nous reste choisir la loi de probabilit artificielle p(x) de telle sorte quelle maximise I (X , Y ). On dfinit donc la capacit du
canal par :
C = max I (X , Y )
p(x)
Noter que puisque I (X , Y ) est une fonction de p(x) et de p(y|x), la quantit C ne

dpend bien que des probabilits de transition p(y|x) du canal. On peut montrer,
en thorie de linformation, que I (X , Y ) est une fonction positive concave en
p(x), et que par consquent, la capacit C est une quantit finie et positive.
On a donc prouv le clbrissime thorme suivant :
Thorme de Shannon. Pour tout > 0 et R < C il existe un code de taux > R
et de longueur n tel que, pour tout mot de code x, P e|x < .
De plus, P e|x tend exponentiellement vers 0 lorsque n .
Ce thorme signifie que quon peut transmettre avec une probabilit derreur arbitrairement petite ds lors que le taux R est infrieur la capacit du
canal. Cest un progrs par rapport au thorme R 0 , puisquon a ici optimis le
paramtre alors quil tait fix la valeur = 1 pour R 0 . En dautres termes,
R0 < C .
Par contre, il est plus dlicat ici dobtenir des informations prcises sur lexposant de Gallager optimal, sauf cas particulier (cf. exercice 7.11 pour le canal
gaussien).
6.6.2 Rciproque du thorme de Shannon

Nous avons vu successivement quon pouvait, laide dun systme cod,
transmettre avec une fiabilit arbitrairement grande pour R < R 0 , puis pour R < C .
Peut-on faire mieux ? Autrement dit, peut-on dpasser la capacit du canal ? La
rponse est NON.
106

Cela provient directement des dfinitions et des ingalits de bases de la
thorie de linformation. On montre en effet facilement, laide des outils de

la thorie de linformation, que sil on veut un taux R > C , alors la probabilit
derreur ne peut tre arbitrairement petite, car elle est minore par une quantit
> 0 qui dpend de R C . Cest la rciproque (faible) du thorme de Shannon.
Lexercice 7.15 propose une version forte de la rciproque du thorme de
Shannon, qui montre que, si R > C , P e tend exponentiellement vers 1 lorsque
n . A comparer avec notre thorme de Shannon qui affirme que si R < C ,
P e tend exponentiellement vers 0 lorsque n .
6.6.3 Cas du canal q-SC

Pour calculer la capacit du canal q-SC on utilise la borne de Shannon (voir
exercice 7.13) :
C 6 log2 q H (e)
o H (e) est lentropie de lerreur additive e, dfinie par
H (e) =
p(e) log2
eF q
1
p(e)
1
Le calcul de H (e) est facile et donne : H (e) = P log2 p1 + (1 P ) log2 1P
.
Daprs lexercice 7.13, la borne de Shannon est atteinte si lon peut choisir
p(x) de telle sorte que les symboles de sortie du canal soient quiprobables :
p(y) = q1 . Un choix vident est la loi uniforme : p(x) = q1 . On a bien alors :
p(y) =
X
x
p(y|x)p(x) =
1X
1
1
p(y|x) = ((q 1)p + (1 P )) =
q x
q
q
On en conclut donc la valeur de la capacit :

C = log2 q + P log2 p + (1 P ) log2 (1 P )
qui peut se rcrire sous la forme :
C = log2 q P log2 (q 1) H2 (P )
o
H2 (x) = x log2
est la fonction dentropie binaire.
1
1
+ (1 x) log2
x
1x
107
Dans le cas binaire (q = 2) il vient :

C = 1 H2 (p)
0.9
0.8
0.7
Code Rate
0.6
0.5
0.4
Ro
0.3
0.2
0.1
0
0
0.05
0.1
0.15
0.2
0.25
0.3
Raw Error Probability
0.35
0.4
0.45
0.5
F IG . 6.1 Capacit et Taux critique pour le canal BSC, en fonction du paramtre

du canal p
Il est intressant de comparer cette capacit binaire avec le taux critique
p
correspondant R 0 = 1 log2 (1 + 2 p(1 p)) (voir Fig. 6.1). On voit bien 5 que
R0 6 C .
Le cas du canal BEC ( effacement) est trait dans lexercice 7.16.
6.6.4 Cas du canal gaussien

Pour calculer la capacit du canal gaussien rel on utilise la borne de Shannon
(voir exercice 7.13) :
C 6 log2
2e2y H (B )
o H (B ) est lentropie diffrentielle du bruit additif gaussien B , dfinie par

Z
1
H (B ) = p(b) log2
db
p(b)
b
5. On peut retrouver directement lingalit R 0 6 C de la faon suivante. Par lexercice 7.12,
1
on a tout dabord, pour tout 0 6 q 6 1, H2 (p) 6 p log2 q1 + (1 p) log2 1q
. Puis, en appliquant
p
1p
lingalit de Jensen pour la fonction log, cette dernire expression est 6 log2 ( q + 1q ). Il suffit
p
enfin de poser q = p
p
p
pour conclure.
p+ 1p
108
Ici p(b) est une densit gaussienne de moyenne nulle et de variance N0 /2.
Pour dterminer la borne de Shannon, il faut calculer H (B ), lentropie diffrentielle dune gaussienne. Daprs lexercice 7.12, on obtient :
H (B ) = log2
p
2eN0 /2
La variance en sortie du canal est

2y = 2x + 2b = E m +
N0
2
o E m est lnergie moyenne par symbole et N0 /2 la d.s.p. bilatrale du bruit. On

obtient finalement la borne de Shannon :
r
p
N0
1
Em
C 6 log2 2e(E m +
) log2 2eN0 /2 = log2 (1 + 2
)
2
2
N0
Daprs lexercice 7.13, la borne de Shannon est atteinte si lon peut choisir
p(x) de telle sorte que les symboles de sortie du canal suivent une loi gaussienne
(de variance 2y ). Un choix vident est la loi gaussienne pour p(x). La sortie
Y = X + B , somme de deux gaussiennes, sera galement gaussienne et donc de la
forme voulue.
On en conclut donc la valeur de la capacit 6 , gale la borne de Shannon :
C=
1
Em
log2 (1 + 2
)
2
N0
Il est intressant de comparer cette capacit avec le taux critique correspondant

R 0 = 21 log2 (1 + ENm0 ). On voit bien que R 0 6 C , et la diffrence en rapport signal
bruit est constante gale 3 dB.
Lexercice 7.11 donne une autre dmonstration du thorme de Shannon (et
du calcul de C ) dans le cas du canal gaussien.
6. Avec les notations du 1.5, cest--dire en notant T la priode symbole, P la puissance
1
dmission, et en identifiant la largeur de bande de transmission B 2T
, on obtient lexpression
classique suivante de la capacit exprime en bits par seconde :
C=
C
P
= B log2 (1 +
)
T
N0 B
Cest lexpression classique due Shannon. La condition R 6 C se traduit ici en termes de dbits
binaires : D b 6 C .
6.7. PERFORMANCES OPTIMALES EN DCODAGE HARD
109
6.6.5 Cas du canal gaussien entre binaire

(rel par exemple, avec modulation BPSK), les symboles (binaires) lentre du
p
canal sont de la forme x = E m o E m est lnergie par bit cod x.
Contrairement ce qui se passe dans la section prcdente, on doit donc
introduire la condition supplmentaire que lentre du canal gaussien est binaire
pour le calcul de la capacit. Cest ce qui est fait dans lexercice 7.14. On trouve
alors :
2 Em
1
C=
p
log 2 N0
2
y2
2
log2 cosh y
!
2E m 2E m
+
dy
N0
N0
Il est intressant de comparer cette capacit binaire avec le taux critique

correspondant R 0 = 1 log2 (1 + e E m /N0 ) (voir Fig. 6.4). On voit bien que R 0 6 C .
6.7 Performances optimales sur canal gaussien en dcodage hard

On se place ici en dcodage hard sur canal gaussien rel. Le code est binaire
et la modulation utilise est la BPSK. Le thorme de Shannon nous garantit
quune transmission code fiable est possible si R < C , ou R est le taux (ou
rendement) du code. En pratique il faut relier cette condition lnergie mise
par bit.
Or, la capacit C est donne par la formule du canal BSC : C = 1+p log2 p +(1
p) log2 (1 p) o p est la probabilit derreur par bit cod pour une modulation
BPSK, soit :
s
p =Q
2E m
N0
Le paramtre E m /N0 est le rapport signal bruit moyen par bit cod. Nous savons
quil scrit :
E m /N0 = Rb
o b =
Eb
N0
est le rapport signal bruit par bit dinformation.
Ainsi C se trouve tre une fonction de Rb dans la condition de Shannon

R < C . On recherche donc les valeurs possibles de (R, b ) pour une transmission
fiable, cest dire telles que R < C (Rb ). Bien entendu, ce quon vient de dire
110
pour la capacit peut se refaire lidentique pour le rendement critique R 0 =

p
1 log2 (1 + 2 p(1 p)).
1
0.9
0.8
C
0.7
Code Rate
Ro
0.6
0.5
0.4
0.3
0.2
0.1
0
0
5
6
SNR Em/No
10
F IG . 6.2 Capacit et Taux critique en dcodage hard sur canal gaussien, en

fonction du rapport signal bruit moyen E m /N0 = Rb
Les courbes donnant C et R 0 en fonction de E m /N0 = Rb sont donnes
dans la Fig. 6.2. Il est facile de voir que leur drives en E m /N0 sont des fonctions
dcroissantes. Ainsi, pour un rendement R < C (resp. R < R 0 ) donn, la pente 1/b
de la droite reliant lorigine au point (Rb , R) nous donne une valeur du rapport
signal bruit par bit pour laquelle une transmission code fiable (P e 0) est
possible.
Rsoudre lingalit R < C (Rb ) ou R < R 0 (Rb ), revient donc trouver le
rapport signal bruit minimum b min tel que R = C (Rb ) (respectivement R =
R 0 (Rb )). On aura alors la possibilit dune transmission code fiable ds lors
que b > b min . Les courbes donnant b min en fonction de R sont donnes dans
la Fig. 6.3.
Ainsi, pour une valeur de R donne correspond un rapport signal bruit par
bit dinformation minimum thoriquement atteignable, cest dire quil existe
une code de longueur suffisamment grande qui ralise une probabilit derreur
aussi faible quon veut pour b > b min .
On voit sur la Fig. 6.3 que le b min minimum sobtient lorsque R 0. Il est
facile de calculer cette valeur en faisant un dveloppement limit de R 0 et C en
6.7. PERFORMANCES OPTIMALES EN DCODAGE HARD
111
10
6
Ro
SNR (dB)
Zone R<Ro
C
Zone R<C
2
Rgion interdite
0
-2
0.1
0.2
0.3
0.4
0.5
0.6
Code Rate
0.7
0.8
0.9
F IG . 6.3 Rapport signal bruit b minimum pour une transmission fiable, en

dcodage hard sur canal gaussien, en fonction du taux R
R = 0. On a tout dabord (voir exercice 7.1 sur la fonction de Marcum) :
p=
1
1 p
p
2Rb + 0(R)
2
2
do respectivement :
R0 =
RB
+ o(R)
log 2
et
2RB
+ o(R)
log 2
Ainsi, lorsque R 0, la condition R < R 0 du thorme R 0 devient :
C=
b > log 2 = 3.38d B

et la condition R < C du thorme de Shannon devient :
b >
log 2
= 0.37d B
2
112
Cest la valeur limite de Shannon en rapport signal bruit pour une transmission
fiable, en dcodage hard.
6.8 Performances optimales sur canal gaussien en dcodage soft

On se place ici en dcodage soft sur canal gaussien rel. Le code est binaire
et la modulation utilise est la BPSK. Le thorme de Shannon nous garantit
quune transmission code fiable est possible si R < C , ou R est le taux (ou
rendement) du code. En pratique il faut relier cette condition lnergie mise
par bit.
Dans ce cas, la capacit C et le rendement critique R 0 sont donns par les
formules correspondant au cas du canal gaussien entre binaire. Ces formules
dpendent du paramtre E m /N0 , le rapport signal bruit moyen par bit cod.
Nous savons quil scrit :
E m /N0 = Rb
o b =
Eb
N0
est le rapport signal bruit par bit dinformation.
On recherche donc les valeurs possibles de (R, b ) pour une transmission

fiable, cest dire telles que R < R 0 (Rb ) (thorme R 0 ) et R < C (Rb ) (thorme
de Shannon).
Les courbes donnant C et R 0 en fonction de E m /N0 = Rb sont donnes
dans la Fig. 6.4. Il est facile de voir que leur drives en E m /N0 sont des fonctions
dcroissantes. Ainsi, pour un rendement R < C (resp. R < R 0 ) donn, la pente 1/b
de la droite reliant lorigine au point (Rb , R) nous donne une valeur du rapport
signal bruit par bit pour laquelle une transmission code fiable (P e 0) est
possible.
Rsoudre lingalit R < C (Rb ) ou R < R 0 (Rb ), revient donc trouver le
rapport signal bruit minimum b min tel que R = C (Rb ) (respectivement R =
R 0 (Rb )). On aura alors la possibilit dune transmission code fiable ds lors
que b > b min . Les courbes donnant b min en fonction de R sont donnes dans
la Fig. 6.5.
Ainsi, pour une valeur de R donne correspond un rapport signal bruit par
bit dinformation minimum thoriquement atteignable, cest dire quil existe
6.8. PERFORMANCES OPTIMALES EN DCODAGE SOFT
113
1
0.9
C
0.8
Ro
Code Rate
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
5
6
SNR Em/No
10
F IG . 6.4 Capacit et Taux critique en dcodage soft sur canal gaussien entre
binaire, en fonction du rapport signal bruit moyen E m /N0 = Rb
une code de longueur suffisamment grande qui ralise une probabilit derreur
aussi faible quon veut pour b > b min .
On voit sur la Fig. 6.5 que le b min minimum sobtient lorsque 7 R 0. Il est
facile de calculer cette valeur en faisant un dveloppement limit en R = 0.
Pour le rendement critique R 0 = 1 log2 (1 + e Rb ), la condition R < R 0 peut
scrire :
b >
log(21R 1)
= 2 log 2 + o(1)
R
Cest la courbe R 0 de la Fig. 6.5. Pour la capacit C , on trouve :

Z
2
1
2Rb
1
2Rb y 2 + o(R)
Rb
C=
e y /2
dy =
+ o(R).
p
log 2 log 2 2
2
log 2
Ainsi, lorsque R 0, la condition R < R 0 du thorme R 0 devient :
b > 2 log 2 = 1.42d B
et la condition R < C du thorme de Shannon devient :
b > log 2 = 1.59d B
Cest la valeur limite de Shannon en rapport signal bruit pour une transmission
fiable, en dcodage soft.
7. Noter que R 0 implique une transmission puissance limite (voir 1.5).
114
10
SNR (dB)
4
Ro
Zone R<Ro
2
C
Zone R<C
0
Rgion interdite
-2
0.1
0.2
0.3
0.4
0.5
0.6
Code Rate
0.7
0.8
0.9

dcodage soft sur canal gaussien entre binaire, en fonction du taux R. La limite
de Shannon (sans contrainte dentre binaire) est indique en pointills.
Il est intressant de comparer cette dernire valeur avec celle obtenue pour
un canal gaussien sans la contrainte dentre binaire. Dans ce cas lexpression de
la capacit est plus simple :
C=
1
log2 (1 + 2Rb )
2
et la condition R < C scrit :

b >
22R 1
= log 2 + o(1)
2R
Cest la courbe en pointills de la Fig. 6.5. On constate qutonnamment, la valeur

limite 8 en rapport signal bruit pour une transmission fiable, lorsque R 0,
8. Noter quil sagit ici de la limite de la capacit lorsque lefficacit spectrale tend vers 0, pour
6.9. COMPARAISON ENTRE DCODAGE HARD ET SOFT
115
est log 2 = 1.59 dB. Elle est identique celle obtenue avec la contrainte dentre
binaire !
On peut traduire ce rsultat en disant que une quantification binaire en entre
du canal gaussien naffecte pas la limite de Shannon (Input binary quantization
doesnt hurt). En thorie on pourrait donc toujours se limiter des codes binaires avec modulation BPSK (plutt que dutiliser des codes q-aires). Ceci nest
videmment valable que pour les meilleurs codes, lorsque R 0 et n .
6.9 Comparaison entre dcodage hard et soft

A laide des deux sections prcdentes il est facile de faire une comparaison
entre dcodage hard et soft sur canal gaussien (avec modulation BPSK).
Les courbes donnant le rapport signal bruit par bit dinformation minimum
en fonction de R sont reproduites dans la Fig. 6.6. Ceci nous donne la perte, en
dB, du rapport signal bruit b optimal en fonction du rendement R du code.
A la limite lorsque R 0, les deux limites de Shannon en Hard et en Soft
diffrent de
2d B (voir Fig. 6.7). Ainsi loptimum, la perte du dcodage Hard
par rapport au dcodage Soft est de 2 dB. Ceci correspond bien la perte obtenue
au chapitre 5 lorsque R 0 (et non pas la perte de 3 dB obtenue en fort rapport
signal bruit). On peut traduire ce rsultat en disant quune quantification binaire
en sortie du canal gaussien affecte la limite de Shannon de 2 dB (Output binary
quantization costs you 2 dB). Il faut aussi noter que, lorsque R crot, cette perte
samenuise (voir Fig. 6.6). Elle nest plus que de 1.5 dB en R = 1/2.
La Fig. 6.7 nous donne une ide du gain potentiel attendre de la thorie
du codage correcteur derreurs. Entre les performances dun systme non cod
(BPSK seule) et celles dun systme cod optimal, le foss est important. Cette
figure est connue depuis les annes cinquante (le thorme de Shannon date
de 1948, sa rciproque de 1952). Bien que Shannon ait prdit quun code choisi
au hasard ferait laffaire, ceux quon connait sont encore loin de la limite de
Shannon ! En quarante ans de recherches, des progrs considrables ont t
une transmission puissance limite. Lexpression de la capacit en bits/s : C = B log2 (1 + NPB )
0
devient donc, puisque P /N0 B :

C=
1 P
log 2 N0
Sachant que b = N PD (cf. 1.5), la condition D b 6 C nous redonne bien la limite b > log 2.
0 b
116
10
SNR (dB)
2
Limite hard
0
Limite Soft
-2
0.1
0.2
0.3
0.4
0.5
0.6
Code Rate
0.7
0.8
0.9

dcodage hard et soft sur canal gaussien entre binaire, en fonction du taux R.
La limite de Shannon (sans contrainte dentre binaire) est indique en pointills.
raliss, mais la construction de codes permettant de sapprocher de la borne de
Shannon, tout en garantissant un dcodage efficace restait jusqu peu un rve.
Rcemment, la dcouverte des turbo codes rendrait peut-tre ce rve ralisable. . .
6.9. COMPARAISON ENTRE DCODAGE HARD ET SOFT
117
-1
10
-2
10
BPSK
-3
Shannon limit (hard): 0.37 dB
Shannon limit (soft): -1.59 dB
Error Rate
10
-4
10
-5
10
-6
10
-7
10
-2
4
6
Bit SNR Eb/No (dB)
10
12
F IG . 6.7 Gain potentiel du codage binaire : Limites de Shannon en dcodage

hard et soft, en comparaison avec la modulation binaire non code
118
Chapitre 7
Exercices
119
120
CHAPITRE 7. EXERCICES
7.1. BORNES ET QUIVALENTS DE LA FONCTION DE MARCUM
121
7.1 Bornes et quivalents de la fonction Q(x)

Soit X une v.a. relle, gaussienne normalise (moyenne nulle, variance 2 = 1).
La fonction de Marcum (ou queue de gaussienne) est dfinie par :
Z
u2
1
Q(x) = P r {X > x} = p
e 2 d u.
2 x
Cette fonction est utilise, plus gnralement, comme valeur de la probabilit
P r {X > x} lorsque X est un v.a. gaussienne quelconque.
1. Montrer que si X est une v.a. gaussienne relle de moyenne et de variance
2 , on a :
P r {X > x} = Q
2. Calculer la drive et la drive seconde de Q(x), et tudier lallure de son

graphe.
3. Montrer que lorsque x 0 :
Q(x)
1
1
p x.
2
2
4. Dans la suite on suppose x > 0. Dans lintgrale dfinissant Q(x), faire le

changement de variable u = x + v (v > 0) et, en tenant compte de e v x 6 1,
prouver la majoration :
1 x2
Q(x) < e 2
2
5. En tenant compte de u > x dans lintgrale dfinissant Q(x), prouver lencadrement :
Z
Z
1 + 1/u 2 u 2
u u2
1
1
2
e
d
u
<
Q(x)
<
e 2 du
p
p
2 0 1 + 1/x 2
2 0 x
Calculer ces intgrales en primitivant et en dduire lencadrement :
x2
x2
1 1 1
1
1+ 2
p e 2 < Q(x) < p e 2
x
x 2
x 2
6. En dduire que lorsque x + :

x2
1
Q(x) p e 2
x 2
7. La fonction derreur complmentaire est dfinie par :

Z
2
2
erfc(x) = p
e u d u
x

Montrer que Q(x) = 12 erfc px et appliquer les rsultats de lexercice la
2
fonction erfc(x).
122
7.2 Amlioration de la borne de Bhattacharyya pour le BSC

On rappelle que pour le canal BSC de paramtre p < 21 , la probabilit derreur
par paire est donne par :
P xx 0 = P r {t > d /2} =
X
d /26i 6d
Cid p i (1 p)d i
o d = d H (x, x 0 ) et t suit une loi binmiale de longueur d et de paramtre p.
p i
p d /2
1. Retrouver la borne de Bhattacharyya en majorant : 1p 6 1p
.
2. Dans cette question d est impair, donc :
P r {t > d /2} = P r {t > (d + 1)/2}
(a) Par un calcul analogue la question prcdente, montrer que :
P xx 0 6 2d p (d +1)/2 (1 p)(d 1)/2
(b) En dduire (sachant que p < 12 ) lamlioration suivante de la borne
de Bhattacharyya (due Van de Meeberg) :
p
d +1
P xx 0 6 2 p(1 p)
3. Soit C un code linaire binaire (n, k) de polynme numrateur de poids

A(z). On note C + le code (n + 1, k) construit partir de C en rajoutant un
bit de parit global.
(a) Montrer que x C de poids w, le mot de code correspondant x +
C + est de poids :
w
si w est pair
w + 1 si w est impair.
(b) En dduire que le polynme numrateur de poids de C + scrit :
1+z
1z
+
A (z) =
A(z) +
A(z)
2
2
(c) Soit P e la probabilit derreur obtenue pour le code C sur le canal
BSC. On sait, daprs la borne de Bhattacharyya, que :
P e 6 A() 1
7.2. AMLIORATION DE LA BORNE DE BHATTACHARYYA

o = 2
123
p(1 p). Montrer lamlioration suivante :

P e 6 A + () 1
et retrouver le gain asymptotique nk d dmin

2 e en dcodage hard sur canal
gaussien.
124
7.3 Ingalits de Bienaym-Tchbycheff et de Chernoff

Soit X une v.a. relle de moyenne E (X ) et de variance :
2X = E (X E (X ))2
1. En utilisant la majoration 1|x|>a 6
x2
,
a2
prouver lingalit de Bienaym-
Tchbycheff :
P r {|X E (X )| > a} 6
2X
a2
2. En utilisant la majoration 1x >a 6 e (xa) pour > 0 prouver lingalit de

Chernoff :
P r {X > a} 6 E (e X )e a = e ()a
( > 0)
o on a pos () = log E (e X ).
3. Minimisation de la borne de Chernoff
Soit p(x) la distribution de probabilit de X . On introduit :
p 0 (x) =
e x
E (e X )
p(x).
On note X 0 une v.a. de distribution p 0 (x).

(a) Montrer que p 0 (x) est bien une distribution de probabilit.
(b) Prouver les relations
0 () = E (X 0 ) et 00 () = 2X 0 .
(c) En dduire que () a est convexe en , et que son minimum
unique est atteint pour = tel que 0 ( ) = a.
(d) En dduire la borne de Chernoff :
P r {X > a} 6 e (
) 0 ( )
4. Exemple : Cas dune loi binomiale

X est ici une v.a. discrte de loi binomiale :
P r {X = i } = Cin p i (1 p)ni .
On rappelle que X =
Pn
i =1 X i
est la somme de n v.a. indpendantes binaires :
P r {X i = 1} = 1 P r {X i = 0} = p.
7.3. INGALITS DE TCHBYCHEFF ET CHERNOFF
125
(a) On veut majorer P r {X > n} o p 6 . En utilisant la dcomposition

P
X = i X i , montrer que () = n log(e p + 1 p). En dduire la valeur
(1p)
de = log p(1) et la borne de Chernoff :

p (1 p)1
P r {X > n} 6
(1 )1
= (p (1 p)1 )n 2nH2 ()
1
o H2 () = log2 1 + (1 ) log2 1
est la fonction dentropie binaire.
Pourquoi lhypothse p 6 est-elle essentielle ?

(b) En changeant en 1 , p en 1 p et X en n X , montrer que pour
p > ,
p (1 p)1
P r {X > n} >
(1 )1
126
7.4 Borne de Chernoff sur la probabilit derreur par paire

Cet exercice concerne le calcul de la borne de Chernoff, applique la probabilit derreur dun systme cod pour diffrents canaux.
1. Cas du canal BSC
On rappelle que dans ce cas la probabilit derreur par paire est
P xx 0 = P r {t > d /2}
o d = d H (x, x 0 ) et t est une v.a. de loi binmiale de paramtre p <
1
2
et de
longueur d .
Retrouver la borne de Bhattacharyya en utilisant lingalit de Chernoff (cf.
exercice prcdent) P xx 0 .
2. Cas du canal q-SC
Utiliser lingalit de Chernoff sur P xx 0 tablie dans le cours, et, par un
calcul analogue celui fait dans le cours pour la borne de Bhattacharyya,
montrer successivement que, pour tout > 0 :
!
Y X
1
0
P xx 0 6
p(y i |x i )
p(y i |x i )
i
yi
p 1 (1 P ) + (1 P )1 p + (q 2)p
o d = d H (x, x 0 ).
Retrouver la borne de Bhattacharyya en minimisant cette somme sur
(Indication : minimiser une somme produit constant revient galer les
termes).
3. Cas du canal gaussien
On rappelle que dans ce cas :
d
P xx 0 = P r {Z > p }
2
o d = d (x, x 0 ) et Z est une v.a. gaussienne centre de variance N0 .
(a) Montrer que :
E (e Z ) = e N0
/2
et en dduire lingalit de Chernoff :

P xx 0 6 e
N0
2
2 pd
2
7.4. BORNE DE CHERNOFF
127
(b) Minimiser cette borne par rapport pour retrouver la borne de

Bhattacharyya.
128
7.5 Polynme numrateur de poids et Borne de Plotkin

On considre un code binaire linaire (n, k) not C , de polynme numP
rateur de poids A(z) = nd =0 A d z d et de distance minimale d min . Le poids de
P
Hamming dun mot x = (x 0 , x 1 , . . . , x n1 ) (F 2 )n est not : w H (x) = n1
i =0 w H (x i ).
1. Montrer les galits suivantes :
A(z) =
z w H (x)
xC
A(1) = 2k
A 0 (1) =
w H (x)
xC
(poids total des mots de code) o A 0 (z) est le polynme driv de A(z).
2. On suppose dans cette question que C admet (1, 1, . . . , 1) pour mot de code.
Montrer quon a alors une symtrie des coefficients : A d = A nd , i.e.,
A(z) = z n A(z 1 )
3. On fixe j {0, , n 1} et on considre, pour tous les mots de code x C ,
lensemble des j es composantes x j . On suppose dans cette question quil
existe x 0 C tel que x 0j 6= 0.
En utilisant la linarit de C , montrer alors quil y a autant de mots de code
de j e composante x j = 0 que de mots de code de j e composante x j = 1.
4. En dduire que le poids total des mots de code vrifie :
X
w H (x) 6 n2k1
xC
5. En dduire la borne de Plotkin sur la distance minimale du code C :

d min 6
n2k1
2k 1
6. Montrer que la borne de Plotkin est atteinte pour les codes simplexes de
paramtres (2m 1, m) (on admettra que la distance minimale est > 2m1 ).
Quel est alors le polynme numrateur de poids A(z) ?
7.5. POLYNME A(Z ) ET BORNE DE PLOTKIN
129
7. Amlioration de la borne de Plotkin.

A partir du code C sous forme systmatique on considre les 2 j mots de
code pourlesquels les k j premiers bits dinformation sont nuls. Montrer
quen liminant ces k j composantes dans ces mots de code, on obtient
un nouveau code linaire raccourci de paramtres (n (k j ), j ) et de
distance minimale > d min .
En appliquant la borne de Plotkin ce nouveau code, montrer que :
d min 6 (n (k j ))
2 j 1
2j 1
8. On considre une famille de codes (n, k) pour laquelle on peut faire tendre
la longueur n vers linfini. On note R = limn nk . En utilisant la borne de
Plotkin, montrer que
d min 1
< + o(n)
n
2
En utilisant la borne de Plotkin amliore pour j = dlog ke par exemple,
montrer que
d min 1
< (1 R) + o(n)
n
2
Commenter.
130
7.6 Identit de Mc Williams

Un code binaire linaire (n, k) est not C . Le code dual (n, n k) de C est
P
not C . A(z) = nd =0 A d z d (respectivement B (z)) est le polynme numrateur
de poids du code C (resp. C ). Le produit scalaire entre x et y (F 2 )n est :
P
< x|y >= i x i y i F 2 .
On considre le systme utilisant le code C sur canal BSC de paramtre p. Le
code C est utilis en dtection pure derreurs (stratgie ARQ avec t = 0).
1. Montrer que la probabilit que le mot reu y nappartienne pas au code C
est gal (cf. notations du cours) :
p
P r {y 6 C } = 1 P n = 1 (1 p) A
1p
n
Par ailleurs, on sait que y appartient au code si et seulement si il est orthogonal tout mot du code dual, i.e.,
x 0 C ,
< x 0 |y >= 0 (dans F 2 )
Considrons donc, pour un mot y (F 2 )n fix, lensemble des produits

scalaires < x 0 |y > F 2 , lorsque x 0 dcrit C .
2. Montrer que si y 6 C , il y a autant de mots de code x 0 C tels que <
x 0 |y >= 0 que de mots de code x 0 tels que < x 0 |y >= 1 .
3. En dduire les valeurs possibles de 2S, o
S=
< x 0 |y >
x 0
lorsque y C et lorsque y 6 C .
4. Montrer que
P r {y 6 C } =
1
2nk
E(2S)
5. Sachant que < x 0 |y >= 1 si et seulement si les indices i tels que y i = 1 et

x i0 = 1 sont en nombre impair, montrer que, pour un x 0 donn de poids w,
E < x 0 |y >= P r {< x 0 |y >= 1} =
i impair
Ciw p i (1 p)wi
7.6. IDENTIT DE MC WILLIAMS
131
6. Simplifier cette expression en notant quelle est gale la somme des

coefficients des puissances impaires de z dans le polynme (1 p + pz)w .
On trouve :
E < x 0 |y >=
1 (1 2p)w
.
2
7. En dduire
E(2S) = 2nk B (1 2p)
8. Dduire des questions prcdentes lidentit de Mac Williams :
1z
1
A(z) = nk (1 + z)n B
1+z
2
132
7.7 Enumration de poids dun code distance maximale

On considre un code linaire (n, k, d min ) not C , dfini sur le corps fini q
lments F q . On note A i le nombre de mots du code C de poids i .
On rappelle que le codeur peut toujours se mettre sous forme systmatique.
On supposera donc que dans chaque mot de code x C , les k premiers symboles
sont les symboles dinformation correspondant x.
Rappels
1. Soit x le mot de code qui correspond aux k symboles dinformation suivants : 0, 0, . . . , 0, 1. Majorer son poids et en dduire la borne de Singleton :
d min 6 n k + 1
Le code est dit distance maximale si d min = n k + 1.
[N.B. : les codes de Reed-Solomon (n = q 1, k) sur F q sont distance
maximale.]
Dornavant C dsigne un code (n, k, n k + 1) distance maximale dfini
sur F q .
2. Montrer quil existe un unique mot de code x C avec k composantes
spcifies lavance. [Indication : sil y en a deux, ils sont distants de 6
n k.]
Calcul de A i
3. On se donne un ensemble de i indices I {0, . . . , n 1}. En utilisant la
question prcdente, montrer que le nombre N I de mots de code x tels
que x i = 0 i I est gal :
q ki
NI =
1
si i 6 k
si i > k
4. Soit M I le nombre de mots de codes de poids i dont les composantes non

nulles se trouvent dans I , i.e., tels que x i 6= 0 i I . Montrer successivement que
7.7. ENUMRATION DE POIDS DUN CODE MDS
133
(a)
Ai =
MI
o la somme porte sur tous les ensembles de i indices pris parmi

{0, . . . , n 1}.
(b)
M; = 1
o ; dsigne lensemble vide.
(c)
si 1 6 i < d min .
MI = 0
(d)
X
M J = N I 0 = q i dmin +1
si i > d min
J I
o la somme porte sur tous les ensembles J , de j 6 i indices, contenus

dans I , et o I 0 dsigne le complmentaire de I , cest--dire I 0 =
{0, . . . , n 1} \ I .
5. Montrer que les quations prcdentes permettent de dterminer, de faon
unique, les nombres M I par rcurrence, et que M I ne dpend que de
i = CardI . Dornavant on utilise la notation M i au lieu de M I .
6. Montrer quon a alors :
A i = Cin M i
Il suffit donc de dterminer les nombres M i pour obtenir lnumration
des poids souhaite.
7. Dduire de la question 4 que les M i , i = 0, . . . , n, sont dtermins de manire unique par M 0 = 1, M i = 0 pour 1 6 i 6 n k et par lquation de
rcurrence :
i
X
j =1
8. On introduit loprateur
Ci M j = q i n+k 1.
PM
i =N
q i =
PM
i =0 q
qui supprime les puis-
sances ngatives de q dans un dveloppement en srie de Laurent.

Montrer que
M i = (q 1)
(q 1)i 1
q nk

i >0
134
vrifie lquation de rcurrence de la question prcdente.
Indication :
i
X
j =1
Ci (q 1)
(q 1) j 1
q nk
= (q 1)
9. Conclure :
A i = Cin (q 1)
i
X
j =1
(q 1)i 1
q nk
Ci

(q 1) j 1
q nk

7.8. BPSK CODE SUR CANAL DE RAYLEIGH
135
7.8 Performances de la BPSK code sur canal de Rayleigh

p
On considre la modulation BPSK x = 2E m sur un canal de Rayleigh nor2
malis. Laffaiblissement suit la loi de Rayleigh p() = 2e . On note =
Em
N0
le rapport signal bruit moyen sur le canal, o E m est lenergie moyenne par bit
mis sur le canal.
Borne de lunion+Bhattacharyya sur la probabilit derreur par bit.
On considre dans cette partie la dtection optimale, bit par bit, pour la
modulation BPSK symboles quiprobables. Dans les 5 premires questions
on raisonne affaiblissement donn. On note P e b | le probabilit derreur-bit
sachant .
1. Montrer que, pour un affaiblissement donn, la distance euclidienne
p
minimale dans lespace des signaux mis vaut d (x, x) = 2 E m .
2. En sinspirant du cas du canal gaussien trait dans ce document, donner
la borne de Bhattacharyya sur la probabilit derreur par paire sachant ,
note P xx | . On crira cette borne en fonction de et .
3. En dduire la borne correspondante sur P e b | . La borne de lunion est-elle
exacte ?
4. En saidant du cas du canal gaussien trait dans ce document, donner (en
la justifiant) la valeur exacte de P e b | en fonction de et .
5. En utilisant une majoration convenable de la fonction Q(x) (vue lexercice 7.1), en dduire lamlioration suivante de la borne de lunion + Bhat2
tacharyya : P e b | 6 12 e .
6. En dduire la majoration suivante de la probabilit derreur-bit P e b :
P eb 6
1
1
2 1+
7. On donne la valeur exacte tablie au 4.2.2 : P e/b =

ver directement la borne de la question prcdente.
p
Indication : Quand a-t-on a > a ?
Performances en dcodage hard non supervis.
1
2
1+
. Retrou-
136
On considre ici la modulation BPSK code par un code linaire de paramtres (n, k, d min ) en dcodage hard sur le canal de Rayleigh. Lentre du
canal est un mot de code x = (x 1 , . . . , x n ). La sortie du dtecteur seuil
p
la rception fournit y = (x1 , x2 , . . . , xn ) o les dcisions hard xi = 2E m
sont des points de la modulation BPSK. On suppose que les affaiblisseQ
ments (1 , . . . , n ) sont indpendants, i.e. p() = i p(i ).
8. Montrer que le canal discret quivalent pour le i me bit (dentre x i et de

q
sortie xi ) est un canal BSC de paramtre p i = P e b |i = Q( 22i ).
9. Justifier la chane de calculs suivantes pour lvaluation de la vraisemblance
sachant :
p(y|x, ) =
p(xi |x i , i ) =
Y
i | x i 6=xi
pi
(1 p i )
i | x i =xi
Dans cette partie on suppose que les affaiblissements i sont inconnus au

dcodage (dcodage non supervis) ; on doit donc maximiser la vraisemblance moyenne :
Z
p(y|x) =
p()p(y|x, ) d .
R
10. Calculer p(y|x) en fonction de P e b = p()P e b | d , probabilit derreur-
bit moyenne la dtection BPSK.

11. En dduire que le dcodeur optimal est le mme que celui qui serait utilis
pour un canal BSC de paramtre p = P e b .
12. En utilisant le rsultat correspondant du document pour le canal BSC,
montrer que la probabilit derreur par mot P e du systme cod peut tre
majore, au premier ordre en fort rapport signal bruit, par :
d
d min
2
P e . c P eb
13. En dduire, laide du rsultat de la premire partie, une majoration de la

probabilit derreur sous la forme :
Pe . c0
1
L
o L = d dmin
2 e est la diversit sur canal de Rayleigh obtenue en dcodage
hard non supervis en fort rapport signal bruit.
7.8. BPSK CODE SUR CANAL DE RAYLEIGH
137
Performances en dcodage hard supervis.

On se place dans la mme situation que dans la partie prcdente, mais en
supposant dornavant que les affaiblissements i ont t estims et sont
connus au dcodage. Le critre de maximum de vraisemblance conduit
donc maximiser :
p(y|x, ) =
pi
i | x i 6=xi
(1 p i )
i | x i =xi
14. Pourquoi un dcodeur correcteur derreurs classique (qui minimise la

distance de Hamming entre y et x) est-il sous-optimal (pour le critre de
maximum de vraisemblance) dans ce cas ?
15. En sinspirant du calcul fait au 3.5.2, montrer que la borne de Bhattacharyya scrit :
P xx 0 | 6
p i (1 p i )
i | x i 6=x 0 i
2
On rappelle que p i = P e b |i 6 12 e i (question 5) et que lon a P e b =

R
1
(question 6).
p(i )P e b |i d i 6 21 1+
16. En moyennant la borne prcdente suivant p(), montrer que :
0
1 d H (x,x )
P xx 0 6
1+
17. En dduire une majoration de la probabilit derreur, au premier ordre en
fort rapport signal bruit, sous la forme :
Pe . c
1
L
o L = d min est la diversit sur canal de Rayleigh obtenue en dcodage hard

supervis en fort rapport signal bruit.
18. COMMENTER cette valeur de L par rapport au cas non supervis de la
partie prcdente.
Performances en dcodage soft.
On considre dans cette partie la modulation BPSK code par un code
linaire (n, k, d min ) en dcodage soft sur le canal de Rayleigh affaiblissements indpendants. On suppose les affaiblissements connus au dcodage.
On rappelle que le critre du maximum de vraissemblance conduit ici
minimiser la distance euclidienne d (y, x).
138
19. Par analogie avec le cas du canal gaussien trait dans ce document, montrer
que la borne de Bhattacharyya scrit :
P xx 0 | 6 e
4N1 d 2 (x,x 0 )
0
p
20. Sachant que les x i = 2E m sont des points de la modulation BPSK, montrer, en utilisant le rsultat de la question 1, que la borne de Bhattacharyya
se met sous la forme :
P xx 0 | 6 e
i | x i 6=x 0
i
2i
21. En dduire, laide des rsultats de la premire partie, que la probabilit

derreur par paire (moyenne sur ) est majore par :
1
P xx 0 6
1+
d H (x,x 0 )
o d H (x, x 0 ) dsigne la distance de Hamming entre les mots de code x et

x 0.
22. En utilisant la borne de lunion, montrer que la probabilit derreur par
mot du systme cod peut tre majore, au premier ordre en fort rapport
signal bruit, par :
Pe . c
1
L
o L = d min est la diversit sur canal de Rayleigh obtenue en dcodage soft.

23. COMMENTER cette valeur de L par rapport au cas du dcodage hard
supervis. Prfrez-vous dcoder en soft ou en hard supervis ? Pourquoi ?
7.9. MODULATION PAR SIGNAUX ORTHOGONAUX
139
7.9 Performances de la modulation par des signaux orthogonaux de mme nergie sur canal gaussien
On considre n points quiprobables x 1 , . . . , x n dune constellation en dimension n dfinis par
x i = (0, . . . , 0,
p
E
|{z}
, 0, . . . , 0) Rn .
i me composante
Le canal est gaussien rel (d.s.p. bilatrale de bruit N0 /2).

Prliminaires
1. Justifier le titre de cet exercice.
2. Montrer que lnergie moyenne dun symbole rel ( R) mis vaut
Em =
E
n
et que la taux R de la modulation (nombre moyen de bits dinformation

par symbole rel R mis) vaut
R=
log2 n
n
3. Rappeler les valeurs appropries, donnes en cours, du taux critique R 0 et

de la capacit C du canal.
4. Calculer au premier ordre la capacit et le taux critique du canal lorsque la
dimension n tend vers linfini et b =
Eb
N0
est fix (E b est lnergie moyenne
mise par bit dinformation).

On trouve
C=
Rb
ln 2
et
R0 =
Rb
2 ln 2
Dornavant on adoptera ces valeurs pour C et R 0 .

5. Que devient la bande occupe par la transmission lorsque la dimension n
tend vers linfini, dbit binaire constant ?
Lobjet de cet exercice est de dmontrer le thorme R 0 et le thorme de
Shannon dans le cas asymptotique o n avec cette modulation.
Borne de lunion+Bhattacharyya
140
6. Une dtection optimale est applique la dmodulation. En sappuyant

sur le cours, justifier, par un raisonnement, que la borne de Bhattacharyya
scrit :
P xx 0 6 e
o kxk2 =
Pn
2
i =1 x i
4N1 kxx 0 k2
0
est la norme de Rn .
7. En dduire la majoration suivante de la probabilit derreur aprs dmodulation :

P e 6 (n 1)e
NE
8. En dduire que
P e 6 2n(R0 R)
9. Conclure (thorme R 0 pour n ).
10. La transmission peut-elle tre fiable si b = 1.5 dB ? Si oui, quelle dimension
n faut-il choisir pour garantir une probabilit derreur P e < 109 ?
Borne de Gallager
On rappelle la borne de Gallager :
P e|x i 6
p(y|x i )
1
1+
X
j 6=i
p(y|x j )
1
1+
dy
valable pour tout > 0.

11. Dterminer p(y|x i ) sous la forme
p(y|x i ) = q(y)e
NE
p
2 E yi
N0
o q(y) est une densit de probabilit gaussienne en y = (y 1 , . . . , y n ) Rn

que lon prcisera.
12. Appliquer la borne de Gallager et en dduire
P e|x i 6 e
NE
"
E e
p
2 E yi
N0 (1+)
p
2 Eyj
! #
e N0 (1+)
j 6=i
o lesprance porte sur la distribution de probabilit q(y).
7.9. MODULATION PAR SIGNAUX ORTHOGONAUX
141
13. On suppose dornavant que 0 6 6 1. Justifier clairement les tapes de

calcul suivantes :
(1)
P e|x i
6 e
NE
! #
p
2pE y "
X 2 Eyj
i
N0 (1+)
N0 (1+)
E e
E
e
NE
!#
p
2pE y "
X 2 Eyj
i
N0 (1+)
N0 (1+)
E e
E
e
j 6=i
(2)
6 e
j 6=i
Chacune de ces deux tapes est-elle toujours valable si > 1 ?

14. En dduire lexpression de la borne sur P e|x i , puis sur la probabilit derreur
moyenne P e , en fonction de , n et de la quantit
p
2pE y Z
2 Ey
= E e N0 (1+) = e N0 (1+) q(y) d y
o q(y) =
p1 e
N0
y2
15. Calculer et en dduire la majoration

P e 6 (n 1) e
1+
E
N0
16. Montrer finalement que

Pe 6 2
C R
1+
o 0 6 6 1. Quelle borne retrouve-t-on en posant = 1 ?

Optimisation de la borne de Gallager
On veut minimiser la borne de la question prcdente sur [0, 1]. Cela
revient maximiser la fonction
f () =
C R
1+
17. On note la valeur relle > 1 qui annule la drive f 0 (). Dterminer
.
18. Montrer que f () est concave et en dduire son maximum sur lintervalle
[0, 1] (On distinguera les trois cas < 0, 0 6 6 1 et > 1).
142
19. En dduire
2n( C2 R)
p p
Pe 6
2n( C R)2
lorsque R 6 C4
lorsque
C
4
6R <C
Quobtient-on si R > C ? Commenter.

20. Conclure (thorme de Shannon pour n ).
21. La transmission peut-elle tre fiable si b = 1.5 dB ? Si oui, quelle dimension n faut-il choisir pour garantir une probabilit derreur P e < 109 ?
7.10. DISTANCES MOYENNES ET THORME R 0
143
7.10 Distribution de distance dun code moyen et thorme

R0
Lobjectif de cet exercice est de dmontrer le thorme R 0 par un argument
diffrent de celui fait en cours, dans le cas dun systme cod utilisant un code
dfini sur F q , pour lequel la probabilit derreur par paire peut tre majore par
une expression du type :
0
P xx 0 6 d H (x,x )
o d H (x, x 0 ) est la distance de Hamming entre les deux mots de code x et x 0 . On
fera lhypothse habituelle que les M mots de code (F q )n de longueur n sont
quiprobables. On note R =
log2 M
n
le taux du code.
1. Montrer que cette borne sur la probabilit derreur par paire est valable,
par application de la borne de Bhattacharyya, dans les cas suivants (on
dterminera dans chaque cas la valeur de ) :
(a) Canal BSC et q-SC de paramtre p.
(b) Canal gaussien, q = 2, dcodage hard avec un rapport signal--bruit
par bit dinformation gal E b /N0 .
(c) Canal gaussien, q = 2, dcodage soft avec un rapport signal--bruit
par bit dinformation gal E b /N0 .
(d) Canal binaire effacement BEC de paramtre (cf. exercice 7.16).
(e) Canal de Rayleigh, q = 2, dcodage hard.
Borne de lunion
2. En utilisant la borne de lunion, montrer la majoration suivante de la probabilit derreur :
P e 6 A()
o :
A(z)
=
1
M
z d H (x m ,x m0 ) .
16m,m 0 6M
m6=m 0
sappelle le polynme numrateur de distances du code.
144
sous la forme : A(z)

=
3. En crivant A(z)
A d z d , dterminer et interprter
A d .
Rponse : A d est dfini comme le nombre moyen de mots de code x m 0
situs une distance d dun mot de code x m donn (cf. 3.7) :
A d =
M
1 X
Card {x m 0 | m 0 6= m et d H (x m , x m 0 ) = d }
M m=1
4. Retrouver lexpression de la borne de lunion+Bhattacharyya vue en cours

pour un code linaire, en fonction de A() o A(z) est le polynme numrateur de poids du code.
5. Plus gnralement montrer que, pour un code linaire ou non linaire,
P e 6 A() 1
o :
A(z) =
1 X d H (x ,x 0 )
m m .
z
M m,m 0
gnralise la dfinition de A(z) donne en cours pour les codes linaires.

Enumration moyenne
On value maintenant la moyenne arithmtique < A(z)

> de A(z)
sur tous
les codes possibles de longueur n et de taille M .
6. (a) Un mot de code x m tant fix, combien y a-t-il de mots x 0m distance
de Hamming d de x m ?
(b) Montrer que, x m tant fix, la moyenne arithmtique sur tous les mots
possibles x 0m (F q )n de la quantit z d H (x m ,x m0 ) est donne par :
<z
d H (x m ,x m 0 )
1 X d H (x ,x 0 )
1 + (q 1)z n
m
m
>= n
z
=
q x0
q
m
7. En dduire, pour z fix, la moyenne arithmtique < A(z)

> de A(z)
sur
lensemble de tous les codes possibles (chacun des M mots de code (F q )n
pouvant prendre q n valeurs).
Rponse :
< A(z)
>= 1/M
X
m6=m 0
<z
d H (x m ,x m 0 )
1 + (q 1)z
>= (M 1)
q
7.10. DISTANCES MOYENNES ET THORME R 0
145
[La valeur de moyenne de A d est donc :

< A d >=
Cdn (q 1)d
q n /M
.]
8. Dduire des questions prcdentes que la probabilit derreur moyenne

sur lensemble des codes possibles vrifie :
< P e > 6 2n(R0 R)
o R =
log2 M
n
est le taux du code et

R 0 = log2 q log2 (1 + (q 1))
9. Retrouver et noncer le thorme R 0 dans les cas dcrits la premire

question.
146
7.11 Exposant de Gallager pour le canal gaussien

Lobjet de cet exercice est de redmontrer les thormes R 0 et de Shannon
dans le cas du canal gaussien, partir de lexpression exacte de lexposant de
Gallager E 0 () = log2 J 0 () pour une distribution dentre gaussienne.
1. Rappeler lexpression de J 0 () du cours en fonction de [0, 1], de la
probabilit de transition du canal p(y|x) et la distribution dentre p(x).
2. On considre dans cet exercice un canal gaussien rel. Donner p(y|x) en
fonction de N0 et mettre J 0 () sous la forme :
1+
Z Z
J0 = c
p(x)g (y x) d x
d y.
y
o c est une constante fonction de et N0 que lon prcisera et g (y) est

une distribution de probabilit gaussienne dont on prcisera la variance.
3. Dornavant on prendra pour p(x) une loi gaussienne. Prciser les paramtres de cette loi sachant que lnergie moyenne par symbole est E m .
4. Dans lexpression ci-dessus de J 0 (), on reconnait sous la parenthse le
produit de convolution de deux gaussiennes. Montrer que cest une gaussienne en y dont on prcisera la variance.
5. Dduire de la question prcdente une expression de J 0 () sous la forme
dune constante multiplie par lintgrale dune gaussienne.
6. En dduire sa valeur. On trouve :
J0 =
1
2 Em
1 + 1+
N0
/2
En dduire la valeur de E 0 () pour une distribution dentre gaussienne :
2 Em
E 0 () = log2 1 +
.
2
1 + N0
7. A laide de ce rsultat, en considrant lexposant E () = E 0 () R de la
borne sur la probabilit derreur moyenne, redmontrer successivement :
(a) Le thorme R 0 en posant = 1.
(b) Le thorme de Shannon en prenant arbitrairement petit.
8. [Optionnel] Dterminer numriquement et tracer sur un graphique lexposant optimal max[0,1] E () en fonction de R pour diffrentes valeurs du
rapport signal bruit. Commenter.
7.12. MAXIMISATION DE LENTROPIE
147
7.12 Maximisation de lentropie

Cet exercice est classique en thorie de linformation.
Soit X une v.a. discrte ou continue de loi (ou densit) de probabilit p(x).
Lentropie de la variable X (pour la loi p(x)) est dfinie par :
H (X ) = H (p) =
Z
P
x
p(x) log2
1
p(x)
(Lorsque X est une variable continue cette quantit est souvent appele entropie
diffrentielle.) Elle est not H (X ) ou H (p) selon que lon dsire ou non faire
apparaitre la dpendance en la loi (ou densit) de probabilit p(x).
1. Montrer que si q(x) est une autre loi (ou densit) de probabilit, on a :
H (p) 6
Z
P
x
p(x) log2
1
q(x)
Indication : faire la diffrence et utiliser lingalit log x 6 x 1.

2. Montrer que lingalit prcdente est une galit si et seulement si p(x) =
q(x) pour presque tout x (i.e., p = q presque srement).
3. Soit P un ensemble de lois de probabilit p(x). On suppose quil existe
une loi q(x) P telle que la quantit
Z
P
x
p(x) log2
1
q(x)
soit indpendante du choix de p(x) P . Montrer alors que

max H (p) = H (q)
p(x)P
4. Cas dune v.a. continue de variance 2

On suppose ici que X est une v.a. continue de variance 2 . Lensemble P
est donc lensemble des densits de variance gale 2 . En choisissant
q(x) gaussien (moyenne , variance 2 ) montrer, en utilisant la question
prcdente, que :
max H (p) = log2
p(x)P
o e est la base des logarithmes nperiens.
2e2
148
5. Cas dune v.a. discrte

On suppose ici que X est une v.a. discrte dfini sur un alphabet q lments. En choisissant q(x) =
1
q
uniforme, montrer, en utilisant la mme
dmarche qu la question prcdente, que :

max H (p) = log2 q
p(x)
7.13. BORNE DE SHANNON SUR LA CAPACIT
149
7.13 Borne de Shannon sur la capacit

Cet exercice, suite du prcdent, est classique en thorie de linformation.
On considre un canal sans mmoire dentre X et de sortie :
Y = X +B
o B est une perturbation additive indpendante de X .
Ainsi, dans le cas du canal gaussien, B reprsente un bruit additif gaussien de
variance 2b . Dans le cas du canal q-SC, B reprsente une erreur additive F q .
Les probabilits de transition du canal sont notes p(y|x). La capacit du
canal est dfinie par
C = max I (X , Y )
p(x)P
o I (X , Y ) est linformation mutuelle moyenne, fonction de p(x) P et des

probabilits de transition p(y|x) :
Z
p(y|x)
P
I (X , Y ) =
p(x)p(y|x) log2 Z
P
x,y
p(u)p(y|u)
u
Ici P est un ensemble de lois (ou densits) de probabilit p(x). Par exemple, pour
un canal continu dont lentre est de variance 2x , P est lensemble des densits
R
de probabilit de variance x (x )2 p(x)d x = 2x .
1. Montrer quon peut crire I (X , Y ) sous la forme :
Z
p(y|x)
P
I (X , Y ) =
p(x, y) log2
p(y)
x,y
2. En dduire que :
I (X , Y ) = H (Y )
Z
P
x
p(x)H (Y |X = x)
o H (Y ) et H (Y |X = x) sont des entropies :

Z
1
P
H (Y ) =
p(y)
p(y)
y
Z
1
P
H (Y |X = x) =
p(y|x)
p(y|x)
y
Z
P
(Le terme
p(x)H (Y |X = x) est appel entropie conditionnelle de Y
x
sachant X , et est souvent not H (Y |X ).)
150
3. En faisant le changement de variable y = x + b dans lexpression de lentropie conditionne H (Y |X = x), montrer que :
C = max {H (Y )} H (B )
p(x)P
4. En utilisant lexercice prcdent, montrer la borne de Shannon :

C 6 H (q) H (B )
o q(y) est une loi de probabilit bien choisie. Elle est gaussienne si le canal
q
est continu, auquel cas H (q) = log2 2e2y , o 2y = 2x + 2b ; et uniforme
si le canal est discret, auquel cas H (q) = log2 q.
5. Toujours en utilisant lexercice prcdent, montrer que la borne de Shannon est atteinte si on peut choisir p(x) P de sorte que Y = X + B ait pour
loi q(y).
7.14. CAPACIT DU CANAL GAUSSIEN ENTRE BINAIRE
151
7.14 Calcul de la capacit du canal gaussien entre binaire

rel avec modulation BPSK, les symboles (binaires) lentre du canal sont de
p
la forme x = E m o E m est lnergie par bit cod x. La sortie du canal est
Y = X + B , o B est un bruit additif gaussien (indpendant de lentre X ) de
variance N0 /2.
On note
p(0) = p(x = pE )
m
p(1) = p(x = pE m )
la loi de probabilit artificielle introduite dans la cours. Pour obtenir la capacit

du canal gaussien entre binaire, il faut maximiser linformation mutuelle
moyenne sur la loi (p(0), p(1)) :
C = max I (X , Y )
p(0),p(1)
1. Montrer que la densit de probabilit de la sortie du canal se met sous la

forme :
1
p(0)e
p(y) = p
N0
p
(y E m )2
N0
+ p(1)e
p
(y+ E m )2
N0
2. En calculant H (B ), montrer que la borne de Shannon scrit :

C 6 H (q) log2
eN0
o q(y) est une densit de probabilit optimale, i.e., telle que lexpression
Z
1
P
p(y) log2
q(y)
y
soit indpendante du choix de p(y).
3. Montrer que q(y) est optimale si q(y) = q(y).
Indication : Sous cette condition, les deux intgrales suivantes sont gales :
p
p
Z
Z
(y E m )2
(y+ E m )2
1
1
N0
N0
e
log2
dy = e
log2
dy
q(y)
q(y)
4. Montrer, laide de la question prcdente, quun choix convenable pour
q(y) est :
p
p
(y+ E m )2
1 (y NEm )2
N
0
0
q(y) = p
e
+e
N0 2
152
5. On rappelle que la borne de Shannon est atteinte si on peut trouver p(0) et

p(1) tels que la densit de probabilit de Y = X + B soit gale p(y) = q(y).
Montrer que la borne de Shannon est effectivement atteinte et donner les
valeurs de p(0) et p(1) correpondantes.
6. Montrer, laide de la question 3, que :
Z
1
H (q) = r (y) log2
dy
q(y)
o on a not :
(y E m )2
1
N0
r (y) = p
e
N0
R
Montrer de plus que r (y)y 2 d y = E m + N0 /2.
7. Montrer que q(y) se met sous la forme :

1
y2
q(y) = p
e
N0
ENm
0
Em
cosh y
N0 /2
8. Dduire des deux questions prcdentes la valeur de H (q). On trouve :

H (q) = log2
p
eN0 + 2
Em
N0 log 2
p
Em
r (y) log2 cosh y
N0 /2
9. En dduire la valeur de la capacit :

Z +
p
y2
2
1
C=
p
e 2 log2 cosh y 2 + 2 d y
log 2
2
o on a pos =
Em
N0 .
7.15. RCIPROQUE FORTE DU THORME DE SHANNON
153
7.15 Rciproque forte du thorme de Shannon

Le thorme de Shannon dmontr au chapitre 6 affirme que si R < C , il
existe pour chaque longueur n, un code tel que P e tend exponentiellement vers
0 quand n . La rciproque forte du thorme de Shannon (p. 105) affirme
que si R > C , pour tout code, P e tend exponentiellement vers 1 quand n .
Cet exercice fournit une dmontration de cette rciproque dans le cas dun
canal sans mmoire.
On note P c = 1 P e la probabilit de dcodage correct pour un code C
donn de longueur n et de taille M . On suppose (comme dhabitude) que les M
mots de codes x m , m = 1, . . . , M , sont quiprobables.
1. Justifier que
Pc =
M
1 X
P c|x m ,
M m=1
o la probabilit de dcodage correct sachant x m est donne par :

Z
P
p(y|x m )
P c|x m =
y|p(y|x m )max
Cette sommation porte sur les y tels que p(y|x m ) est maximum parmi les
p(y|x m 0 ), m 0 = 1, . . . , M .
2. En dduire que
Z
1 P
max p(y|x).
Pc =
M y xC
3. On introduit un paramtre > 1. Montrer que
max p(y|x) 6
xC
p(y|x)
1
1+
!1+
xC
1+
1
.
Indication : On a max f (x) = max( f (x) 1+ )
4. Dduire des deux questions prcdentes que :

Z
i1+
1
P h
Pc 6 M
E p(y|x) 1+
y
o lesprance porte sur le loi de probabilit :
1 si x C
M
p(x) =
0 sinon.
154
On veut maintenant trouver une distribution de probabilit p(x) qui maximise la borne sur P c . On admettra que ce maximum est atteint pour une
distribution p(x) du type :
p(x) =
p(x i )
5. Justifier, en utilisant un calcul fait au chapitre 6, quavec cette hypothse

Q
p(x) = i p(x i ), on a, pour un canal sans mmoire,
P c 6 2n minp(x) (E 0 ()R)
o R est le taux du code et E 0 () est lexposant de Gallager.
6. On rappelle (cf. chap. 6) que la fonction E () = E 0 () R vaut 0 en = 0
et que sa drive E 0 () vaut I (X , Y ) R en = 0.
Par un raisonnement analogue celui fait au chapitre 6, montrer que, pour
toute distribution p(x) et pour R > C > I (X , Y ) (o C est la capacit du
canal), on a : E 0 ( = 0) < 0, de sorte quon peut trouver > 1 tel que
E () > 0.
7. Conclure : P c 0, do P e 1 quand n .
7.16. PERFORMANCES SUR LE CANAL BINAIRE EFFACEMENT
155
7.16 Performances de systmes cods sur le canal binaire

effacement
On considre un systme cod (par un code linaire) sur le canal effacement
(BEC) de paramtre (probabilit deffacement). Les mots de codes mis sont
quiprobables. On appelle le motif deffacements dans le mot reu y, et =
Card leur nombre. est videmment connu la rception. On note y le mot
constitu par les composantes non effacs de y. De mme x dsigne le mot

constitu par les composantes x i , i 6 .
Maximum de vraisemblance
Par application de la rgle du maximum de vraisemblance, montrer que, pour
un motif deffacements donn :
1. le cas dex aequo (plusieurs mots de code maximisent la vraisemblance)
correspond au cas o au moins deux mots de code x et x 0 sont tels que
x = x 0 . Dans ce cas, on adoptera la vision pessimiste (comme dans le
document) quil y a erreur de dcodage.
2. il ny a donc dcodage correct que lorsquil existe un unique mot de code x
tel que x = y .
Borne de lunion
3. Montrer que, sachant , la probabilit derreur par paire vaut 1 si les composantes distinctes des deux mots de code sont effaces, et 0 sinon. Autrement
dit :
P xx 0 | = I
o I est lensemble des incides i tels que x i 6= x i0 .
4. En dduire, en moyennant sur , que :
0
P xx 0 = d H (x,x )
5. Calculer la borne de Bhattacharyya (on pourra appliquer le calcul gnral
de la section 3.5.2) et montrer quelle est exacte.
6. En dduire la borne de lunion :
P e 6 A() 1
156
o A(z) est le polynme numrateur de poids du code.
Calcul du taux critique R 0
Indication pour cette partie : On pourra saider du calcul fait au chapitre 6
pour le BSC.
7. Calculer J 0 en utilisant le rsultat de la question 5.

8. En dduire le taux critique du BEC :
R 0 = 1 log2 (1 + )
Calcul de la capacit C
Dans cette partie on utilisera le rsultat suivant de lexercice 7.13 :
I (X , Y ) = H (Y )
p(x)H (Y |X = x)
9. Calculer H (Y ) et H (Y |X = x). On trouve :

H (Y ) = H2 () + (1 )H (X )
et
H (Y |X = x) = H2 ()
1
o H2 (x) = x log2 x1 + (1 x) log2 1x
est la fonction dentropie binaire. En
dduire lexpression de I (X , Y ).
10. En dduire, en utilisant le rsultat de lexercice 7.12, la valeur de la capacit
du canal BEC :
C = 1
et interprter ce rsultat.
11. Dessiner les graphes de R 0 et C en fonction de et montrer directement
que R 0 < C . Indication : On pourra utiliser lingalit de Jensen applique
la fonction log2 (1+ x) et la v.a. binaire X telle que p X (0) = 1, p X (1) = .
Codage optimal en stratgie ARQ
Dans cette partie on considre le canal BEC avec une voie de retour sans
dlai et sans bruit. On utilise le code trivial (dit universel) de paramtres
(1, 1) en stratgie ARQ.
12. Expliciter lalgorithme de dcodage. Que vaut la probabilit derreur ? (rponse : 0).
7.16. PERFORMANCES SUR LE CANAL BINAIRE EFFACEMENT
157
13. Soit r le nombre de (re)transmissions dun bit dinformation. Montrer que

p(r ) = r 1 (1 ).
14. En dduire le nombre moyen E(r ) de (re)transmissions dun bit.
15. Montrer que le taux moyen du systme cod R (nombre moyen de bits
cods par bit dinformation) est gal la capacit du canal.
16. On montre, en thorie de linformation, que la rciproque du thorme de
Shannon pour un canal avec voie de retour est toujours valable : Pour tout
systme cod, on a R 6 C si la transmission est fiable. Commenter, au vu
de ce rsultat, les performances obtenues du systme considr.

Perf S System Es Codes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Perf S System Es Codes

Transféré par

Droits d'auteur :

Formats disponibles

Codage de Canal :

Performances de systmes cods

Cadre priv } sans modifications

Table des matires

1.1 Formulation gnrale du problme . . . . . . . . . . . . . . . . . . .

1.2 Systmes cods ou non cods . . . . . . . . . . . . . . . . . . . . . . .

1.2.1 Transmission symbole par symbole . . . . . . . . . . . . . . .

1.2.2 Transmission mot par mot . . . . . . . . . . . . . . . . . . . .

1.2.3 Systme cod par un code en blocs . . . . . . . . . . . . . . .

1.2.4 Systme cod par un code convolutif . . . . . . . . . . . . . .

1.3 Exemples de canaux continus . . . . . . . . . . . . . . . . . . . . . . .

1.3.1 Canal gaussien rel . . . . . . . . . . . . . . . . . . . . . . . . . 10

TABLE DES MATIRES

TABLE DES MATIRES

4.2.2 Canal de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . 53

5.1 Distribution de distances dun code . . . . . . . . . . . . . . . . . . . 65

TABLE DES MATIRES

6 Performances optimales dun code

7.1 Bornes et quivalents de la fonction de Marcum . . . . . . . . . . . . 121

TABLE DES MATIRES

7.3 Ingalits de Tchbycheff et Chernoff . . . . . . . . . . . . . . . . . . 124

TABLE DES MATIRES

Table des figures

1.2 Systme cod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

TABLE DES FIGURES

6.3 Rapport signal bruit b minimum pour une transmission fiable,

Liste des tableaux

LISTE DES TABLEAUX

F IG . 1.1 Illustration du problme du dcodage

o B est une variable (ou un vecteur) alatoire reprsentant le bruit ou une

1.2 Systmes cods ou non cods

1.2.1 Transmission symbole par symbole

1.2. SYSTMES CODS OU NON CODS

Ce sont, en effet, pour chaque valeur de X = x, des fonctions positives de la

1.2.2 Transmission mot par mot

Le canal accepte successivement les symboles X 1 , X 2 , . . . , X n en entre et fournit

pour un canal continu et

pour un canal discret.

1.2.3 Systme cod par un code en blocs

F IG . 1.2 Systme cod

1.3. EXEMPLES DE CANAUX CONTINUS

Un codeur associe chaque mot dinformation i = (i 0 , i 1 , . . . , i k1 ) un mot de

Les mots du code C sont galement quiprobables.

1.2.4 Systme cod par un code convolutif

1.3 Exemples de canaux continus

1.3.1 Canal gaussien rel

Transmission symbole par symbole

F IG . 1.3 Canal gaussien

Symbole dentre X R est dans une constellation relle. Lnergie moyenne

1.3. EXEMPLES DE CANAUX CONTINUS

Bruit En sortie du canal (voir Fig. 1.3) : Y = X + B , o B est un bruit additif

Transmission mot par mot

x i2 est la norme dun vecteur de Rn . Noter quici lnergie moyenne

par symbole est :

1.3.2 Canal gaussien complexe

mais tout le monde adopte cette dfinition de .

Transmission symbole par symbole

provient du fait quon est en quivalent bande de base.

Bruit En sortie du canal : Y = X + B , o B est un bruit additif gaussien complexe,

Transmission mot par mot

|x i |2 est la norme dun vecteur de Cn .

Attention ! Il faut bien prendre garde au facteur