Perf S System Es Codes

Codage de Canal :
Performances de systmes cods

Olivier Rioul
TELECOM ParisTech
Dept. Comelec
olivier.rioul@telecom-paristech.fr
Version 3.0 (2011)
ii
Cadre priv } sans modications
Par le tlchargement ou la consultation de ce document, lutilisateur accepte la licence dutilisation qui y est
attache, telle que dtaille dans les dispositions suivantes, et sengage la respecter intgralement.
La licence confre lutilisateur un droit dusage sur le document consult ou tlcharg, totalement ou en partie, dans
les conditions dnies ci-aprs, et lexclusion de toute utilisation commerciale.
Le droit dusage dni par la licence est limit un usage dans un cadre exclusivement priv. Ce droit comprend :
le droit de reproduire le document pour stockage aux ns de reprsentation sur un terminal informatique unique,
le droit de reproduire le document en un exemplaire, pour copie de sauvegarde ou impression papier.
Aucune modication du document dans son contenu, sa forme ou sa prsentation, ni aucune redistribution en tout ou
partie, sous quelque forme et support que ce soit et notamment par mise en rseau, ne sont autorises.
Les mentions relatives la source du document et/ou son auteur doivent tre conserves dans leur intgralit.
Le droit dusage dni par la licence est personnel, non exclusif et non transmissible. Tout autre usage que ceux pr-
vus par la licence est soumis autorisation pralable et expresse de lauteur : sitepedago@enst.fr
Table des matires
1 Introduction 5
1.1 Formulation gnrale du problme . . . . . . . . . . . . . . . . . . . 5
1.2 Systmes cods ou non cods . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1 Transmission symbole par symbole . . . . . . . . . . . . . . . 6
1.2.2 Transmission mot par mot . . . . . . . . . . . . . . . . . . . . 7
1.2.3 Systme cod par un code en blocs . . . . . . . . . . . . . . . 8
1.2.4 Systme cod par un code convolutif . . . . . . . . . . . . . . 9
1.3 Exemples de canaux continus . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1 Canal gaussien rel . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2 Canal gaussien complexe . . . . . . . . . . . . . . . . . . . . . 11
1.3.3 Canal de Rayleigh* . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.4 Canal de Rayleigh normalis* . . . . . . . . . . . . . . . . . . . 14
1.3.5 Canal de Rayleigh avec vanouissements indpendants* . . 14
1.3.6 Performances sur un canal de Rayleigh* . . . . . . . . . . . . 16
1.4 Exemples de canaux discrets . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.1 Canal binaire symtrique . . . . . . . . . . . . . . . . . . . . . 17
1.4.2 Canal q-aire symtrique . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3 Canal effacement* . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4.4 Canal effacements et erreurs* . . . . . . . . . . . . . . . . . . 22
1.4.5 Performances moyennes sur un canal effacement et erreurs* 23
1.5 Paramtres fondamentaux dune transmission . . . . . . . . . . . . . 24
1.5.1 Taux et dbit binaire . . . . . . . . . . . . . . . . . . . . . . . . 24
1.5.2 Taux et efcacit spectrale . . . . . . . . . . . . . . . . . . . . . 24
1.5.3 Rapport signal--bruit et puissance dmission . . . . . . . . 25
1.5.4 Transmission bande ou puissance limite . . . . . . . . . 26
iii
iv TABLE DES MATIRES
2 Maximumde vraisemblance 29
2.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Maximiser la probabilit a posteriori . . . . . . . . . . . . . . . . . . 30
2.3 Maximiser la vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Minimiser la distance euclidienne . . . . . . . . . . . . . . . . . . . . 31
2.4.1 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.2 Canal de Rayleigh* . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 Minimiser la distance de Hamming . . . . . . . . . . . . . . . . . . . 32
2.5.1 Canal q-SC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5.2 Canal erreurs et effacements* . . . . . . . . . . . . . . . . . . 33
2.6 Dcodage Hard et dcodage Soft . . . . . . . . . . . . . . . . . . . 34
2.6.1 Dcodage Soft . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.2 Dcodage Hard . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.6.3 Dcodage Hard avec effacements* . . . . . . . . . . . . . . . 36
3 Bornes sur la probabilit derreur 39
3.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Borne de lunion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3 Borne de Bhattacharyya . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4 Cas dun canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.1 Calcul exact de la probabilit derreur par paire . . . . . . . . 41
3.4.2 Borne de Bhattacharyya . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Cas dun canal q-SC ou BSC . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.1 Calcul exact de la probabilit derreur par paire . . . . . . . . 43
3.5.2 Borne de Bhattacharyya . . . . . . . . . . . . . . . . . . . . . . 44
3.6 Autres bornes* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6.1 Borne de Chernoff* . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.6.2 Borne de Gallager* . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.7 Distribution de distances . . . . . . . . . . . . . . . . . . . . . . . . . 47
4 Performances de modulations linaires 51
4.1 Gnralits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2 Modulation binaire (BPSK) . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.1 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
TABLE DES MATIRES v
4.2.2 Canal de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3 Perte par rapport la BPSK . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.1 Perte en rapport signal bruit par symbole . . . . . . . . . . . 54
4.3.2 Perte en rapport signal bruit par bit . . . . . . . . . . . . . . 55
4.4 Taux derreur par bit et par symbole . . . . . . . . . . . . . . . . . . . 56
4.5 Modulation en amplitude (PAM) . . . . . . . . . . . . . . . . . . . . . 57
4.6 Modulation en phase (PSK) . . . . . . . . . . . . . . . . . . . . . . . . 58
4.7 Modulation damplitude QAM . . . . . . . . . . . . . . . . . . . . . . 59
5 Systmes cods en blocs 65
5.1 Distribution de distances dun code . . . . . . . . . . . . . . . . . . . 65
5.1.1 Les coefcients A
d
. . . . . . . . . . . . . . . . . . . . . . . . . 65
5.1.2 Polynme numrateur de poids . . . . . . . . . . . . . . . . . 66
5.1.3 Identit de Mac Williams . . . . . . . . . . . . . . . . . . . . . 67
5.1.4 Enumration de poids dun code moyen* . . . . . . . . . . 68
5.2 Performances sur le canal q-SC . . . . . . . . . . . . . . . . . . . . . . 69
5.2.1 Mot de code nul mis . . . . . . . . . . . . . . . . . . . . . . . 69
5.2.2 Borne de lunion . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2.3 Borne de lunion + Bhattacharyya . . . . . . . . . . . . . . . . 70
5.2.4 Calcul exact* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2.5 Une borne classique . . . . . . . . . . . . . . . . . . . . . . . . 72
5.2.6 Comparaison avec la borne de lunion* . . . . . . . . . . . . . 73
5.2.7 Taux derreur rsiduel . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 Performances en dcodage incomplet* . . . . . . . . . . . . . . . . . 75
5.3.1 Gnralits* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3.2 Stratgie ARQ* . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.3.3 Stratgie FEC* . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.4 Calcul exact de P
c
(en FEC)* . . . . . . . . . . . . . . . . . . . 79
i
(en ARQ)* . . . . . . . . . . . . . . . . . . . 79
5.3.6 Cas de la dtection pure* . . . . . . . . . . . . . . . . . . . . . 81
5.3.7 Taux derreur rsiduel en FEC* . . . . . . . . . . . . . . . . . . 82
5.4 Dcodage hard et soft . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.4.1 Mode de code nul mis . . . . . . . . . . . . . . . . . . . . . . 85
5.4.2 Lien entre distances euclidienne et de Hamming . . . . . . . 86
vi TABLE DES MATIRES
5.4.3 Borne de lunion . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.4 Borne de lunion + Bhattacharyya . . . . . . . . . . . . . . . . 87
5.4.5 Taux derreur rsiduel . . . . . . . . . . . . . . . . . . . . . . . 88
5.4.6 Gain asymptotique en fort rapport signal bruit . . . . . . . 88
5.4.7 Gain asymptotique en faible rendement . . . . . . . . . . . . 91
6 Performances optimales dun code 93
6.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 Taux du code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.3 Technique du codage alatoire . . . . . . . . . . . . . . . . . . . . . 94
6.3.1 Loi de probabilit sur les codes . . . . . . . . . . . . . . . . . . 94
6.3.2 Loi de probabilit sur les mots de code . . . . . . . . . . . . . 95
6.3.3 Loi de probabilit sur les symboles cods . . . . . . . . . . . . 96
6.3.4 Remarque pour les canaux continus . . . . . . . . . . . . . . . 96
6.3.5 Performance du meilleur code . . . . . . . . . . . . . . . . . 97
6.4 Calcul de la probabilit derreur moyenne . . . . . . . . . . . . . . . 97
6.5 Taux critique R
0
du canal . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.5.1 Le thorme R
0
. . . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.5.2 Cas du canal q-SC . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.5.3 Cas du canal gaussien* . . . . . . . . . . . . . . . . . . . . . . . 102
6.5.4 Cas du canal gaussien entre binaire . . . . . . . . . . . . . 103
6.6 Capacit C du canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.6.1 Le thorme de Shannon . . . . . . . . . . . . . . . . . . . . . 103
6.6.2 Rciproque du thorme de Shannon . . . . . . . . . . . . . . 105
6.6.3 Cas du canal q-SC . . . . . . . . . . . . . . . . . . . . . . . . . 106
6.6.4 Cas du canal gaussien . . . . . . . . . . . . . . . . . . . . . . . 107
6.6.5 Cas du canal gaussien entre binaire . . . . . . . . . . . . . 109
6.7 Performances optimales en dcodage hard . . . . . . . . . . . . . . 109
6.8 Performances optimales en dcodage soft . . . . . . . . . . . . . . 112
6.9 Comparaison entre dcodage hard et soft . . . . . . . . . . . . . . . . 115
7 Exercices 119
7.1 Bornes et quivalents de la fonction de Marcum . . . . . . . . . . . . 121
7.2 Amlioration de la borne de Bhattacharyya . . . . . . . . . . . . . . . 122
TABLE DES MATIRES vii
7.3 Ingalits de Tchbycheff et Chernoff . . . . . . . . . . . . . . . . . . 124
7.4 Borne de Chernoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.5 Polynme A(z) et borne de Plotkin . . . . . . . . . . . . . . . . . . . . 128
7.6 Identit de Mc Williams . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.7 Enumration de poids dun code MDS . . . . . . . . . . . . . . . . . 132
7.8 BPSK Code sur canal de Rayleigh . . . . . . . . . . . . . . . . . . . . 135
7.9 Modulation par signaux orthogonaux . . . . . . . . . . . . . . . . . . 139
7.10 Distances moyennes et thorme R
0
. . . . . . . . . . . . . . . . . . . 143
7.11 Exposant de Gallager pour le canal gaussien . . . . . . . . . . . . . . 146
7.12 Maximisation de lentropie . . . . . . . . . . . . . . . . . . . . . . . . 147
7.13 Borne de Shannon sur la capacit . . . . . . . . . . . . . . . . . . . . 149
7.14 Capacit du canal gaussien entre binaire . . . . . . . . . . . . . . 151
7.15 Rciproque forte du thorme de Shannon . . . . . . . . . . . . . . . 153
7.16 Performances sur le canal binaire effacement . . . . . . . . . . . . 155
viii TABLE DES MATIRES
Table des gures
1.1 Illustration du problme du dcodage . . . . . . . . . . . . . . . . . . 5
1.2 Systme cod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Canal gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Canal de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 Canal de Rayleigh avec entrelaceur . . . . . . . . . . . . . . . . . . . 15
1.6 Canal discret erreur additive . . . . . . . . . . . . . . . . . . . . . . 17
1.7 Canal binaire symtrique (BSC) . . . . . . . . . . . . . . . . . . . . . . 17
1.8 Canal q-aire symtrique (q-SC) . . . . . . . . . . . . . . . . . . . . . . 19
1.9 Canal binaire effacement (BEC) . . . . . . . . . . . . . . . . . . . . 21
1.10 Canal binaire effacement et erreurs . . . . . . . . . . . . . . . . . . 22
2.1 Illustration du problme du dcodage (bis) . . . . . . . . . . . . . . . 29
4.1 Performances de la BPSK . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Performances de la BPSK sur canal gaussien et sur canal de Rayleigh 55
4.3 Performances de la Modulation M-PAM en fort rapport signal
bruit, en fonction du rapport signal bruit par symbole et par bit . 59
4.4 Constellation 8-PSK . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5 Performances de la Modulation M-PSK en fort rapport signal
4.6 Constellation 64-QAM . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.7 Constellation 32-QAM . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.8 Performances de la Modulation M-QAM en fort rapport signal
5.1 Les trois rgions de dcodage incomplet . . . . . . . . . . . . . . . . 76
ix
x TABLE DES FIGURES
6.1 Capacit et Taux critique pour le canal BSC, en fonction du para-
mtre du canal p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2 Capacit et Taux critique en dcodage hard sur canal gaussien, en
fonction du rapport signal bruit moyen E
m
/N
0
R
b
. . . . . . . 110
6.3 Rapport signal bruit
b
minimum pour une transmission able,
en dcodage hard sur canal gaussien, en fonction du taux R . . . . . 111
6.4 Capacit et Taux critique en dcodage soft sur canal gaussien en-
tre binaire, en fonction du rapport signal bruit moyen E
m
/N
0
R
b
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
b
en dcodage soft sur canal gaussien entre binaire, en fonction
du taux R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
b
en dcodage hard et soft sur canal gaussien entre binaire, en
fonction du taux R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.7 Gain potentiel du codage binaire : Limites de Shannon en dcodage
hard et soft, en comparaison avec la modulation binaire non code 117
Liste des tableaux
4.1 Gains asymptotiques, par rapport la BPSK, en fort rapport signal
bruit, pour la modulation M-PAM . . . . . . . . . . . . . . . . . . . 58
bruit, pour la modulation M-PSK . . . . . . . . . . . . . . . . . . . 60
bruit, pour la modulation M-QAM . . . . . . . . . . . . . . . . . . . 63
5.1 Gains hard et soft sur canal gaussien de quelques codes BCH bi-
naires primitifs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
xi
xii LISTE DES TABLEAUX
Prsentation gnrale
La thorie du codage correcteur derreurs vue en dominante Communi-
cations est esthtique du point de vue mathmatique mais pose un certain
nombre de problmes pratiques. A cet gard, Elwyn R. Berlekamp, lune des
grandes gures dans ce domaine, pose les questions fondamentales :
1. How good are the best codes ?
2. How can we design good codes ?
3. How can we decode them?
Ce document prsente les bases et ltat de lart en ce qui concerne ces trois
problmes, qui sont toujours dactualit. Il sadresse aux tudiants dsireux de
travailler dans ce domaine et donc de possder des bases solides en thorie des
communications.
1. Etant donn un code, comment peut-on savoir sil est bon? Autrement dit,
comment estimer les performances dun code donn en termes de proba-
bilit derreur ? Nous donnerons les mthodes de calcul des performances
des systmes cods (borne de lunion, borne de Batthacharyya) la fois
pour les codes en blocs et les codes convolutifs, pour diffrents types de
canaux utiliss en pratique.
2. Comment peut-on trouver de bons codes ? Ils sont difciles trouver, bien
que la thorie de linformation suggre quun code choisi au hasard a des
chances dtre bon ! Nous illustrerons ce paradoxe apparant en introdui-
sant la technique du codage alatoire.
3. Comment peut-on dcoder facilement un code ? Cette question trouver
des algorithmes de dcodage efcaces donnant lieu une implantation
aise est extrment importante. Cest en effet la complexit du dcodage
1
2 PRSENTATIONGNRALE
qui constitue le principal goulet dtranglement pour la ralisation dune
chane de transmission. Imposer quun code soit la fois bon du point
de vue des performances et facile implanter, rend ncessaire ltude de
codes trs structurs, comme les codes BCH et de Reed-Solomon.
Nous donnons dans un deuxime document intitul Corps nis, Trans-
forme de Fourier et Codes spectraux, tous les outils mathmatiques
ncessaires (notamment la transforme de Fourier) pour ltude dtaille
de ces codes et de quelques algorithmes de dcodage dcisions fermes
(algorithme de Berlekamp-Massey et algorithme dEuclide). Ce document
ne concerne que les algorithmes de dcodage "hard" ( dcisions fermes),
par opposition au dcodage "soft" ( dcisions douces : Algorithmes de
Forney, de Wagner gnralis, de Viterbi entre et/ou sortie souples...)
qui sera expos dans un autre module de loption.
Bibliographie
[1] Andrew J. Viterbi et Jim K. Omura, Principles of Digital Communication and
Coding, 560 p., chaps. 24, McGraw-Hill, 1979.
[2] Robert J. McEliece, The Theory of Information and Coding, 302 p., chaps. 2, 4, 7
et 9, Encyclopedia of Mathematics and Applications, Addison-Wesley, 1977.
[3] Richard E. Blahut, Theory and Practice of Error Control Codes, 500 p.,
chaps. 1415, Addison-Wesley, 1983.
[4] John G. Proakis, Digital Communications, 928 p., chaps. 78, McGraw-Hill,
3rd edition, 1995.
3
Claude E. Shannon
Chapitre 1
Introduction au problme du
dcodage optimal
1.1 Formulation gnrale du problme
Nous utilisons ici un modle trs gnral de transmission numrique, dcrit
la Fig. 1.1.
Dcodeur
X f (Y )
f
Y
Canal
X
FIG. 1.1 Illustration du problme du dcodage
La variable (ou vecteur) alatoire discrte X prend ses valeurs dans un alpha-
bet ni X. Elle reprsente soit un symbole (ou un mot) dinformation, soit un
symbole (ou un mot) de code (voir section suivante).
Le canal accepte en entre X et fournit une variable (ou un vecteur) alatoire
Y appele symbole (ou mot) reu. Mathmatiquement, le canal est dni par la
donne des probabilits de transition p(y[x) (probabilit conditionnelle de Y
sachant que X x). Ce canal modlise un certain type de perturbation que
subit X au cours dune transmission dans un milieu de propagation, en incluant,
le cas chant, une partie des organes dmission et de rception.
5
6 CHAPITRE 1. INTRODUCTION
Trs souvent, on dnit le canal par une relation de la forme :
Y X +B
o B est une variable (ou un vecteur) alatoire reprsentant le bruit ou une
erreur additive. B est suppose indpendante de X, de sorte que la loi p(y[x)
est tout simplement donne par la loi de B en y x.
La fonction f de la Fig. 1.1 est appele, suivant les cas, dtecteur si X repr-
sente des symboles dinformation, ou dcodeur si X reprsente des symboles
cods. Etant donn Y y, il fournit, par application dune rgle dterministe, une
valeur estime de X note x f (y). La variable (ou vecteur) alatoire

X prend
ses valeurs dans le mme alphabet ni X que X.
Lobjectif, en communications numriques, est de concevoir une rgle de
dcodage (oudtection) la plus efcace possible, qui permette de retrouver

X X
avec la plus forte probabilit possible. On veut donc minimiser la probabilit
derreur
P
e
Pr {

X / X}.
1.2 Systmes cods ou non cods
On dcrit ici succintement un systme de transmission, symbole par sym-
bole ou mot par mot, cod ou non cod. On fera ensuite une description plus
prcise des modles de canaux utiliss aux 1.3 et 1.4, ainsi que des paramtres
fondamentaux de la transmission au 1.5.
1.2.1 Transmission symbole par symbole
X est ici une variable alatoire (en abrg v.a.) reprsentant un symbole dun
alphabet X q lments (symbole q-aire).
On considre souvent une transmission symbole par symbole lorsquon a af-
faire un systme non cod. La v.a. X reprsente alors un symbole dinformation.
Sa loi est donne par les probabilits
p(x) Pr {X x} o x X
On supposera en gnral que les symboles sont quiprobables :
p(x)
1
q
x X
1.2. SYSTMES CODS OUNONCODS 7
Noter que la probabilit derreur est ici une probabilit derreur par symbole,
parfois note P
e/s
.
On distingue deux types de canaux :
Canal continu
Exemples : Canal gaussien, de Rayleigh, . . .
Le symbole dentre X est un point dune constellation R ou C, parfois
R
n
(voir exercice). Cette constellation (alphabet de X) est dtermine par le
type de modulation utilis.
Le symbole reu Y est une v.a. continue. Les probabilits de transition d-
nissant le canal sont alors des densits de probabilit :
p(y[x)
Z
p(x, y)
p(x)
Ce sont, en effet, pour chaque valeur de X x, des fonctions positives de la
variable continue y R ou C, et on a :
_
y
p(y[x)dy
_
y
p(x, y)dy
p(x)

p(x)
p(x)
1.
Canal discret
Exemples : Canal binaire symtrique (CBS), canal effacements, . . .
Le symbole reu y est une v.a. discrte prenant ses valeurs dans un alphabet
Y . Souvent Y X (mme alphabet que X), et en gnral Y X (pour le canal
effacements, par exemple).
Le canal est alors dni par la donne des probabilits conditionnelles pour
tout x X et y Y :
p(y[x)
Z
p(x, y)
p(x)
qui vrient :
y
p(y[x)
y
p(x, y)/p(x)
p(x)
p(x)
1.
1.2.2 Transmission mot par mot
X est ici un vecteur alatoire (v.a.) reprsentant un bloc de n symboles :
X (X
1
, X
2
, . . . , X
n
)
Le canal accepte successivement les symboles X
1
, X
2
, . . . , X
n
en entre et fournit
Y
1
, Y
2
, . . . , Y
n
, o chaque symbole reu Y
i
ne dpend que de X
i
comme pour une
transmission symbole par symbole.
On peut donc modliser le canal dentre X et de sortie :
Y (Y
1
, Y
2
, . . . , Y
n
)
(le mot reu) par ce quon appelle une extension nime sans mmoire du canal
dni pour les symboles (dentre X
i
et de sortie Y
i
). Mathmatiquement, il est
dtermin par les probabilits de transition :
p(y[x)
Z
i 1
p(y
i
[x
i
)
o x (x
1
, x
2
, . . . , x
n
) et y (y
1
, y
2
, . . . , y
n
). En dautres termes, les lois de Y
i
sa-
chant X
i
x
i
sont indpendantes. Noter que lon a bien :
_
y
p(y)dy
_
y
1

_
y
n
i
p(y
i
[x
i
)dy
i

i
_
y
i
p(y
i
[x
i
)dy
i
1
pour un canal continu et
y
p(y[x)
y
1

y
n
i
p(y
i
[x
i
)
y
i
p(y
i
[x
i
) 1
pour un canal discret.
1.2.3 Systme cod par un code en blocs
On considre souvent une transmission mot par mot lorsquon a affaire une
systme cod (par un code en blocs). Ce type de systme est dcrit la Fig. 1.2.
canal codeur
I

X
Y
dcodeur f

X
codeur
1

I
FIG. 1.2 Systme cod
Un mot dinformation I (I
0
, I
1
, . . . , I
k1
) est constitu de k symboles q-aires
(alphabet A de taille q), indpendants et de mme loi. On fait, en gnral, lhy-
pothse que les symboles sont quiprobables :
p(i
m
)
1
q
i
m
A
1.3. EXEMPLES DE CANAUX CONTINUS 9
do
p(i )
1
q
k
Un codeur associe chaque mot dinformation i (i
0
, i
1
, . . . , i
k1
) un mot de
code unique x (x
0
, x
1
, . . . , x
n1
). Le code C de paramtres (n, k) contient donc
M q
k
mots de code A
n
. Le dcodeur fournit un mot de code x C, qui
correspond, en inversant le codeur, le mot dinformation .
Noter que puisquil y a une correspondance bijective entre i et x, si on sup-
pose les symboles dinformation quiprobables, on a :
p(x)
1
q
k

1
M
x C
Les mots du code C sont galement quiprobables.
Toujours parce quil y a une correspondance bijective entre mots dinforma-
tion et de code, la probabilit derreur scrit indiffremment :
P
e
Pr {
I / I } Pr {

X / X}
Cest une probabilit derreur par mot (dinformation ou de code), parfois note
P
e/mot
.
1.2.4 Systme cod par un code convolutif
Lapproche est la mme que pour un code en blocs, ceci prs que I re-
prsente maintenant la squence (innie) de symboles dinformation et X la
squence (innie) de symboles cods.
En pratique pour valuer les performances dun tel systme on se ramne
des squences nies correspondant des chemins fondamentaux dans le
treillis. De la sorte, les rsultats quon tablira pour des mots de longueur nie
sappliqueront au cas dun systme cod par un code convolutif.
1.3 Exemples de canaux continus
Lexemple fondamental est le canal gaussien (en anglais, AWGN channel :
Additive White Gaussian Noise Channel).
On a vu en Dominante Communications la mise en uvre, pour la transmis-
sion dun symbole dans un intervalle [0, T], dun modulateur et dun dmodu-
lateur sur le canal gaussien. Ce canal gaussien a pour entre x(t ) et pour sortie
y(t ) x(t )+b(t ), o b(t ) est un processus gaussien blanc centre de densit spec-
trale de puissance bilatrale N
0
/2. Nous avons tabli une statistique sufsante en
nous ramenant, en sortie du canal, un espace de Hilbert de dimension nie n (la
dimension de lespace des signaux mis). Nous supposons ici ces connaissances
acquises, et nous travaillons, pour un choix donn dune base orthonorme de
lespace des signaux mis, avec les composantes de x(t ) et de y(t ) sur cette base.
Dans la description ci-dessous, le canal gaussien rel correspond au cas n 1.
Le canal gaussien complexe correspond au cas n 2, en quivalent bande de
base (symboles complexes). Lexercice 7.9 sur la modulation par des signaux
orthogonaux de mme nergie traite dun cas o n est quelconque (symboles
R
n
).
1.3.1 Canal gaussien rel
Le canal gaussien rel (voir Fig. 1.3) modlise une transmission en bande
de base par modulation linaire (BPSK ou PAM) sur un canal gaussien sans
interfrence entre symboles (IES=0), en dtection cohrente.
Transmission symbole par symbole

Canal
B
n
Y
X
FIG. 1.3 Canal gaussien
Symbole dentre X R est dans une constellation relle. Lnergie moyenne
par symbole (quil soit cod ou non cod) est :
E
m
E(X
2
)
Bruit En sortie du canal (voir Fig. 1.3) : Y X +B, o B est un bruit additif
gaussien rel, centr (de moyenne nulle), indpendant de X, de densit
spectrale de puissance bilatrale (variance) gale
N
0
2
, de sorte que lon a :
p(y[x)
1
_
N
0
e
(yx)
2
N
0
Rapport signal bruit Dans le symbole reu Y X +B apparait une partie utile
X (signal) et le terme de bruit B. Le rapport signal bruit est le rapport
des deux puissances
1
:

E
m
N
0
Transmission mot par mot
Pour une transmission mot par mot il vient immdiatement :
p(y[x)
i
p(y
i
[x
i
)
1
(N
0
)
n/2
e
|yx|
2
N
0
o [[x[[
2
i
x
2
i
est la norme dun vecteur de R
n
. Noter quici lnergie moyenne
par symbole est :
E
m
1
n
E
_
|x|
2
_
et la distance (dans lespace de Hilbert des signaux mis) entre deux mots x et x
t
est :
d(x, x
t
) [[x x
t
[[
1.3.2 Canal gaussien complexe
Le canal gaussien complexe modlise une transmission autour dune fr-
quence porteuse par modulation linaire (en amplitude et/ou en phase) sur un
canal gaussien, sans interfrence entre symboles (IES=0), en dtection cohrente
et en quivalent bande de base.
1. En fait
E(X
2
)
E(B
2
)
2
E
m
N
0
mais tout le monde adopte cette dnition de .
Symbole dentre X C appartient une constellation dans le plan complexe.
Lnergie moyenne par symbole (quil soit cod ou non cod) est :
E
m
1
2
E([X[
2
)
Le facteur
1
2
provient du fait quon est en quivalent bande de base.
Bruit En sortie du canal : Y X +B, o B est un bruit additif gaussien complexe,
centr (de moyenne nulle), indpendant de X, de densit spectrale de
puissance bilatrale (variance) gale E([B[
2
) 2N
0
. La partie relle et
imaginaire du bruit sont indpendantes, chacune de variance N
0
, de sorte
que lon a :
p(y[x)
1
2N
0
e
[yx[
2
2N
0
Rapport signal bruit Dans le symbole reu Y X +B apparait une partie utile
X (signal) et le terme de bruit B. Le rapport signal bruit est le rapport
des deux puissances :

E([X[
2
)
E([B[
2
)

E
m
N
0
Pour une transmission mot par mot il vient immdiatement :
p(y[x)
1
(2N
0
)
n
e
|yx|
2
2N
0
o [[x[[
2
i
[x
i
[
2
est la norme dun vecteur de C
n
.
Attention! Il faut bien prendre garde au facteur
1
2
d la modlisation en
quivalent bande de base : Ainsi lnergie moyenne par symbole est :
E
m
1
2n
E
_
|x|
2
_
et la distance (dans lespace de Hilbert des signaux rels mis) entre deux mots x
et x
t
est telle que :
d
2
(x, x
t
)
1
2
[[x x
t
[[
2
do
d(x, x
t
)
1
_
2
[[x x
t
[[
1.3.3 Canal de Rayleigh*
Le canal de Rayleigh (Fig. 1.4) modlise une transmission autour dun fr-
quence porteuse par modulation linaire (en amplitude et/ou en phase) sur un
canal vanouissements, en dtection cohrente et en quivalent bande de base.

Canal
B
n
Y X
FIG. 1.4 Canal de Rayleigh
Symbole dentre X C appartient une constellation dans le plan complexe.
Lnergie moyenne par symbole (quil soit cod ou non cod) est :
E
m
1
2
E([X[
2
)
Bruit En sortie du canal : Y X +B, o B est un bruit additif dni de la mme
faon que pour un canal gaussien complexe. On a donc :
p(y[x, )
1
2N
0
e
[yx[
2
2N
0
Evanouissement R : En dtection cohrente [c[, o c C est le gain
complexe instantan de loi gaussienne centre de variance 2
2
(parties
relles et imaginaires indpendantes de variance
2
) :
p(c)
1
2
2
e
[c[
2
2
2
On peut dterminer facilement la loi de ; En posant c e
j
, on a :
p(c)dc p()p()dd
En identiant les densits en et sachant que dc dd on obtient
que suit une loi de Rayleigh :
p()

2
e

2
2
2
Sa variance est
E(
2
) E
_
[c[
2
_
2
2
Rapport signal bruit Dans le symbole reu Y X +B apparait une partie
utile X (signal) et le terme de bruit B. Le rapport signal bruit est le
rapport des deux puissances :
2
E([X[
2
)
E([B[
2
)

2
E
m
N
0
Le rapport signal bruit moyen est donc (en moyennant par rapport ) :
E(
2
)
E
m
N
0
1.3.4 Canal de Rayleigh normalis*
On peut toujours, si on le dsire, normaliser de telle sorte que E(
2
) 1
(ce qui correspond
1
_
2
). Pour ce canal de Rayleigh normalis, on a la mme
expression du rapport signal bruit que pour un canal gaussien :

E
m
N
0
et la loi de est donne par :
p() 2e
2
Dornavant, par souci de simplication, on supposera toujours quun canal de
Rayleigh est normalis.
1.3.5 Canal de Rayleigh avec vanouissements indpendants*
Pour une transmission mot par mot un problme pratique se pose : les va-
nouissements correspondent des variations plus ou moins lentes du canal non
stationnaire et sont donc souvent fortement corrls.
Pour obtenir des vanouissement dcorrls (idalement : indpendants)
on rajoute un entrelaceur et un dsentrelaceur comme cela est indiqu dans la
Fig. 1.5.
Un entrelaceur effectue une permutation grande chelle sur les symboles
x
i
, de telle sorte quaprs entrelacement deux symboles successifs correspondent
enfait deux symboles les plus loigns possible dans le temps. Le dsentrelaceur
Y
Dsentrelaceur
Rayleigh
Entrelaceur
X
FIG. 1.5 Canal de Rayleigh avec entrelaceur
effectue lopration inverse ; Ainsi, en sortie du dsentrelaceur on peut supposer
que les
i
sont sufsemment indpendants.
Si on note :
(
1
,
2
, . . . ,
n
)
la sortie Y est donne par :
Y X +B
o on a not
X (
1
X
1
,
2
X
2
, . . . ,
n
X
n
)
En prsence dun entrelaceur idal, on peut considrer que les
i
sont indpen-
dants.
Lorsque les x
i
sont effectivement valeurs complexes (pour une modulation
en phase par exemple), il apparait le problme suivant : le mme vanouissement
i
sapplique pour la partie relle et la partie imaginaire du symbole X
i
. Pour
obtenir des vanouissement dcorrls (idalement : indpendants) la fois sur
les parties relles et imaginaires des symboles, il suft dentrelacer non seulement
les symboles, mais aussi leurs parties relles et imaginaires.
On obtient alors le modle suivant : Lentre est un vecteur de 2n symboles
rels (les parties relles x
2i
et imaginaires x
2i +1
des symboles) :
X (X
1
, X
2
, . . . , X
2n
)
La sortie est donne par
Y X +B
o les vanouissements
(
1
,
2
, . . . ,
2n
)
sont indpendants. Dans ce cas lnergie moyenne par symbole est :
E
m
1
2n
E(|x|
2
)
lorsque est normalis (|x| est ici la norme dans R
2n
).
Ce canal de Rayleigh peut donc tre vu comme une extension (2n)ime sans
mmoire dun canal de Rayleigh rel dcrit par :
Y X +B
o X est un symbole rel, suit une loi de Rayleigh, B est un bruit gaussien rel
centr de variance N
0
(et non pas N
0
/2, puisquil correspond une partie relle
ou imaginaire du bruit gaussien complexe).
1.3.6 Performances sur un canal de Rayleigh*
Pour le dcodage, on peut, si lon veut, estimer au pralable les affaiblisse-
ments et donc les supposer connus la rception
2
. Mais il faut moyenner
ensuite les performances par rapport la loi de probabilit de .
Ainsi, lors dune transmission mot par mot, on dtermine, pour chaque , la
probabilit derreur
P
e[
Pr {

X / X[}
Au nal, pour obtenir la probabilit derreur moyenne il faut moyenner sur le
vecteur de Rayleigh :
P
e

_
P
e[
p()d
Rappelons que pour un canal de Rayleigh normalis vanouissements indpen-
dants :
p()
i
p(
i
)
i
2
i
e
2
i
.
1.4 Exemples de canaux discrets
Ce type de canaux est couramment utilis pour valuer les performances
dun dcodage hard sur canal gaussien (voir chapitre suivant).
2. Cest en particulier la stratgie adopte en dcodage soft (mais pas, en gnral, en dcodage
hard : voir exercice 7.8). Voir 2.6 pour explication des termes hard et soft.
1.4. EXEMPLES DE CANAUX DISCRETS 17
1.4.1 Canal binaire symtrique
Le canal binaire symtrique (BSC : Binary Symmetric Channel) est dcrit la
Fig. 1.6.
Canal
E
Y
h
X
FIG. 1.6 Canal discret erreur additive
Lalphabet est binaire : X F
2
, o F
2
{0, 1} est le corps ni deux lments.
Les symboles dentre X et de sortie Y sont binaires. La variable alatoire binaire
E modlise lerreur : Y X +E. La loi de E est donne par :
_
_
_
p(E 1) p
p(E 0) 1p
o p est appel paramtre du canal BSC (raw error probability). Ainsi E 0 si et
seulement si il ny a pas derreur, E 1 sinon.
Y X
p
p
1p
1p
1
0
1
0
`
`
`
`
`
`
`
`
`
`
`
`
FIG. 1.7 Canal binaire symtrique (BSC)

On reprsente graphiquement les probabilits de transition p(y[x) comme
la Fig. 1.7, o une che reliant x y est tiquette par p(y[x). On dit que le canal
est symtrique cause de la symtrie de la gure.
On peut, par commodit dans le cas dun dcodage hard par exemple, choi-
sir un autre alphabet binaire comme X {1}. Cela ne change pas la description
du canal BSC donne la Fig. 1.7.
Lors dune transmission mot par mot on a :
Y X +E
et, puisque :
p(y[x)
_
_
_
p si y /x
1p si y x
on obtient facilement :
p(y[x)
n
i 1
p(y
i
[x
i
) p
d
H
(x,y)
(1p)
nd
H
(x,y)
o
d
H
(x, y) w
H
(e)
est la distance de Hamming entre x et y, i.e., le nombre derreurs (positions i
telles que x
i
/ y
i
), gal au poids de Hamming du vecteur derreurs e (nombre de
i telles que e
i
1).
Noter que la probabilit davoir t symboles errons dans le mot reu y est :
p(t )
y[d
H
(x,y)t
p(y[x) C
t
n
p
t
(1p)
nt
.
1.4.2 Canal q-aire symtrique
Le canal q-aire symtrique (q-SC : q-ary Symmetric Channel) est une gnra-
lisation du BSC dcrit la Fig. 1.6.
Lalphabet est q-aire : X F
q
, o F
q
est le corps ni q lments. Les sym-
boles dentre X et de sortie Y sont q-aires. La variable alatoire q-aire E (
valeurs dans F
q
) modlise lerreur : Y X +E. La loi de E est donne par :
_
_
_
p(E e) p si e /0
p(E 0) 1(q 1)p
o p est appel paramtre du canal q-SC.
Ainsi E 0 si et seulement si il ny a pas derreur, E /0 sinon. La probabilit
derreur est :
P p(E /0) (q 1)p
On reprsente graphiquement les probabilits de transition p(y[x) comme
la Fig. 1.8, o une che reliant x y est tiquette par p(y[x). On dit que le canal
est symtrique cause de la symtrie de la gure.
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
1(q 1)p
1(q 1)p
1(q 1)p
1(q 1)p
1(q 1)p
4 4
3 3
2 2
1 1
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
>
>
>
>
>
>
>
>
>
>
>
>
>
-
-
-
-
-
-
-
-
-
-
-
-
-
-
.
.
.
.
.
.
.
.
.
.
.
.
..
>
>
>
>
>
>
>
>
>
>
>
>
>
>
-
-
-
-
-
-
-
-
-
-
-
-
--
.
.
.
.
.
.
.
.
.
.
.
.
.
>
>
>
>
>
>
>
>
>
>
>
>
>
`
`
`
`
`
`
`
`
`
`
`
`
`
`
-
-
-
-
-
-
-
-
-
-
-
-
--
.
.
.
.
.
.
.
.
.
.
.
.
.
`
`
`
`
`
`
`
`
`
`
`
`
`
`
-
-
-
-
-
-
-
-
-
-
-
-
-
-
FIG. 1.8 Canal q-aire symtrique (q-SC)

Lors dune transmission mot par mot on a :
Y X +E
et, puisque :
p(y[x)
_
_
_
p si y /x
1(q 1)p si y x
on obtient facilement :
p(y[x)
n
i 1
p(y
i
[x
i
) p
d
H
(x,y)
(1(q 1)p)
nd
H
(x,y)
o :
d
H
(x, y) w
H
(e)
est la distance de Hamming entre x et y, i.e., le nombre derreurs (positions i
telles que x
i
/ y
i
), gal au poids de Hamming du vecteur derreurs e (nombre de
i telles que e
i
/0).
Noter que la probabilit davoir t symboles errons dans le mot reu y est :
p(t )
y[d
H
(x,y)t
p(y[x)
(q 1)
t
C
t
n
p
t
(1(q 1)p)
nt
C
t
n
P
t
(1P)
nt
o P (q 1)p.
1.4.3 Canal effacement*
On se limite ici au cas binaire, bien quon puisse facilement gnraliser des
symboles q-aires.
Le canal binaire effacement (BEC : Binary Erasure Channel) est dcrit la
Fig. 1.9 qui reprsente graphiquement les probabilits de transition p(y[x), o
une che reliant x y est tiquete par p(y[x). Ce canal sappelle aussi canal
en cause de la forme de cette gure.
Lalphabet de lentre X est binaire : X {0, 1} (ou, sil on prfre : {1}),
mais lalphabet de la sortie Y est ternaire : Y {0, 1, } (ou {1, }). Le symbole
reprsente un effacement.
Le canal est dtermin par les probabilits de transition :
_
_
p([x) x (effacement)
p(0[1) p(1[0) 0 (pas derreur)
p(0[0) p(1[1) 1
Noter quici il ny a pas de vritable erreur puisque p(0[1) p(1[0) 0.
1
1
1 1
0 0
FIG. 1.9 Canal binaire effacement (BEC)

Pour une transmission mot par mot, on adopte les notations suivantes :
dsigne lensemble des positions effaces dans le mot reu :
{i [ y
i
}
de sorte que le nombre deffacements prsents est Card. On dnit y
comme le vecteur constitu des valeurs non effaces de y, et de mme x
est le
vecteur constitu des x
i
pour i / .
On trouve alors facilement :
p(y[x)
n
i 1
p(y
i
[x
i
)
(1)
n
o
y
vaut 1 si y
(les symboles dentre et de sortie non effacs corres-

pondent) et 0 sinon.
Noter que la diffrence avec le BSC est que la rception, on connait le
nombre et la position des effacements (alors que pour le BSC le nombre et la
position des erreurs sont inconnus a priori).
La probabilit dun motif de effacements est p()
(1 )
n
. Par
consquent, la probabilit davoir symboles effacs dans le mot reu y est :
p()
[Card
p() C
(1)
n
.
1.4.4 Canal effacements et erreurs*
1p
1p
p
p
>
>
>
>
>
>
>
>
>
>
>
>
0 0
1 1
FIG. 1.10 Canal binaire effacement et erreurs

On peut compliquer en introduisant une probabilit derreur p p(0[1)
p(1[0) (en plus de la probabilit deffacement ) non nulle (voir Fig. 1.10) :
_
_
p([x) x (effacement)
p(0[1) p(1[0) p (erreur)
p(0[0) p(1[1) 1p
Typiquement en dcodage hard la probabilit derreur est trs faible devant la
probabilit deffacement : p <.
Pour une transmission mot par mot, on trouve facilement, avec les mmes
notations que pour le canal effacements sans erreur :
p(y[x)
n
i 1
p(y
i
[x
i
)
p
d
H
(x
,y
)
(1p )
nd
H
(x
,y
)
o (y) est le motif deffacements prsents dans y, et est leur nombre.
Pour ce type de canal il est intressant de traiter les symboles non effacs
sparment des symboles effacs, pour un motif donn. La probabilit dun
motif de effacements est donne par :
p()
x,y[(y)
p(x, y)
x
p(x)
y[(y)
p(y[x)
x
p(x)
p
d
H
(x
,y
)
(1p )
nd
H
(x
,y
t
C
t
n
p
t
(1p )
nt

(p +1p )
n
(1)
n
de sorte que, comme pour le canal effacement sans erreur, la probabilit que
symboles soient effacs dans le mot reu y est
p() C
(1)
n
.
Etant donn (y) , notre canal est quivalent un canal BSC dentre x
et de sortie y
que nous appelerons canal BSC quivalent. Les mots dentre et

de sortie de ce canal quivalent sont de longueur n et son paramtre est :
p
p
1
.
En effet, la probabilit de transition p(y
[x
) est donne par

p(y[x, )
p(y, [x)
p()

p(y[x)
p()
p
d
H
(x
,y
)
(1p )
nd
H
(x
,y
(1)
n
p
d
H
(x
,y
)
(1p
)
nd
H
(x
,y
)
.
1.4.5 Performances moyennes sur un canal effacement et erreurs*
Pour le dcodage, est connu la rception et on se ramne, comme indiqu
ci-dessus, au cas dun canal BSC dont on value les performances. Mais il faut
ensuite moyenner celles-ci par rapport la loi p() de (cette situation est
similaire celle dun canal de Rayleigh).
Ainsi, lors dune transmission mot par mot, on dtermine, pour chaque , la
probabilit derreur :
P
e[
Pr {

X / X[}
Noter que cette probabilit derreur ne dpend de que par lintermdiaire du
nombre deffacements Card. Au nal, pour obtenir la probabilit derreur
moyenne il faut moyenner sur la probabilit de :
P
e

p() P
e[
0
p()P
e[
o, rappelons-le :
p() C
(1)
n
.
1.5 Paramtres fondamentaux dune transmission
1.5.1 Taux et dbit binaire
Le taux R est un paramtre trs important dun systme (cod ou non). Il est
dni comme le nombre moyen de bits dinformation par symbole mis dans
le canal. En notant M le nombre de messages dinformation possibles et n la
longueur (nombre de symboles) dun point X mis dans le canal, on a donc :
R
log
2
M
n
Ainsi, pour un systme non cod, on a n 1 et donc R log
2
M bits par
symbole mis. Il sagit par exemple du taux dune modulation M-aire.
Pour un systme cod par un code linaire (n, k), on a M q
k
et R
k
n
log
2
q.
Ce taux sidentie au rendement k/n du code dans le cas binaire (q 2).
Le taux R est un paramtre intimement reli au dbit binaire D
b
du systme,
qui est dni comme le nombre de bits dinformation transmis par seconde. En
notant T la priode symbole (intervalle de temps correspondant la transmission
dun symbole dans le canal), on a :
D
b
R
T
bits/sec.
1.5.2 Taux et efcacit spectrale
La largeur de bande B occupe par un systme sur canal gaussien (dcodage
hard ou soft) est galement un paramtre important. On a vu en dominante
1.5. PARAMTRES FONDAMENTAUX DUNE TRANSMISSION 25
Communications quon pouvait approximer B par :
B
1
T
o T est la priode symbole. Plus prcisment on a, par exemple dans le cas
dune modulation linaire par un cosinus surlev :
B
1+
T
o est le facteur de dbordement (roll-off ) utilis. Dsormais on identiera
B 1/T pour simplier.
Lefcacit spectrale est par dnition, le dbit binaire rapport la largeur
de bande occupe :

D
b
B
bits/sec/Hz.
Avec les relations D
b
R/T et B 1/T on voit quon peut identier efcacit
spectrale et taux :
R.
Il est important de se rappeler la relation entre le dbit binaire, la largeur de
bande et le taux :
D
b
B
R
Elle montre que, mme dbit binaire et mme bande occupe, on doit comparer
des systmes de mme taux. Aussi, dbit binaire x, une diminution du taux
(efcacit spectrale) se traduit par un largissement de la largeur de bande.
1.5.3 Rapport signal--bruit et puissance dmission
Dans la description des diffrents types de canaux continus faites ci-dessus,
on a dni le rapport signal bruit par :

E
m
N
0
o E
m
est lnergie moyenne dun symbole mis dans le canal. Celui-ci peut,
suivant le type de systme, rsulter ou non dun codage. Il dpend en tout cas du
taux R de la transmission.
An de comparer de manire simple diffrents systmes, on est amen
dnir un rapport signal bruit qui soit indpendant du type de codage utilis
en rapportant lnergie moyenne par bit dinformation. Toujours en notant M
le nombre de messages dinformation possibles et n la longueur (nombre de
symboles) dun point X mis dans le canal, un symbole mis correspond en
moyenne R
log
2
M
n
bits dinformation. On peut donc crire :
E
m
R E
b
o E
b
est lnergie moyenne dun bit dinformation. Le rapport signal--bruit par
bit dinformation est alors dni par :
E
b
N
0
An de comparer les performances de plusieurs systmes en termes de probabi-
lit derreur fonction du rapport signal--bruit, il convient donc dutiliser cette
dnition du rapport signal--bruit pour plus de cohrence.
Le rapport signal--bruit par bit dinformation est galement reli la puis-
sance dmission. Notant toujours T la priode symbole, un symbole est mis
toutes les T secondes avec une nergie moyenne de E
m
joules, soit :
E
m
P T
o P est puissance dmission (exprime en watts). Il vient :
1
R
E
m
N
0
PT
RN
0
do :
P
N
0
D
b
La rapport signal bruit sexprime ainsi en fonction de la puissance dmission
P, de la d.s.p. du bruit N
0
, et du dbit binaire D
b
.
1.5.4 Transmission bande ou puissance limite
On parle souvent de transmission bande limite lorsque lefcacit spec-
trale est sufsamment grande (R 1 : de lordre de 1 quelques bits par symbole),
par opposition une transmission puissance limite lorsque lefcacit spec-
trale est trs petite : typiquement R 0.
1.5. PARAMTRES FONDAMENTAUX DUNE TRANSMISSION 27
Noter que en transmission dite puissance limite, lefcacit spectrale est
trs petite : D
b
/B <1, do :
P/N
0
<B
ce qui explique le terme puissance limite.
Chapitre 2
Dcodage maximumde
vraisemblance
2.1 Gnralits
Reprenons le schma gnral de la Fig. 1.1, reproduit la Fig. 2.1.
Dcodeur
X f (Y )
f
Y
Canal
X
FIG. 2.1 Illustration du problme du dcodage (bis)
X et

X sont des variables (ou vecteurs) alatoires discrtes pouvant prendre
les valeurs {x
1
, x
2
, . . . , x
M
}. Rappelons que dans le cas dun systme cod, les x
i
sont les mots dun code (n, k) sur F
q
o M q
k
. Dans le cas dune modulation
linaire, les x
i
sont des symboles M-aires dune constellation. Suivant le type de
canal, Y est une v.a. discrte ou continue. La loi conjointe de X et Y est donne
par p(x, y). On a :
_
y
p(x, y) 1
29
30 CHAPITRE 2. MAXIMUMDE VRAISEMBLANCE
o on a adopt la notation spciale
_
pour spcier :
_
y
lorsque Y est discret
_
y
dy lorsque Y est continu
Dans le premier cas, p(x, y) est une probabilit en y, dans le deuxime p(x, y) est
une densit de probabilit en y. Les calculs vont tre formellement identiques
dans les deux cas.
Lobjectif est de concevoir une rgle de dcodage (ou de dtection) f qui
minimise la probabilit derreur :
P
e
Pr {

X / X}.
2.2 Maximiser la probabilit a posteriori
En introduisant la notation 1
A
1 si A est vraie, 0 sinon, on peut facilement
exprimer la probabilit derreur en fonction de p(x, y) :
P
e

_
y
p(x, y) 1
f (y)/x
Transformons p(x, y) p(y)p(x[y). On obtient :
P
e

_
y
p(y)P
e[y
E
y
(P
e[y
)
o la probabilit derreur connaissant y reu est donne par :
P
e[y

x
p(x[y) 1
f (y)/x
Pour minimiser P
e
, il faut et il suft de minimiser P
e[y
pour tout y. Or :
P
e[y
1
x
p(x[y) 1
f (y)x
1p( x[y)
o x f (y). Ainsi y tant donn, la rgle de dcodage optimale consiste trouver
la valeur de x x qui maximise la probabilit a posteriori :
x argmax
x
p(x[y)
Un dcodeur qui applique cette rgle sappelle dcodeur MAP : Maximum A
Posteriori Probability.
2.3. MAXIMISER LA VRAISEMBLANCE 31
2.3 Maximiser la vraisemblance
Concevoir un dcodeur MAP ncessite de connaitre lexpression de p(x[y).
Or il est plus simple, en gnral, dexprimer lautre probabilit conditionnelle
p(y[x), car cest une probabilit de transition du canal. Si par exemple Y X +B
o B est indpendant de X, on a tout simplement p(y[x) p(b), o b y x. On
transforme donc :
p(x[y)
p(x, y)
p(y)

p(y[x)p(x)
p(y)
Une simplication supplmentaire arrive lorsque les x
i
sont quiprobables :
p(x)
1
M
x {x
1
, x
2
, . . . , x
M
}
ce quon suppose en gnral dans ce document. Alors, dans la maximisation a
posteriori, le terme p(y) est une constante car
p(y)
x
t
p(x
t
, y)
x
t
p(y[x
t
)p(x
t
)
1
M
x
t
p(y[x
t
)
est indpendante du mot ou symbole mis x.
Ainsi, dans le cas o les x
i
sont quiprobables, y tant donn, la rgle de
dcodage optimale consiste trouver la valeur de x x qui maximise la vraisem-
blance
1
:
x argmax
x
p(y[x)
Un dcodeur qui applique cette rgle sappelle dcodeur ML : Maximum Likeli-
hood.
En cas dex aequo (plusieurs valeurs de x maximisent la vraisemblance) on
peut, par exemple, choisir le vainqueur x au hasard, ou adopter comme on le
fera ici une vision pessimiste en dcidant que la dcision est incorrecte. Dans ce
dernier cas il ny a dcision correcte que si une seule valeur de x x qui maximise
la vraisemblance. Noter que lorsque le canal est continu, cet effet de bord na
aucune inuence mesurable sur la probabilit derreur.
2.4 Minimiser la distance euclidienne
On considre ici une transmission mot par mot, chaque mot comportant n
symboles. Le cas dune transmission symbole par symbole sen dduit en faisant
1. On utilise parfois la fonction de vraisemblance logp(y[x).
n 1.
2.4.1 Canal gaussien
Pour un canal gaussien rel ou complexe, p(y[x) est proportionnel :
p(y[x) e
|yx|
2
c
o c est une constante. Le dcodeur maximum de vraisemblance cherche
donc trouver, y tant donn, le x x le plus proche de y au sens de la distance
euclidienne :
x argmin
x
[[y x[[
2.4.2 Canal de Rayleigh*
Pour un canal de Rayleigh vanouissements indpendants, les vanouis-
sements tant connus, on obtient, exactement de la mme faon que pour le
canal gaussien, que le dcodeur maximum de vraisemblance cherche trouver,
y tant donn, le x x minimisant la distance euclidienne :
x argmin
x
[[y x[[
On minimise ainsi, pour chaque , la probabilit derreur :
P
e[
Pr {

X / X[}
Rappelons que pour obtenir la probabilit derreur moyenne il faut moyenner
sur le vecteur de Rayleigh :
P
e

_
P
e[
p()d.
2.5 Minimiser la distance de Hamming
On considre une transmission mot par mot sur un canal discret, chaque mot
comportant n symboles.
2.5. MINIMISER LA DISTANCE DE HAMMING 33
2.5.1 Canal q-SC
Ici p(y[x) est donn par :
p(y[x)
_
p
1(q 1)p
_
d
H
(x,y)
(1(q 1)p)
n
Il est clair quon peut toujours supposer, en pratique, que :
p <
1
q
de sorte que
p
1(q1)p
<1. Sinon, le canal provoquerait plus de symboles errons
(probabilit p) que de symboles corrects (probabilit 1(q 1)p) !
Dans ces conditions, on voit clairement que le dcodeur maximum de
vraisemblance cherche trouver, y tant donn, le x x le plus proche de y au
sens de la distance de Hamming :
x argmin
x
d
H
(x, y)
2.5.2 Canal erreurs et effacements*
Le cas du canal binaire effacements (sans erreur) est trait dans lexer-
cice 7.16.
Pour un canal binaire erreurs et effacements, les effacements (motif )
tant connus, on obtient, exactement de la mme faon que pour le BSC, que
le dcodeur maximum de vraisemblance cherche trouver, y
t
tant donn, le
x
t

x
t
minimisant la distance de Hamming :
x
t
argmin
x
t
d
H
(x
t
, y
t
)
Rappelons que lon dnit y
t
comme le vecteur constitu des valeurs non effaces
de y, et de mme x
t
est le vecteur des valeurs x
i
pour i / .
On minimise ainsi, pour chaque motif deffacements , la probabilit der-
reur :
P
e[
Pr {

X / X[}
On a vu que pour obtenir la probabilit derreur moyenne il faut moyenner sur le
nombre deffacements :
P
e

n
0
p() P
e[
.
2.6 Dcodage Hard et dcodage Soft
Un systme cod sur un canal continu (gaussien ou Rayleigh, par exemple)
peut tre implant de diffrentes manires, selon le niveau de discrtisation des
symboles reus.
2.6.1 Dcodage Soft
Cest la situation optimale sur un canal continu. A chaque symbole dentre
x correspond une sortie continue y sur laquelle on ne prend aucune dcision
particulire. Nanmoins, limplantation numrique du codeur fait quen pratique,
on quantie trs nement y. On parle alors de dcision douce (soft decision).
Dans ce document on considre le cas limite o chaque symbole reu peut
prendre une valeur (relle ou complexe) quelconque.
Le canal (transmission mot par mot) que lon considre pour le systme cod
est donc tout simplement une extension nime sans mmoire du canal continu
initial (transmission symbole par symbole).
Comme on la expliqu ci-dessus, le dcodeur ML consiste alors trouver
le mot de code le plus proche, au sens de la distance euclidienne, du mot reu
y (y
1
, y
2
, . . . , y
n
) R
n
ou C
n
.
Bien quen thorie un dcodeur soft ML soit optimal, il ncessite lemploi
dalgorithmes de dcodage qui peuvent tre extrmement complexes, voire irra-
lisables.
2.6.2 Dcodage Hard
Cest la situation sous-optimale extrme : on quantie chaque symbole de
sortie en prenant une dcision symbole par symbole, sans tenir compte de la
redondance introduite par le code.
Sur un canal gaussien ou de Rayleigh, cette dcision ferme (Hard decision)
sur un symbole de sortie fournit, daprs ce quon a vu, le symbole x x qui
minimise la distance [x y[. En pratique cela revient utiliser des dtecteurs
seuil.
Dans ces conditions le canal (transmission mot par mot) que lon considre
pour le systme cod a pour entre x et pour sortie y ( x
1
, x
2
, . . . , x
n
) : le mot
2.6. DCODAGE HARD ET DCODAGE SOFT 35
reu est consitu de dcisions Hard. Il sagit cette fois-ci dune extension nime
sans mmoire dun canal discret dont le symbole dentre est x X et le symbole
de sortie est x X.
Prenons un exemple (important) : On considre un systme cod sur le canal
gaussienavec une modulationbinaire BPSK(x a). La dcisionferme seffectue
sur le symbole reu y laide dun seuil 0 et fournit
x
_
_
_
+a si y >0
a si y <0
Alors, le canal discret quivalent est un BSC dalphabet X {a} et de paramtre
p P
e/bit
o P
e/bit
est la probabilit derreur moyenne la dtection sur le symbole y,
quil est facile dvaluer (voir chapitre 4). Noter quici le canal binaire est bien
symtrique parce que la constellation lest : la probabilit derreur ne dpend pas
du symbole mis.
Le cas de la modulation binaire BPSK sur canal de Rayleigh est trait dans
lexercice 7.8.
En gnral, pour une modulation q-aire quelconque sur canal gaussien, on
obtient uncanal discret dont les probabilits de transitionse calculent partir des
probabilits derreurs P
e[x
pour chaque symbole mis. On approxime souvent,
tort ou raison, le canal par un q-SC, bien quen gnral ce canal nest pas
symtrique ( lexception du cas trs utilis de la modulation BPSK o on obtient
un canal BSC).
Comme on la expliqu ci-dessus, le dcodeur hard consiste alors trouver le
mot de code le plus proche, au sens de la distance de Hamming, du mot reu, ce
qui revient une correctionderreurs. Quelques algorithmes correcteurs derreurs
ont t tudis en dominante Communications.
Bien quen thorie un dcodeur hard soit sous-optimal par rapport au
dcodage soft , il existe des codes performants pour lesquels des algorithmes
de dcodage correcteur derreurs (dcodage hard) peuvent tre extrmement
efcaces, surtout des dbits levs.
2.6.3 Dcodage Hard avec effacements*
Cest une situation sous-optimale intermdiaire, une premire tape du d-
codage hard vers le dcodage soft.
Cas du canal gaussien
Prenons comme exemple le cas de transmission dun symbole binaire (mo-
dulation BPSK sur canal gaussien : x a (on peut gnraliser facilement des
constellations de taille quelconque).
Si on fait un dcodage hard classique avec un dtecteur seuil (seuil 0)
on remarque que la dcision ferme faite sur un symbole devient douteuse si
le symbole reu y se trouve tre proche du seuil. Pour pallier ce problme on
introduit un symbole deffacement :
x
_
_
+a si y >s
si [y[ s
a si y <s
o on choisit une valeur raisonnable du seuil s (par exemple s a/2).
Le canal discret quivalent est alors un canal binaire effacements et erreurs
dont il est facile de calculer les paramtres p et . Noter quen pratique p <. Si
on nglige p devant on obtient un canal BEC effacement (sans erreur).
Les performances dun dcodeur dans ce contexte sont suprieures au cas
du dcodage hard classique, car (voir le cours de dominante Communications)
un code correcteur derreurs comble grosso modo deux fois plus deffacements
que derreurs. Lexercice 7.16 donne les performances obtenues pour un systme
cod sur canal BEC.
Cas du canal de Rayleigh
Sur un canal de Rayleigh, on sait que la dcision hard sur un symbole
dpend de lestimation de . Si lvanouissement est trop important, le rapport
signal bruit
2
E
m
/N
0
est trop faible pour que la dcision hard soit able. Il
est alors naturel dintroduire un symbole deffacement x ds que <s, o s
est un seuil daffaiblissement bien choisi.
2.6. DCODAGE HARD ET DCODAGE SOFT 37
On obtient l aussi un canal erreurs et effacements, dont il est facile de
calculer les paramtres p et . L encore, si on nglige p devant on obtient un
canal effacement (sans erreur). Par exemple, la probabilit dun effacement
pour un canal de Rayleigh normalis est
Pr {<s}
_
s
0
2e
2
d1e
s
2
.
De mme que pour un canal gaussien, les performances dun dcodeur dans
ce contexte sont suprieures au cas du dcodage hard classique. On peut les
valuer en utilisant lexercice 7.16, qui donne les performances obtenues pour
un systme cod sur canal BEC.
Chapitre 3
Evaluation de la probabilit
derreur : Bornes
3.1 Gnralits
Nous avons vu quun dcodeur maximumde vraisemblance trouve la valeur
de x x (parmi un nombre ni de valeurs possibles {x
1
, x
2
, . . . , x
M
}) qui maximise
p(y[x). Cela revient dire que la sortie du dcodeur sera x si et seulement si
lentre du dcodeur y appartient la rgion de dcision :
R
x
{y [ p(y[ x) >p(y[x) x / x}
Noter que les rgions de dcision R
x
1
, R
x
2
, . . . , R
x
M
partitionnent lespace des y
(ils sont deux deux disjoints et recouvrent tout lespace
1
).
Pour estimer les performances de tel ou tel systme cod avec dcodage
maximum de vraisemblance, il faut tre capable dvaluer la probabilit derreur,
qui scrit :
P
e
Pr {y / R
x
}
_
y
p(x, y) 1
y/R
x
En effet, si x est mis, il y a erreur ( x /x) si et seulement si y / R
x
.
Transformons p(x, y) p(x)p(y[x) ; on obtient, puisque les symboles sont
1. Cette afrmation ne tient pas compte des frontires des rgions de dcision (cas dex aequo
pour diffrents x). Voir remarque p. 31.
39
40 CHAPITRE 3. BORNES SUR LA PROBABILIT DERREUR
supposs quiprobables :
P
e

x
p(x)P
e[x

1
M
x
P
e[x
o :
P
e[x

_
y/R
x
p(y[x) Pr {y / R
x
[x}
est la probabilit derreur sachant que x a t mis. Cette probabilit est, sauf
cas particulier trs simple, difcile valuer avec exactitude. On cherche donc
lapprocher en la majorant par des bornes qui sont, elles, plus faciles calculer.
3.2 Borne de lunion
On peut faire apparatre dans la formule donnant P
e[x
une runion en remar-
quant que si x est mis, il y a erreur si et seulement si il existe un x
t
/ x tel que
p(y[x
t
) p(y[x). Ainsi :
P
e[x
Pr {y
x
t
/x
R
xx
t [ x}
o R
xx
t {y [ p(y[x
t
) p(y[x)}.
La borne de lunion consiste majorer la probabilit de lunion
_
R
xx
t par
la somme des probabilits sur les R
xx
t . On obtient alors :
P
e[x

x
t
/x
P
xx
t
o :
P
xx
t Pr {y R
xx
t [x}
_
y [ p(y[x
t
)p(y[x)
p(y[x)
est appele probabilit derreur par paire. Elle sinterprte comme la probabilit
que le dcodeur prfre x
t
x, lorsque x est mis (comme si x et x
t
taient les
deux seuls mots susceptibles dtre mis).
Ainsi, avec la borne de lunion on est ramen calculer des probabilits
derreur par paire P
xx
t , ce qui est souvent une tche plus aise que dvaluer
P
e[x
, puisque la premire solution ne ncessite de prendre en compte que deux
mots x et x
t
.
Remarquons nanmoins que la borne de lunion nest quune approximation :
elle nest exacte que si les rgions R
xx
t sont disjointes, cest dire si M 2
(Exemple : modulation BPSK sur canal gaussien).
3.3. BORNE DE BHATTACHARYYA 41
3.3 Borne de Bhattacharyya
Voici une majoration de la probabilit derreur par paire, souvent utile et
compltement gnrale. On a :
P
xx
t
_
y [ p(y[x
t
)p(y[x)
p(y[x)
_
y
p(y[x) 1
p(y[x
t
)
p(y[x)
1
En utilisant la majoration (articielle, mais triviale) suivante :
1
p(y[x
t
)
p(y[x)
1
_
p(y[x
t
)
p(y[x)
on trouve :
P
xx
t
_
y
_
p(y[x)p(y[x
t
)
Cest la borne de Bhattacharyya.
Dans les sections suivantes on dtermine la probabilit derreur par paire
(calcul exact et borne de Bhattacharyya) pour les canaux q-SC et gaussien. La cas
du canal BEC ( effacement) est trait dans lexercice 7.16.
3.4 Cas dun canal gaussien
On va appliquer les rsultats des sections prcdentes au cas du canal gaus-
sien, pour le calcul de P
xx
t (on a vu que ce calcul est rutilisable tel quel pour
un canal de Rayleigh).
3.4.1 Calcul exact de la probabilit derreur par paire
Pour un canal gaussien le calcul exact de P
xx
t est facile. Prenons le cas
dune transmission mot par mot (de n symboles) sur le canal gaussien complexe.
On a p(y[x
t
) p(y[x) [[y x
t
[[ [[y x[[, et on fait le changement de variable
y x +b, o b est le vecteur du bruit gaussien. Il vient
[[y x
t
[[ [[y x[[ [[b +x x
t
[[
2
[[b[[
2
2Re <b[x
t
x >[[x
t
x[[
2
Re <b[u >
1
2
[[x
t
x[[
1
_
2
d(x, x
t
)
o on a pos u
x
t
x
[[x
t
x[[
, le vecteur unitaire suivant la direction x, x
t
. Or :
Z Re <B[u >
i
ReB
i
Reu
i
ImB
i
Imu
i
est une v.a. gaussienne relle de moyenne nulle est de variance :
N
0
i
(Reu
i
)
2
+(Imu
i
)
2
N
0
[[u[[
2
N
0
do nalement :
P
xx
t Pr {Z >
d(x, x
t
)
_
2
} Q
_
d(x, x
t
)
_
2N
0
_
o Q(x) est la fonction de Marcum (voir exercice 7.1).
Noter que pour un canal gaussien rel le calcul est inchang, sauf quon
remplace N
0
par N
0
/2 et
1
2
[[x
t
x[[ par
1
2
d(x, x
t
). Do :
P
xx
t Pr {Z >
d(x, x
t
)
2
} Q
_
d(x, x
t
)
2
_
N
0
/2
_
Q
_
d(x, x
t
)
_
2N
0
_
On obtient exactement la mme formule.
3.4.2 Borne de Bhattacharyya
An dasseoir la nesse de la borne de Bhattacharyya, il est intressant de
faire le calcul approch pour le canal gaussien : cette borne scrit (pour le canal
gaussien complexe) :
P
xx
t
1
(2N
0
)
n
_
y
e
1
2N
0
_
[[yx[[
2
+[[yx
t
[[
2
_
/2
dy
En appliquant lgalit du paralllogramme :
1
2
([[u[[
2
+[[v[[
2
)
_
_
_
_
u +v
2
_
_
_
_
2
+
_
_
_
u v
2
_
_
_
2
pour u y x et v y x
t
, on obtient :
P
xx
t
1
(2N
0
)
n
_
y
e
1
2N
0
_
_
_y
x+x
t
2
_
_
_
2
dy e
1
2N
0
_
_
_
xx
t
2
_
_
_
2
Lintgrale porte sur une loi gaussienne sur tout lespace et vaut donc 1. Finale-
ment :
P
xx
t e
1
4N
0
d
2
(x,x
t
)
3.5. CAS DUNCANAL Q-SC OUBSC 43
En comparant au calcul exact on saperoit que lutilisation de la borne de Bhat-
tacharyya revient faire la majoration :
Q(x) e
x
2
/2
majoration qui est par ailleurs classique (voir exercice 7.1, qui montre que Q(x)
est en fait quivalent
1
_
2x
e
x
2
/2
).
Ainsi la borne de Bhattacharyya est ici raisonnablement ne lorsque lnergie
de diffrence |xx
t
|
2
est grande devant la puissance du bruit, ce qui correspond,
en gnral, une hypothse de fort rapport signal bruit.
3.5 Cas dun canal q-SC ou BSC
3.5.1 Calcul exact de la probabilit derreur par paire
Pour un canal q-SC ou BSC le calcul exact de P
xx
t est plus difcile. Nous
considrons une transmission mot par mot (de n symboles) sur le canal q-SC. Le
cas du canal BSC sen dduit en faisant q 2.
On a p(y[x
t
) p(y[x) d
H
(y, x
t
) d
H
(y, x), et on fait le changement de
variable y x +e, o e est le vecteur derreur. Il vient :
d
H
(y, x
t
) d
H
(y, x) w
H
(e +x x
t
) w
H
(e)
i
w
H
(e
i
+x
i
x
t
i
)
i
w
H
(e
i
)
en crivant la dnition du poids de Hamming sur les n composantes.
Il est clair que les indices i pour lesquels x
i
x
t
i
donnent un i me terme
identique dans les deux sommes. On supposera donc dornavant que i est tel
que x
i
/x
t
i
. Il y a d
H
(x, x
t
) tels indices. Leur ensemble sera not I .
Parmi ceux-ci, ceux pour lesquels e
i
/0 et e
i
/x
t
i
x
i
donnent galement un
i ime terme identique dans les deux sommes. Par consquent il suft de prendre
en compte les incides i tels que e
i
0 ou e
i
x
t
i
x
i
.
Appelons donc t le nombre dindices i I vriant e
i
x
t
i
x
i
et u le nombre
dindices i I vriant e
i
/x
t
i
x
i
et e
i
/0. Alors d
H
(x, x
t
) t u est le nombre
dindices i I pour lesquels e
i
0, et il vient :
P
xx
t Pr {t d
H
(x, x
t
) t u}
Cette probabilit se calcule facilement en notant que la probabilit pour que
e
i
soit : 1) gal une valeur dtermine non nulle est p ; 2) gal 0 est 1P o
P (q 1)p ; 3) la fois non nul et diffrent dune valeur spcie non nulle est
(q 2)p P p. On trouve :
P
xx
t
u,t [ u+2t d
C
t
d
p
t
C
u
dt
(P p)
u
(1P)
dt u
o on a not d d
H
(x, x
t
) pour simplier les critures. Cest lexpression exacte
de P
xx
t .
Dans le cas du canal BSC lexpression se simplie car forcment u 0 :
P
xx
t
t
d
2
C
t
d
p
t
(1p)
dt
Pr {t
d
2
}
o t suit une loi binmiale de paramtre p et de longueur d.
On approxime souvent ces expressions par leurs quivalents lorsque p 0.
En dcodage hard, cela correspond une hypothse de fort rapport signal bruit.
Pour le canal q-SC en gnral, on voit aisment que cet quivalent est obtenu
pour u 0 et t ]
d
2
] :
P
xx
t C
]
d
2
]
d
p
]
d
2
]
o d d
H
(x, x
t
).
3.5.2 Borne de Bhattacharyya
La borne de Bhattacharyya majore les expressions exactes trouves au para-
graphe prcdent par une expression simple.
Commenons par un calcul gnral (valable pour tout canal sans mmoire)
partir de la borne de Bhattacharyya :
P
xx
t

_
y
_
p(y[x)p(y[x
t
)

y
1
,y
2
,...,y
n
n
i 1
_
p(y
i
[x
i
)p(y
i
[x
t
i
)
i 1
y
i
_
p(y
i
[x
i
)p(y
i
[x
t
i
)
La dernire quation provient de ce quon a reconnu un dveloppement gnral
dun produit de sommes.
3.5. CAS DUNCANAL Q-SC OUBSC 45
Le terme sous le produit vaut 1 si x
i
x
t
i
. En effet :
y
i
_
p(y
i
[x
i
)p(y
i
[x
i
)
y
i
p(y
i
[x
i
) 1
On aboutit donc :
P
xx
t

i [x
i
/x
t
i
y
i
_
p(y
i
[x
i
)p(y
i
[x
t
i
)
Le produit contient d
H
(x, x
t
) termes.
Pour le canal q-SC, lorsque x
i
/x
t
i
, on a :
_
p(y
i
[x
i
)p(y
i
[x
t
i
)
_
p(1P)
lorsque y
i
vaut x
i
ou x
t
i
, et :
_
p(y
i
[x
i
)p(y
i
[x
t
i
)
_
p
2
p
sinon. Donc :
y
i
_
p(y
i
[x
i
)p(y
i
[x
t
i
) 2
_
p(1P) +(q 2)p
o P (q 1)p.
Finalement, la borne de Bhattacharyya pour le canal q-SC scrit :
P
xx
t
_
2
_
p(1
_
q 1)p
_
+(q 2)p
_
d
o on a not d d
H
(x, x
t
). Pour le BSC cela se simplie en :
P
xx
t
_
2
_
p(1p)
_
d
Si on approxime ces expressions par leurs quivalents lorsque p 0 (fort
rapport signal bruit en dcodage hard), on a, pour le canal q-SC en gnral :
P
xx
t 2
d
p
d/2
o d d
H
(x, x
t
). En comparant lquivalent exact du paragraphe prcdent, on
voit que, sur les quivalents, lutilisation de la borne de Bhattacharyya revient
faire la majoration :
C
]d/2]
d
p
]d/2]
2
d
p
d/2
Noter quavec la borne de Bhattacharyya onnobtient pas la bonne puissance de p
(d/2 au lieu de (d+1)/2) lorsque d est impair (voir exercice 7.2 pour amlioration).
3.6 Autres bornes*
Dans ce paragraphe on aborde dautres bornes classiques de la littrature.
3.6.1 Borne de Chernoff*
On peut utiliser lingalit de Chernoff, classique en probabilits (voir exer-
cice 7.3), directement sur lexpression gnrale de la probabilit derreur par
paire. Puisque p(y[x
t
) p(y[x) quivaut log
p(y[x
t
)
p(y[x)
0, on a, en appliquant
lingalit de Chernoff :
P
xx
t Pr {log
p(y[x
t
)
p(y[x)
0[x}
E
_
e
log
p(y[x
t
)
p(y[x)
_

_
y
_
p(y[x
t
)
p(y[x)
_
p(y[x)
pour tout 0. La borne de Chernoff sur la probabilit derreur par paire scrit
nalement :
P
xx
t
_
y
p(y[x)
1
p(y[x
t
)
Cette borne est minimiser sur 0.

Noter que la borne de Bhattacharyya apparait ici comme un cas particulier
de la borne de Chernoff pour
1
2
. Malgr cela, il se trouve que pour les canaux
symtriques comme le canal gaussien ou le canal q-SC, la borne de Chernoff
napporte aucune amlioration par rapport la borne de Bhattacharyya (voir
exercice 7.4).
3.6.2 Borne de Gallager*
La borne de Gallager concerne la probabilit derreur P
e[x
Pr {y / R
x
[x},
o R
x
est la rgion de dcision associe x. Elle amliore la fois la borne de
lunion et de Bhattacharyya.
On utilise lingalit triviale suivante. Si y / R
x
, alors il existe x
t
/ x tel que
p(y[x
t
)
p(y[x)
1 et donc :
_

x
t
/x
_
p(y[x
t
)
p(y[x)
_
1 , 0
3.7. DISTRIBUTIONDE DISTANCES 47
Par consquent, en suivant la mme approche que pour ltablissement de la
borne de Bhattacharyya, on peut crire :
P
e[x

_
y
_

x
t
/x
_
p(y[x
t
)
p(y[x)
_
p(y[x)

_
y
p(y[x)
1
_

x
t
/x
p(y[x
t
)
Noter quon retrouve la borne de lunion+Chernoff en faisant 1.

On choisit
1
1+
, de sorte que 1 dans lexpression prcdente et
on obtient :
P
e[x
_
y
p(y[x)
1
1+
_

x
t
/x
p(y[x
t
)
1
1+
_
Cest la borne de Gallager, minimiser sur 0. Noter quici, on retrouve la

borne de lunion+Bhattacharyya en faisant 1.
Cette borne est thoriquement trs importante, puisquelle permet de d-
montrer le thorme de Shannon sur le codage canal (voir chapitre 6). Elle est
donc trs ne et en ce sens, optimale. On peut montrer que sur le canal gaussien
(dcodage hard ou soft), la borne de Gallager est trs bonne mme en faible
rapport signal bruit pour 0 <1, alors que la borne de Bhattacharyya (1)
suft en fort rapport signal bruit. Malgr ces avantages, la borne de Gallager est,
en pratique, trs difcile valuer sauf cas trs particuliers (voir exercice 7.9).
3.7 Distribution de distances
Dans ce chapitre, la plupart des bornes sur la probabilit derreur globale P
e
dun systme de communications numriques se basent sur la borne de lunion :
P
e[x
x
t
/x
P
xx
t .
On a vu que pour les diffrents canaux tudis ici, on value la probabilit
derreur par paire P
xx
t par une fonction de d d(x, x
t
), la distance entre x et
x
t
:
P
xx
t f (d)
Cette distance d est une distance de Hamming d d
H
(x, x
t
) pour un canal q-SC,
ou une distance euclidienne d d(x, x
t
) [[x x
t
[[
2
pour un canal gaussien.
Par exemple, la borne de Bhattacharyya donne f (d) (2
_
p(1p))
d
pour
un canal BSC, et f (d) e
d
2
4N
0
pour un canal gaussien. Clairement f (d) est une
fonction dcroissante de d. La dcroissance est dautant plus forte que le rapport
signal bruit est fort pour le canal gaussien (dcodage hard ou soft).
Rappelons que, suivant le cas, x et x
t
reprsentent des symboles (points dune
constellation, par exemple) ou des mots de code. Dans la suite de ce paragraphe
on les dsignera sous le nom de points.
Revenons maintenant la borne de lunion. Elle donne, daprs ce quon
vient de voir :
P
e[x

x
t
/x
f
_
d(x, x
t
)
_
o x et x
t
prennent leurs valeurs dans un ensemble ni {x
1
, x
2
, . . . , x
M
}. On peut
maintenant regrouper les diffrents termes en dnissant A
d
(x) comme tant le
nombre de points x
t
/x situs distance d de x :
A
d
(x) Card{x
t
[ d(x, x
t
) d}
On obtient :
P
e[x
i
A
d
i
(x) f (d
i
)
o les {d
i
} constituent lensemble des distances possibles entre les points x et
x
t
{x
1
, x
2
, . . . , x
M
} diffrents
2
de x.
Finalement, on arrive la borne sur la probabilit derreur globale P
e

1
M
x
P
e[x
(toujours en supposant les x quiprobables) :
P
e
A
d
i
f (d
i
)
o on a dni

A
d
comme tant le nombre moyen de points situs une distance d
dun point donn :
A
d

1
M
x
A
d
(x).
2. On a (videmment) suppos ici que les points {x
1
, x
2
, . . . , x
M
} sont distincts de sorte que la
somme porte sur des distances d
i
>0. Si on voulait tre parfaitement gnral en tenant compte de
lventualit o les points ne sont pas tous distincts, il faudrait crire :
P
e[x
m

m
t
/m
f
_
d(x
m
, x
m
t )
_
d
i
0
A
d
i
(x
m
) f (d
i
)
(cf. exercice 7.10).
3.7. DISTRIBUTIONDE DISTANCES 49
Ainsi, pour valuer cette borne sur la probabilit derreur il faut tre capable
dvaluer la distribution des distances dun code ou dune constellation, i.e.,
lensemble des quantits

A
d
pour toutes les distances d possibles. Ceci sera fait
dans les chapitres suivants. Dans le cas dun systme cod par un code linaire,
par exemple, les

A
d
seront donns par le polynme numrateur du poids du
code.
Enn, notons que, en fort rapport signal bruit sur le canal gaussien (dco-
dage hard ou soft), puisque f (d) dcroit fortement avec d, on peut ne retenir que
le terme f (d
min
) o d
min
est la distance minimale entre deux points x et x
t
. On
obtient alors
P
e

A
d
min
f (d
min
)
valuation qui suft dans bien des cas. Le coefcient derreur

A
d
min
est le nombre
moyen de points situs une distance d
min
dun point donn. On lappelle parfois
le kissing number.
Chapitre 4
Performances de modulations
linaires
4.1 Gnralits
Sauf mention contraire, nous considrons les performances de modulations
linaires sur le canal gaussien complexe. Le symbole M-aire mis est donc un
nombre complexe x I , o I appartient une constellation M-aire, et est
un facteur dchelle qui tient compte de lnergie par symbole lmission. On
supposera, comme dhabitude, que les symboles sont quiprobables.
La constellation {I
1
, I
2
, . . . , I
M
} est constitu de M points dans le plan com-
plexe. Cest elle qui dtermine le type de modulation utilis. En gnral la modu-
lation est bidimensionnelle. Bien entendu, lorsque la modulation est monodi-
mensionnelle (i.e., les symboles sont rels comme pour la BPSK ou la PAM), on
peut lemployer sur un canal gaussien rel. Les rsultats sont alors identiques
ceux tablis ci-dessous pour le cas complexe.
Le facteur dchelle se dtermine en fonction de lnergie moyenne par
symbole :
E
m
1
2
E([x[
2
)

2
2
E([I [
2
)

2
2

2
I
o
2
I

1
M
k
[I
k
[
2
est la variance de la constellation. Noter quon se limite ici aux
constellations centres autour de 0, de sorte que la moyenne des symboles est
51
52 CHAPITRE 4. PERFORMANCES DE MODULATIONS LINAIRES
nulle : E(I ) 0 et quon a bien E([I [
2
)
2
I
. On en dduit en fonction de E
m
:
_
2E
m
2
I
Nous noterons (I , I
t
) [I I
t
[ la distance entre 2 points I et I
t
de la constel-
lation dans le plan complexe. Ainsi on a, pour les symboles correspondants x et
x
t
:
d(x, x
t
)
1
_
2
[x x
t
[

_
2
(I , I
t
)
_
E
m
2
I
(I , I
t
)
On note
min
la distance minimale entre deux points de la constellation. Ce
paramtre va intervenir dans le calcul de la probabilit derreur.
4.2 Modulation binaire (BPSK)
4.2.1 Canal gaussien
La modulation binaire est connue sous le nom de MDP-2 : Modulation par
Dplacement de Phase M 2 tats (BPSK : Binary Phase Shift Keying). La
constellation binaire correspondante est donne par :
I 1
On a donc
2
I
1 et
min
2. Noter que puisquici
_
2E
m
, les symboles
correspondants sont :
x
_
2E
m
La modulation binaire est le seul cas o la borne de lunion est exacte. En
effet cest le seul cas o les rgions de dcision R
x
coincident avec les demi-
espaces R
xx
. De plus, dans la borne de lunion napparait quun seul terme :
P
e[x
P
xx
. On obtient donc pour la probabilit derreur :
P
e
Q
_
d
min
_
2N
0
_
Q
_
_
_
_
E
m
2
min
2N
0
2
I
_
_
ce qui donne :
P
e
Q
__
2E
m
N
0
_
4.2. MODULATIONBINAIRE (BPSK) 53
Cest la formule qui sert de rfrence pour tous les autres systmes sur canal
gaussien. Noter quici P
e
est une probabilit derreur par bit (symbole binaire)
et E
m
est une nergie moyenne par bit, quil soit cod (dcodage Hard) ou non.
La courbe de performance (P
e
en fonction du rapport signal bruit E
m
/N
0
) est
donne dans la Fig. 4.1
0 2 4 6 8 10 12 14 16
10
-10
10
-9
10
-8
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
Bit SNR Eb/No (dB)
B
i
t

E
r
r
o
r

R
a
t
e
FIG. 4.1 Performances de la BPSK
4.2.2 Canal de Rayleigh
Nous avons vu que pour un affaiblissement donn, le cas du canal de
Rayleigh est identique au cas du canal gaussien, ceci prs que le rapport signal
bruit est multipli par
2
. On obtient donc :
P
e[
Q
__
2
2E
m
N
0
_
Pour obtenir les performances dans la cas du canal de Rayleigh il faut moyenner
P
e[
suivant la loi de Rayleigh p(). En supposant le canal de Rayleigh normalis,
de sorte que la rapport signal--bruit moyen est toujours
E
m
N
0
, il vient :
P
e

_
0
p()P
e[
d
_
0
2e
2
Q(
_
2)d
Connaissant la drive de la fonction Q(x) (voir exercice 7.1), on peut faire une
intgration par parties et on obtient :
P
e

1
2
0
e
2
(1+)
d
do nalement :
P
e

1
2
(1
_
E
m
/N
0
1+E
m
/N
0
)
Lexercice 7.8 compare ce calcul exact la borne de Bhattacharyya, seule borne
utilisable dans le cas de systmes cods sur canal de Rayleigh.
On voit facilement quen fort rapport signal--bruit :
P
e

1
4E
m
/N
0
Ainsi, cause des affaiblissements sur canal de Rayleigh, la probabilit derreur a
perdu sa dcroissance exponentielle en E
m
/N
0
pour une dcroissance linaire
(voir Fig. 4.2).
4.3 Perte par rapport la BPSK
4.3.1 Perte en rapport signal bruit par symbole
Pour les autres modulations (non binaires), nous savons que la borne de
lunion fournit plusieurs termes qui dpendent de la distribution des distances
de la modulation considre.
Dans ce chapitre on se limitera au terme, dpendant de d
min
, qui prdomine
en fort rapport signal--bruit. Sur canal gaussien on crira donc :
P
e
A
d
min
Q
_
d
min
_
2N
0
_
o A
d
min

1
M
k
A
d
min
(I
k
) est le nombre moyen de points de la constellation
situs distance minimale dun point I
k
donn.
4.3. PERTE PAR RAPPORT LA BPSK 55
0 5 10 15 20 25 30
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
Bit SNR Eb/No (dB)
B
it

E
r
r
o
r

R
a
t
e
AWGN
Rayleigh
FIG. 4.2 Performances de la BPSK sur canal gaussien et sur canal de Rayleigh
Sachant que d
min
_
E
m
2
I
min
, on peut mettre cette expression sous la forme
suivante :
P
e
A
d
min
Q
__
2E
m
N
0
g
_
o g est un terme de gain (en gnral <1) :
g
(
min
/2)
2
2
I
qui donne la perte en rapport signal--bruit par rapport la BPSK. Noter que le
rapport signal bruit E
m
/N
0
est ici un rapport signal bruit par symbole M-aire.
Cette perte est de 10log
10
(g) dB. Cela signie que par rapport la BPSK, en
fort rapport signal bruit, il faut augmenter le rapport signal bruit E
m
/N
0
de
[10log
10
(g)[ dB pour obtenir une probabilit derreur comparable.
4.3.2 Perte en rapport signal bruit par bit
Lorsquon veut comparer les performances de diffrentes modulations avec
des nombres dtats M diffrents, il est pas trs judicieux de faire cette com-
paraison en termes de rapport signal bruit par symbole E
m
/N
0
, puisque ce
quon nomme un symbole peut comporter un nombre diffrent de bits dune
modulation lautre.
Il est alors ncessaire dopter pour le rapport signal bruit par bit. Pour une
modulation M tats, un symbole (cod ou non) comporte log
2
M bits, lnergie
par bit (cod ou non) est E
b
E
m
log
2
M
do :
E
b
N
0
1
log
2
M
E
m
N
0
En fonction de ce rapport signal bruit par bit, le gain dune modulation par
rapport la BPSK devient 10log
10
(g log
2
M) dB au lieu de 10log
10
(g) dB. Par
rapport la BPSK, en fort rapport signal bruit, il faut donc augmenter le rapport
signal bruit par bit E
b
/N
0
de [10log
10
(g log
2
M)[ dBpour obtenir une probabilit
derreur comparable.
4.4 Taux derreur par bit et par symbole
Jusqu prsent on a estim les performances dune modulation en estimant
la probabilit derreur P
e
. Cette probabilit derreur est une probabilit derreur
par symbole M-aire.
De mme quil est plus judicieux dvaluer la probabilit derreur en fonction
du rapport signal bruit par bit plutt que par symbole, on peut envisager desti-
mer la probabilit derreur par bit moyenne P
e/b
plutt que celle par symbole
P
e/s
P
e
.
Cependant, le calcul de P
e/b
est plus difcile effectuer car il dpend de
ltiquetage binaire des diffrents points de la constellation, cest--dire du choix
des reprsentations sur log
2
M bits des diffrents symboles M-aires (en suppo-
sant que M soit une puissance de deux). Certains calculs ont t vus en domi-
nante Communications.
Noter que dans le cas o M est une puissance de deux, P
e/b
peut tre dni
par :
P
e/b
1
log
2
M
E(w
H
(I

I ))
cest dire le nombre moyen de bits errons par symbole erron (
I / I ), rapport
par bit. (La situation est encore plus complexe si M nest pas une puissance de
deux !)
4.5. MODULATIONENAMPLITUDE (PAM) 57
Bien que P
e/b
soit difcile valuer, on peut obtenir un encadrement gnral
en remarquant quun symbole erron produit, au mieux, un bit erron
1
, do
w
H
(I

I ) 1. Au pire, tous les bits sont errons et w
H
(I

I ) log
2
M. Ainsi :
1
log
2
M
P
e/s
P
e/b
P
e/s
Ainsi les probabilits derreur par symbole et par bit sont toujours du mme
ordre de grandeur. On peut donc dire que la comparaison des performances de
diffrentes modulations se fait aussi bien en termes de probabilit derreur par
symbole P
e/s
quen termes de probabilit derreur par bit P
e/b
. Dans la suite on
se limitera donc lvaluation de P
e
P
e/s
.
4.5 Modulation en amplitude (PAM)
La modulation en amplitude M tats est connue sous le nom de MIA-
M : Modulation dImpulsion en Amplitude M tats (M-PAM : M-ary Pulse
Amplitude Modulation). On suppose ici que M est pair. On retrouve la BPSK pour
M 2.
La constellation M-aire correspondante est donne par :
I 1, 3, . . . , (M1)
On a donc
min
2 et :
2
I

1
M
2(1
2
+3
2
+ +(M1)
2
)
M
2
1
3
On a utilis ici lidentit 1
2
+3
2
+ +(M1)
2
M(M
2
1)
6
quil est facile dtablir.
Tous les points de la constellation admettent deux voisins distance mini-
male, sauf les deux extrmes qui nen admettent quun seul. Le paramtre A
d
min
est donc gal :
A
d
min
1
M
(2(M2) +2) 2
_
1
1
M
_
On obtient donc pour la probabilit derreur :
P
e
2
_
1
1
M
_
Q
__
2E
m
N
0
g
M
_
1. Ceci constitue une bonne approximation pour une modulation PSK avec un codage de Gray
(cf. dominante Communications).
M g
M
(dB) g
M
log
2
M (dB)
2 0 0
4 -6.99 -3.98
8 -13.22 -8.45
16 -19.29 -13.27
32 -25.33 -18.34
64 -31.35 -23.57
TAB. 4.1 Gains asymptotiques, par rapport la BPSK, en fort rapport signal
bruit, pour la modulation M-PAM
o le gain asymptotique en fort rapport signal bruit est :
g
M

3
M
2
1
La Table 4.5 donne quelques valeurs de g
M
(gain en rapport signal bruit par
symbole) et g
M
log
2
M (gain en rapport signal bruit par bit).
Les courbes de performance (P
e
en fonction du rapport signal bruit par
symbole ou par bit) sont donnes dans la Fig. 4.3.
4.6 Modulation en phase (PSK)
La modulation en phase M tats est connue sous le nom de MDP-M :
Modulation par Dplacement de Phase M tats (M-PSK : M-ary Phase Shift
Keying). On retrouve la BPSK pour M 2. La QPSK (Quadrature Phase Shift
Keying) correspond au cas M 4.
I
k
e
2j k/M
pour k 0, 1, . . . , M1
(voir Fig. 4.4). On a donc
2
I
1 et :
min
[1e
2j /M
[ 2sin

M
Tous les points de la constellation admettent deux voisins distance minimale,
donc A
d
min
2.
4.7. MODULATIONDAMPLITUDE QAM 59
P
e
2Q
__
2E
m
N
0
g
M
_
g
M
sin
2

M
M
symbole) et g
M
log
2
e
4.7 Modulation damplitude QAM
La modulation en amplitude et en phase M tats est connue sous le nom
de MAQ-M : Modulation dAmplitude en Quadrature M tats (M-QAM : M-ary
0 5 10 15 20 25 30 35 40 45
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
SNR (dB)
E
r
r
o
r

R
a
t
e
M=2 M=4 M=8 M=16 M=32 M=64
0 5 10 15 20 25 30 35 40 45
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
Bit SNR Eb/No (dB)
E
r
r
o
r

R
a
t
e
M=2 M=4 M=8 M=16 M=32 M=64
FIG. 4.3 Performances de la Modulation M-PAM en fort rapport signal bruit,
en fonction du rapport signal bruit par symbole et par bit
1
1
FIG. 4.4 Constellation 8-PSK
M g
M
(dB) g
M
log
2
M (dB)
2 0 0
4 -3.01 -0.00
8 -8.34 -3.57
16 -14.20 -8.17
32 -20.17 -13.18
64 -26.18 -18.40
bruit, pour la modulation M-PSK
Quadrature Amplitude Modulation). On suppose ici que M est un carr : M M
t
2
,
o M
t
est pair. On retrouve la QPSK pour M 4.
I a + j b o a, b {1, 3, . . . , (M
t
1)}
(voir Fig. 4.6). On a donc
min
2 et :
2
I

2
a
+
2
b
2
M
t
2
1
3
2
M1
3
On sest ramen ici au cas dun modulation PAM pour les symboles a et b.
Tous les points de la constellation admettent 4 voisins distance minimale,
sauf 4(M
t
2) points aux bords qui nenadmettent que trois, et les quatre coins
qui nen admettent que deux. Le paramtre A
d
min
est donc gal :
A
d
min

1
M
_
42+4(M
t
2) 3+(M44(M
t
2)) 4
_
4
_
1
1
_
M
_
P
e
4
_
1
1
_
M
_
Q
__
2E
m
N
0
g
M
_
g
M

3
2(M1)
On peut galement dnir une modulation QAM lorsque M nest pas un
carr, mais de la forme M
1
2
M
t
2
, o M
t
est pair. Cela permet par exemple de
dnir les modulations 8QAM et 32QAM (voir Fig. 4.7). Ici la constellation
correspondante est donne par :
I a + j b o a, b {1, 3, . . . , (M
t
1)}
0 5 10 15 20 25 30 35 40 45
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
SNR (dB)
E
r
r
o
r

R
a
t
e
M=2 M=4 M=8 M=16 M=32 M=64
0 5 10 15 20 25 30 35 40 45
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
Bit SNR Eb/No (dB)
E
r
r
o
r

R
a
t
e
M=2
M=4
M=8 M=16 M=32 M=64
FIG. 4.5 Performances de la Modulation M-PSK en fort rapport signal bruit,
1
1
FIG. 4.6 Constellation 64-QAM
sous la constrainte que a +b est multiple de 4. On choisit donc un point sur deux
dans une modulation M
t
2
-QAM.
1
1
FIG. 4.7 Constellation 32-QAM
On trouve facilement qualors
min
2
_
2 et :
2
I

1
2
M
t
2
M

2
I
t
o
2
I
t
est la variance de la constellation M
t
2
-QAM. On obtient donc :
2
I

2
I
t 2
2M1
3
do un gain asymptotique en fort rapport signal bruit :
g
M

3
2M1
M
symbole) et g
M
log
2
M g
M
(dB) g
M
log
2
M (dB)
4 -3.01 0
8 -6.99 -2.22
16 -10.00 -3.98
32 -13.22 -6.23
64 -16.23 -8.45
bruit, pour la modulation M-QAM
e
0 5 10 15 20 25 30 35
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
SNR (dB)
E
r
r
o
r

R
a
t
e
M=4 M=8 M=16
M=32 M=64
0 5 10 15 20 25 30 35
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
Bit SNR Eb/No (dB)
E
r
r
o
r

R
a
t
e
M=4 M=8
M=16
M=32 M=64
FIG. 4.8 Performances de la Modulation M-QAM en fort rapport signal bruit,
Chapitre 5
Performances de systmes cods
en blocs
5.1 Distribution de distances dun code
5.1.1 Les coefcients A
d
Nous avons dj mentionn au 3.7 limportance que revt la distribution des
distances dun code C pout lvaluation de la probabilit derreur dun systme,
en particulier celle du paramtre
A
d

1
M
x
A
d
(x)
1
M
Card{(x, x
t
) [ d
H
(x, x
t
) d}
Cest le nombre moyen de mots de code situs une distance d dun mot de code
donn. Ici le type de distance utilis est la distance de Hamming.
Nous allons dterminer les coefcients

A
d
pour un certain nombre de codes
q-aires (dnis sur F
q
) de paramtres (n, k, d
min
). Nous verrons que ceci est
indispensable pour lvaluation des performances dun systme cod :
sur un canal discret (q-SC) ;
en dcodage hard sur canal gaussien ou de Rayleigh;
et mme en dcodage soft lorsque le code est binaire (q 2).
Dans la suite on se limitera aux codes linaires, qui sont les plus utiliss en
pratique.
Pour un code linaire la dnition de

A
d
se simplie. En effet, pour tout mot
de code x C, le code translat par x coincide avec le code lui-mme qui nest
65
66 CHAPITRE 5. SYSTMES CODS ENBLOCS
autre que le code translat par le mot de code nul 0 (0, 0, . . . , 0). En dautres
termes, on a : x +C C. Il en rsulte que le nombre A
d
(x) de mots de code situs
une distance d dun mot de code donn x est indpendant du mot de code x
choisi. On peut donc crire :
A
d
(x) A
d
(0) A
d
o A
d
est, par dnition, le nombre de mots de code de poids d :
A
d
Card{x C [ w
H
(x) d}
Finalement, pour un code linaire, on aboutit :
A
d
A
d
et il reste dterminer les coefcients A
d
.
Un certain nombre de proprits des coefcients A
d
sont videntes :
_
_
A
0
1
A
d
0 pour 0 d d
min
1 et d >n
n
d0
A
d
q
k
qui proviennent, respectivement, du fait que :
Le mot de code nul est le seul mot de code de poids nul ;
la distance minimale (poids minimimum) du code est d
min
;
le nombre total de mots de code est q
k
.
5.1.2 Polynme numrateur de poids
Plutt que de dterminer lensemble des A
d
, on prfre souvent trouver les
valeurs des A
d
sous forme compacte en dterminant le polynme numrateur
de poids du code, dni par :
A(z)
n
d0
A
d
z
d
1+
n
dd
min
A
d
z
d
Une mthode gnrale pour dterminer A(z) consiste lister tous les mots de
code et dnombrer leurs poids. La liste des mots de code sobtient en calculant
toutes les combinaisons linaires des lignes dune matrice gnratrice du code.
5.1. DISTRIBUTIONDE DISTANCES DUNCODE 67
Cette mthode exhaustive nest faisable, en pratique, que lorsque la dimension k
du code est trs petite.
Pour certaines familles de codes on peut dterminer directement A(z). Voici
deux exemples triviaux de dtermination de A(z) pour des codes binaires :
Code rptition (n, 1, n). Il y a deux mots de code : 0 et (1, 1, . . . , 1) de poids
n donc :
A(z) 1+z
n
Code Simplexe (2
m
1, m, 2
m1
). Cest le dual du code de Hamming. On
peut montrer que les 2
m
1 mots de codes non nuls ont tous le mme poids
d
min
2
m1
. Donc :
A(z) 1+(2
m
1)z
2
m1
.
5.1.3 Identit de Mac Williams
Une autre mthode gnrale de dtermination de A(z) consiste dterminer
dabord le polynme numrateur de poids B(z) du code dual (n, n k). Ceci est
faisable de manire exhaustive lorsque n k est petit : il suft de lister tous les
mots du code dual (combinaisons linaires des lignes de la matrice de parit du
code initial).
Une fois le polynme numrateur B(z) du code dual dtermin, on en
dduit immdiatement le polynme numrateur de poids A(z) recherch en
appliquant lidentit de Mac Williams :
q
nk
A(z) (1+(q 1)z)
n
B
_
1z
1+(q 1)z
_
La dmonstration gnrale fait appel des notions dalgbre pousses. On trou-
vera dans lexercice 7.6 une dmonstration dans le cas binaire o lidentit de
Mac Williams devient :
2
nk
A(z) (1+z)
n
B
_
1z
1+z
_
Lidentit de Mac Williams est trs utile pour dterminer A(z) pour certaines
familles de codes bien connues. Voici deux exemples dans le cas binaire :
Code parit (n, n 1, 2). Cest le dual du code rptition (n, 1, n) donc,
daprs lexemple ci-dessus, B(z) 1+z
n
. Appliquant lidentit de Mac Williams
on trouve immdiatement :
A(z)
1
2
[(1+z)
n
+(1z)
n
]
On retrouve que pour le code parit, tous les mots de code sont de poids pair
(A
2d+1
0) et on a A
2d
C
2d
n
, formule quon aurait pu tablir directement.
Code de Hamming (2
m
1, 2
m
1m, 3). Cest le dual du code simplexe de
lexemple ci-dessus, pour lequel B(z) 1+(2
m
1)z
2
m1
. En appliquant lidentit
de Mac Williams on trouve immdiatement :
A(z)
1
2
m
(1+z)
n
_
1+n
_
1z
1+z
_n+1
2
_
1
2
m
_
(1+z)
n
+n(1z)(1z
2
)
n1
2
_
On peut vrier quon a bien A
0
1, A
1
A
2
0 et A
3

n(n1)
6
/ 0, do on
retrouve que d
min
3.
5.1.4 Enumration de poids dun code moyen*
Nous verrons au chapitre 6 que lorsque n est trs grand, un code (non linaire)
choisi au hasard, selon une loi de probabilit uniforme sur les symboles, a des
chances dtre bon. On utilise parfois cette rgle pour estimer grossirement
les coefcients

A
d
lorsque le code est trs long, en les identiant leurs valeurs
moyennes.
Lexercice 7.10 montre que la valeur moyenne de

A
d
selon ce tirage alatoire
est donn par :
E(

A
d
)
C
d
n
(q 1)
d
q
nk
Cette approximation est parfois assez bonne, comme le montre lexemple des
codes de Reed-Solomon (n q 1, k, n k +1) pour lesquels (voir exercice 7.7) :
A
d
C
d
n
(q 1)
(q 1)
d1
q
nk

o loprateur
M
i N
q
i
M
i 0
q
i
supprime les puissances ngatives de q
dans un dveloppement en srie de Laurent.
5.2. PERFORMANCES SUR LE CANAL Q-SC 69
5.2 Performances sur le canal q-SC
Ltude des performances dun code q-aire (n, k, d
min
) sur le canal q-SC est
utile pour valuer ses performances en dcodage hard sur canal gaussien et canal
de Rayleigh. Le cas du canal BEC ( effacement) est trait dans lexercice 7.16.
Dans cette section, on suppose tout dabord que le dcodage est complet,
i.e., le dcodeur trouve toujours le mot de code x le plus proche (au sens de la
distance de Hamming) du mot reu y.
5.2.1 Mot de code nul mis
Pour les codes linaires, la dtermination de la probabilit derreur par mot
se simplie. En effet, dans lexpression
P
e

1
M
x
P
e[x
on peut montrer que P
e[x
est indpendant de x de la faon suivante. Nous savons
que :
P
e[x

y
p(y[x) 1
x
t
/x /p(y[x)p(y[x
t
)
Or, sur un canal q-SC nous avons vu que p(y[x) ne dpend que du poids de y x.
On peut donc faire le changement de variable y y x pour obtenir :
P
e[x

y
p(y[0)1
x
t
/x /p(y[0)p(y[x
t
x)
Puisque le code est linaire, lorsque x
t
dcrit lensemble des mots de code /x, la
diffrence x
t
x dcrit lensemble des mots de code non nuls. On arrive donc :
P
e[x
P
e[0
x C
et ainsi :
P
e
P
e[0
Ainsi, non seulement lexpression de la probabilit derreur se simplie, mais
aussi on peut toujours supposer que cest le mot de code nul qui a t mis. Cela
facilite grandement la dtermination de P
e
.
5.2.2 Borne de lunion
Avec la simplication P
e
P
e[0
, la borne de lunion scrit :
P
e
x/0
P
0x
et on a vu que la probabilit derreur par paire P
0x
ne dpend que de d
d
H
(0, x) w
H
(x). On a obtenu, au chapitre 3, lexpression exacte de P
0x
sous
la forme :
P
0x
f (d)
avec, par exemple :
f (d)
d
i ]
d
2
]
C
i
d
p
i
(1p)
di
lorsque le code est binaire (q 2). En regroupant les termes de mme poids on
obtient donc une formule du type :
P
e
dd
min
A
d
f (d)
Noter que cette formule est en accord avec la formule gnrale donne au cha-
pitre 3, puisque

A
d
A
d
pour un code linaire. Ainsi, pour un code binaire, on
a :
P
e
dd
min
A
d
d
i ]
d
2
]
C
i
d
p
i
(1p)
di
On approxime souvent ces expressions par leurs quivalents lorsque p 0.
En dcodage hard sur canal gaussien, cela correspond une hypothse de fort
rapport signal bruit. Pour le canal q-SC en gnral, on a vu au chapitre 3 que
f (d) C
]
d
2
]
d
p
]
d
2
]
do
P
e
A
d
min
C
]
d
min
2
]
d
min
p
]
d
min
2
]
.
5.2.3 Borne de lunion + Bhattacharyya
En appliquant la borne de Bhattacharyya :
P
0x
f (d)
d
o d w
H
(x) et
2
_
p(1P) +(q 2)p
la borne de lunion sur la probabilit derreur se simplie encore :
P
e
dd
min
A
d
d
cest dire :
P
e
A() 1
o A(z) est le polynme numrateur de poids du code linaire.
5.2.4 Calcul exact*
Rappelons quon peut toujours effectuer, en pratique, un dcodage complet
en utilisant le calcul du syndrme, qui caractrise le coset leader
1
y x, o x est
le mot de code le plus proche du mot reu y. Une fois le syndrme calcul, il
suft de soustraire y le coset leader correspondant pour obtenir le mot de code
le plus proche (au sens de la distance de Hamming). Cet algorithme de dcodage
complet ncessite, en pratique, de prcalculer et de mmoriser q
nk
syndrmes
et q
nk
coset leaders. Cette mthode nest donc faisable que lorsque nk est trs
petit (typiquement n k 11).
Connaissant la liste des coset leaders il est facile dvaluer P
e
P
e[0
: Cest
la probabilit que le vecteur derreur e y x y soit diffrent de tous les
coset leaders. Puisque la probabilit que e soit un coset leader de poids d est
p
d
(1P)
nd
, en notant
d
le nombre de coset leaders de poids d, on obtient :
P
e
1
d0
d
p
d
(1P)
nd
Cest lexpression exacte de la probabilit derreur par mot.
En rgle gnrale, il est difcile dvaluer les coefcients
d
pour un code
donn. Le meilleur moyen est encore de construire la liste des q
nk
syndrmes et
leurs coset leaders associs, ce qui demande une complexit de calcul exponen-
tielle (q
nk
). On a nanmoins un certain nombre de proprits immdiates
1. Une traduction possible est : chef de classe. Cest un reprsentant de poids minimum de
la classe dquivalence de y (modulo le code).
des
d
:
_
d0
d
q
nk
d
(q 1)
d
C
d
n
d 0
d
(q 1)
d
C
d
n
pour 0 d ]
d
min
1
2
]
d
0 pour d > (rayon de recouvrement du code)
qui proviennent, respectivement, du fait que :
Il y a au total q
nk
coset leaders.
Le nombre total de mots F
n
q
de poids d est (q 1)
d
C
d
n
.
Lorsque d est infrieur ou gal la capacit de correction du code, tous les
mots de poids d sont des coset leaders (sont corrigibles).
Le rayon de recouvrement est, par dnition, la plus grande distance de
Hamming possible entre y et un mot de code (sa dtermination est presque
aussi difcile que celle des
d
).
5.2.5 Une borne classique
Une majoration simple et utile de P
e
sobtient facilement en notant quun
mot y sera corrigible ds lors que d
H
(x, y) ]
d
min
1
2
], la capacit de correction
du code. Do :
P
e
P
e[0
Pr {d
H
(0, y) w
H
(y) ]
d
min
2
]}
Puisque la probabilit que y soit de poids d est gale C
d
n
(q 1)
d
p
d
(1P)
nd
C
d
n
P
d
(1P)
nd
, il vient :
P
e
d]
d
min
2
]
C
d
n
P
d
(1P)
nd
Noter que cette borne se retrouve facilement partir du calcul exact donn dans
la section prcdente, en tenant compte de
d
(q1)
d
C
d
n
pour 0 d ]
d
min
1
2
]
et
d
0 sinon.
Il est important de noter que cette borne classique est exacte lorsque le code
est parfait, car alors les boules de rayon ]
d
min
1
2
] recouvrent tout lespace F
n
q
(de
sorte que y est corrigible si et seulement si d
H
(x, y) ]
d
min
1
2
]). Cette remarque
ne concerne que quelques codes non triviaux (codes de Hamming et de Golay).
5.2.6 Comparaison avec la borne de lunion*
Lorsque p 0, un quivalent de la borne classique (du paragraphe prc-
dent) est donn par :
P
e
C
]
d
min
2
]
n
(q 1)
]
d
min
2
]
p
]
d
min
2
]
.
comparer avec ce quon avait obtenu par la borne de lunion :
P
e
A
d
min
C
]
d
min
2
]
d
min
p
]
d
min
2
]
.
Laquelle des deux bornes est la meilleure ? Il est facile de voir que les deux
bornes (ou plutt leurs quivalents lorsque p 0) sont identiques pour les
codes binaires suivants :
Code rptition (n, 1, n) : On a A
n
1 do A
d
min
C
]
d
min
2
]
d
min
C
]
n
2
]
n
C
]
d
min
2
]
n
.
Code parit (n, n 1, 2) : On a A
2
C
2
n
do A
d
min
C
]
d
min
2
]
d
min
C
2
n
C
2
2
C
2
n

C
]
d
min
2
]
n
.
Code de Hamming (2
m
1, 2
m
1 m, 3) : On a A
3

n(n1)
6

C
2
n
3
do
A
d
min
C
]
d
min
2
]
d
min
C
2
n
3
C
2
3
C
2
n
C
]
d
min
2
]
n
.
Code de Golay (23, 12, 7) : On a A
7
253 do A
d
min
C
]
d
min
2
]
d
min
253 C
4
7

C
4
23
C
]
d
min
2
]
n
.
La situation est diffrente pour les codes simplexes o on a les rsultats suivants
(A
d
min
n) :
A
d
min
C
]
d
min
2
]
d
min
C
]
d
min
2
]
n
Simplexe (7,3,4) 42 21
(15,4,8) 1050 1365
(31,5,16) 398970 7888725
Pour les codes (q-aires) de Reed-Solomon (n q 1, k n 2t , d
min
2t +1)
corrigeant t erreurs, ona A
d
min
(q1)C
d
min
n
daprs lexercice 7.7, do les valeurs
suivantes des constantes :
(q 1)
]
d
min
2
]
C
]
d
min
2
]
n
n
t +1
C
t +1
n
pour la borne classique et
A
d
min
C
]
d
min
2
]
d
min
nC
2t +1
n
C
t +1
2t +1
nC
t
nt +1
C
t +1
n
pour la borne de lunion. Il en rsulte que la borne de lunion est ici toujours
meilleure (asymptotiquement lorsque p 0) puisque
C
t
nt +1
i 1
n t i
i

t
i 1
n n
t
.
On peut montrer, plus gnralement, que si d
min
est impair, disons d
min
2t +1, alors la borne de lunion est toujours meilleure (asymptotiquement lorsque

p 0), cest dire :
A
d
min
C
]
d
min
2
]
d
min
A
d
min
C
t +1
d
min
(q 1)
t +1
C
t +1
n
(q 1)
]
d
min
2
]
C
]
d
min
2
]
n
En effet, les mots de poids t +1 distance t dun mot de code x donn (qui
sera forcment de poids d
min
2t +1) sobtiennent en annulant t composantes
de x parmi les d
min
non nulles. Il y en a donc C
t
d
min
C
t +1
d
min
. Au total il y a par
consquent A
d
min
C
t +1
d
min
mots de poids t +1 situs distance t dun mot de code.
Mais puisque le nombre total des mots de code de poids t +1 est (q 1)
t +1
C
t +1
n
,
on a bien A
d
min
C
t +1
d
min
(q 1)
t +1
C
t +1
n
.
5.2.7 Taux derreur rsiduel
Il est souvent plus parlant dvaluer la probabilit derreur par symbole (par
bit si le code est binaire) plutt que par mot. Cette probabilit derreur est dnie
par :
P
e/s
1
k
E(w
H
(
I I ))
o I et

I sont les mots dinformation mis et dcod, respectivement.
Il est difcile dvaluer directement P
e/s
. Le meilleur moyen serait de dter-
miner dabord le tableau standard du code, cest dire le tableau de tous les mots
reus y possibles, arrangs par classe. En supposant que le mot de code nul est
mis, on dispose alors de la liste de tous les mots y qui sont dcods en un mot
dinformation donn i i (y), et il suft de dnombrer :
P
e/s
1
k
i
w
H
(i )
y[i (y)i
p
w
H
(y)
(1P)
nw
H
(y)
.
Cest videmment une tche extrment fastidieuse.
Pour simplier lvaluation, on fait souvent lhypothse (plus ou moins ra-
liste selon le codeur) que les symboles errons sont quirpartis entre symboles
5.3. PERFORMANCES ENDCODAGE INCOMPLET* 75
dinformation et de contrle. Sous cette hypothse, P
e/s
est gal au taux derreur
rsiduel :
P
e/s
1
n
E(w
H
(

X X))
L encore, une valuation prcise du taux derreur rsiduel est difcile elle
peut sobtenir partir du tableau standard par une mthode similaire celle
dcrite ci-dessus mais on peut obtenir un encadrement en remarquant quun
mot erron produit, au mieux, d
min
symboles errons do w
H
( x x) d
min
,
et au pire, w
H
( x x) n symboles errons. Ainsi :
d
min
n
P
e
P
e/s
P
e
Une approximation gnralement adopte (mais discutable) est :
P
e/s
d
min
n
P
e
Elle provient du raisonnement approximatif suivant : Avec une forte probabilit,
en cas derreur, x est voisin du mot de code 0 mis, donc situ une distance
d
min
de celui-ci.
Remarquons que les probabilits derreur par mot et par symbole sont tou-
jours du mme ordre de grandeur. On peut donc dire que la comparaison des
performances de diffrents systmes cods se fait aussi bien en termes de proba-
bilit derreur par mot P
e
quen termes de probabilit derreur par symbole P
e/s
.
Dans ce document on se limitera donc souvent lvaluation de P
e
.
5.3 Performances en dcodage incomplet*
5.3.1 Gnralits*
Jusqu prsent on a suppos que le dcodeur tait complet, cest--dire
quil trouve toujours le mot de code x le plus proche (au sens de la distance de
Hamming) du mot reu y. Trs souvent, lorsquon dispose dun algorithme de
dcodage efcace, il est incomplet : il ne garantit la correction que dun certain
nombre t derreurs. Autrement dit, il ne trouve le mot de code x le plus proche
du mot reu y qu la condition que d
H
(y, x) t .
Noter que le paramtre t est ici dni comme la capacit de correction de
lalgorithme de dcodage incomplet considr. Il est, en gnral, infrieur ou
gal la capacit de correction du code ]
d
min
1
2
], qui est le maximum derreurs
que lon pourrait corriger avec ce code (et un autre algorithme de dcodage). Par
exemple, les algorithmes classiques de dcodage dun code BCH permettent de
corriger jusqu t ]
d
BCH
1
2
] erreurs, o d
BCH
est la distance BCH du code. Cette
dernire nest pas toujours gale d
min
. On peut avoir d
BCH
<d
min
comme dans
lexemple du code de Golay binaire (23, 12) o d
min
7 et d
BCH
5.
FIG. 5.1 Les trois rgions de dcodage. Sont reprsentes les boules de rayon t
autour des mots de code. Zone grise : rgion de dcodage correct (boule de rayon
t centre sur le mot de code mis x 0). Zone hachure : rgion de dcodage
incorrect (boules de rayon t centres sur les autres mots de code). Zone blanche :
Rgion de non-dcodage (interstices entre les boules).
Selon la position du mot reu y par rapport aux mots de code on doit distin-
guer trois congurations possibles (cf. Fig. 5.1) :
1. Le mot reu y est une distance t du mot de code mis x (zone grise
sur la Fig. 5.1) : d
H
(x, y) t . Dans ce cas, lalgorithme de dcodage dcode
correctement x. La probabilit correspondante est appele P
c
(probabilit
de dcodage correct).
2. Le mot reu y est une distance t dun autre mot de code x
t
diffrent
de celui mis (zone hachure sur la Fig. 5.1) : x
t
/ x [ d
H
(x
t
, y) t . Dans
ce cas, lalgorithme de dcodage fournit x
t
(et se trompe donc, mais na
aucun moyen de savoir quil se trompe). La probabilit correspondante est
appele P
i
(probabilit de dcodage incorrect).
3. On ne se trouve dans aucun des deux cas ci-dessus. Autrement dit, le mot
reu y est une distance > t de tout mot de code (la zone blanche sur
la Fig. 5.1) : x
t
, d
H
(x
t
, y) >t . Dans ce cas, lalgorithme de dcodage est (en
gnral) capable de savoir quon est dans cette situation (en dtectant plus
de t erreurs dans le mot reu). La probabilit correspondante est appele
P
n
(probabilit de non-dcodage decoding failure en anglais).
On a bien entendu
P
c
+P
i
+P
n
1
de sorte quil suft de dterminer deux de ces trois probabilits pour valuer
les performances du dcodeur incomplet. Cest ce quon va faire dans les para-
graphes suivants.
Plusieurs stratgies sont envisageables au dcodeur, selon ce quon dcide de
faire dans le cas 3) ci-dessus, cest dire lorsque y est trop loign dun mot de
code. On les classe souvent dans deux catgories :
5.3.2 Stratgie ARQ*
La stratgie ARQ (Automatic Repeat reQuest) consiste, lorsque y est dans la
rgion de non-dcodage, demander la retransmission du mot de code x en le
signalant sur une voie de retour.
Noter que si t >0, cest une stratgie mixte correction-dtection derreurs.
En effet, on corrige si y est une distance t dun mot de code, mais on se
contente de dtecter lerreur (en demandant une retransmission) dans le cas
contraire.
Un cas extrme souvent utilis (par exemple en tlinformatique) est le cas
t 0 : Il correspond une dtection pure (sans correction derreur) ; on demande
la retransmission ds lors que y nappartient pas au code.
En stratgie ARQ (quelque soit la valeur de t ) il ny aura, au bout du compte,
erreur que dans le cas o y se trouve dans la rgion de dcodage incorrect. La
probabilit derreur par mot est donc ici :
P
e
P
i
1P
c
P
n
Cette probabilit derreur est en gnral bien plus faible que pour une strat-
gie FEC (voir ci-dessous). Le prix payer est lutilisation dune voie de retour et
les problmes de dlai de retransmission et de synchronisation que cela suppose.
Mme en admettant, pour simplier, que la demande de retransmission est
instantane (sans dlai) ds dtection dun mot incorrigible
2
(et se fait sans
erreur !), on aboutit videmment une diminution du rendement du code (donc
une perte en dbit) que lon peut quantier : Puisquun mot de code est retrans-
mis avec une probabilit P
n
, la probabilit quun mot soit transmis r fois au total
(les r 1 premires chouant et la r me tant la bonne) est P
r 1
n
(1P
n
). Par
consquent, le nombre moyen de (re)transmissions ncessaire par mot est :
E(r )
r 1
r P
r 1
n
(1P
n
)
1
1P
n
.
Ainsi, un mot dinformation de k symboles correspond, en moyenne,
n
1P
n
symboles cods, de sorte que le rendement moyen nest plus k/n, mais
R (1P
n
)
k
n
Le cas du canal binaire effacement en stratgie ARQ est trait dans lexer-
cice 7.16.
5.3.3 Stratgie FEC*
La stratgie FEC (Forward Error Correction) consiste dcoder tous les
coups. Le dcodeur fournit systmatiquement un mot x, mme si y est dans la
rgion de non-dcodage. Cest la seule stratgie envisageable dans un systme
de stockage (disques compacts digitaux par exemple) puisque les donnes sont
codes et stockes sur support physique une fois pour toutes. Cest aussi une
stratgie souvent utilise en transmission de donnes lorsque les exigences du
temps rel interdisent toute retransmission.
La probabilit derreur par mot est alors :
P
e
1P
c
P
i
+P
n
Elle est plus leve que dans le cas dune stratgie ARQ mais permet une plus
grande simplicit du systme et un temps doccupation du canal moindre.
2. delayless noiseless feedback en anglais
c
(en FEC)*
Le calcul exact de P
c
(qui donne la probabilit derreur 1P
c
en FEC) est
trs simple. En supposant, comme dhabitude, que le mot de code nul 0 est mis,
il y a dcodage correct lorsque w
H
(y) t , do :
P
c

t
d0
C
d
n
(q 1)
d
p
d
(1P)
nd
d0
C
d
n
P
d
(1P)
nd
On obtient donc en stratgie FEC :
P
e
1P
c

n
dt +1
C
d
n
P
d
(1P)
nd
do un quivalent lorsque p 0 :
P
e
C
t +1
n
(q 1)
t +1
p
t +1
.
En stratgie FEC il est plus intressant dvaluer la probabilit derreur par sym-
bole (taux derreur rsiduelle). Ceci est fait en section 5.3.7.
i
(en ARQ)*
Le calcul exact de P
i
(qui donne la probabilit derreur en ARQ) est plus
compliqu mais reste tractable. En supposant, comme dhabitude, que le mot de
code nul 0 est mis, on peut dcomposer :
P
i

x/O
P
i
(x)
o P
i
(x) est la probabilit que y se trouve une distance t du mot de code
(non nul) x, quon peut nouveau dcomposer en :
P
i
(x)
t
0
P
i
(x, )
o P
i
(x, ) est la probabilit que y se trouve une distance gale du mot de
code x. Cette dernire probabilit svalue facilement. On a :
P
i
(x, )
n
w0
p
w
(1P)
nw
N(w, , x)
o N(w, , x) est le nombre de mots y F
n
q
de poids w situs une distance du
mot de code x. Il ne reste plus qu le calculer en dnombrant :
1. Le nombre a des positions i correspondant un symbole nul de x (x
i
0)
parmi n w
H
(x) pour lesquels le symbole correspondant de y est non
nul (y
i
/0). Pour un tel nombre a donn, il y a (q 1)
a
C
a
nw
H
(x)
choix pour
ces (i , y
i
).
2. Le nombre b des positions i correspondant un symbole non nul de x
(x
i
/0) parmi w
H
(x) pour lesquels le symbole correspondant de y est
non nul et diffrent de x
i
. Pour un tel nombre b donn, il y a (q 2)
b
C
b
w
H
(x)
choix pour ces (i , y
i
). Noter que b 0 en binaire (q 2).
3. Le nombre c des positions i correspondant un symbole non nul de x (x
i
/
0) parmi les w
H
(x) b restants pour lesquels le symbole correspondant
de y est nul (y
i
0). Pour un tel nombre c donn, il y a C
c
w
H
(x)b
choix pour
ces (i , y
i
).
4. Les n (a +b +c) positions i restantes sont telles que y
i
x
i
.
Puisquau total on doit avoir
_
_
_
a +b +c d
H
(x, y)
w
H
(x) +a c w
H
(y) w
on obtient :
N(w, , x)
a,b,c
a+b+c
a+w
H
(x)c+w
(q 1)
a
(q 2)
b
C
a
nw
H
(x)
C
b
w
H
(x)
C
c
w
H
(x)b
.
Deux remarques utiles : N(w, , x) ne dpend que du poids de x, il sera dorna-
vant not N(w, , w
H
(x)). Par ailleurs, daprs la dnition de N(w, , w
H
(x)), on
doit avoir N(w, , w
H
(x)) 0 ds lors que w < w(x) ou w > w(x) +. Cest
effectivement le cas avec la formule obtenue, puisque la contrainte sous le signe
somme donne dune part w a +w
H
(x) c w
H
(x) +2a +b w
H
(x) et
dautre part w a +w
H
(x) c w
H
(x) 2c b + w
H
(x) +.
On obtient donc nalement, en regroupant les diffrentes quations obte-
nues :
P
i

x/0
t
0
w
H
(x)+
ww
H
(x)
p
w
(1P)
nw
N(w, , x)
do, en regroupant les mots de code x /0 suivant leurs poids d w
H
(x) :
P
i

n
dd
min
t
0
d+
wd
p
w
(1P)
nw
A
d
N(w, , d)
o les A
d
sont les coefcients numrateurs des poids du code et o :
N(w, , d)
a,b,c
a+b+c
a+dc+w
(q 1)
a
(q 2)
b
C
a
nd
C
b
d
C
c
db
.
Dans le cas binaire (q 2), la formule donnant N(w, , d) se simplie car
ncessairement b 0, do
N(w, , d)
a,c
a+c
a+dc+w
C
a
nd
C
c
d

_
_
C
+wd
2
nd
C
w+d
2
d
si +w+d est pair,
0 sinon.
Que ce soit en binaire ou en q-aire, on approxime souvent, en stratgie ARQ,
P
e
P
i
par son quivalent lorsque p 0. Rappelons quen dcodage hard sur
canal gaussien, cela correspond une hypothse de fort rapport signal bruit. Ici
on obtient facilement, lorsque p 0,
P
e
p
d
min
t
A
d
min
N(d
min
t , t , d
min
)
La quantit N(d
min
t , t , d
min
) se dtermine aisment en notant que, avec les
contraintes sur a, b, c, on a ncessairement a b 0 et c t do N(d
min
t , t , d
min
) C
t
d
min
et
P
e
A
d
min
C
t
d
min
p
d
min
t
Noter quici, en ARQ, la puissance dominante de p est d
min
t alors quelle
tait gale t +1 en FEC. Puisquen gnral t ]
d
min
1
2
], on a t +1 d
min
t et
le gain sur la probabilit derreur est plus important en ARQ quen FEC, comme
on sy attendait.
Noter encore que ce gain augmente avec t en FEC (on a intrt corriger le
plus derreurs possibles), alors quau contraire il diminue en ARQ : du seul point
de vue de P
e
, on a intrt corriger le moins derreurs possibles et donc en
dtecter le plus possible. Le prix payer, comme on la vu, est une diminution du
rendement moyen du code.
5.3.6 Cas de la dtection pure*
On a vu que le code est utilis en dtection pure derreurs lorsque t 0 en
stratgie ARQ. Autrement dit, tout mot reu y nappartenant pas au code est
rejet (on demande la retransmission du mot de code).
Dans ces conditions, la probabilit derreur par mot est gale la probabi-
lit que y soit un mot de code diffrent de celui qui a t mis. On a donc, en
supposant, comme dhabitude, que le mot de code nul est mis :
P
e

x/0
p
w
H
(x)
(1P)
nw
H
(x)
,
do, en regroupant les mots de code x suivant leur poids d w
H
(x) :
P
e

n
dd
min
A
d
p
d
(1P)
nd
o les A
d
sont les coefcients numrateurs des poids du code. On retrouve vi-
demment cette expression comme cas particulier de la formule gnrale donne
la section prcdente en notant que N(w, 0, d) vaut 1 si w d et vaut 0 sinon.
Lorsque p est trs faible (asymptotiquement p 0), on obtient :
P
e
A
d
min
p
d
min
.
5.3.7 Taux derreur rsiduel en FEC*
En utilisant les mmes outils que pour le calcul de P
i
on peut calculer le taux
derreur rsiduel :
P
e/s
1
n
E(w
H
(

X X))
obtenu en stratgie FEC. A cette occasion, il faut prciser quelle est la stratgie
adopte lorsque le mot reu y se trouve dans la rgion de non-dcodage :
Une possibilit serait de fournir un mot de code x cote que cote, provenant
ventuellement de lalgorithme de dcodage utilis, mais sans garantie quil
sagisse du mot de code le plus proche de y. Il se peut fort, dans ces conditions,
que le dcodeur, en fournissant un mot de code x, produise encore plus derreurs-
symbole que ceux introduits par le canal (d
H
( x, y) >d
H
(x, y)).
Une stratgie plus raisonnable, qui est souvent adopte, consiste, pour le
dcodeur, laisser y en ltat lorsque celui-ci se trouve dans la rgion de non-
dcodage. En dautres termes, la sortie du dcodeur est alors gale son entre, et,
bien que le mot dcod x y nappartienne pas au code, tout au moins garantit-
on que le dcodeur nempire pas la situation (naugmente pas le taux derreur par
symbole). On adopte ici cette stratgie pour le calcul du taux derreur rsiduel.
En se ramenant au cas o le mot de code nul est mis on peut crire :
P
e/s
P
e/s[0
1
n
y
p
w
H
(y)
(1P)
nw
H
(y)
w
H
( x).
Suivant la rgion de dcodage atteinte par y on a :
1. w
H
( x) 0 lorsque le dcodage est correct (cest dire w
H
(y) t ). Cette
situation ne contribue videmment pas au calcul du taux derreur.
2. w
H
( x) d lorsque y se trouve en rgion de dcodage incorrect, une
distance t autour du mot de code x de poids d. Daprs la section 5.3.5
le nombre de mots y de poids w concerns est gal
t
0
N(w, , d).
3. w
H
( x) w lorsque y (de poids w > t ) se trouve dans la rgion de non-
dcodage, et est laiss en ltat par le dcodeur. Daprs la section 5.3.5 le
nombre de mots y de poids w concerns est gal
(q 1)
w
C
w
n

n
dd
min
A
d
t
0
N(w, , d).
car il y a, au total, (q1)
w
C
w
n
mots de poids w et
n
dd
min
A
d
t
0
N(w, , d)
mots (de poids w >t ) en rgion de dcodage incorrect.
On obtient donc, en regroupant les mots y suivant leur poids et la rgion
laquelle ils appartiennent :
P
e/s
1
n
w>t
p
w
(1P)
nw
_
n
dd
min
d A
d
t
0
N(w, , d) + w
_
(q 1)
w
C
w
n

n
dd
min
A
d
t
0
N(w, , d)
_
_
,
do nalement :
P
e/s
w>t
p
w
(1P)
nw
_
w
n
(q 1)
w
C
w
n
+
n
dd
min
d w
n
A
d
t
0
N(w, , d)
_
.
Il est possible dexpliciter deux quivalents diffrents du taux derreur rsi-
duel quand p 0 (fort rapport signal bruit en dcodage hard). [Rappelons
que la probabilit derreur par mot vaut, en FEC, P
e
(q 1)
t +1
C
t +1
n
p
t +1
asymp-
totiquement lorsque p 0.]
Tout dabord, si lalgorithme de dcodage exploite totalement la capacit de
correction du code, cest dire si d
min
2t +1, il est facile de voir (sachant que
N(t +1, t , 2t +1) C
t
2t +1
, cf. section 5.3.5) que
P
e/s
_
t +1
n
(q 1)
t +1
C
t +1
n
+
t
n
A
d
min
C
t
d
min
_
p
t +1
Daprs la section 5.2.6, on a (puisque d
min
2t +1) : A
d
min
C
t
d
min
(q 1)
t +1
C
t +1
n
,
do la majoration :
P
e/s
d
min
n
(q 1)
t +1
C
t +1
n
p
t +1
d
min
n
P
e
On aurait pu obtenir le mme rsultat autrement, en faisant lhypothse (pessi-
miste) que, lorsque le dcodage nest pas correct, le mot dcod x contient, au
pire, t erreurs de plus que y : w
H
( x) w
H
(y) +t , do la majoration :
P
e/s

w>t
w+t
n
C
w
n
(q 1)
w
p
w
(1P)
nw
.
qui donne la mme borne lorsque p 0.
Lautre cas correspond d
min
>2t +1 (lalgorithme de dcodage nexploite pas
totalement la capacit de correction du code). Il est alors facile de voir (sachant
que N(w t +1, , d
min
) 0 puisque t +1 <d
min
t , cf. section 5.3.5) que lon a,
asymptotiquement lorsque p 0,
P
e/s
t +1
n
(q 1)
t +1
C
t +1
n
p
t +1
t +1
n
P
e
En rsum, on a obtenu, pour le taux derreur rsiduel, une approximation
du type :
P
e/s

n
P
e
o varie entre t +1 et d
min
, suivant le type de dcodage et de code utilis. En
comparant avec la section 5.2.7, o on avait toujours P
e/s
d
min
n
P
e
en dcodage
complet, on sapercot quune stratgie FEC en dcodage incomplet peut savrer
tre plus performante. Ceci grce au fait que le dcodeur laisse le mot reu en
ltat lorsquil est trop loign dun mot de code.
5.4 Dcodage hardet soft sur le canal gaussien(cas binaire)
On limitera ici ltude aux codes binaires avec une modulation BPSK sur
canal gaussien (le cas du canal de Rayleigh est trait dans lexercice 7.8).
5.4. DCODAGE HARDET SOFT 85
Le cas des codes q-aires est beaucoup plus compliqu, surtout en dcodage
soft (o ce qui est dvelopp ici dans le cas binaire ne se gnralise pas). Lutilisa-
tion de codes q-aires fait appel la notion de modulation code et dborde du
cadre de ce cours.
Rappelons que la modulation BPSK associe chaque symbole binaire x 0
ou 1 un symbole x de la constellation BPSK. Par exemple, si le canal gaussien est
rel :
_
_
_
x 0 x +
_
E
m
x 1 x
_
E
m
Dans la suite on suppose le canal rel, mais les calculs sont videmment ana-
logues et donnent des rsultats identiques pour un canal complexe.
Noter que E
m
est lnergie moyenne par bit cod (composante dun mot de
code C). Pour le calcul des performances dusystme, il faut ramener cette nergie
lnergie par bit dinformation E
b
. Puisque k bits dinformation correspondent
n bits cods, on a kE
b
nE
m
do :
E
m
RE
b
o R
k
n
est le rendement du code.
5.4.1 Mode de code nul mis
En gnral, on a affaire un canal symtrique, cest dire :
p(y[ x
_
E
m
) p(y[ x
_
E
m
)
Ceci est valable en particulier pour le canal gaussien et le canal de Rayleigh
(cf. formules donnant p(y[x)). Avec cette seule hypothse, on va simplier la
dtermination de la probabilit derreur de la mme manire que dans le cas du
canal q-SC trait ci-dessus.
On peut en effet montrer que, pour tout x C, P
e[x
P
e[0
de la manire
suivante. Par dnition :
P
e[x

_
y
1

_
y
n
i
p(y
i
[x
i
) 1
{x
t
(x
t
1
,...,x
t
n
) [
i
p(y
i
[x
t
i
)
i
p(y
i
[x
i
)}
dy
1
dy
n
Effectuons le changement de variable :
_
_
_
y
t
i
y
i
si x
i
+
_
E
m
, i.e., x
i
0
y
t
i
y
i
si x
i

_
E
m
, i.e., x
i
1
Alors, puisque p(y
i
[x
i
) p(y
t
i
[
_
E
m
) dans les deux cas (grce la symtrie du
canal), et puisque p(y
i
[x
t
i
) p(y
t
i
[x
t
i
x
i
) on obtient :
P
e[x

_
y
t
1

_
y
t
n
i
p(y
t
i
[
_
E
m
) 1
{x
t
[
i
p(y
t
i
[x
t
i
x
i
)
i
p(y
t
i
[
_
E
m
)}
dy
1
dy
n
Cette dernire expression se rduit :
P
e[x

_
y
t
p(y
t
[0) 1
{x
t
xC [ p(y
t
[x
t
x)p(y
t
[0)}
dy
t
Enn, puisque le code est linaire, lorsque x
t
dcrit lensemble des mots de code
/x, la diffrence x
t
x dcrit lensemble des mots de code non nuls. On arrive
donc :
P
e[x
P
e[0
x C
et ainsi :
P
e
P
e[0
Ainsi, non seulement lexpression de la probabilit derreur se simplie, mais
aussi on peut toujours supposer que cest le mot de code nul qui a t mis. Cela
facilite grandement la dtermination de P
e
.
5.4.2 Lien entre distances euclidienne et de Hamming
Pour un code binaire il existe un lien remarquable trs simple entre distance
de Hamming d
H
(x, x
t
) et distance euclidienne des mots correspondants : d( x,

x
t
).
En effet :
d
2
( x,

x
t
) [[ x

x
t
[[
2
i
( x
i

x
t
i
)
2
On remarque que :
( x
i

x
t
i
)
2
_
_
_
0 si x
i
x
t
i
(2
_
E
m
)
2
4E
m
sinon
et on obtient donc que les deux distances sont proportionnelles :
d
2
( x,

x
t
) 4E
m
d
H
(x, x
t
)
Ainsi, que se soit en dcodage hard ou soft, les bornes dur la probabilit derreur
vont dpendre uniquement des distances de Hamming entre mots de code.
5.4.3 Borne de lunion
En dcodage hard, nous savons que le canal discret quivalent est un BSC de
paramtre p donn par la probabilit derreur par bit de la modulation BPSK :
p Q
__
2E
m
N
0
_
Q
__
R
2E
b
N
0
_
Ainsi, daprs ci-dessus, la borne de lunion conduit lexpression (pour un code
binaire) :
P
e
dd
min
A
d
d
i ]
d
2
]
C
i
d
p
i
(1p)
di
En dcodage soft, nous savons que la probabilit derreur par paire scrit :
P
0x
Q
_
d(0, x)
_
2N
0
_
Q
__
2E
m
N
0
w
H
(x)
_
La dernire galit tient compte de la relation vue entre distance de Hamming et
distance euclidienne. La borne de lunion devient donc :
P
e
P
e[0
x/0
Q
__
2E
m
N
0
w
H
(x)
_
do, en regroupant les termes de mme poids :
P
e
dd
min
A
d
Q
__
2E
m
N
0
d
_
5.4.4 Borne de lunion + Bhattacharyya
En dcodage hard, la borne de lunion+Bhattacharyya est la mme que pour
le canal BSC avec p Q
__
2E
m
N
0
_
, soit P
e
A() 1, o 2
_
p(1p).
Etonnamment, la borne de lunion + Bhattacharyya pour le dcodage soft
prend une forme similaire. En effet, la borne de Bhattacharyya sur la probabilit
derreur par paire est :
P
0x
e
1
4N
0
d
2
(0,x)
_
e
E
m
/N
0
_
w
H
(x)
cause du lien entre distance euclidienne et distance de Hamming. On obtient
donc :
P
e
dd
min
A
d
_
e
E
m
/N
0
_
d
Cette borne est encore de la forme A() 1, avec cette fois-ci e
E
m
/N
0
.
En rsum, la borne de lunion + Bhattacharyya scrit, en dcodage hard
comme en dcodage soft :
P
e
A() 1
o :

_
_
_
2
_
p(1p) o p Q
__
2E
m
N
0
_
en dcodage hard
e
E
m
/N
0
en dcodage soft
5.4.5 Taux derreur rsiduel
Ce qui a t dit en section 5.2.7 pour la probabilit derreur par symbole et le
taux derreur rsiduel reste videmment valable ici, que ce soit en dcodage hard
ou en dcodage soft pour des codes binaires ( cause de lidentication vue entre
distances de Hamming et euclidienne). On a donc toujours lapproximation :
P
e/s
d
min
n
P
e
5.4.6 Gain asymptotique en fort rapport signal bruit
Maintenant que nous savons valuer les performances de systmes cods en
blocs en dcodage hard et soft, il est utile de prciser le gain obtenu par rapport
un systme non cod, en fonction des paramtres du code choisi.
Nous valuons ici le gain en rapport signal bruit dun code binaire par
rapport au cas non cod, cest dire au cas dun modulation BPSK simple, pour
laquelle P
e
Q
__
2E
b
N
0
_
. Nous cherchons donc une valuation de la probabilit
derreur aprs codage de la forme Q
__
g
2E
b
N
0
_
; le gain en rapport signal bruit
sera alors gal g, soit 10log
10
(g) dB.
On se place dans un premier temps dans lhypothse dun fort rapport signal
bruit. Dans les valuations des probabilits derreur donnes ci-dessus, seul le
premier terme (pour d d
min
) domine.
En dcodage hard, la borne de lunion nous donne, en fort rapport signal
bruit :
P
e
A
d
min
C
]
d
min
2
]
d
min
p
]
d
min
2
]
o :
p Q
__
R
2E
b
N
0
_
Pour obtenir un gain en rapport signal bruit, on utilise lapproximation suivante,
valable en fort rapport signal bruit (cf. exercice 7.1 sur la fonction de Marcum) :
Q(
_
2x) e
x
de sorte que la borne sur P
e
devient :
P
e
c p
]
d
min
2
]
c e
R]
d
min
2
]
E
b
N
0
o c est un constante. Toujours avec lapproximation Q(
_
2x) e
x
, on peut
mettre cette borne sous la forme :
P
e
c Q
_
_
2E
b
N
0
R]
d
min
2
]
_
On obtient donc un gain asymptotique de
g
hard
10log
10
(R]
d
min
2
]) dB
En dcodage soft, la borne de lunion nous donne, en fort rapport signal
bruit :
P
e
A
d
min
Q
__
2E
b
N
0
Rd
min
_
On obtient donc un gain asymptotique de
g
soft
10log
10
(Rd
min
) dB
En comparant g
hard
g
soft
, on sappercoit que, grosso modo, le dcodage soft
apporte (asymptotiquement) 3dB de plus que le dcodage hard pour le mme
code. La Table 5.1 donne quelques valeurs numriques.
Bien entendu, il faut relativiser ce rsultat : il nest valable quen trs fort
rapport signal bruit, pour des probabilits derreur trs faibles. Pour dautres va-
leurs de P
e
, la diffrence peut tre moindre. De plus, ce gain ne tient pas compte
de la valeur de la constante c A
dmin
qui peut tre trs variable pour un gain
asymptotique similaire dun code lautre et donc jouer un rle signicatif.
Enn, il faut galement, en pratique, prendre en compte la complexit de lalgo-
rithme de dcodage pour un code donn. Celle-ci est en gnral bien plus leve
pour un dcodage soft que pour un dcodage hard.
(n, k, d
min
) Gain hard Gain soft (n, k, d
min
) Gain hard Gain soft
(7,4,3) 0.58 dB 2.34 dB (127,120,3) 2.76 dB 4.52 dB
(7,1,7) -2.43 dB 0.00 dB (127,113,5) 4.26 dB 6.48 dB
(15,11,3) 1.66 dB 3.42 dB (127,106,7) 5.24 dB 7.67 dB
(15,7,5) 1.46 dB 3.68 dB (127,99,9) 5.91 dB 8.46 dB
(15,5,7) 1.25 dB 3.68 dB (127,92,11) 6.38 dB 9.01 dB
(15,1,15) -2.73 dB 0.00 dB (127,85,13) 6.71 dB 9.40 dB
(31,26,3) 2.25 dB 4.01 dB (127,78,15) 6.91 dB 9.64 dB
(31,21,5) 3.08 dB 5.30 dB (127,71,19) 7.47 dB 10.26 dB
(31,16,7) 3.15 dB 5.58 dB (127,64,21) 7.44 dB 10.25 dB
(31,11,11) 3.28 dB 5.91 dB (127,57,23) 7.31 dB 10.14 dB
(31,6,15) 1.90 dB 4.63 dB (127,50,27) 7.41 dB 10.27 dB
(31,1,31) -2.87 dB 0.00 dB (127,43,29) 7.06 dB 9.92 dB
(63,57,3) 2.58 dB 4.34 dB (127,36,31) 6.57 dB 9.44 dB
(63,51,5) 3.85 dB 6.07 dB (127,29,43) 7.01 dB 9.92 dB
(63,45,7) 4.56 dB 6.99 dB (127,22,47) 6.19 dB 9.11 dB
(63,39,9) 4.91 dB 7.46 dB (127,15,55) 5.19 dB 8.13 dB
(63,36,11) 5.35 dB 7.98 dB (127,8,63) 3.04 dB 5.99 dB
(63,30,13) 5.23 dB 7.92 dB (127,1,127) -2.98 dB 0.00 dB
(63,24,15) 4.84 dB 7.57 dB (255,247,3) 2.87 dB 4.63 dB
(63,18,21) 4.97 dB 7.78 dB (255,239,5) 4.49 dB 6.71 dB
(63,16,23) 4.84 dB 7.67 dB (255,231,7) 5.59 dB 8.02 dB
(63,10,27) 3.47 dB 6.32 dB (255,223,9) 6.41 dB 8.96 dB
(63,7,31) 2.50 dB 5.37 dB (255,215,11) 7.04 dB 9.67 dB
(63,1,63) -2.94 dB 0.00 dB (255,207,13) 7.55 dB 10.23 dB
TAB. 5.1 Gains hard et soft, asymptotiques en fort rapport signal bruit, sur
canal gaussien, de quelques codes BCHbinaires primitifs. Les codes pour lesquels
d
min
3 sont des codes de Hamming, ceux pour lesquels k 1 sont des codes
rptition. On constate de ces derniers napportent aucun gain sur canal gaussien.
5.4.7 Gain asymptotique en faible rendement
On peut galement obtenir un gain en rapport signal bruit faible ren-
dement. Ce gain est calcul sous lhypothse que R << 1, ce qui nest a priori
valable que pour des codes particuliers (codes simplexes de grande longueur, par
exemple). Par contre, elle permet de saffranchir de lhypothse de fort rapport
signal bruit.
Partons de la borne de lunion+Bhattacharyya :
P
e
A() 1
En dcodage hard, on a 2
_
p(1p) avec
p Q
__
R
2E
b
N
0
_
1
2
_
1
E
b
N
0
R
Cette dernire approximation est valable pour R trs faible (voir exercice 7.1 sur
la fonction de Marcum). On obtient donc :

_
4p(1p)
_
1
4R
E
b
N
0
que lon peut approximer au premier ordre par
e
R
E
b
N
0
Ceci est comparer au cas du dcodage soft, pour lequel e
R
E
b
N
0
.
On obtient donc cette fois ci un gain en dcodage hard de
g
hard
10log
10
(
2
Rd
min
) dB
La perte du dcodage hard par rapport au dcodage soft nest plus que de :
10log
10
(/2) 2 dB
au lieu de 3 dBen fort rapport signal bruit. Incidemment ces 2 dBcorrespondent
la perte optimale la limite de Shannon (voir chapitre 6).
Chapitre 6
Performances asymptotiques
optimales dun systme cod en
blocs
6.1 Motivation
Dans les chapitres prcdents, on a tent dvaluer plus ou moins prcis-
ment la probabilit derreur P
e
dun systme cod, lorsquon utilise un code bien
choisi. Nous avons vu quune valuation prcise de P
e
est difcile.
Qui plus est, nous avons trs peu dindications sur ce qui rend un code bon
sur tel ou tel canal (si ce nest la valeur de quantits comme
k
n
d
min
). Nous avons
encore moins dindications concernant les performances, pour un rendement et
une longueur donns, du meilleur code. Do une srie de questions lgitimes :
Peut-on trouver des bons codes et par quoi se caractrisent-ils ?
Sont-ils rares ?
Quelles performances optimales peut-on atteindre sur un canal donn ?
Dans ce chapitre on va tenter de rpondre ces questions par un argument
densemble, quon dsigne souvent par le terme codage alatoire. On se
limitera ici au cas du codage en blocs, le cas des codes convolutifs pouvant tre
trait de manire analogue.
93
94 CHAPITRE 6. PERFORMANCES OPTIMALES DUNCODE
6.2 Taux du code
Rappelons quen gnral, un code en blocs [M, n] est un ensemble de mots de
codes x (x
1
, x
2
, . . . , x
n
) :
C {x
1
, x
2
, . . . , x
M
}
Les paramtres M (taille du code) et n (dimension ou longueur des mots de code)
permettent de dnir en gnral le taux du code :
R
log
2
M
n
bits/symbole
Cest le nombre moyen de bits dinformation transmis par symbole cod envoy
sur le canal. Par exemple, pour un code linaire binaire (n, k), on a M 2
k
de
sorte que R
k
n
est le rendement du code. Dans le cas dun code q-aire, il y a une
diffrence entre rendement
k
n
et taux puisque R
k
n
log
2
q. Ce paramtre R est
trs important puisquil traduit un facteur de perte en dbit d la redondance
introduite par le codage.
Pour le problme du codage canal on a donc plusieurs paramtres envisa-
ger :
taille M, longueur n, et taux R.
probabilit derreur globale du systme P
e
.
paramtres du canal (p pour un canal q-SC, rapport signal bruit E
m
/N
0
pour un canal gaussien).
Lobjectif est, bien sr, pour un canal donn, de minimiser P
e
, pour un taux R le
plus grand possible.
6.3 Technique du codage alatoire
6.3.1 Loi de probabilit sur les codes
Plutt que dvaluer la probabilit derreur P
e
(C) pour un code C donn,
on va valuer la probabilit derreur moyenne sur tous les codes [M, n] possibles.
Pour cela, on introduit une loi de probabilit p(C) sur les codes C de taille M et
de longueur n, et on va calculer
E(P
e
)
_
C
p(C)P
e
(C)
6.3. TECHNIQUE DUCODAGE ALATOIRE 95
Tout ce passe donc comme si on calculait les performances moyennes dun
systme cod o le code serait choisi au hasard selon la loi p(C), do le nom
donn cette technique : codage alatoire.
Il ne faut pas se laisser abuser par le terme codage alatoire. En pratique
le code est xe, et est choisi une fois pour toutes. La loi de probabilit p(C) est
totalement articielle. Elle nest introduite que pour moyenner la probabilit
derreur de sorte que E(P
e
), moyenne sur lensemble des codes, est plus facile
valuer que P
e
pour un code donn.
Noter que lon aurait pu simplement valuer la moyenne arithmtique des
probabilits derreur sur tous les codes ; pour un code binaire, cela correspond
au choix p(C)
1
2
nM
. Ici, on a prfr introduire un p(C) plus gnral pour plus
de exibilit.
6.3.2 Loi de probabilit sur les mots de code
An que E(P
e
) soit facile valuer on choisit p(C) de la forme :
p(C)
M
m1
p(x
m
)
Tout ce passe donc comme si les M mots de code taient tirs au hasard de
manire indpendante avec la mme loi p(x).
Les notations sont ici un peu confuses ; il ne faut pas confondre p(x), loi de
probabilit articielle introduite sur chacun des mots de codes x x
m
, et ce
quon a dj not p(x), la loi de probabilit dun mot de code lentre du canal.
En effet, la loi de probabilit dentre du canal p(x) se dnit pour un code
donn C, comme la loi dun mot de code x C. On a fait lhypothse, en gnral
dans ce document, que les mots de code sont quiprobables : p(x)
1
M
. Pour ne
pas alourdir les notations, on ne fera plus rfrence directement cette loi p(x)
dans la suite.
Par contre, la loi de probabilit articielle p(x) porte sur un vecteur x x
m
de dimension n quelconque. Pour un canal continu rel, x
m
R
n
et p(x
m
) est
une densit de probabilit. Pour un canal discret, avec des symboles F
q
par
exemple, x
m
(F
q
)
n
et p(x
m
) est une loi de probabilit discrte.
6.3.3 Loi de probabilit sur les symboles cods
Rappelons que tous les canaux envisags dans ce document sont sans m-
moire, cest dire quils perturbent les mots de code indpendamment symbole
par symbole. On a vu que cela correspond mathmatiquement lquation :
p(y[x)
n
i 1
p(y
i
[x
i
)
An de terminer le calcul de E(P
e
) pour un canal sans mmoire, on choisira
de prendre la loi de probabilit articielle p(x) sous la forme :
p(x)
n
i 1
p(x
i
)
Tout ce passe donc comme si on tirait les composantes des mots de code au
hasard selon la mme loi p(x). L encore, il ne faut pas confondre cette loi p(x)
avec la loi dun symbole x x
i
dun mot de code x dun code donn lentre du
canal.
6.3.4 Remarque pour les canaux continus
Nous avons dni, pour le canal gaussienrel par exemple, lnergie moyenne
par symbole E
m
comme la moyenne de
1
n
|x|
2
sur la loi de probabilit des mots
de codes lentre du canal. Puisque que lon suppose que les mots de codes sont
quiprobables, cela signie quon doit avoir, pour tout code C {x
1
, . . . , x
M
},
1
nM
M
m1
|x
m
|
2
E
m
Il faudrait donc, dans ce qui va suivre, tenir compte de cette contrainte pour
les canaux continus ceci est possible, mais alourdit les calculs. On prfrera
ici imposer une condition ncessaire correspondante sur la loi de probabilit
articielle p(x) :
En effet, cette loi doit tre telle que la contrainte sur E
m
soit satisfaite en
moyenne sur p(x), cest dire :
E
m
E
_
1
nM
M
m1
|x
m
|
2
_
6.4. CALCUL DE LA PROBABILIT DERREUR MOYENNE 97
o lesprance porte sur p(x). Avec les choix faits ci-dessus sur p(x), cela nous
donne la contrainte suivante de variance :
E
m
1
n
E|x|
2
E(x
2
).
Ainsi, pour un canal continu, le choix de p(x) sera fait, dans la suite, de telle sorte
que E(x
2
)
_
x
2
p(x) dx E
m
.
6.3.5 Performance du meilleur code
Nous avons dj mentionn un intrt de la technique du codage alatoire :
E(P
e
) est beaucoup plus simple valuer que P
e
pour un code donn (voir
prochaine section). Mais cela serait insufsant si on ne peut pas dduire du
calcul de E(P
e
) une indication sur les performances dun code donn.
En fait, lautre grand intrt du codage alatoire est le fait suivant, qui permet
de borner la probabilit derreur du meilleur code [M, n] partir dune borne sur
E(P
e
) :
Si E(P
e
) <, alors il existe un code (le meilleur, par exemple) pour
lequel P
e
<.
En effet, si ce ntait pas le cas, on aurait, pour tous les codes C, P
e
(C) .
Mais cela impliquerait E(P
e
)
_
C
p(C)P
e
(C) , ce qui est impossible par
hypothse.
Ainsi, la technique du codage alatoire pourra nous fournir des renseigne-
ments sur la performance optimale dun systme cod, pour le meilleur code.
6.4 Calcul de la probabilit derreur moyenne
Nous partons de la borne de Gallager sur la probabilit derreur sachant que
x x
m
a t mis :
P
e[x
m
_
y
p(y[x
m
)
1
1+
_

m
t
/m
p(y[x
m
t
)
1
1+
_
Rappelons que cette borne est valable pour tout 0, et se rduit la borne de
lunion+Bhattacharyya lorsque 1.
On moyenne maintenant sur la loi de probabilit p(C). Dans tout ce qui va
suivre, lesprance porte sur cette loi. Puisque les mots de code sont indpendants
vis--vis de p(C), on trouve :
E(P
e[x
m
)
_
y
E
_
p(y[x
m
)
1
1+
_
E
__

m
t
/m
p(y[x
m
t
)
1
1+
_
_
On value ici E(P
e[x
m
) au lieu de E(P
e
), mais le lien est facile faire puisque
P
e

1
M
m
P
e[x
m
.
On se restreint maintenant un paramtre tel que 0 1, an que la
fonction f (x) x
soit concave. On peut alors appliquer lingalit de Jensen pour

une v.a. X :
E
_
f (X)
_
f (E(X))
Cette ingalit nest autre que lingalit de convexit :
_
x
p(x) f (x) f
_
_
x
p(x)x
_
o
_
p(x) 1.
On obtient ainsi :
E(P
e[x
m
)

_
y
E
_
p(y[x
m
)
1
1+
_
_
E
_

m
t
/m
p(y[x
m
t
)
1
1+
__

_
y
E
_
p(y[x
m
)
1
1+
_
_

m
t
/m
E
_
p(y[x
m
t
)
1
1+
_
_
(M1)
_
y
_
E
_
p(y[x)
1
1+
__
+1
La dernire ingalit provient de ce que E
_
p(y[x
m
)
1
1+
_
est le mme quel que soit
lindice m, puisque les mots de code x x
m
suivent tous la mme loi p(x).
On va maintenant utiliser le fait que le canal est sans mmoire. Puisque les
composantes x
i
dun mot de code x sont indpendantes suivant la loi p(x), on a :
E
_
p(y[x)
1
1+
_
E
_
n
i 1
p(y
i
[x
i
)
1
1+
_
i 1
E
_
p(y
i
[x
i
)
1
1+
_
6.4. CALCUL DE LA PROBABILIT DERREUR MOYENNE 99
On obtient donc :
E(P
e[x
m
) M
_
y
i
_
E
_
p(y
i
[x
i
)
1
1+
__
+1
M
_
y
i
_
E
_
p(y
i
[x
i
)
1
1+
__
+1
La dernire quation provient de ce quon reconnait le dveloppement dun
produit de sommes du type :
n
i 1
_
y
i
f (y
i
)
_
y
1
,y
2
,...,y
n
n
i 1
f (y
i
)
On remarque que E
_
p(y
i
[x
i
)
1
1+
_
_
x
p(x)p(y[x)
1
1+
est le mme quel que soit
lindice i , puisque les composantes x
i
suivent la mme loi p(x). On obtient donc
nalement lexpression toute simple :
E(P
e[x
m
) M
_
J
0
()
_
n
o on a pos :
J
0
()
_
y
_
_
x
p(x)p(y[x)
1
1+
_
+1
Il est utile de faire apparaitre le taux R
log
2
M
n
des codes en mettant la borne
sous la forme :
E(P
e[x
m
) 2
n(E
0
()R)
o
E
0
() log
2
J
0
()
est lexposant de Gallager.
Insistons sur le fait que cette borne est valable pour tout paramtre tel que
0 1, et pour toute loi (ou densit) de probabilit p(x) (sur laquelle nous
navons pas encore x notre choix).
Pour minimiser cette borne il faut maximiser E
0
() R par rapport
(0 1) et maximiser E
0
() par rapport p(x). De toute faon, pour tout choix
de et de p(x) tel que E
0
() R >0, on aura une dcroissance exponentielle
de la probabilit derreur moyenne vers 0 lorsque la longueur n crot. Dans les
paragraphes suivants on va obtenir cette dcroissance vers 0 avec diffrentes
hypothses sur R.
6.5 Taux critique R
0
du canal
6.5.1 Le thorme R
0
Reprenons ce qui a t fait au paragraphe prcdent lorsque 1. Cela
signie que lon part de la borne de lunion+Bhattacharrya sur la probabilit
derreur, et les calculs qui suivent sont identiques. On obtient donc :
E(P
e[x
m
) 2
n(E
0
R)
o E
0
E
0
(1). An de minimiser cette borne, on choisit maintenant la loi de
probabilit p(x) qui maximise E
0
.
La quantit
R
0
max
p(x)
E
0
log
2
_
min
p(x)
J
0
_
est appel taux critique
1
du canal. Noter quil ne dpend que des probabilits de
transition p(y[x) du canal. Puisque
J
0
J
0
(1)
_
y
_
_
x
p(x)
_
p(y[x)
_
2
il est facile de voir
2
que 0 J
0
1, de sorte que R
0
est une quantit positive.
On obtient donc une dcroissance exponentielle :
E(P
e[x
m
) 2
n(R
0
R)
ds lors que R <R
0
. Daprs ce quon a vu il existe un code [M, n] dont la proba-
bilit derreur est galement 2
n(R
0
R)
. On a donc prouv le thorme suivant :
Thorme R
0
. Pour tout R <R
0
il existe un code de taux R et de longueur n
tel que, pour tout mot de code x :
P
e[x
2
n(R
0
R)
0 quand n
Ce thorme signie que quonpeut transmettre avec une probabilit derreur
arbitrairement petite ds lors que le taux R est infrieur au taux critique du canal.
1. cut-off rate en anglais.
2. Appliquer par exemple lingalit de Jensen pour la fonction
_
x. On obtient E(
_
p(y[x))
_
E(p(y[x)) do J
0
_
y
_
x
p(x)p(y[x) 1.
6.5. TAUX CRITIQUE R
0
DUCANAL 101
De plus, il donne une borne explicite de la probabilit derreur du meilleur code
[M,n], ce qui permet de faire des comparaisons loptimum pour des systmes
cods.
Pour trouver la valeur du taux critique R
0
pour un canal donn, il faut mini-
miser J
0
J
0
(1) par rapport p(x). Or :
J
0

_
y
_
_
x
p(x)
_
p(y[x)
_
2

_
x,x
t
p(x)p(x
t
)
_
_
y
_
p(y[x)p(y[x
t
)
_
E
_
_
y
_
p(y[x)p(y[x
t
)
_
Le terme entre parenthses nest autre que la borne de Bhattacharyya sur la pro-
babilit derreur par paire. Celle-ci a dj t calcule au chapitre 3 pour diffrents
canaux. Il suft ensuite de minimiser lesprance de cette borne sur p(x) pour
dterminer R
0
.
6.5.2 Cas du canal q-SC
Dans le cas du canal q-SC, on a vu que la borne de Bhattacharyya scrit
y
_
p(y[x)p(y[x
t
)
d
H
(x,x
t
)
o 2
_
p(1P)+(q2)p. Ici d
H
(x, x
t
) vaut 0 si x x
t
, et 1 sinon. On peut donc
mettre J
0
sous la forme :
J
0

x/x
t
p(x)p(x
t
) +
x
p(x)
2
(1)
x
p(x)
2
+
o on a utilis le fait que
x,x
t p(x)p(x
t
) 1. Il faut minimiser cette quantit sur
la loi de probabilit p(x) qui est telle que p(x) 0 et

x
p(x) 1. On obtient
facilement (par exemple par la mthode du multiplicateur de Lagrange) que
p(x) doit tre constant, i.e. p(x)
1
q
pour tout x. Le minimum de J
0
est donc
minJ
0
(1)
q
q
2
+
1
q
(1+(q 1)) et on obtient :
R
0
log
2
q log
2
(1+(q 1))
Pour le canal BSC (q 2) le taux critique devient :
R
0
1log
2
(1+2
_
p(1p))
Le cas du canal BEC ( effacement) est trait dans lexercice 7.16. Par ailleurs,
lexercice 7.10 donne une autre dmarche pour le calcul de R
0
dans ce cas.
6.5.3 Cas du canal gaussien*
Dans le cas du canal gaussien, on a vu que la borne de Bhattacharyya scrit :
_
y
_
p(y[x)p(y[x
t
) dy e
d
2
(x,x
t
)
4N
0
Prenons par exemple le cas du canal gaussien rel : d
2
(x, x
t
) (x x
t
)
2
. On veut
donc minimiser
J
0
__
p(x)p(x
t
)e
(xx
t
)
2
4N
0
dxdx
t
sur la densit de probabilit p(x). Noter quon peut toujours se restreindre p(x)
tel que E(x)
_
xp(x)dx 0, quitte effectuer une translation sur x et x
t
dans
lintgrale dnissant J
0
. La minimisation doit aussi se faire sous la contrainte
que E
m
E(x
2
)
_
x
2
p(x)dx est lnergie moyenne par symbole.
La minimisation de J
0
est dlicate
3
. Cependant, linstar du calcul de la
capacit fait ci-dessous au 6.6.4, il semble raisonnable de choisir p(x) gaussien
4
.
Le calcul gnral de J
0
() dans ce cas est fait dans lexercice 7.11. Pour 1, on
trouve :
J
0
J
0
(1)
_
_
1
1+
E
m
N
0
do la valeur de R
0
log
2
J
0
pour une distribution dentre gaussienne :
R
0
1
2
log
2
(1+
E
m
N
0
).
3. Une rcompense celle ou celui qui me fournira une solution.
4. On peut montrer, par ailleurs, que le choix de p(x) gaussien optimise effectivement J
0
en faible rapport signal bruit. En effet, on alors au premier ordre : J
0

__
p(x)p(x
t
)(1
(xx
t
)
2
4N
0
)dxdx
t
1
1
2
E
m
N
0
qui est bien gal (toujours au premier ordre) lexpression donne
ici pour J
0
(1+
E
m
N
0
)
1/2
lorsque p(x) est gaussien.
6.6. CAPACIT C DUCANAL 103
6.5.4 Cas du canal gaussien entre binaire
Dans le cas dun systme cod par un code en blocs binaire sur canal gaussien
(rel par exemple, avec modulation BPSK), les symboles (binaires) lentre du
canal sont de la forme x
_
E
m
o E
m
est lnergie par bit cod x.
On a vu que la borne de Bhattacharyya scrit dans ce cas :
_
y
_
p(y[x)p(y[x
t
) dy e
d
2
(x,x
t
)
4N
0

d
H
(x,x
t
)
o e
E
m
/N
0
. La dernire galit provient du fait, dj vu au chapitre 5, que
distance euclidienne et distance de Hamming sont lies par la relation d
2
(x, x
t
)
4E
m
d
H
(x, x
t
). Ici d
H
(x, x
t
) vaut 0 si x x
t
, et 1 si x x
t
.
On peut donc mettre J
0
sous la mme forme que dans le cas du canal BSC.
La seule diffrence est que a une autre valeur. On obtient donc, de mme que
pour le BSC, que J
0
est minimum pour des bits quiprobables : p(x)
1
2
, et
R
0
1log
2
(1+), cest dire :
R
0
1log
2
(1+e
E
m
/N
0
)
Lexercice 7.10 donne une autre dmarche pour le calcul de R
0
dans ce cas.
6.6 Capacit C du canal
6.6.1 Le thorme de Shannon
Nous revenons maintenant au cas gnral. Lexposant qui nous intresse est :
E() E
0
() R log
2
J
0
() R
o :
J
0
()
_
y
_
_
x
p(x)p(y[x)
1
1+
_
+1
On va dabord dterminer les conditions sur le taux R pour que E() soit
positif pour une valeur de comprise entre 0 et 1. En dautres termes, on veut
garantir que max
01
E() soit positif. Ceci an de garantir une dcroissance
exponentielle de la probabilit derreur moyenne vers 0 lorsque n tend vers
linni. On sintressa ensuite au choix optimal de la loi de probabilit articielle
p(x).
Tout dabord on voit immdiatement que pour 0, J
0
(0) 1 et E(0) 0. La
fonction E() tant clairement continue et drivable en la variable , on aura
bien un maximum de E() positif si on peut montrer que E() prend des valeurs
positives au voisinage ( droite) de 0. Pour cela, il suft de montrer que la drive
de E() en 0 est positive.
An de faciliter le calcul de cette drive E
t
(0), on transforme J
0
() de la
manire suivante :
J
0
()

_
x,y
p(x)p(y[x)
1
1+
_
_
x
t
p(x
t
)p(y[x
t
)
1
1+
_

_
x,y
p(x, y)
_
_
x
t
p(x
t
)
_
p(y[x
t
)
p(y[x)
_
1
1+
_
Il est facile de voir que pour une fonction drivable f () quelconque on a :

d
d
f ()
d
d
e
log f ()
0
log f (0)
Avec cette rgle on obtient facilement :
J
t
0
(0)
_
x,y
p(x, y) log
_
_
_
_
_
x
t
p(x
t
)p(y[x
t
)
p(y[x)
_
_
_
_
do
E
t
0
(0)
1
log2
J
t
0
(0)
J
0
(0)

1
log2
_
x,y
p(x, y) log
_
_
_
_
_
x
t
p(x
t
)p(y[x
t
)
p(y[x)
_
_
_
_

_
x,y
p(x)p(y[x) log
2
p(y[x)
_
x
t
p(x
t
)p(y[x
t
)
La quantit :
I (X, Y )
_
x,y
p(x)p(y[x) log
2
p(y[x)
_
x
t
p(x
t
)p(y[x
t
)
est une fonction de p(x) et de p(y[x) appele information mutuelle moyenne
entre X et Y . Son tude constitue le point central de la thorie de linformation
de Shannon.
Ainsi la drive de E() en 0 nest autre que I (X, Y ) R. Elle est positive
lorsque R < I (X, Y ), auquel cas il existe une valeur de pour laquelle E() >0.
Nous avons donc montr que la probabilit derreur moyenne E(P
e[x
) 2
nE()
tend exponentiellement vers 0 lorsque n , pourvu que R < I (X, Y ). Daprs
ce quon a vu il existe un code [M, n] dont la probabilit derreur est galement
2
nE()
.
An doptimiser ce rsultat il nous reste choisir la loi de probabilit arti-
cielle p(x) de telle sorte quelle maximise I (X, Y ). On dnit donc la capacit du
canal par :
C max
p(x)
I (X, Y )
Noter que puisque I (X, Y ) est une fonction de p(x) et de p(y[x), la quantit C ne
dpend bien que des probabilits de transition p(y[x) du canal. On peut montrer,
en thorie de linformation, que I (X, Y ) est une fonction positive concave en
p(x), et que par consquent, la capacit C est une quantit nie et positive.
On a donc prouv le clbrissime thorme suivant :
Thorme de Shannon. Pour tout >0 et R <C il existe un code de taux R
et de longueur n tel que, pour tout mot de code x, P
e[x
<.
De plus, P
e[x
tend exponentiellement vers 0 lorsque n .
Ce thorme signie que quon peut transmettre avec une probabilit der-
reur arbitrairement petite ds lors que le taux R est infrieur la capacit du
canal. Cest un progrs par rapport au thorme R
0
, puisquon a ici optimis le
paramtre alors quil tait x la valeur 1 pour R
0
. En dautres termes,
R
0
<C.
Par contre, il est plus dlicat ici dobtenir des informations prcises sur lex-
posant de Gallager optimal, sauf cas particulier (cf. exercice 7.11 pour le canal
gaussien).
6.6.2 Rciproque du thorme de Shannon
Nous avons vu successivement quon pouvait, laide dun systme cod,
transmettre avec une abilit arbitrairement grande pour R <R
0
, puis pour R <C.
Peut-on faire mieux ? Autrement dit, peut-on dpasser la capacit du canal ? La
rponse est NON.
Cela provient directement des dnitions et des ingalits de bases de la
thorie de linformation. On montre en effet facilement, laide des outils de
la thorie de linformation, que sil on veut un taux R >C, alors la probabilit
derreur ne peut tre arbitrairement petite, car elle est minore par une quantit
>0 qui dpend de R C. Cest la rciproque (faible) du thorme de Shannon.
Lexercice 7.15 propose une version forte de la rciproque du thorme de
Shannon, qui montre que, si R >C, P
e
tend exponentiellement vers 1 lorsque
n . A comparer avec notre thorme de Shannon qui afrme que si R <C,
P
e
tend exponentiellement vers 0 lorsque n .
6.6.3 Cas du canal q-SC
Pour calculer la capacit du canal q-SC on utilise la borne de Shannon (voir
exercice 7.13) :
C log
2
q H(e)
o H(e) est lentropie de lerreur additive e, dnie par
H(e)
eF
q
p(e) log
2
1
p(e)
Le calcul de H(e) est facile et donne : H(e) P log
2
1
p
+(1P) log
2
1
1P
.
Daprs lexercice 7.13, la borne de Shannon est atteinte si lon peut choisir
p(x) de telle sorte que les symboles de sortie du canal soient quiprobables :
p(y)
1
q
. Un choix vident est la loi uniforme : p(x)
1
q
. On a bien alors :
p(y)
x
p(y[x)p(x)
1
q
x
p(y[x)
1
q
((q 1)p +(1P))
1
q
On en conclut donc la valeur de la capacit :
C log
2
q +P log
2
p +(1P) log
2
(1P)
qui peut se rcrire sous la forme :
C log
2
q P log
2
(q 1) H
2
(P)
o
H
2
(x) x log
2
1
x
+(1x) log
2
1
1x
est la fonction dentropie binaire.
Dans le cas binaire (q 2) il vient :
C 1H
2
(p)
0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Raw Error Probability
C
o
d
e

R
a
t
e
C
Ro
FIG. 6.1 Capacit et Taux critique pour le canal BSC, en fonction du paramtre
du canal p
Il est intressant de comparer cette capacit binaire avec le taux critique
correspondant R
0
1log
2
(1+2
_
p(1p)) (voir Fig. 6.1). On voit bien
5
que
R
0
C.
Le cas du canal BEC ( effacement) est trait dans lexercice 7.16.
6.6.4 Cas du canal gaussien
Pour calculer la capacit du canal gaussien rel on utilise la borne de Shannon
(voir exercice 7.13) :
C log
2
_
2e
2
y
H(B)
o H(B) est lentropie diffrentielle du bruit additif gaussien B, dnie par
H(B)
_
b
p(b) log
2
1
p(b)
db
5. On peut retrouver directement lingalit R
0
C de la faon suivante. Par lexercice 7.12,
on a tout dabord, pour tout 0 q 1, H
2
(p) p log
2
1
q
+(1p)log
2
1
1q
. Puis, en appliquant
lingalit de Jensen pour la fonction log, cette dernire expression est log
2
(
p
q
+
1p
1q
). Il suft
enn de poser q
_
p
_
p+
_
1p
pour conclure.
Ici p(b) est une densit gaussienne de moyenne nulle et de variance N
0
/2.
Pour dterminer la borne de Shannon, il faut calculer H(B), lentropie diff-
rentielle dune gaussienne. Daprs lexercice 7.12, on obtient :
H(B) log
2
_
2eN
0
/2
La variance en sortie du canal est
2
y

2
x
+
2
b
E
m
+
N
0
2
o E
m
est lnergie moyenne par symbole et N
0
/2 la d.s.p. bilatrale du bruit. On
obtient nalement la borne de Shannon :
C log
2
_
2e(E
m
+
N
0
2
) log
2
_
2eN
0
/2
1
2
log
2
(1+2
E
m
N
0
)
Daprs lexercice 7.13, la borne de Shannon est atteinte si lon peut choisir
p(x) de telle sorte que les symboles de sortie du canal suivent une loi gaussienne
(de variance
2
y
). Un choix vident est la loi gaussienne pour p(x). La sortie
Y X +B, somme de deux gaussiennes, sera galement gaussienne et donc de la
forme voulue.
On en conclut donc la valeur de la capacit
6
, gale la borne de Shannon :
C
1
2
log
2
(1+2
E
m
N
0
)
Il est intressant de comparer cette capacit avec le taux critique correspondant
R
0
1
2
log
2
(1+
E
m
N
0
). On voit bien que R
0
C, et la diffrence en rapport signal
bruit est constante gale 3 dB.
Lexercice 7.11 donne une autre dmonstration du thorme de Shannon (et
du calcul de C) dans le cas du canal gaussien.
6. Avec les notations du 1.5, cest--dire en notant T la priode symbole, P la puissance
dmission, et en identiant la largeur de bande de transmission B
1
2T
, on obtient lexpression
classique suivante de la capacit exprime en bits par seconde :
C
C
T
B log
2
(1+
P
N
0
B
)
Cest lexpression classique due Shannon. La condition R C se traduit ici en termes de dbits
binaires : D
b
C.
6.7. PERFORMANCES OPTIMALES ENDCODAGE HARD 109
6.6.5 Cas du canal gaussien entre binaire
(rel par exemple, avec modulation BPSK), les symboles (binaires) lentre du
canal sont de la forme x
_
E
m
o E
m
est lnergie par bit cod x.
Contrairement ce qui se passe dans la section prcdente, on doit donc
introduire la condition supplmentaire que lentre du canal gaussien est binaire
pour le calcul de la capacit. Cest ce qui est fait dans lexercice 7.14. On trouve
alors :
C
2
log2
E
m
N
0
1
_
2
_
+
y
2
2
log
2
cosh
_
y
_
2E
m
N
0
+
2E
m
N
0
_
dy
Il est intressant de comparer cette capacit binaire avec le taux critique
correspondant R
0
1log
2
(1+e
E
m
/N
0
) (voir Fig. 6.4). On voit bien que R
0
C.
6.7 Performances optimales sur canal gaussien en dco-
dage hard
On se place ici en dcodage hard sur canal gaussien rel. Le code est binaire
et la modulation utilise est la BPSK. Le thorme de Shannon nous garantit
quune transmission code able est possible si R < C, ou R est le taux (ou
rendement) du code. En pratique il faut relier cette condition lnergie mise
par bit.
Or, la capacit C est donne par la formule du canal BSC: C 1+p log
2
p+(1
p) log
2
(1p) o p est la probabilit derreur par bit cod pour une modulation
BPSK, soit :
p Q
__
2E
m
N
0
_
Le paramtre E
m
/N
0
est le rapport signal bruit moyen par bit cod. Nous savons
quil scrit :
E
m
/N
0
R
b
o
b
E
b
N
0
est le rapport signal bruit par bit dinformation.
Ainsi C se trouve tre une fonction de R
b
dans la condition de Shannon
R <C. On recherche donc les valeurs possibles de (R,
b
) pour une transmission
able, cest dire telles que R <C(R
b
). Bien entendu, ce quon vient de dire
pour la capacit peut se refaire lidentique pour le rendement critique R
0

1log
2
(1+2
_
p(1p)).
0 1 2 3 4 5 6 7 8 9 10
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
SNR Em/No
C
o
d
e

R
a
t
e
C
Ro
FIG. 6.2 Capacit et Taux critique en dcodage hard sur canal gaussien, en
fonction du rapport signal bruit moyen E
m
/N
0
R
b
Les courbes donnant C et R
0
en fonction de E
m
/N
0
R
b
sont donnes
dans la Fig. 6.2. Il est facile de voir que leur drives en E
m
/N
0
sont des fonctions
dcroissantes. Ainsi, pour unrendement R <C (resp. R <R
0
) donn, la pente 1/
b
de la droite reliant lorigine au point (R
b
, R) nous donne une valeur du rapport
signal bruit par bit pour laquelle une transmission code able (P
e
0) est
possible.
Rsoudre lingalit R <C(R
b
) ou R < R
0
(R
b
), revient donc trouver le
rapport signal bruit minimum
b min
tel que R C(R
b
) (respectivement R
R
0
(R
b
)). On aura alors la possibilit dune transmission code able ds lors
que
b
>
b min
. Les courbes donnant
b min
en fonction de R sont donnes dans
la Fig. 6.3.
Ainsi, pour une valeur de R donne correspond un rapport signal bruit par
bit dinformation minimum thoriquement atteignable, cest dire quil existe
une code de longueur sufsamment grande qui ralise une probabilit derreur
aussi faible quon veut pour
b
>
b min
.
On voit sur la Fig. 6.3 que le
b min
minimum sobtient lorsque R 0. Il est
facile de calculer cette valeur en faisant un dveloppement limit de R
0
et C en
6.7. PERFORMANCES OPTIMALES ENDCODAGE HARD 111
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
-2
0
2
4
6
8
10
Code Rate
S
N
R

(
d
B
)
Rgion interdite
Zone R<C
Zone R<Ro
C
Ro
FIG. 6.3 Rapport signal bruit
b
minimum pour une transmission able, en
dcodage hard sur canal gaussien, en fonction du taux R
R 0. On a tout dabord (voir exercice 7.1 sur la fonction de Marcum) :
p
1
2
1
_
2
_
2R
b
+0(R)
do respectivement :
R
0
R
B
log2
+o(R)
et
C
2R
B
log2
+o(R)
Ainsi, lorsque R 0, la condition R <R
0
du thorme R
0
devient :
b
>log2 3.38dB
et la condition R <C du thorme de Shannon devient :
b
>
log2
2
0.37dB
Cest la valeur limite de Shannon en rapport signal bruit pour une transmission
able, en dcodage hard.
6.8 Performances optimales sur canal gaussien en dco-
dage soft
On se place ici en dcodage soft sur canal gaussien rel. Le code est binaire
et la modulation utilise est la BPSK. Le thorme de Shannon nous garantit
quune transmission code able est possible si R < C, ou R est le taux (ou
rendement) du code. En pratique il faut relier cette condition lnergie mise
par bit.
Dans ce cas, la capacit C et le rendement critique R
0
sont donns par les
formules correspondant au cas du canal gaussien entre binaire. Ces formules
dpendent du paramtre E
m
/N
0
, le rapport signal bruit moyen par bit cod.
Nous savons quil scrit :
E
m
/N
0
R
b
o
b
E
b
N
0
est le rapport signal bruit par bit dinformation.
On recherche donc les valeurs possibles de (R,
b
) pour une transmission
able, cest dire telles que R <R
0
(R
b
) (thorme R
0
) et R <C(R
b
) (thorme
de Shannon).
Les courbes donnant C et R
0
en fonction de E
m
/N
0
R
b
sont donnes
dans la Fig. 6.4. Il est facile de voir que leur drives en E
m
/N
0
sont des fonctions
dcroissantes. Ainsi, pour unrendement R <C (resp. R <R
0
) donn, la pente 1/
b
de la droite reliant lorigine au point (R
b
, R) nous donne une valeur du rapport
signal bruit par bit pour laquelle une transmission code able (P
e
0) est
possible.
Rsoudre lingalit R <C(R
b
) ou R < R
0
(R
b
), revient donc trouver le
rapport signal bruit minimum
b min
tel que R C(R
b
) (respectivement R
R
0
(R
b
)). On aura alors la possibilit dune transmission code able ds lors
que
b
>
b min
. Les courbes donnant
b min
en fonction de R sont donnes dans
la Fig. 6.5.
Ainsi, pour une valeur de R donne correspond un rapport signal bruit par
bit dinformation minimum thoriquement atteignable, cest dire quil existe
6.8. PERFORMANCES OPTIMALES ENDCODAGE SOFT 113
0 1 2 3 4 5 6 7 8 9 10
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
SNR Em/No
C
o
d
e

R
a
t
e
C
Ro
FIG. 6.4 Capacit et Taux critique en dcodage soft sur canal gaussien entre
binaire, en fonction du rapport signal bruit moyen E
m
/N
0
R
b
une code de longueur sufsamment grande qui ralise une probabilit derreur
aussi faible quon veut pour
b
>
b min
.
On voit sur la Fig. 6.5 que le
b min
minimum sobtient lorsque
7
R 0. Il est
facile de calculer cette valeur en faisant un dveloppement limit en R 0.
Pour le rendement critique R
0
1log
2
(1+e
R
b
), la condition R <R
0
peut
scrire :
b
>
log(2
1R
1)
R
2log2+o(1)
Cest la courbe R
0
de la Fig. 6.5. Pour la capacit C, on trouve :
C
2R
b
log2

1
log2
1
_
2
_
e
y
2
/2
2R
b
y
2
+o(R)
2
dy
R
b
log2
+o(R).
Ainsi, lorsque R 0, la condition R <R
0
du thorme R
0
devient :
b
>2log2 1.42dB
et la condition R <C du thorme de Shannon devient :
b
>log2 1.59dB
Cest la valeur limite de Shannon en rapport signal bruit pour une transmission
able, en dcodage soft.
7. Noter que R 0 implique une transmission puissance limite (voir 1.5).
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
-2
0
2
4
6
8
10
Code Rate
S
N
R

(
d
B
)
Rgion interdite
Zone R<C
Zone R<Ro
C
Ro
b
dcodage soft sur canal gaussien entre binaire, en fonction du taux R. La limite
de Shannon (sans contrainte dentre binaire) est indique en pointills.
Il est intressant de comparer cette dernire valeur avec celle obtenue pour
un canal gaussien sans la contrainte dentre binaire. Dans ce cas lexpression de
la capacit est plus simple :
C
1
2
log
2
(1+2R
b
)
et la condition R <C scrit :
b
>
2
2R
1
2R
log2+o(1)
Cest la courbe en pointills de la Fig. 6.5. On constate qutonnamment, la valeur
limite
8
en rapport signal bruit pour une transmission able, lorsque R 0,
8. Noter quil sagit ici de la limite de la capacit lorsque lefcacit spectrale tend vers 0, pour
6.9. COMPARAISONENTRE DCODAGE HARDET SOFT 115
est log2 1.59 dB. Elle est identique celle obtenue avec la contrainte dentre
binaire !
Onpeut traduire ce rsultat endisant que une quanticationbinaire enentre
du canal gaussien naffecte pas la limite de Shannon (Input binary quantization
doesnt hurt). En thorie on pourrait donc toujours se limiter des codes bi-
naires avec modulation BPSK (plutt que dutiliser des codes q-aires). Ceci nest
videmment valable que pour les meilleurs codes, lorsque R 0 et n .
6.9 Comparaison entre dcodage hard et soft
A laide des deux sections prcdentes il est facile de faire une comparaison
entre dcodage hard et soft sur canal gaussien (avec modulation BPSK).
Les courbes donnant le rapport signal bruit par bit dinformation minimum
en fonction de R sont reproduites dans la Fig. 6.6. Ceci nous donne la perte, en
dB, du rapport signal bruit
b
optimal en fonction du rendement R du code.
A la limite lorsque R 0, les deux limites de Shannon en Hard et en Soft
diffrent de

2
2dB (voir Fig. 6.7). Ainsi loptimum, la perte du dcodage Hard
par rapport au dcodage Soft est de 2 dB. Ceci correspond bien la perte obtenue
au chapitre 5 lorsque R 0 (et non pas la perte de 3 dBobtenue en fort rapport
signal bruit). Onpeut traduire ce rsultat endisant quune quanticationbinaire
en sortie du canal gaussien affecte la limite de Shannon de 2 dB (Output binary
quantization costs you 2 dB). Il faut aussi noter que, lorsque R crot, cette perte
samenuise (voir Fig. 6.6). Elle nest plus que de 1.5 dB en R 1/2.
La Fig. 6.7 nous donne une ide du gain potentiel attendre de la thorie
du codage correcteur derreurs. Entre les performances dun systme non cod
(BPSK seule) et celles dun systme cod optimal, le foss est important. Cette
gure est connue depuis les annes cinquante (le thorme de Shannon date
de 1948, sa rciproque de 1952). Bien que Shannon ait prdit quun code choisi
au hasard ferait laffaire, ceux quon connait sont encore loin de la limite de
Shannon! En quarante ans de recherches, des progrs considrables ont t
une transmission puissance limite. Lexpression de la capacit en bits/s : C B log
2
(1+
P
N
0
B
)
devient donc, puisque P/N
0
<B :
C
1
log2
P
N
0
Sachant que
b

P
N
0
D
b
(cf. 1.5), la condition D
b
C nous redonne bien la limite
b
log2.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
-2
0
2
4
6
8
10
Code Rate
S
N
R

(
d
B
)
Limite hard
Limite Soft
b
dcodage hard et soft sur canal gaussien entre binaire, en fonction du taux R.
La limite de Shannon (sans contrainte dentre binaire) est indique en pointills.
raliss, mais la construction de codes permettant de sapprocher de la borne de
Shannon, tout en garantissant un dcodage efcace restait jusqu peu un rve.
Rcemment, la dcouverte des turbo codes rendrait peut-tre ce rve ralisable. . .
6.9. COMPARAISONENTRE DCODAGE HARDET SOFT 117
-2 0 2 4 6 8 10 12
10
-7
10
-6
10
-5
10
-4
10
-3
10
-2
10
-1
Bit SNR Eb/No (dB)
E
r
r
o
r

R
a
t
e
BPSK
S
h
a
n
n
o
n

l
i
m
i
t

(
s
o
f
t
)
:

-
1
.
5
9

d
B
S
h
a
n
n
o
n

l
i
m
i
t

(
h
a
r
d
)
:

0
.
3
7

d
B
FIG. 6.7 Gain potentiel du codage binaire : Limites de Shannon en dcodage
hard et soft, en comparaison avec la modulation binaire non code
Chapitre 7
Exercices
119
120 CHAPITRE 7. EXERCICES
7.1. BORNES ET QUIVALENTS DE LA FONCTIONDE MARCUM 121
7.1 Bornes et quivalents de la fonctionQ(x)
Soit X une v.a. relle, gaussienne normalise (moyenne nulle, variance
2
1).
La fonction de Marcum (ou queue de gaussienne) est dnie par :
Q(x) Pr {X x}
1
_
2
_
x
e
u
2
2
du.
Cette fonction est utilise, plus gnralement, comme valeur de la probabilit
Pr {X x} lorsque X est un v.a. gaussienne quelconque.
1. Montrer que si X est une v.a. gaussienne relle de moyenne et de variance
2
, on a :
Pr {X x} Q
_
x
_
2. Calculer la drive et la drive seconde de Q(x), et tudier lallure de son
graphe.
3. Montrer que lorsque x 0 :
Q(x)
1
2
1
_
2
x.
4. Dans la suite on suppose x > 0. Dans lintgrale dnissant Q(x), faire le
changement de variable u x +v (v 0) et, en tenant compte de e
vx
1,
prouver la majoration :
Q(x) <
1
2
e
x
2
2
5. En tenant compte de u x dans lintgrale dnissant Q(x), prouver len-
cadrement :
1
_
2
_
0
1+1/u
2
1+1/x
2
e
u
2
2
du <Q(x) <
1
_
2
_
0
u
x
e
u
2
2
du
Calculer ces intgrales en primitivant et en dduire lencadrement :
_
1+
1
x
2
_
1
1
x
_
2
e
x
2
2
<Q(x) <
1
x
_
2
e
x
2
2
6. En dduire que lorsque x +:
Q(x)
1
x
_
2
e
x
2
2
7. La fonction derreur complmentaire est dnie par :
erfc(x)
2
_
x
e
u
2
du
Montrer que Q(x)
1
2
erfc
_
x
_
2
_
et appliquer les rsultats de lexercice la
fonction erfc(x).
7.2 Amliorationde laborne de Bhattacharyyapour le BSC
On rappelle que pour le canal BSC de paramtre p <
1
2
, la probabilit derreur
par paire est donne par :
P
xx
t Pr {t d/2}
d/2i d
C
i
d
p
i
(1p)
di
o d d
H
(x, x
t
) et t suit une loi binmiale de longueur d et de paramtre p.
1. Retrouver la borne de Bhattacharyya en majorant :
_
p
1p
_
i
_
p
1p
_
d/2
.
2. Dans cette question d est impair, donc :
Pr {t d/2} Pr {t (d +1)/2}
(a) Par un calcul analogue la question prcdente, montrer que :
P
xx
t 2
d
p
(d+1)/2
(1p)
(d1)/2
(b) En dduire (sachant que p <
1
2
) lamlioration suivante de la borne
de Bhattacharyya (due Van de Meeberg) :
P
xx
t
_
2
_
p(1p)
_
d+1
3. Soit C un code linaire binaire (n, k) de polynme numrateur de poids
A(z). On note C
+
le code (n +1, k) construit partir de C en rajoutant un
bit de parit global.
(a) Montrer que x C de poids w, le mot de code correspondant x
+
C
+
est de poids :
_
_
_
w si w est pair
w+1 si w est impair.
(b) En dduire que le polynme numrateur de poids de C
+
scrit :
A
+
(z)
_
1+z
2
_
A(z) +
_
1z
2
_
A(z)
(c) Soit P
e
la probabilit derreur obtenue pour le code C sur le canal
BSC. On sait, daprs la borne de Bhattacharyya, que :
P
e
A() 1
7.2. AMLIORATIONDE LA BORNE DE BHATTACHARYYA 123
o 2
_
p(1p). Montrer lamlioration suivante :
P
e
A
+
() 1
et retrouver le gain asymptotique
k
n
]
d
min
2
] en dcodage hard sur canal
gaussien.
7.3 Ingalits de Bienaym-Tchbycheff et de Chernoff
Soit X une v.a. relle de moyenne E(X) et de variance :
2
X
E
_
(X E(X))
2
_
1. En utilisant la majoration 1
[x[a

x
2
a
2
, prouver lingalit de Bienaym-
Tchbycheff :
Pr {[X E(X)[ a}
2
X
a
2
2. En utilisant la majoration 1
xa
e
(xa)
pour 0 prouver lingalit de
Chernoff :
Pr {X a} E(e
X
)e
a
e
()a
(0)
o on a pos () logE(e
X
).
3. Minimisation de la borne de Chernoff
Soit p(x) la distribution de probabilit de X. On introduit :
p
t
(x)
e
x
E(e
X
)
p(x).
On note X
t
une v.a. de distribution p
t
(x).
(a) Montrer que p
t
(x) est bien une distribution de probabilit.
(b) Prouver les relations
t
() E(X
t
) et
tt
()
2
X
t .
(c) En dduire que () a est convexe en , et que son minimum
unique est atteint pour
tel que
t
(
) a.
(d) En dduire la borne de Chernoff :
Pr {X a} e
(
t
(
)
4. Exemple : Cas dune loi binomiale
X est ici une v.a. discrte de loi binomiale :
Pr {X i } C
i
n
p
i
(1p)
ni
.
Onrappelle que X
n
i 1
X
i
est la somme de n v.a. indpendantes binaires :
Pr {X
i
1} 1Pr {X
i
0} p.
7.3. INGALITS DE TCHBYCHEFF ET CHERNOFF 125
(a) On veut majorer Pr {X n} o p . En utilisant la dcomposition
X
i
X
i
, montrer que () nlog(e
p +1p). En dduire la valeur

de
log
(1p)
p(1)
et la borne de Chernoff :
Pr {X n}
_
p
(1p)
1
(1)
1
_
n
(p
(1p)
1
)
n
2
nH
2
()
o H
2
() log
2
1
+(1) log
2
1
1
est la fonction dentropie binaire.
Pourquoi lhypothse p est-elle essentielle ?
(b) En changeant en 1, p en 1p et X en nX, montrer que pour
p ,
Pr {X n}
_
p
(1p)
1
(1)
1
_
n
7.4 Borne de Chernoff sur laprobabilit derreur par paire
Cet exercice concerne le calcul de la borne de Chernoff, applique la proba-
bilit derreur dun systme cod pour diffrents canaux.
1. Cas du canal BSC
On rappelle que dans ce cas la probabilit derreur par paire est
P
xx
t Pr {t d/2}
o d d
H
(x, x
t
) et t est une v.a. de loi binmiale de paramtre p <
1
2
et de
longueur d.
Retrouver la borne de Bhattacharyya en utilisant lingalit de Chernoff (cf.
exercice prcdent) P
xx
t .
2. Cas du canal q-SC
Utiliser lingalit de Chernoff sur P
xx
t tablie dans le cours, et, par un
calcul analogue celui fait dans le cours pour la borne de Bhattacharyya,
montrer successivement que, pour tout 0 :
P
xx
t

i
_
y
i
p(y
i
[x
i
)
1
p(y
i
[x
t
i
)
_
p
1
(1P)
+(1P)
1
p
+(q 2)p
_
d
o d d
H
(x, x
t
).
Retrouver la borne de Bhattacharyya en minimisant cette somme sur
(Indication : minimiser une somme produit constant revient galer les
termes).
3. Cas du canal gaussien
On rappelle que dans ce cas :
P
xx
t Pr {Z
d
_
2
}
o d d(x, x
t
) et Z est une v.a. gaussienne centre de variance N
0
.
(a) Montrer que :
E(e
Z
) e
N
0
2
/2
et en dduire lingalit de Chernoff :
P
xx
t e
N
0
2

2
d
_
2
7.4. BORNE DE CHERNOFF 127

(b) Minimiser cette borne par rapport pour retrouver la borne de
Bhattacharyya.
7.5 Polynme numrateur de poids et Borne de Plotkin
On considre un code binaire linaire (n, k) not C, de polynme num-
rateur de poids A(z)
n
d0
A
d
z
d
et de distance minimale d
min
. Le poids de
Hamming dun mot x (x
0
, x
1
, . . . , x
n1
) (F
2
)
n
est not : w
H
(x)
n1
i 0
w
H
(x
i
).
1. Montrer les galits suivantes :
A(z)
xC
z
w
H
(x)
A(1) 2
k
A
t
(1)
xC
w
H
(x)
(poids total des mots de code) o A
t
(z) est le polynme driv de A(z).
2. On suppose dans cette question que C admet (1, 1, . . . , 1) pour mot de code.
Montrer quon a alors une symtrie des coefcients : A
d
A
nd
, i.e.,
A(z) z
n
A(z
1
)
3. On xe j {0, , n 1} et on considre, pour tous les mots de code x C,
lensemble des j
es
composantes x
j
. On suppose dans cette question quil
existe x
t
C tel que x
t
j
/0.
En utilisant la linarit de C, montrer alors quil y a autant de mots de code
de j
e
composante x
j
0 que de mots de code de j
e
composante x
j
1.
4. En dduire que le poids total des mots de code vrie :
xC
w
H
(x) n2
k1
5. En dduire la borne de Plotkin sur la distance minimale du code C :
d
min
n2
k1
2
k
1
6. Montrer que la borne de Plotkin est atteinte pour les codes simplexes de
paramtres (2
m
1, m) (on admettra que la distance minimale est 2
m1
).
Quel est alors le polynme numrateur de poids A(z) ?
7.5. POLYNME A(Z) ET BORNE DE PLOTKIN 129
7. Amlioration de la borne de Plotkin.
A partir du code C sous forme systmatique on considre les 2
j
mots de
code pourlesquels les k j premiers bits dinformation sont nuls. Montrer
quen liminant ces k j composantes dans ces mots de code, on obtient
un nouveau code linaire raccourci de paramtres (n (k j ), j ) et de
distance minimale d
min
.
En appliquant la borne de Plotkin ce nouveau code, montrer que :
d
min
(n (k j ))
2
j 1
2
j
1
8. On considre une famille de codes (n, k) pour laquelle on peut faire tendre
la longueur n vers linni. On note R lim
n
k
n
. En utilisant la borne de
Plotkin, montrer que
d
min
n
<
1
2
+o(n)
En utilisant la borne de Plotkin amliore pour j ]logk] par exemple,
montrer que
d
min
n
<
1
2
(1R) +o(n)
Commenter.
7.6 Identit de Mc Williams
Un code binaire linaire (n, k) est not C. Le code dual (n, n k) de C est
not C
. A(z)
n
d0
A
d
z
d
(respectivement B(z)) est le polynme numrateur
de poids du code C (resp. C
). Le produit scalaire entre x et y (F

2
)
n
est :
<x[y >
i
x
i
y
i
F
2
.
On considre le systme utilisant le code C sur canal BSC de paramtre p. Le
code C est utilis en dtection pure derreurs (stratgie ARQ avec t 0).
1. Montrer que la probabilit que le mot reu y nappartienne pas au code C
est gal (cf. notations du cours) :
Pr {y / C} 1P
n
1(1p)
n
A
_
p
1p
_
Par ailleurs, on sait que y appartient au code si et seulement si il est ortho-
gonal tout mot du code dual, i.e.,
x
t
C
, <x
t
[y >0 (dans F
2
)
Considrons donc, pour un mot y (F
2
)
n
x, lensemble des produits
scalaires <x
t
[y > F
2
, lorsque x
t
dcrit C
.
2. Montrer que si y / C, il y a autant de mots de code x
t
C
tels que <

x
t
[y >0 que de mots de code x
t
tels que <x
t
[y >1 .
3. En dduire les valeurs possibles de 2S, o
S
x
t
<x
t
[y >
lorsque y C et lorsque y / C.
4. Montrer que
Pr {y / C}
1
2
nk
E(2S)
5. Sachant que < x
t
[y > 1 si et seulement si les indices i tels que y
i
1 et
x
t
i
1 sont en nombre impair, montrer que, pour un x
t
donn de poids w,
E<x
t
[y >Pr {<x
t
[y >1}
i impair
C
i
w
p
i
(1p)
wi
7.6. IDENTIT DE MC WILLIAMS 131
6. Simplier cette expression en notant quelle est gale la somme des
coefcients des puissances impaires de z dans le polynme (1p +pz)
w
.
On trouve :
E<x
t
[y >
1(12p)
w
2
.
7. En dduire
E(2S) 2
nk
B(12p)
8. Dduire des questions prcdentes lidentit de Mac Williams :
A(z)
1
2
nk
(1+z)
n
B
_
1z
1+z
_
7.7 Enumration de poids dun code distance maximale
On considre un code linaire (n, k, d
min
) not C, dni sur le corps ni q
lments F
q
. On note A
i
le nombre de mots du code C de poids i .
On rappelle que le codeur peut toujours se mettre sous forme systmatique.
On supposera donc que dans chaque mot de code x C, les k premiers symboles
sont les symboles dinformation correspondant x.
Rappels
1. Soit x le mot de code qui correspond aux k symboles dinformation sui-
vants : 0, 0, . . . , 0, 1. Majorer son poids et en dduire la borne de Singleton :
d
min
n k +1
Le code est dit distance maximale si d
min
n k +1.
[N.B. : les codes de Reed-Solomon (n q 1, k) sur F
q
sont distance
maximale.]
Dornavant C dsigne un code (n, k, n k +1) distance maximale dni
sur F
q
.
2. Montrer quil existe un unique mot de code x C avec k composantes
spcies lavance. [Indication : sil y en a deux, ils sont distants de
n k.]
Calcul de A
i
3. On se donne un ensemble de i indices I {0, . . . , n 1}. En utilisant la
question prcdente, montrer que le nombre N
I
de mots de code x tels
que x
i
0 i I est gal :
N
I

_
_
_
q
ki
si i k
1 si i k
4. Soit M
I
le nombre de mots de codes de poids i dont les composantes non
nulles se trouvent dans I , i.e., tels que x
i
/0 i I . Montrer successive-
ment que
7.7. ENUMRATIONDE POIDS DUNCODE MDS 133
(a)
A
i

I
M
I
o la somme porte sur tous les ensembles de i indices pris parmi
{0, . . . , n 1}.
(b)
M
1
o dsigne lensemble vide.
(c)
M
I
0 si 1 i <d
min
.
(d)
JI
M
J
N
I
t q
i d
min
+1
si i d
min
ola somme porte sur tous les ensembles J, de j i indices, contenus
dans I , et o I
t
dsigne le complmentaire de I , cest--dire I
t

{0, . . . , n 1} \ I .
5. Montrer que les quations prcdentes permettent de dterminer, de faon
unique, les nombres M
I
par rcurrence, et que M
I
ne dpend que de
i CardI . Dornavant on utilise la notation M
i
au lieu de M
I
.
6. Montrer quon a alors :
A
i
C
i
n
M
i
Il suft donc de dterminer les nombres M
i
pour obtenir lnumration
des poids souhaite.
7. Dduire de la question 4 que les M
i
, i 0, . . . , n, sont dtermins de ma-
nire unique par M
0
1, M
i
0 pour 1 i n k et par lquation de
rcurrence :
i
j 1
C
j
i
M
j
q
i n+k
1.
8. On introduit loprateur
M
i N
q
i

M
i 0
q
i
qui supprime les puis-
sances ngatives de q dans un dveloppement en srie de Laurent.
Montrer que
M
i
(q 1)
(q 1)
i 1
q
nk
i >0
vrie lquation de rcurrence de la question prcdente.
Indication :
i
j 1
C
j
i
(q 1)
(q 1)
j 1
q
nk
(q 1)
i
j 1
C
j
i
(q 1)
j 1
q
nk

9. Conclure :
A
i
C
i
n
(q 1)
(q 1)
i 1
q
nk

7.8. BPSK CODE SUR CANAL DE RAYLEIGH 135
7.8 Performances de la BPSKcode sur canal de Rayleigh
On considre la modulation BPSK x
_
2E
m
sur un canal de Rayleigh nor-
malis. Laffaiblissement suit la loi de Rayleigh p() 2e
2
. On note
E
m
N
0
le rapport signal bruit moyen sur le canal, o E
m
est lenergie moyenne par bit
mis sur le canal.
Borne de lunion+Bhattacharyya sur la probabilit derreur par bit.
On considre dans cette partie la dtection optimale, bit par bit, pour la
modulation BPSK symboles quiprobables. Dans les 5 premires questions
on raisonne affaiblissement donn. On note P
e
b
[
le probabilit derreur-bit
sachant .
1. Montrer que, pour un affaiblissement donn, la distance euclidienne
minimale dans lespace des signaux mis vaut d(x, x) 2
_
E
m
.
2. En sinspirant du cas du canal gaussien trait dans ce document, donner
la borne de Bhattacharyya sur la probabilit derreur par paire sachant ,
note P
xx [
. On crira cette borne en fonction de et .
3. En dduire la borne correspondante sur P
e
b
[
. La borne de lunion est-elle
exacte ?
4. En saidant du cas du canal gaussien trait dans ce document, donner (en
la justiant) la valeur exacte de P
e
b
[
en fonction de et .
5. En utilisant une majoration convenable de la fonction Q(x) (vue lexer-
cice 7.1), en dduire lamlioration suivante de la borne de lunion + Bhat-
tacharyya : P
e
b
[
1
2
e
2
.
6. En dduire la majoration suivante de la probabilit derreur-bit P
e
b
:
P
e
b
1
2

1
1+
7. On donne la valeur exacte tablie au 4.2.2 : P
e/b
1
2
_
1
_

1+
_
. Retrou-
ver directement la borne de la question prcdente.
Indication : Quand a-t-on
_
a a ?
Performances en dcodage hard non supervis.
On considre ici la modulation BPSK code par un code linaire de para-
mtres (n, k, d
min
) en dcodage hard sur le canal de Rayleigh. Lentre du
canal est un mot de code x (x
1
, . . . , x
n
). La sortie du dtecteur seuil
la rception fournit y ( x
1
, x
2
, . . . , x
n
) o les dcisions hard x
i

_
2E
m
sont des points de la modulation BPSK. On suppose que les affaiblisse-
ments (
1
, . . . ,
n
) sont indpendants, i.e. p()
i
p(
i
).
8. Montrer que le canal discret quivalent pour le i me bit (dentre x
i
et de
sortie x
i
) est un canal BSC de paramtre p
i
P
e
b
[
i
Q(
_
2
2
i
).
9. Justier la chane de calculs suivantes pour lvaluationde la vraisemblance
sachant :
p(y[x, )
i
p( x
i
[x
i
,
i
)
i [ x
i
/ x
i
p
i
i [ x
i
x
i
(1p
i
)
Dans cette partie on suppose que les affaiblissements
i
sont inconnus au
dcodage (dcodage non supervis) ; on doit donc maximiser la vraisem-
blance moyenne :
p(y[x)
_
p()p(y[x, ) d.
10. Calculer p(y[x) en fonction de P
e
b

_
p()P
e
b
[
d, probabilit derreur-
bit moyenne la dtection BPSK.
11. En dduire que le dcodeur optimal est le mme que celui qui serait utilis
pour un canal BSC de paramtre p P
e
b
.
12. En utilisant le rsultat correspondant du document pour le canal BSC,
montrer que la probabilit derreur par mot P
e
du systme cod peut tre
majore, au premier ordre en fort rapport signal bruit, par :
P
e
c P
]
d
min
2
]
e
b
13. En dduire, laide du rsultat de la premire partie, une majoration de la
probabilit derreur sous la forme :
P
e
c
t
1
L
o L ]
d
min
2
] est la diversit sur canal de Rayleigh obtenue en dcodage
hard non supervis en fort rapport signal bruit.
7.8. BPSK CODE SUR CANAL DE RAYLEIGH 137
Performances en dcodage hard supervis.
On se place dans la mme situation que dans la partie prcdente, mais en
supposant dornavant que les affaiblissements
i
ont t estims et sont
connus au dcodage. Le critre de maximum de vraisemblance conduit
donc maximiser :
p(y[x, )
i [ x
i
/ x
i
p
i
i [ x
i
x
i
(1p
i
)
14. Pourquoi un dcodeur correcteur derreurs classique (qui minimise la
distance de Hamming entre y et x) est-il sous-optimal (pour le critre de
maximum de vraisemblance) dans ce cas ?
15. En sinspirant du calcul fait au 3.5.2, montrer que la borne de Bhattacha-
ryya scrit :
P
xx
t
[

i [ x
i
/x
t
i
2
_
p
i
(1p
i
)
On rappelle que p
i
P
e
b
[
i

1
2
e
2
i
(question 5) et que lon a P
e
b

_
p(
i
)P
e
b
[
i
d
i
1
2

1
1+
(question 6).
16. En moyennant la borne prcdente suivant p(), montrer que :
P
xx
t
_
1
1+
_
d
H
(x,x
t
)
17. En dduire une majoration de la probabilit derreur, au premier ordre en
fort rapport signal bruit, sous la forme :
P
e
c
1
L
t
o L d
min
est la diversit sur canal de Rayleigh obtenue en dcodage hard
supervis en fort rapport signal bruit.
18. COMMENTER cette valeur de L par rapport au cas non supervis de la
partie prcdente.
Performances en dcodage soft.
On considre dans cette partie la modulation BPSK code par un code
linaire (n, k, d
min
) en dcodage soft sur le canal de Rayleigh affaiblisse-
ments indpendants. On suppose les affaiblissements connus au dcodage.
On rappelle que le critre du maximum de vraissemblance conduit ici
minimiser la distance euclidienne d(y, x).
19. Par analogie avec le cas du canal gaussien trait dans ce document, montrer
que la borne de Bhattacharyya scrit :
P
xx
t
[
e
1
4N
0
d
2
(x,x
t
)
20. Sachant que les x
i

_
2E
m
sont des points de la modulation BPSK, mon-
trer, en utilisant le rsultat de la question 1, que la borne de Bhattacharyya
se met sous la forme :
P
xx
t
[
e
i [ x
i
/x
t
i
2
i
.
21. En dduire, laide des rsultats de la premire partie, que la probabilit
derreur par paire (moyenne sur ) est majore par :
P
xx
t
_
1
1+
_
d
H
(x,x
t
)
o d
H
(x, x
t
) dsigne la distance de Hamming entre les mots de code x et
x
t
.
22. En utilisant la borne de lunion, montrer que la probabilit derreur par
mot du systme cod peut tre majore, au premier ordre en fort rapport
signal bruit, par :
P
e
c
1
L
o L d
min
est la diversit sur canal de Rayleigh obtenue en dcodage soft.
23. COMMENTER cette valeur de L par rapport au cas du dcodage hard
supervis. Prfrez-vous dcoder en soft ou en hard supervis ? Pourquoi ?
7.9. MODULATIONPAR SIGNAUX ORTHOGONAUX 139
7.9 Performances de la modulationpar des signaux ortho-
gonaux de mme nergie sur canal gaussien
On considre n points quiprobables x
1
, . . . , x
n
dune constellation en dimen-
sion n dnis par
x
i
(0, . . . , 0,
_
E
..
i me composante
, 0, . . . , 0) R
n
.
Le canal est gaussien rel (d.s.p. bilatrale de bruit N
0
/2).
Prliminaires
1. Justier le titre de cet exercice.
2. Montrer que lnergie moyenne dun symbole rel ( R) mis vaut
E
m
E
n
et que la taux R de la modulation (nombre moyen de bits dinformation
par symbole rel R mis) vaut
R
log
2
n
n
.
3. Rappeler les valeurs appropries, donnes en cours, du taux critique R
0
et
de la capacit C du canal.
4. Calculer au premier ordre la capacit et le taux critique du canal lorsque la
dimension n tend vers linni et
b
E
b
N
0
est x (E
b
est lnergie moyenne
mise par bit dinformation).
On trouve
C
R
b
ln2
et R
0
R
b
2ln2
Dornavant on adoptera ces valeurs pour C et R
0
.
5. Que devient la bande occupe par la transmission lorsque la dimension n
tend vers linni, dbit binaire constant ?
Lobjet de cet exercice est de dmontrer le thorme R
0
et le thorme de
Shannon dans le cas asymptotique o n avec cette modulation.
Borne de lunion+Bhattacharyya
6. Une dtection optimale est applique la dmodulation. En sappuyant
sur le cours, justier, par un raisonnement, que la borne de Bhattacharyya
scrit :
P
xx
t e
1
4N
0
|xx
t
|
2
o |x|
2
n
i 1
x
2
i
est la norme de R
n
.
7. En dduire la majoration suivante de la probabilit derreur aprs dmodu-
lation :
P
e
(n 1)e
E
N
0
8. En dduire que
P
e
2
n(R
0
R)
9. Conclure (thorme R
0
pour n ).
10. La transmission peut-elle tre able si
b
1.5 dB? Si oui, quelle dimension
n faut-il choisir pour garantir une probabilit derreur P
e
<10
9
?
Borne de Gallager
On rappelle la borne de Gallager :
P
e[x
i

_
p(y[x
i
)
1
1+
_
j /i
p(y[x
j
)
1
1+
_
dy
valable pour tout 0.
11. Dterminer p(y[x
i
) sous la forme
p(y[x
i
) q(y)e
E
N
0
e
2
_
Ey
i
N
0
o q(y) est une densit de probabilit gaussienne en y (y
1
, . . . , y
n
) R
n
que lon prcisera.
12. Appliquer la borne de Gallager et en dduire
P
e[x
i
e
E
N
0
E
_
e
2
_
Ey
i
N
0
(1+)
_
j /i
e
2
_
Ey
j
N
0
(1+)
_
_
o lesprance porte sur la distribution de probabilit q(y).
7.9. MODULATIONPAR SIGNAUX ORTHOGONAUX 141
13. On suppose dornavant que 0 1. Justier clairement les tapes de
calcul suivantes :
P
e[x
i
(1)
e
E
N
0
E
_
e
2
_
Ey
i
N
0
(1+)
_
E
__
j /i
e
2
_
Ey
j
N
0
(1+)
_
_
(2)
e
E
N
0
E
_
e
2
_
Ey
i
N
0
(1+)
_
_
E
_
j /i
e
2
_
Ey
j
N
0
(1+)
__
Chacune de ces deux tapes est-elle toujours valable si >1 ?

14. Endduire lexpressionde la borne sur P
e[x
i
, puis sur la probabilit derreur
moyenne P
e
, en fonction de , n et de la quantit
E
_
e
2
_
Ey
N
0
(1+)
_
_
e
2
_
Ey
N
0
(1+)
q(y) dy
o q(y)
1
_
N
0
e
y
2
N
0
.
15. Calculer et en dduire la majoration
P
e
(n 1)

1+
E
N
0
.
16. Montrer nalement que
P
e
2
n
_

1+
CR
_
o 0 1. Quelle borne retrouve-t-on en posant 1 ?
Optimisation de la borne de Gallager
On veut minimiser la borne de la question prcdente sur [0, 1]. Cela
revient maximiser la fonction
f ()

1+
C R
17. On note
la valeur relle 1 qui annule la drive f

t
(). Dterminer
.
18. Montrer que f () est concave et en dduire son maximum sur lintervalle
[0, 1] (On distinguera les trois cas
<0, 0
1 et
>1).
19. En dduire
P
e
_
_
_
2
n(
C
2
R)
lorsque R
C
4
2
n(
_
C
_
R)
2
lorsque
C
4
R <C
Quobtient-on si R C ? Commenter.
20. Conclure (thorme de Shannon pour n ).
21. La transmission peut-elle tre able si
b
1.5 dB? Si oui, quelle dimen-
sion n faut-il choisir pour garantir une probabilit derreur P
e
<10
9
?
7.10. DISTANCES MOYENNES ET THORME R
0
143
7.10 Distributionde distance duncode moyenet thorme
R
0
Lobjectif de cet exercice est de dmontrer le thorme R
0
par un argument
diffrent de celui fait en cours, dans le cas dun systme cod utilisant un code
dni sur F
q
, pour lequel la probabilit derreur par paire peut tre majore par
une expression du type :
P
xx
t
d
H
(x,x
t
)
o d
H
(x, x
t
) est la distance de Hamming entre les deux mots de code x et x
t
. On
fera lhypothse habituelle que les M mots de code (F
q
)
n
de longueur n sont
quiprobables. On note R
log
2
M
n
le taux du code.
1. Montrer que cette borne sur la probabilit derreur par paire est valable,
par application de la borne de Bhattacharyya, dans les cas suivants (on
dterminera dans chaque cas la valeur de ) :
(a) Canal BSC et q-SC de paramtre p.
(b) Canal gaussien, q 2, dcodage hard avec un rapport signal--bruit
par bit dinformation gal E
b
/N
0
.
(c) Canal gaussien, q 2, dcodage soft avec un rapport signal--bruit
par bit dinformation gal E
b
/N
0
.
(d) Canal binaire effacement BEC de paramtre (cf. exercice 7.16).
(e) Canal de Rayleigh, q 2, dcodage hard.
Borne de lunion
2. En utilisant la borne de lunion, montrer la majoration suivante de la pro-
babilit derreur :
P
e

A()
o :
A(z)
1
M
1m,m
t
M
m/m
t
z
d
H
(x
m
,x
m
t )
.
sappelle le polynme numrateur de distances du code.
3. En crivant

A(z) sous la forme :

A(z)
d

A
d
z
d
, dterminer et interprter
A
d
.
Rponse :

A
d
est dni comme le nombre moyen de mots de code x
m
t
situs une distance d dun mot de code x
m
donn (cf. 3.7) :
A
d

1
M
M
m1
Card{x
m
t
[ m
t
/m et d
H
(x
m
, x
m
t
) d}
4. Retrouver lexpression de la borne de lunion+Bhattacharyya vue en cours
pour un code linaire, en fonction de A() o A(z) est le polynme num-
rateur de poids du code.
5. Plus gnralement montrer que, pour un code linaire ou non linaire,
P
e
A() 1
o :
A(z)
1
M
m,m
t
z
d
H
(x
m
,x
m
t )
.
gnralise la dnition de A(z) donne en cours pour les codes linaires.
Enumration moyenne
On value maintenant la moyenne arithmtique <

A(z) > de

A(z) sur tous
les codes possibles de longueur n et de taille M.
6. (a) Un mot de code x
m
tant x, combien y a-t-il de mots x
t
m
distance
de Hamming d de x
m
?
(b) Montrer que, x
m
tant x, la moyenne arithmtique sur tous les mots
possibles x
t
m
(F
q
)
n
de la quantit z
d
H
(x
m
,x
m
t )
est donne par :
<z
d
H
(x
m
,x
m
t )
>
1
q
n
x
t
m
z
d
H
(x
m
,x
m
t )
_
1+(q 1)z
q
_
n
7. En dduire, pour z x, la moyenne arithmtique <

A(z) > de

A(z) sur
lensemble de tous les codes possibles (chacun des M mots de code (F
q
)
n
pouvant prendre q
n
valeurs).
Rponse :
<

A(z) >1/M
m/m
t
<z
d
H
(x
m
,x
m
t )
>(M1)
_
1+(q 1)z
q
_
n
7.10. DISTANCES MOYENNES ET THORME R
0
145
[La valeur de moyenne de

A
d
est donc :
<

A
d
>
C
d
n
(q 1)
d
q
n
/M
.]
8. Dduire des questions prcdentes que la probabilit derreur moyenne
sur lensemble des codes possibles vrie :
<P
e
>2
n(R
0
R)
o R
log
2
M
n
est le taux du code et
R
0
log
2
q log
2
(1+(q 1))
9. Retrouver et noncer le thorme R
0
dans les cas dcrits la premire
question.
7.11 Exposant de Gallager pour le canal gaussien
Lobjet de cet exercice est de redmontrer les thormes R
0
et de Shannon
dans le cas du canal gaussien, partir de lexpression exacte de lexposant de
Gallager E
0
() log
2
J
0
() pour une distribution dentre gaussienne.
1. Rappeler lexpression de J
0
() du cours en fonction de [0, 1], de la
probabilit de transition du canal p(y[x) et la distribution dentre p(x).
2. On considre dans cet exercice un canal gaussien rel. Donner p(y[x) en
fonction de N
0
et mettre J
0
() sous la forme :
J
0
c
_
y
__
x
p(x)g(y x) dx
_
1+
dy.
o c est une constante fonction de et N
0
que lon prcisera et g(y) est
une distribution de probabilit gaussienne dont on prcisera la variance.
3. Dornavant on prendra pour p(x) une loi gaussienne. Prciser les para-
mtres de cette loi sachant que lnergie moyenne par symbole est E
m
.
4. Dans lexpression ci-dessus de J
0
(), on reconnait sous la parenthse le
produit de convolution de deux gaussiennes. Montrer que cest une gaus-
sienne en y dont on prcisera la variance.
5. Dduire de la question prcdente une expression de J
0
() sous la forme
dune constante multiplie par lintgrale dune gaussienne.
6. En dduire sa valeur. On trouve :
J
0
_
_
1
1+
2
1+
E
m
N
0
_
_
/2
En dduire la valeur de E
0
() pour une distribution dentre gaussienne :
E
0
()

2
log
2
_
1+
2
1+
E
m
N
0
_
.
7. A laide de ce rsultat, en considrant lexposant E() E
0
() R de la
borne sur la probabilit derreur moyenne, redmontrer successivement :
(a) Le thorme R
0
en posant 1.
(b) Le thorme de Shannon en prenant arbitrairement petit.
8. [Optionnel] Dterminer numriquement et tracer sur un graphique lexpo-
sant optimal max
[0,1]
E() en fonction de R pour diffrentes valeurs du
rapport signal bruit. Commenter.
7.12. MAXIMISATIONDE LENTROPIE 147
7.12 Maximisation de lentropie
Cet exercice est classique en thorie de linformation.
Soit X une v.a. discrte ou continue de loi (ou densit) de probabilit p(x).
Lentropie de la variable X (pour la loi p(x)) est dnie par :
H(X) H(p)
_
x
p(x) log
2
1
p(x)
(Lorsque X est une variable continue cette quantit est souvent appele entropie
diffrentielle.) Elle est not H(X) ou H(p) selon que lon dsire ou non faire
apparaitre la dpendance en la loi (ou densit) de probabilit p(x).
1. Montrer que si q(x) est une autre loi (ou densit) de probabilit, on a :
H(p)
_
x
p(x) log
2
1
q(x)
Indication : faire la diffrence et utiliser lingalit logx x 1.
2. Montrer que lingalit prcdente est une galit si et seulement si p(x)
q(x) pour presque tout x (i.e., p q presque srement).
3. Soit P un ensemble de lois de probabilit p(x). On suppose quil existe
une loi q(x) P telle que la quantit
_
x
p(x) log
2
1
q(x)
soit indpendante du choix de p(x) P. Montrer alors que
max
p(x)P
H(p) H(q)
4. Cas dune v.a. continue de variance
2
On suppose ici que X est une v.a. continue de variance
2
. Lensemble P
est donc lensemble des densits de variance gale
2
. En choisissant
q(x) gaussien (moyenne , variance
2
) montrer, en utilisant la question
prcdente, que :
max
p(x)P
H(p) log
2
_
2e
2
o e est la base des logarithmes nperiens.
5. Cas dune v.a. discrte
On suppose ici que X est une v.a. discrte dni sur un alphabet q l-
ments. En choisissant q(x)
1
q
uniforme, montrer, en utilisant la mme
dmarche qu la question prcdente, que :
max
p(x)
H(p) log
2
q
7.13. BORNE DE SHANNONSUR LA CAPACIT 149
7.13 Borne de Shannon sur la capacit
Cet exercice, suite du prcdent, est classique en thorie de linformation.
On considre un canal sans mmoire dentre X et de sortie :
Y X +B
o B est une perturbation additive indpendante de X.
Ainsi, dans le cas du canal gaussien, B reprsente un bruit additif gaussien de
variance
2
b
. Dans le cas du canal q-SC, B reprsente une erreur additive F
q
.
Les probabilits de transition du canal sont notes p(y[x). La capacit du
canal est dnie par
C max
p(x)P
I (X, Y )
o I (X, Y ) est linformation mutuelle moyenne, fonction de p(x) P et des
probabilits de transition p(y[x) :
I (X, Y )
_
x,y
p(x)p(y[x) log
2
p(y[x)
_
u
p(u)p(y[u)
Ici P est un ensemble de lois (ou densits) de probabilit p(x). Par exemple, pour
un canal continu dont lentre est de variance
2
x
, P est lensemble des densits
de probabilit de variance
_
x
(x )
2
p(x)dx
2
x
.
1. Montrer quon peut crire I (X, Y ) sous la forme :
I (X, Y )
_
x,y
p(x, y) log
2
p(y[x)
p(y)
2. En dduire que :
I (X, Y ) H(Y )
_
x
p(x)H(Y [X x)
o H(Y ) et H(Y [X x) sont des entropies :
H(Y )
_
y
p(y)
1
p(y)
H(Y [X x)
_
y
p(y[x)
1
p(y[x)
(Le terme

_
x
p(x)H(Y [X x) est appel entropie conditionnelle de Y
sachant X, et est souvent not H(Y [X).)
3. En faisant le changement de variable y x +b dans lexpression de lentro-
pie conditionne H(Y [X x), montrer que :
C max
p(x)P
{H(Y )} H(B)
4. En utilisant lexercice prcdent, montrer la borne de Shannon :
C H(q) H(B)
o q(y) est une loi de probabilit bien choisie. Elle est gaussienne si le canal
est continu, auquel cas H(q) log
2
_
2e
2
y
, o
2
y

2
x
+
2
b
; et uniforme
si le canal est discret, auquel cas H(q) log
2
q.
5. Toujours en utilisant lexercice prcdent, montrer que la borne de Shan-
non est atteinte si on peut choisir p(x) P de sorte que Y X +B ait pour
loi q(y).
7.14. CAPACIT DUCANAL GAUSSIEN ENTRE BINAIRE 151
7.14 Calcul de la capacit du canal gaussien entre bi-
naire
rel avec modulation BPSK, les symboles (binaires) lentre du canal sont de
la forme x
_
E
m
o E
m
est lnergie par bit cod x. La sortie du canal est
Y X +B, o B est un bruit additif gaussien (indpendant de lentre X) de
variance N
0
/2.
On note
_
_
_
p(0) p(x
_
E
m
)
p(1) p(x
_
E
m
)
la loi de probabilit articielle introduite dans la cours. Pour obtenir la capacit
du canal gaussien entre binaire, il faut maximiser linformation mutuelle
moyenne sur la loi (p(0), p(1)) :
C max
p(0),p(1)
I (X, Y )
1. Montrer que la densit de probabilit de la sortie du canal se met sous la
forme :
p(y)
1
_
N
0
_
p(0)e
(y
_
Em)
2
N
0
+p(1)e
(y+
_
Em)
2
N
0
_
2. En calculant H(B), montrer que la borne de Shannon scrit :
C H(q) log
2
_
eN
0
o q(y) est une densit de probabilit optimale, i.e., telle que lexpression
_
y
p(y) log
2
1
q(y)
soit indpendante du choix de p(y).
3. Montrer que q(y) est optimale si q(y) q(y).
Indication : Sous cette condition, les deux intgrales suivantes sont gales :
_
e
(y
_
Em)
2
N
0
log
2
1
q(y)
dy
_
e
(y+
_
Em)
2
N
0
log
2
1
q(y)
dy
4. Montrer, laide de la question prcdente, quun choix convenable pour
q(y) est :
q(y)
1
_
N
0
1
2
_
e
(y
_
Em)
2
N
0
+e
(y+
_
Em)
2
N
0
_
5. On rappelle que la borne de Shannon est atteinte si on peut trouver p(0) et
p(1) tels que la densit de probabilit de Y X +B soit gale p(y) q(y).
Montrer que la borne de Shannon est effectivement atteinte et donner les
valeurs de p(0) et p(1) correpondantes.
6. Montrer, laide de la question 3, que :
H(q)
_
r (y) log
2
1
q(y)
dy
o on a not :
r (y)
1
_
N
0
e
(y
_
Em)
2
N
0
Montrer de plus que
_
r (y)y
2
dy E
m
+N
0
/2.
7. Montrer que q(y) se met sous la forme :
q(y)
1
_
N
0
e
y
2
N
0
e
Em
N
0
cosh
_
y
_
E
m
N
0
/2
_
8. Dduire des deux questions prcdentes la valeur de H(q). On trouve :
H(q) log
2
_
eN
0
+2
E
m
N
0
log2
_
r (y) log
2
cosh
_
y
_
E
m
N
0
/2
_
9. En dduire la valeur de la capacit :
C
2
log2
1
_
2
_
+
y
2
2
log
2
cosh
_
y
_
2+2
_
dy
o on a pos
E
m
N
0
.
7.15. RCIPROQUE FORTE DUTHORME DE SHANNON 153
7.15 Rciproque forte du thorme de Shannon
Le thorme de Shannon dmontr au chapitre 6 afrme que si R < C, il
existe pour chaque longueur n, un code tel que P
e
tend exponentiellement vers
0 quand n . La rciproque forte du thorme de Shannon (p. 105) afrme
que si R >C, pour tout code, P
e
tend exponentiellement vers 1 quand n .
Cet exercice fournit une dmontration de cette rciproque dans le cas dun
canal sans mmoire.
On note P
c
1 P
e
la probabilit de dcodage correct pour un code C
donn de longueur n et de taille M. On suppose (comme dhabitude) que les M
mots de codes x
m
, m1, . . . , M, sont quiprobables.
1. Justier que
P
c

1
M
M
m1
P
c[x
m
,
o la probabilit de dcodage correct sachant x
m
est donne par :
P
c[x
m

_
y[p(y[x
m
)max
p(y[x
m
)
Cette sommation porte sur les y tels que p(y[x
m
) est maximum parmi les
p(y[x
m
t
), m
t
1, . . . , M.
2. En dduire que
P
c

1
M
_
y
max
xC
p(y[x).
3. On introduit un paramtre >1. Montrer que
max
xC
p(y[x)
_

xC
p(y[x)
1
1+
_
1+
Indication : On a max f (x)
_
max( f (x)
1
1+
)
_
1+
.
4. Dduire des deux questions prcdentes que :
P
c
M
_
y
_
E
_
p(y[x)
1
1+
__
1+
o lesprance porte sur le loi de probabilit :
p(x)
_
_
1
M
si x C
0 sinon.
On veut maintenant trouver une distribution de probabilit p(x) qui maxi-
mise la borne sur P
c
. On admettra que ce maximum est atteint pour une
distribution p(x) du type :
p(x)
i
p(x
i
)
5. Justier, en utilisant un calcul fait au chapitre 6, quavec cette hypothse
p(x)
i
p(x
i
), on a, pour un canal sans mmoire,
P
c
2
nmin
p(x)
(E
0
()R)
o R est le taux du code et E
0
() est lexposant de Gallager.
6. On rappelle (cf. chap. 6) que la fonction E() E
0
() R vaut 0 en 0
et que sa drive E
t
() vaut I (X, Y ) R en 0.
Par un raisonnement analogue celui fait au chapitre 6, montrer que, pour
toute distribution p(x) et pour R >C I (X, Y ) (o C est la capacit du
canal), on a : E
t
( 0) < 0, de sorte quon peut trouver > 1 tel que
E() >0.
7. Conclure : P
c
0, do P
e
1 quand n .
7.16. PERFORMANCES SUR LE CANAL BINAIRE EFFACEMENT 155
7.16 Performances de systmes cods sur le canal binaire
effacement
On considre un systme cod (par un code linaire) sur le canal effacement
(BEC) de paramtre (probabilit deffacement). Les mots de codes mis sont
quiprobables. On appelle le motif deffacements dans le mot reu y, et
Card leur nombre. est videmment connu la rception. On note y
le mot
constitu par les composantes non effacs de y. De mme x
dsigne le mot
constitu par les composantes x
i
, i / .
Maximumde vraisemblance
Par application de la rgle du maximumde vraisemblance, montrer que, pour
un motif deffacements donn :
1. le cas dex aequo (plusieurs mots de code maximisent la vraisemblance)
correspond au cas o au moins deux mots de code x et x
t
sont tels que
x
x
t
. Dans ce cas, on adoptera la vision pessimiste (comme dans le

document) quil y a erreur de dcodage.
2. il ny a donc dcodage correct que lorsquil existe un unique mot de code x
tel que x
.
Borne de lunion
3. Montrer que, sachant , la probabilit derreur par paire vaut 1 si les compo-
santes distinctes des deux mots de code sont effaces, et 0 sinon. Autrement
dit :
P
xx
t
[
I
o I est lensemble des incides i tels que x
i
/x
t
i
.
4. En dduire, en moyennant sur , que :
P
xx
t
d
H
(x,x
t
)
5. Calculer la borne de Bhattacharyya (on pourra appliquer le calcul gnral
de la section 3.5.2) et montrer quelle est exacte.
6. En dduire la borne de lunion :
P
e
A() 1
o A(z) est le polynme numrateur de poids du code.
Calcul du taux critique R
0
Indication pour cette partie : On pourra saider du calcul fait au chapitre 6
pour le BSC.
7. Calculer J
0
en utilisant le rsultat de la question 5.
8. En dduire le taux critique du BEC :
R
0
1log
2
(1+)
Calcul de la capacit C
Dans cette partie on utilisera le rsultat suivant de lexercice 7.13 :
I (X, Y ) H(Y )
x
p(x)H(Y [X x)
9. Calculer H(Y ) et H(Y [X x). On trouve :
H(Y ) H
2
() +(1)H(X) et H(Y [X x) H
2
()
o H
2
(x) x log
2
1
x
+(1x)log
2
1
1x
est la fonction dentropie binaire. En
dduire lexpression de I (X, Y ).
10. En dduire, en utilisant le rsultat de lexercice 7.12, la valeur de la capacit
du canal BEC :
C 1
et interprter ce rsultat.
11. Dessiner les graphes de R
0
et C en fonction de et montrer directement
que R
0
<C. Indication : On pourra utiliser lingalit de Jensen applique
la fonction log
2
(1+x) et la v.a. binaire X telle que p
X
(0) 1, p
X
(1) .
Codage optimal en stratgie ARQ
Dans cette partie on considre le canal BEC avec une voie de retour sans
dlai et sans bruit. On utilise le code trivial (dit universel) de paramtres
(1, 1) en stratgie ARQ.
12. Expliciter lalgorithme de dcodage. Que vaut la probabilit derreur ? (r-
ponse : 0).
7.16. PERFORMANCES SUR LE CANAL BINAIRE EFFACEMENT 157
13. Soit r le nombre de (re)transmissions dun bit dinformation. Montrer que
p(r )
r 1
(1).
14. En dduire le nombre moyen E(r ) de (re)transmissions dun bit.
15. Montrer que le taux moyen du systme cod R (nombre moyen de bits
cods par bit dinformation) est gal la capacit du canal.
16. On montre, en thorie de linformation, que la rciproque du thorme de
Shannon pour un canal avec voie de retour est toujours valable : Pour tout
systme cod, on a R C si la transmission est able. Commenter, au vu
de ce rsultat, les performances obtenues du systme considr.

Perf S System Es Codes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Perf S System Es Codes

Transféré par

Droits d'auteur :

Formats disponibles

Codage de Canal :

Performances de systmes cods

FIG. 1.7 Canal binaire symtrique (BSC)

FIG. 1.8 Canal q-aire symtrique (q-SC)

FIG. 1.9 Canal binaire effacement (BEC)

comme le vecteur constitu des valeurs non effaces de y, et de mme x

(les symboles dentre et de sortie non effacs corres-

FIG. 1.10 Canal binaire effacement et erreurs

que nous appelerons canal BSC quivalent. Les mots dentre et

) est donne par

Cette borne est minimiser sur 0.

Noter quon retrouve la borne de lunion+Chernoff en faisant 1.

Cest la borne de Gallager, minimiser sur 0. Noter quici, on retrouve la

2t +1, alors la borne de lunion est toujours meilleure (asymptotiquement lorsque

soit concave. On peut alors appliquer lingalit de Jensen pour

Il est facile de voir que pour une fonction drivable f () quelconque on a :

p +1p). En dduire la valeur

7.4. BORNE DE CHERNOFF 127

). Le produit scalaire entre x et y (F

tels que <

Chacune de ces deux tapes est-elle toujours valable si >1 ?

la valeur relle 1 qui annule la drive f

. Dans ce cas, on adoptera la vision pessimiste (comme dans le

Vous aimerez peut-être aussi