Vous êtes sur la page 1sur 18

Th

eorie de linformation et du codage


1. Introduction
2. Theor`eme du codage de canal
3. Calculs de Capacite
4. Decodage optimal

Introduction
e (expediteur) envoie un message `a d (destinataire) ?
e agit physiquement de facon `a produire chez d un etat desire. Toutefois le
bruit rend la reception incertaine. La communication est reussie si e et d sont
daccord ce qui a ete envoye.

1
2

1
2

Nx

Ny

Figure 1: Canal discret de probabilite de transition P [Y = yj |X = xi ].


1
|

m
{z

message

M
}

xm
1

{z

xm
n

canal bruit
e

xm
i X , card(X )=Nx

y1

{z

yn

yj Y, card(Y)=Ny

Malgre le bruit, on peut retrouver le message emis avec une probabilite


derreur aussi faible que lon veut, `a condition que log2 (M )/n soit inferieur `a
une quantite appelee la capacite du canal.

Exemple
Bruit AGB
xk

a h(tkT)

h(t)

Filtre adapt
h*( t)

kT+
yk

zk

Figure 2: Transmission binaire sans IES sur un canal ideal de bande B soumis `a un
bruit AGB.

Entre A et B : alphabet dentree = {0, 1}, alphabet de sortie = {0, 1},


p
P [Zk = 1|Xk = 0] = P [Zk = 0|Xk = 1] = Q( 2Eb /N0 ).
Entre A et C : alphabet dentree = {0, 1}, alphabet de sortie = R,
pYk |Xk =0 (y) = G(1, 2 ) et pYk |Xk =1 (y) = G(+1, 2 ), 2 = N0 /2Eb .
Sortie ternaire : Si Yk (e, e) on decide . alphabet dentree = {0, 1},
alphabet de sortie = {0, , 1}.

Th
eor`
eme de codage de canal
D
efinition 1 (Canal discret) Un canal discret est constitue dun alphabet
dentree X de taille finie, dun alphabet de sortie Y de taille finie et dune loi
de probabilite de transition notee p(y|x). On le note {X , p(y|x), Y}.
D
efinition 2 (Extension sans m
emoire et sans voie de retour)
Lextension dordre n sans memoire et sans voie de retour dun canal discret
{X , p(y|x), Y} est le canal {X n , p(y n |xn ), Y n } o`
u:
P [Yn = yn , . . . , Y1 = y1 |Xn = xn , . . . , X1 = x1 ] =
n
Y
P [Yk = yk |Xk = xk ]

(1)

k=1

D
efinition 3 ((n, M )-code) Un (n, M )-code pour le canal
{X n , p(y n |xn ), Y n } est defini par la donnee :
dun ensemble M = {1, . . . , M } de M indices (messages),
dune application c : M 7 X n ,
et dune application g : Y n 7 M, appelee r`egle de decision.
c(i) = (c1 (i), , cn (i)) est appele un mot-code.
D
efinition 4 On appelle probabilite derreur maximale dun (n, M )-code sur
le canal {X n , p(y n |xn ), Y n } :
Pe (M, n)

= max P [g(Y1 , . . . , Yn ) 6= i|c(i)]


iM
X
= max
P [(Y1 , . . . , Yn ) = y|c(i)] 11(g(y) 6= i)
iM

yY n

D
efinition 5 (Capacit
e) Soit un (n, M )-code sur le canal
{X n , p(y n |xn ), Y n }. On note r = log2 (M )/n le taux de codage (qui se mesure
en bits par utilisation du canal). On dit que r est acceptable si Pe (M, n) tend
vers 0 quand n tend vers linfini. La plus grande valeur de r est appelee la
capacite.

Th
eor`
eme 1 (Codage de canal) Soit {X , p(y|x), Y} un canal sans
memoire. Sa capacite est donnee par :

o`
u

I(X, Y ) =

XX
xX yY

C = max I(X, Y )
{PX }

P [X = x, Y = y]
P [X = x, Y = y] log2
P [X = x] P [Y = y]

o`
u {PX } designe lensemble de toutes les lois de probabilite sur X . I(X, Y )
sappelle linformation mutuelle.
Proprietes :
C 0,
C min{log2 (cardX ), log2 (cardY)}.

Calculs de capacit
es
Canal CBS X = {0, 1}, Y = {0, 1} et
P [Y = 0|X = 1] = P [Y = 1|X = 0] = p,
0

X
1

Figure 3: Canal binaire symetrique. q = 1 p.


alors
C = 1 + p log2 (p) + (1 p) log2 (1 p)

1
0.8
0.6
0.4
0.2
0

0.2

0.4

0.6

0.8

Figure 4: Capacite du CBS.

10

QQ mots dexplication : conditionnellement `a lemission du mot c0 , le mot


recu comporte, dapr`es la loi des grands nombres, n(1 p) symboles
justes et np symboles errones. Il est donc sur la sph`ere de centre c0 et
de rayon np. Dapr`es lindependance, tous ces mots ont la meme
probabilite egale `a :
t = p p (1 p) (1 p)
| {z } |
{z
}
np

n(1p)

Leur nombre est donc :


Nt =

1
= pnp (1 p)n(1p) = 2n(p log2 (p)+(1p) log2 (1p)) = 2n(1C(p))
t

Pour que la probabilite derreur soit asymptotiquement nulle, il faut


que les M sph`eres soient disjointes, et donc que M Nt < 2n . En posant
r = log2 (M )/n (soit M = 2nr ), il vient 2nr 2n(1C(p)) < 2n soit :
r < C(p)

11

Canal `
a effacements X = {0, 1}, Y = {0, , 1},
P [Yn = |Xn = 0] = P [Yn = |Xn = 1] = p et
P [Yn = 1|Xn = 0] = P [Yn = 0|Xn = 1] = 0
0

q
p

p
q

Figure 5: Canal `a effacements.


alors
C =1p

12

Canal de transmission AGB


CBS : lalphabet dentree X = {0, 1} et lalphabet de sortie Z = {0, 1}. On a
Z =X B
avec B ...
La capacite est :
CH () = 1 + Q() log2 (Q()) + (1 Q()) log2 (1 Q())
2 2
2
o`
u = E X / = 1/ 2 designe le rapport signal sur bruit.

13

Entr
ee binaire-sortie gaussienne : lalphabet dentree X = {0, 1} et
lalphabet de sortie Y = R. On a :
Y =a+B
avec a {1, 1} et B G(0, 2 ). La probabilite de transition est definie
par :
p0 (y) =

2
2
2
2
1
1

e(y+1) /2 et p1 (y) =
e(y1) /2
2
2

La capacite est donnee par :

Z
p0 (y) log2
C2,S () = 1 +
R

p0 (y)
p0 (y) + p1 (y)

dy

(2)

2 2
o`
u = E X / = 1/ 2 designe le rapport signal sur bruit.
2

14

Entr
ee M -aire sortie gaussienne : lalphabet dentree X = {1, M } et on
a:
Y =a+B
avec a {(M 1) : 2 : M 1} et B G(0, 2 ). La capacite est donnee
par :
!

Z
M
1 X
pj (y)
CS () log2 (M ) +
dy
(3)
pj (y) log2 PM
M j=1 R
`=1 p` (y)
o`
u 2 = (M 2 1)/3 2 designe le rapport signal sur bruit.

15

Entr
ee gaussienne-sortie gaussienne :

1
2
CG () = log2 1 +
2

(4)

16

1.8
1.6
1.4
1.2
(c)
1

(b)

0.8
(a)
0.6
0.4
0.2
2

10

Figure 6: Capacites exprimees en bits en fonction du rapport signal sur bruit 2


exprime en dB. Courbe (a) : CH (). Courbe (b) : CS (). Courbe (c) : CG () (expression (4)).

17

16

0
5

10

15

20

25

30

2
Figure 7: Les lois de transition sont M lois gaussiennes, de meme variance B
et de

moyennes {(M 1), (M 3), , (M 3), (M 1)}. Les valeurs de la capacite


2
sont donnees en fonction du rapport signal/bruit 2 = (M 2 1)/3B
exprime en dB.

18