Vous êtes sur la page 1sur 8

Nicolas Sendrier

Programme Informatique Th
ematique S
ecurit
e

Introduction la th
eorie de linformation

Cours n4
Les s
equences typiques et lAEP

Processus stochastiques

Une source produit une suite de lettres dans lalphabet X .


Pour d
ecrire cette suite de lettres nous utiliserons une suite de vaa valeurs dans X . Ces variables ne sont
riables al
eatoires X1, X2 , . . . `
pas n
ecessairement ind
ependantes. On parlera de processus stochastique pour d
ecrire cette suite de variable al
eatoires.

cours n 4: Les s
equences typiques et lAEP

Entropie par lettre

D
efinition
Un processus stochastique est stationnaire si son comportement ne varie pas lorsque lon d
ecale lobservation dans le temps.
Pour tous entiers positifs n et j, et tout (x1, . . . , xn) X n
pX1 ...Xn (x1, . . . , xn) = pX1+j ...Xn+j (x1, . . . , xn)

Th
eor`
eme
Pour tout processus stochastique stationnaire, les limites ci-dessous existent et sont
egales
1
H(X ) = lim H(X1 , . . . , Xn) = lim H(Xn | X1 , . . . , Xn1 ).
n n
n
La quantit
e H(X ) est appel
ee entropie par lettre.

cours n 4: Les s
equences typiques et lAEP

Processus markovien invariant dans le temps

D
efinition
Un processus stochastique est dit markovien si pour
tout entier positif n et tout (x1 , . . . , xn) X n
Pr[Xn = xn | X1 = x1 , . . . , Xn1 = Xn1 ] = Pr[Xn = xn | Xn1 = xn1]
Le processus est dit invariant dans le temps si ces probabilit
es ne
d
ependent pas de n.
Nous noterons p(x2 | x1) = Pr[Xn = x2 | Xn1 = x1].
Th
eor`
eme
Lentropie par lettre dun processus markovien invariant
dans le temps (irr
eductible) est
egal `
a
H(X ) = H(X2 |X1) =

x1,x2

(x1)p(x1 | x2) log2 p(x1 | x2)

o`
u (x), x X est la distribution stationnaire.

cours n 4: Les s
equences typiques et lAEP

AEP D
efinitions

Soit une source (un processus stochastique) constitu


ee de la suite de
variables al
eatoires X1, X2 , . . . , Xn , . . . `
a valeur dans un alphabet X .
On suppose que lentropie par lettre de cette source est d
efinie
1
log2 H(X1 , . . . , Xn)
n n

H = H(X ) = lim

D
efinition Ensemble de s
equences typiques (de longueur n)
(n)



)
1

1


(x1 , . . . , xn) X n, log2
H
n

p(x1, . . . , xn)

D
efinition (Asymptotic Equipartition Property)
Un processus stochastique (une source) v
erifie lAEP si :



(n)
> 0, lim Pr A
= 1.
n
cours n 4: Les s
equences typiques et lAEP

Propri
et
es des s
equences typiques

Proposition Pour toute source v


erifiant lAEP
1
1
(i) log2
urement
H presque s
n
n
p(x1 , . . . , xn)



(n)
(n)
(ii) Pr A
2n(H) |A | 2n(H+)

Autrement dit :
Il y a 2nH s
equences typiques, ces s
equences sont

equiprobables de probabilit
e 2nH.

cours n 4: Les s
equences typiques et lAEP

Th
eor`
eme de Shannon

D
efinition Soit un codage de X , sa longueur moyenne par lettre
est d
efinie par
1 X
L() = lim
p(x1 , . . . , xn)|(x1 , . . . , xn)|,
n n
x1,...,xn
lorsque cette limite existe.
Th
eor`
eme (Shannon) Soit une source discr`
ete dalphabet X et dentropie par lettre H qui v
erifie lAEP.
1. Tout codage r
egulier de X v
erifie L() H.
2. Il existe un codage r
egulier de X tel que L() H + , > 0.

cours n 4: Les s
equences typiques et lAEP

AEP en pratique

Proposition Une source sans m


emoire v
erifie lAEP.
eductible v
erifie lAEP.
Proposition Une source markovienne irr
erifie lAEP.
Proposition Une source stationnaire ergodique v

cours n 4: Les s
equences typiques et lAEP