H.

Douzi
Université Ibn Zohr, Faculté des Science
Agadir 2007
 Rappel sur les probabilités discrètes

Nous donnons dans ce cours une mesure de la quantité
d'information adaptée à la description statistique des
sources et des canaux.

Les énoncés qui en résultent faisant largement appel
aux probabilités discrètes, nous commencerons
l'exposé par le rappel de quelques éléments de théorie
des probabilités.
 Espace probabilisé discret
Un espace probabilisé discret A = (X, PrX) est une
expérience aléatoire décrite par la donnée:

d'un espace des épreuves X qui est un ensemble
fini ou dénombrable (l'ensemble des résultats
possibles de l'expérience),

d'une mesure (ou loi) de probabilité PrX qui est
une application à valeur dans l'intervalle réel[0, 1]
définie pour toute partie U de X et qui vérifie:
( Axiomes de Kolmogorov) :

PrX(X) = 1

Si: U ⊂ X et V ⊂ X avec U ∩ V = ∅ ;
alors: PrX(U ∪ V) = PrX(U) + PrX(V)
Espace probabilisé discret

Notation: pX(x) = PrX ({x}).

Pour toute partie U de X, on a:

Dans le cas discret, la donnée d'une distribution de

probabilité pX : X → R telle que:

est nécessaire et suffisante pour décrire la mesure

de probabilité PrX, nous parlerons alors de l'espace
probabilisé discret A = (X, pX).

Un loi de probabilité est dite uniforme si
pX(x)=1/card(X) pour tout x∈X
 Variable aléatoire

Une variable aléatoire de A = (X, pX) est une

fonction de A dans un ensemble quelconque.

Une variable aléatoire est réelle si l’espace
d’arrivée est R.

Pour toute variable aléatoire V on pose:

L'espérance (ou moyenne) V :

 Probabilité conditionnelle

Soit un espace probabilisé A=(X,pX)

Soit V ⊂ X , On considère l’espace probabilisé
B=(V,pV) tel que: pV(x) = pX(x) / PrX(V)

Pour toute partie U de X, la probabilité

conditionnelle de U sachant V dans X est la
probabilité de U ∩ V dans V :
 Probabilité conditionnelle

Deux parties U et V de X, sont statistiquement
indépendants si on a l’une des propriétés équivalent
suivantes : (avec ) )

Deux variables aléatoires U et V sont dites

indépendantes si:
 Espace probabilisé joint

Espace probabilisé joint XY: l’espace des épreuves est un
produit cartésien discret X × Y muni d’une loi de
probabilité pXY

Nous noterons X et Y les variables aléatoires
correspondant respectivement à la première et à la
seconde coordonnée (Par commodité on utilise les
mêmes notations que pour les espaces probabilisé)

Nous définissons les lois marginales pX et pY de pXY par:
 Espace probabilisé joint

Lorsque pX(x) > 0, la probabilité conditionnelle de «
Y = y » sachant « X = x » est égale à:

En effet les évènements « Y = y » et « X = x »

correspondent aux parties X×{y} et {x}×Y de X×Y dont
l'intersection est l'évènement élémentaire {(x, y)}

De même la probabilité conditionnelle de « X = x »
sachant « Y = y » est égale à:
 Espace probabilisé joint

Les événements « X = x » et « Y = y » sont dit
statistiquement indépendants si
pXY (x, y) = pX(x)pY (y).

Si cette égalité est vraie pour tout couple de X × Y, alors
les variables aléatoires X et Y sont dit statistiquement
indépendants.
 Simplification des notations

La probabilité Pr[U] sera définie sur X, Y ou XY selon
que U est une partie de X, Y ou X ×Y. Nous utiliserons
Pr au lieu de PrX, PrY et PrXY , y compris pour les
probabilités conditionnelles.

De la même manière, pour les distributions, pX, pY ou
pXY il n'y a en général pas d'ambiguïté. Pour tout (x, y)
∈ X × Y nous noterons:
 Processus stochastiques

Un processus stochastique sur un ensemble
discret X consiste à tirer aléatoirement et
indéfiniment des éléments de X.

L'espace des épreuves correspondant est
l'ensemble des suites (x1, . . . , xn, . . . ) d'éléments
de X.

Pour tout entier n≥1, nous noterons Xn la variable
aléatoire dont la valeur est le n-ième élément de
la suite issue de l'expérience aléatoire.

L'espace probabilisé n'est pas discret et la mesure
de probabilité qui lui est associée ne peut être
définie par une distribution de probabilité.

Elle est définie par la donnée, pour tout n > 0 et
tout (x1, . . . , xn) ∈ Xn, de:
 Processus stochastiques

Processus sans mémoire: les variables aléatoires Xn
sont deux à deux indépendantes et identiquement
distribuées et pour tout n > 0 et tout (x1, . . . , xn) ∈Xn,
nous avons:

Processus stationnaire: pour tout n > 0 on a :

 Processus stochastiques

Processus markovien (d'ordre 1): pour tout n > 0:

Un processus markovien est invariant dans le temps si

Pr[Xn+1 = xn+1 | Xn = xn] est indépendant de n, nous
noterons p(xn+1 | xn). Nous pouvons alors écrire: