PDF IntroductionauxProcessusStochastiques

See discussions, stats, and author profiles for this publication at: https://www.researchgate.
net/publication/360321542
Introduction aux Processus Stochastiques (PDF)
Book · May 2022
CITATIONS READS
0 246
1 author:
Sghir Aissa
Université Mohammed Premier
36 PUBLICATIONS 43 CITATIONS
SEE PROFILE
Some of the authors of this publication are also working on these related projects:
sghir aissa View project
All content following this page was uploaded by Sghir Aissa on 02 May 2022.
The user has requested enhancement of the downloaded file.

Université Mohammed Premier
Faculté des Sciences Oujda (FSO)
Faculté Pluridisciplinaire de Nador (FPN)
Cours et Exercices
Code sur Google Classroom: niffasp
Chaı̂nes de Markov et Martingales à temps discret
Enseignant: SGHIR Aissa

a.sghir@ump.ac.ma
Faculté des Sciences Oujda
Département de Mathématiques
Laboratoire de Modélisation Stochastique et Détérministe (LaMSD)
Master Statistique, Probabilités

et Applications (SPA) (S2) (FSO-2018-2019)
Master en Mathématiques et
Applications (MMA) (S2) (FPN-2021-2022)
Table des matières
1 Généralités sur les processus stochastiques 3

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Définition d’un processus stochastique . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 L’exemple d’une marche aléatoire symétrique dans Z . . . . . . . . . . . . . . . 4
1.4 Filtration associée à un processus stochastique . . . . . . . . . . . . . . . . . . . 5
1.5 Loi d’un processus stochastique . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.6 Accroissements d’un processus stochastique . . . . . . . . . . . . . . . . . . . . . 6
1.7 Processus gaussien et l’exemple du mouvement Brownien . . . . . . . . . . . . . 6
1.8 L’exemple du processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.9 Simulation numérique de quelques trajectoires . . . . . . . . . . . . . . . . . . . 9
1.10 Exercices (TD 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Martingales à temps discret 13

2.1 Rappels sur les espérances conditionnelles . . . . . . . . . . . . . . . . . . . . . 13
2.2 Martingales à temps continu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Martingales à temps discret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4 Décomposition de Doob des sous-martingales . . . . . . . . . . . . . . . . . . . . 17
2.5 Convergence des martingales et l’uniforme intégrabilité . . . . . . . . . . . . . . 17
2.6 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.7 Martingales arrêtées et Théorème d’arrêt de Doob . . . . . . . . . . . . . . . . . 21
2.8 Inégalité maximale de Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.9 Exercices (TD 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3 Chaı̂nes de Markov à espace d’états discret 27

3.1 Matrice et graphe de transition . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 Équation de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3 Lois marginales d’une chaı̂ne de Markov . . . . . . . . . . . . . . . . . . . . . . 32
3.4 Convergence d’une chaı̂ne de Markov . . . . . . . . . . . . . . . . . . . . . . . . 32
3.5 États absorbants, Communications des états . . . . . . . . . . . . . . . . . . . . 35
3.6 États transitoires, états récurrents . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.7 Période d’un état . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.8 Lois stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.9 Exercices (TD 3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.10 Références . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2
Chapitre 1
Généralités sur les processus stochastiques
1.1 Introduction
On rappelle que si (Ω, A, P ) est un espace probabilisé lié à une expérience aléatoire, et (E, B)
est un espace probabilisable, alors toute application mesurable X de (Ω, A, P ) vers (E, B) est
appelée une variable aléatoire, (notée v.a). C-à-d: ∀ B ∈ B, X −1 (B) ∈ A. PX = P ◦ X −1 est la
loi image de X sur (E, B), et FX (x) = P (X = x) = PX (] − ∞, x]) est sa fonction de répartition.
- Si E est une partie de N, on parle de v.a(s) discrètes. On cite par exemples: la loi de
Bernoulli B(p): E = {0, 1} et P (X = 1) = p ∈]0, 1[, la loi Binomiale B(n, p): E = {0, ...., n} et
P (X = k) = Cnk pk (1 − p)n−k , la loi Géométrique G(p): E = N∗ et P (X = k) = p(1 − p)k−1 , la
e−λ n
loi de Poisson P(λ): E = N et P (X = n) = λ , λ > 0. Etc...
n!
- Si E est un intervalle de R, on parle de v.a(s) réelles. On cite par exemples le cas absolument
continue, (ou à densité fX = FX′ ), comme la loi uniforme U([0, 1]) : fX (x) = 1[0,1] (x), la loi
1 x2
normale N (0, 1) : fX (x) = √ e− 2 , la loi exponentielle E(λ) : fX (x) = λe−λx 1(x>0) , la loi de
2π
1
Cauchy C(0) : fX (x) = , x ∈ R. Etc....
π(1 + x2 )
On cite aussi le cas des vecteurs aléatoires (X1 , ...., Xk ) à valeurs dans Rk dont la loi conjointe
est donnée par la fonction de répartition: F(X1 ,....,Xk ) (x1 , ...., xk ) = P (X1 ≤ x1 , ...., Xk ≤ xk ).
On peut aussi définir des suites de v.a(s): (Xn )n∈I où I est partie de N. Ce sont des cas
particuliers de la notion des processus stochastiques. Cette notion est définie en introduisant
une dimension dynamique qui est le temps t ∈ I ⊂ R+ par rapport à la situation statique des
v.a(s). Un processus stochastique (Xt )t∈I est donc un système à évolution aléatoire qui peut
prendre au cours du temps t une série d’états successifs Xt (ω) ∈ R, ω ∈ Ω, sans qu’il soit
possible d’en prévoir toute sa configuration exacte à un instant futur le temps t + h.
1.2 Définition d’un processus stochastique

Définition 1.2.1.
Un processus stochastique à valeurs réelles, défini sur un espace probabilisé (Ω, A, P ), est une
famille de v.a(s) noté X := (Xt , t ∈ I), (ou (Xt )t∈I ou (X(t))t∈I ), où I est une partie de R+ . X
est donc une fonction de deux variables qui fait correspond à (t, ω) ∈ I × Ω, l’image Xt (ω) ∈ R.
Remarque 1.2.2.
— Si I est une partie de N, on parle de processus stochastique à temps discret.
— Si I est un intervalle de R+ , on parle de processus stochastique à temps continu.
— À un instant t fixé, la fonction aléatoire ω → Xt (ω) est une v.a.
3
SGHIR Aissa Chapitre 1. Généralités sur les processus stochastiques
— À un individu ω fixé, la fonction déterministe t → Xt (ω) est dite une trajectoire.

— X est dit continu lorsque pour tout ω, les trajectoires t → Xt (ω) sont continues.
Exemples:
— Toute suite de v.a(s) (Xn )n∈N est un processus stochastique indexé sur I = N.
— On considère le processus stochastique suivant défini par:
Xt = 1 − t + 2tεt , ∀t ≥ 0,
où les v.a(s) (εt ) sont i.i.d et de loi normale N (0, 1). Alors, E(Xt ) = 1 − t, V (Xt ) = 4t2 ,
et Cov(Xt , Xs ) = 4tsCov(εt , εs ) = 0, ∀s ̸= t.
— Le prix journalier d’une action en bourse, et le mouvement des grains de pollen dans un
liquide sont modélisés par deux processus stochastiques.
Le prix journalier d’une Le mouvement des grains

action en bourse de pollen dans un liquide
1.3 L’exemple d’une marche aléatoire symétrique dans Z

Définition 1.3.1. Soit (Xn )n≥1 une suite de v.a(s), défini sur un espace probabilisé (Ω, A, P ),
i.i.d de loi B(p) et à valeurs dans {−1, 1}. Une marche aléatoire symétrique dans Z est la suite
X n
de v.a(s) définies par: S0 = 0 et Sn = Xi .
i=1
(Sn )n≥0 est donc un processus stochastique à temps discret.
FSO-FPN 4 Masters SPA-MMA (S2)

Exemple:
Une particule se déplace le long d’un axe. Après chaque unité de temps, la particule se déplace
d’une unité à droite avec la probabilité p, ou se déplace à gauche avec la probabilité 1 − p. Alors
la v.a Sn représente la position de la particule au bout de n pas. On a:

 0 si |j − i| > 1,
P Sn+1 = j|Sn = i = p si j = i + 1,
1 − p si j = i − 1.

1.4 Filtration associée à un processus stochastique

Définition 1.4.1.
Soit X = (Xt , t ≥ 0) un processus stochastique à valeurs réelles, défini sur un espace probabilisé
(Ω, A, P ). Alors,
— La filtration notée F := (Ft , t ≥ 0) est une famille croissante de sous tribus de A. C-à-d:
si s < t, alors Fs ⊂ Ft ⊂ A. On prend F0 = {∅, Ω} .
— X est dit adapté à la filtration F si pour chaque t ≥ 0, Xt est Ft -mesurable.
— (Ω, A, (Ft )t≥0 , P ) est appelé un espace filtré.
Exemple (la filtration naturelle):
Soit FtX := σ(Xs , s ≤ t) la tribu engendrée par le passé de X jusqu’à l’instant t. Alors F X est
la plus petite filtration qui rende X adapté. De plus, si Yt = sup Xs , alors Y est adapté à F X .
0≤s≤t
1.5 Loi d’un processus stochastique

Définition 1.5.1.
(Ω, A, P ). La loi de X est caractérisé par la donnée de toute les lois fini-dimensionnelles des
vecteurs (Xt1 , ......, Xtk ) pour tout entier k et tous t1 < ...... < tk :
F(Xt1 ,......,Xtk ) (x1 , ......, xk ) = P (Xt1 ≤ x1 , ......, Xtk ≤ xk ).
Définition 1.5.2.
Deux processus stochastiques X = (Xt , t ≥ 0) et Y = (Yt , t ≥ 0) à valeurs réelles, définis sur
le même espace probabilisé (Ω, A, P ), ont même loi, et on note: X d Y , si on a égalité de toutes
leurs lois fini-dimensionnelles. C-à-d: si pour tout entier k et tous (Xt1 , ......, Xtk ), les vecteurs
aléatoires (Xt1 , ......, Xtk ) et (Yt1 , ......, Ytk ) ont même loi.

Définition 1.5.3.
Deux processus stochastiques X = (Xt , t ≥ 0) et Y = (Yt , t ≥ 0) à valeurs réelles, définis
sur le même espace probabilisé (Ω, A, P ), sont dits indépendants si pour tout entier k et tous
(Xt1 , ......, Xtk ), les vecteurs aléatoires (Xt1 , ......, Xtk ) et (Yt1 , ......, Ytk ) sont indépendants.
1.6 Accroissements d’un processus stochastique

Définition 1.6.1.
Soit X = (Xt , t ≥ 0) un processus stochastique à valeurs réelles, défini sur un espace
probabilisé (Ω, A, P ).
– X est dit à accroissements, (ou incréments), indépendants si pour tout entier k et tous
t1 < ...... < tk , les v.a(s): Xt2 − Xt1 ; Xt3 − Xt2 ; ......; Xtk − Xtk−1 sont indépendantes.
– X est dit à accroissements stationnaires si pour tous t, h ≥ 0, la v.a: Xt+h − Xt a même
loi que la v.a: Xh − X0 .
1.7 Processus gaussien et l’exemple du mouvement Brownien

Définition 1.7.1.
(Ω, A, P ). X est dit gaussien si pour tout entier k et tous t1 < ...... < tk , le vecteur aléatoire
(Xt1 , ......, Xtk ) est gaussien dans Rn .
Remarque 1.7.2.
— Le vecteur (Xt1 , ......, Xtk ) est dit gaussien dans Rn si et seulement si toute combinaison
P k
linéaire de la forme αi Xti est gaussienne dans R, (où i ∈ [1 : k], αi ∈ R). Elle est de
i=1
k
P k
P
moyenne: αi E(Xti ) et de variance: αi αj Cov(Xti , Xtj ).
i=1 i,j=1
— Un processus gaussien X est caractérisé par sa moyenne: m(t) = E(Xt ), et sa fonction de
covariance: Γ(s, t) = Cov(Xs , Xt ) qui est symétrique: ∀s, t ≥ 0, Γ(s, t) = Γ(t, s), et semi
k
X
définie positive: pour tous t1 , ......, tk ≥ 0, et tous a1 , ......, ak ∈ R: ai aj Γ(ti , tj ) ≥ 0.
i,j=1
Proposition 1.7.3.
Deux processus stochastiques gaussiens centrés X = (Xt , t ≥ 0) et Y = (Yt , t ≥ 0), définis sur
le même espace probabilisé (Ω, A, P ), ont même loi si et seulement s’ils ont la même fonction
de covariance.
Exemple:
On considère le processus gaussien centré X = (Xt , t ≥ 0), défini sur un espace probabilisé
(Ω, A, P ), et de fonction de covariance:
Cov(Xs , Xt ) = s ∧ t = min{s, t}, ∀t, s ≥ 0.

1
Alors, X̃ := X4t , t ≥ 0 est un processus gaussien centré de même loi que X. En effet,
2
11 4s ∧ 4t
Cov(X̃s , X̃t ) = Cov X4s , X4t = = s ∧ t = Cov(Xs , Xt ).
2 2 4

Définition 1.7.4.
Un processus stochastique B := (Bt , t ≥ 0) à valeurs réelles, défini sur un espace probabilisé
(Ω, A, P ), est dit un mouvement Brownien standard si:
— B0 = 0 p.s.
— Les trajectoires t → Bt sont p.s continues.
— B est à accroissements indépendants,
— B est à accroissements gaussiens: pour tous 0 ≤ s < t, la v.a: Bt − Bs suit loi normale
N (0, t − s).
Proposition 1.7.5 (Caractérisation).

B est un mouvement Brownien standard si et seulement c’est un processus gaussien, centré,
continue, de fonction de covariance: Γ(s, t) = Cov(Bs , Bt ) = s ∧ t, ∀s, t ≥ 0.
Preuve: (voir TD 1).
Remarque 1.7.6.
— Pour chaque t > 0, Bt suit la loi normale N (0, t). C-à-d: E(Bt ) = 0 et V (Bt ) = t.
— B est à accroissements stationnaires.
— Pour tous 0 ≤ s < t, la v.a: Bt − Bs est indépendant de la tribu: FsB = σ(Bu , u ≤ s).
— Γ est symétrique et semi-définie positive. En effet, pour tous t1 , ......, tk ≥ 0, tous
a1 , ......, ak ∈ R, on a:
k
X k
X Z +∞ Z +∞ k
X 2
ai aj Γ(ti , tj ) = ai aj 1[0,ti ] (r)1[0,tj ] (r)dr = ai 1[0,ti ] (r) ≥ 0.
i,j=1 i,j=1 0 0 i=1
— Un processus continu X tel que pour tout t ≥ 0, la v.a: Xt suit une loi N (0, t) n’est pas
nécessairement un mouvement Brownien standard.

— Bt1 := −Bt si t ≥ 0 est un mouvement Brownien standard.

— Bt2 := tB 1 si t > 0 et B02 = 0 est un mouvement Brownien standard.
t
1.8 L’exemple du processus de Poisson

Définition 1.8.1.
Un processus de comptage est une famille de v.a(s) N := (N (t), t ≥ 0), défini sur un espace
probabilisé (Ω, A, P ), et à valeurs dans N∗ , telles que N (0) = 0 et t 7−→ N (t) est croissante.
Définition 1.8.2.
Un processus de Poisson N = (N (t), t ≥ 0) d’intensité λ > 0, défini sur un espace probabilisé
(Ω, A, P ), est un processus de comptage tel que:
— N est à accroissements indépendants. C-à-d: pour tout entier k et tous t1 < ...... < tk ,
les v.a(s): N (t2 ) − N (t1 ); N (t3 ) − N (t2 );......; N (tk ) − N (tk−1 ) sont indépendantes.
— Pour tous s, t ≥ 0, N (s + t) − N (s) suit la loi de Poisson de paramètre λt. C-à-d:
n
−λt (λt)

∀n ∈ N, P N (s + t) − N (s) = n = e .
n!
Remarque 1.8.3.
— Les processus de Poisson sont souvent utilisés pour modéliser des files d’attente, par
exemple, chaque événement représentant l’appel d’un client au guichet.

— Pour tous t, s ≥ 0, N (t) et N (t + s) − N (s) représentent le nombre d’événements se

produisant dans l’intervalle de temps [0, t].
— N est à accroissements stationnaires. C-à-d: pour tous t, s ≥ 0, la v.a: N (s + t) − N (s)
a même loi que la v.a: N (t).
— N est localement continu, (présence des sauts): lim+ P (N (t + s) − N (t) ≥ 1) = 0.
s→0
Proposition 1.8.4.
Soit N = (N (t), t ≥ 0) un processus de Poisson d’intensité λ > 0, défini sur un espace
probabilisé (Ω, A, P ). Alors,
1) Pour tous 0 < s < t, Cov(N (s), N (t)) = λ(s ∧ t).
N (t)
2) Lorsque t → +∞, converge en moyenne quadratique vers λ.
t
N (t)
3) Lorsque t → +∞, converge presque sûrement vers λ.
t
r
t N (t)
4) Lorsque t → +∞, − λ converge en loi vers X ∼ N (0, 1).
λ t
Proposition 1.8.5.
probabilisé (Ω, A, P ). Alors, N est sans mémoire. C-à-d: sachant le comportement du processus
à un instant donné t ne modifie pas les prévisions pour le futur t + s.
Preuve:
Par indépendance et stationnarité des accroissements de N , on a:

P (N (t + s) − N (t) = k) ∩ (N (t) = n)
P N (t + s) − N (t) = k|N (t) = n =
P (N (t) = n)
P (N (t + s) − N (t) = k)P (N (t) = n)

=
P (N (t) = n)
= P (N (t + s) − N (t) = k)
e−λs (λs)k
= P (N (s) = k) = .
k!

Théorème 1.8.6.
Soit N = (N (t), t ≥ 0) un processus de Poisson d’intensité λ > 0, défini sur un espace proba-
bilisé (Ω, A, P ). Le temps d’attente entre deux événements successifs suit une loi exponentielle
E(λ) de paramètre λ. C-à-d: si T0 = 0 et pour tout n > 0, Tn est l’instant auquel se produit le
n-ième événement, alors pour tout n > 0 et pour tout t > 0, Tn − Tn−1 ∼ E(λ).
Preuve:
Par définition des instants (Tn )n≥0 , et la formule de la fonction de répartition d’une E(λ) :
P (Tn − Tn−1 ≤ t) = 1 − P (Tn − Tn−1 > t)
= 1 − P (N (t + Tn−1 ) − N (Tn−1 ) = 0)
= 1 − P (N (t) = 0) = 1 − e−λt .
Corollaire 1.8.7.
probabilisé (Ω, A, P ). Pour tout n > 0, la v.a: Tn suit la loi Gamma de paramètres n et λ notée
λn xn−1 e−λx
Γ(n, λ), dont la densité est donnée par: f (x) = 1(x>0) .
Γ(n)
Preuve:
n
X
Tn = (Ti − Ti−1 ) est la somme de n v.a(s) i.i.d de loi E(λ), donc elle suit la loi Γ(n, λ).
i=1
Remarque 1.8.8.
On a: (N (t) = n) = (Tn ≤ t < Tn+1 ) et (N (t) ≥ n) = (Tn ≤ t). Donc d’après le Corollaire
1.8.7, un calcul simple des intégrales nous donne:
(λt)n
P (N (t) = n) = P (Tn ≤ t) − P (Tn+1 ≤ t) = e−λt .
n!
1.9 Simulation numérique de quelques trajectoires

Code sous R (une marche aléatoire symétrique)
Un mobile est positionné à l’origine d’un axe. À chaque étape, il se déplace d’une distance de
longueur 1 vers la droite ou la gauche avec la probabilité 0,5 pour chaque direction. Il effectue n
étapes au total. Soit Xi la position du mobile à l’étape i avec X0 = 0. On simule une réalisation
du vecteur X := (X0 , X1 , ......, Xn ) pour n donnée comme suit:
n <- 10000
U <- sample(c(-1,1), n, replace = T)
X <- cumsum(U)
X <- c(0, X) # X est le vecteur désiré.
plot(X, type=”l”)
Code sous R (deux trajectoires Browniennes sur la même fenêtre)

BM<-function(T,n)
{
t<-(0:n)*(T/n)
B1<-numeric(n)
B2<-numeric(n)
for(i in 1:n) B1[i+1]= B1[i]+sqrt(t[i+1]-t[i])*rnorm(1)
for(i in 1:n) B2[i+1]= B2[i]+sqrt(t[i+1]-t[i])*rnorm(1)

plot(t,B1, type = ”l”)

lines(t,B2,type = ”l”,col=2)
}
BM(1,500)
Code sous MATLAB (une seule trajectoire Brownienne par fenêtre)

function B=MB(T,n);
T=input(’Entrer la longueur du temps T=’);
n=input(’Entrer la taille de l’échantillon n=’);
t=0:T/n:T;
B(1)=0;
for i=1:n
B(i+1)=B(i)+sqrt(t(i+1)-t(i))*randn(1);
end
plot(t,B)
end
Code sous R (une seule trajectoire de Poisson par fenêtre)

lambda <- 1 # λ = 1
t <- 50
n <- rpois(1,lambda*t) # n contient le nombre N(t) des événements dans [0, t].
S <- rexp(n, lambda) # le vecteur S contient les instants (Sn ).
T <- c(0, cumsum(S)) # le vecteur T contient les instants (Tn ).
plot(x=T, y=0:n, type = ”s”)

*************************************************************************
N.B: Pour plus de détails et preuves sur le chapitre (1), nous référons à [1] et [2].
*************************************************************************
1.10 Exercices (TD 1)

Exercice 1
1) Rappeler la définition du mouvement Brownien standard B = (Bt , t ≥ 0) à valeurs
réelles et défini sur un espace probabilisé (Ω, A, P ).
√
2) Soit Y une v.a de loi N (0, 1). On pose Xt := tY pour tout t ≥ 0. Montrer que le
processus X n’est pas un mouvement Brownien standard.
3) Montrer que B est un mouvement Brownien standard si et seulement B est un processus
gaussien, continue, centré, de fonction de covariance: Cov(Bs , Bt ) = s ∧ t, ∀s, t ≥ 0.
1
4) Soit c > 0. Montrer que le processus: Btc := Bc2 t , t ≥ 0 est un mouvement Brownien
c
standard.
Exercice 2
Soit B = (Bt , t ≥ 0) un mouvement Brownien standard, à valeurs réelles et défini sur un
espace probabilisé (Ω, A, P ).

1 2 2
1) Montrer que: Bt := −Bt si t ≥ 0 et Bt := tB si t > 0 et B0 = 0 sont deux
1
t
mouvements Browniens standard.
2) Montrer que Bt + Bs ∼ N (0, t + 3s) pour tous 0 < s < t.
3) Calculer E(Bt2 ), E(Bt3 ) et E(Bt − Bs )2 pour tout 0 < s < t.
4) Rappeler la formule de la fonction caractéristique d’une v.a gaussienne et trouver les
moments de B d’ordre pairs et impairs.

Exercice 3
Soit (Bt , t ≥ 0) un mouvement Brownien standard. Le pont Brownien est définie comme
suit:
Zt := Bt − tB1 , 0 ≤ t ≤ 1.
1) Montrer que Z est un processus gaussien. Préciser ses paramètres.
2) Calculer Cov(Zt , B1 ) pour tout t ≥ 0, et en déduire que Zt est indépendant de B1 .
3) Montrer que le processus (Yt := Z1−t , 0 ≤ t ≤ 1) a même loi que Z.

4) Montrer que le processus Xt := (1 − t)B 1−tt , 0 < t < 1 a même loi que Z.
Exercice 4
Des autobus arrivent à une station selon un processus de Poisson d’intensité λ.
1) Chaque autobus s’arrête un temps τ à la station. Un passager qui arrive à un instant
θ monte dans le bus si celui-ci est là, ou attend pendant un temps τ ′ , puis, si l’autobus
n’est pas arrivé pendant le τ ′ , quitte la station et s’en va à pied. Déterminer la probabi-
lité que le passager prenne l’autobus.
Exercice 5
probabilisé (Ω, A, P ).
2
1) Calculer pour tous s, t ≥ 0 : Cov(N (s), N (t)) et E N (t) − N (s) .
2) Soit s < t et k = 0, ..., n. Calculer: P (N (s) = k|N (t) = n).
N (t)
3) Lorsque t → +∞, montrer que: converge en moyenne quadratique vers λ.
t
N (t)
4) Lorsque t → +∞, montrer que: converge presque sûrement vers λ.
t
r
t N (t)
5) Lorsque t → +∞, montrer que: − λ converge en loi vers N (0, 1).
λ t

Chapitre 2
Martingales à temps discret
2.1 Rappels sur les espérances conditionnelles

Définition 2.1.1.
Soit X une v.a définie sur un espace probabilisé (Ω, A, P ), et B une sous tribu de A. L’espérance
conditionnelle de X sachant B, notée E(X|B), est l’unique v.a B-mesurable telle que pour tout
B ∈ B, on a: Z Z
E(X|B)dP = XdP.
B B
Propriètés 2.1.2.
1. Linéarité: E(aX1 + bX2 |B) = aE(X1 |B) + bE(X2 |B), a, b ∈ R.

2. E E(X|B) = E(X).
3. Pour toute v.a Y bornée et B-mesurable, on a:

E(XY ) = E Y E(X|B) .
4. Si X est B-mesurable, alors E(X|B) = X.

5. Si X est indépendante de B, alors E(X|B) = E(X).

6. Si B2 ⊂ B1 , alors E E(X|B1 )|B2 = E(X|B2 ).
7. Si X ∈ L2 (Ω, A, P ), alors E(X|B) représente la projection orthogonale de X sur l’espace
des v.a(s) B-mesurables.

8. Inégalité de Jensen: Si ϕ est convexe mesurable alors, ϕ E(X|B) ≤ E ϕ(X)|B .
En particulier, |E(X|B)| ≤ E(|X| | B).
9. Convergence monotone (Beppo
Levi):
Soit (Xn )n≥0 une suite de v.a(s) positives et p.s
croissante vers X. Alors E(Xn |B) est p.s croissante et convergente vers E(X|B).
n≥0
10. Lemme de Fatou: Soit (Xn )n≥0 une suite de v.a(s) positives. Alors,

E lim inf Xn |B ≤ lim inf E(Xn |B).
n→+∞ n→+∞
11. Convergence dominée: Si (Xn )n≥0 est une suite de

v.a(s) qui
converge p.s vers X, et si
1
pour tout n ≥ 0, |Xn | ≤ Y avec Y ∈ L (Ω). Alors E(Xn |B) converge p.s et dans
n≥0
L1 (Ω) vers E(X|B).
13
SGHIR Aissa Chapitre 2. Martingales à temps discret
Remarque 2.1.3.
— La probabilité de A ∈ A conditionnellement à B est définie par: P (A|B) = E 1A |B .
— Si Y est une v.a à valeurs dans (E, B), alors σ(Y ) = {X −1 (B), B ∈ B} la tribu engendrée
par Y est la plus petite tribu sur Ω qui rende Y mesurable. De plus, toute v.a X σ(Y )-
mesurable est une fonction de Y et on note: E(X|σ(Y )) = E(X|Y ) = h(Y ). Il est clair
que E(X|X) = X.
— Si X et Y sont deux v.a(s) discrètes, alors E(X|Y ) est une v.a égale à h(Y ) où h est la
fonction définie par:
X X P (X = x, Y = y)
h(y) = E(X|Y = y) = xP (X = x|Y = y) = x .
x∈E x∈E
P (Y = y)
— Si X et Y sont deux v.a(s) absolument continues, alors,

f(X,Y ) (x, y)
Z
E(X|Y = y) = x dx.
R fY (y)
Exemples:
1. Soient X1 , ......, Xn des v.a(s) i.i.d et Sn = X1 + ...... + Xn leur somme. Alors,
E(X1 |Sn ) = E(X2 |Sn ) = ........ = E(Xn |Sn ).
Par suite,
Sn = E(Sn |Sn ) = E(X1 + ......... + Xn |Sn ) = nE(X1 |Sn ).
Finalement, on trouve que,
Sn s
E(X1 |Sn ) = et E X1 |Sn = s = .
n n
2. Soit (X, Y n
) un couple aléatoire de densité de probabilités conjointe:
o f(X,Y ) (x, y) = 2×1D ,
avec D = (x, y) ∈ R2 , 0 ≤ x ≤ 1 , 0 ≤ y ≤ 1 , 0 ≤ x + y ≤ 1 . Alors,
Z 1−x Z 1−y
fX (x) = 2 dy = 2(1 − x)1[0,1] (x), fY (y) = 2 dx = 2(1 − y)1[0,1] (y).
0 Z 1−x 0
y 1−x 1−X
E(Y |X = x) = dy = , E(Y |X) = .
0 1−x 2 2
2.2 Martingales à temps continu

Définition 2.2.1.
– Un processus stochastique X = (Xt , t ≥ 0) à temps continu, définie sur un espace filtré
(Ω, A, (Ft )t≥0 , P ), est dit une (Ft )t≥0 -martingale si:
1. X est adapté à la filtration (Ft )t≥0 .
2. Pour tout t ≥ 0, Xt est intégrable. C-à-d: E|Xt | < +∞.

3. Pour tous s ≤ t, E Xt |Fs = Xs .
– X est dit une (Ft )t≥0 -sous-martingale, (resp. (Ft )t≥0 -sur-martingale), si dans la condition (3),
on remplace le signe (=) par (≥), (resp. par (≤)).
Exemple:
Soit B = (Bt , t ≥ 0) un mouvement Brownien standard, définie sur un espace probabilisé
(Ω, A, P ) et FtB = σ(Bs , s ≤ t) sa filtration naturelle. Alors, B est une F B -martingale. En
effet, on a:

— Il est clair que B est adapté à la filtration F B . r r

2 +∞ − y2
Z Z
1 2
− y2t 2t
— Pour tout t ≥ 0, E|Bt | = √ |y|e dy = ye 2t dy = < +∞.
2πt R πt 0 π
— Par indépendance des accroissements de B et la Fs −mesurabilité de Bs , pour tous s < t :

E Bt |Fs = E Bt − Bs + Bs |Fs = E Bt − Bs |Fs + E Bs |Fs

= E Bt − Bs + Bs = 0 + Bs = Bs .
Remarque 2.2.2.
— La moyenne d’une (Ft )t≥0 -martingale X est constante. En effet, pour tout t ≥ 0,

E(Xt ) = E E Xt |F0 = E(X0 ) car E Xt |F0 = X0 .
— Si X est une (Ft )t≥0 –sous-martingale alors −X est une (Ft )t≥0 –sur-martingale.
— Si X est une (Ft )t≥0 –martingale de carré intégrable, alors, pour tous s ≤ t, on a:

E (Xt − Xs )2 |Fs = E Xt2 − Xs2 |Fs .
En effet, puisque Xs est Fs -mesurable, on a:

E (Xt − Xs )2 |Fs = E Xt2 − Xs2 |Fs + E 2(Xs2 − Xs Xt )|Fs ,

E Xs2 − Xs Xt |Fs = Xs2 − Xs E Xt |Fs = Xs2 − Xs2 = 0.
Proposition 2.2.3.
Soit B = (Bt , t ≥ 0) un mouvement standard, définie un espace filtré (Ω, A, (Ft )t≥0 , P ).
sur
σ2 t
Alors, les deux processus: (Bt2 − t, t ≥ 0) et eσBt − 2 , t ≥ 0 , pour un certain σ > 0, sont des
(Ft )t≥0 -martingales.
2.3 Martingales à temps discret

Définition 2.3.1.
– Une suite de v.a(s) (Xn )n≥0 , définies sur un espace filtré (Ω, A, (Fn )n≥0 , P ), est dit une
(Fn )n≥0 -martingale si:
1. X est adapté à la filtration (Fn )n≥0 .
2. Pour tout n ∈ N, Xn est intégrable. C-à-d: E|Xn | < +∞.

3. Pour tous n ≥ 0, E Xn+1 |Fn = Xn .
– X est dit une (Fn )n≥0 -sous-martingale, (resp. (Fn )n≥0 -sur-martingale), si dans la condition
(3), on remplace le signe (=) par (≥), (resp. par (≤)).
Exemples:
1)- Marche aléatoire symétrique
1
Soient (Xn )n≥1 une suite de v.a(s) i.i.d de loi B , et FnX = σ(Xi , 1 ≤ i ≤ n) = σ(X1 , ......, Xn )
n
2
Xi . Alors (Sn )n≥1 est une (FnX )n≥1 -martingale.
P
sa filtration naturelle. Posons: S0 = 0 et Sn =
i=1
En effet, puisque E(X1 ) = 0 et E(X12 ) = 1, alors,

n
— E(Sn ) = 0 et E(Sn2 ) = E(Xi2 ) = n < +∞. Par suite E|Sn | < +∞.
P
i=1
— FnS = σ(S1 , ......, Sn ) = σ(X1 , ......, Xn ) = FnX .
— Pour tout n ≥ 1, Sn est FnX -mesurable.

— E Sn+1 |FnX = E Sn + Xn+1 |FnX = Sn + E Xn+1 |FnX = Sn + E(Xn+1 ) = Sn .
2)- Intégration stochastique discrète
Remarque 2.3.2.
— Si (Xn )n≥0 est une (Fn )n≥0 -martingale, alors elle est aussi une (FnX )n≥0 -martingale.
— Pour tout n ≥ 0, on a: E(Xn ) = E(Xn−1
) = ...... = E(X0 ). (espérance constante)
— Pour tous 0 ≤ n ≤ m, on a: E Xm |Fn = Xn . (par croissance de (Fn )n≥0 )
— (Xn )n≥0 est une (Fn )n≥0 -martingale si elle est à la fois une (Fn )n≥0 -sous-martingale et
une (Fn )n≥0 -sur-martingale.
— Si (Xn )n≥0 est une (Fn )n≥0 -martingale et ϕ une fonction convexe telle que pour tout
n ≥ 0, ϕ(Xn ) est intégrable, alors (ϕ(Xn ))n≥0 est une (Fn )n≥0 -sous-martingale.
En particulier pour les exemples: ϕ(x) = |x|, ϕ(x) = x+ et ϕ(x) = x2 .
— Soit (Fn )n≥0 une filtration et Y une v.a intégrable. On pose: Yn = E(X|Fn ), ∀n ≥ 0.
Alors, (Yn )n≥0 est une (Fn )n≥0 -martingale.

2.4 Décomposition de Doob des sous-martingales

Théorème 2.4.1.
Toute (Fn )n≥0 -sous-martingale (Xn )n≥0 , définie sur un espace filtré (Ω, A, (Fn )n≥0 , P ), peut
être écrite d’une manière unique comme la somme d’une (Fn )n≥0 -martingale (Mn )n≥0 et un
processus positive, croissant et prévisible (An )n≥0 . C-à-d: ∀ n ≥ 1, An est Fn−1 -mesurable.
Preuve:
n−1
X n−1
X n−1
X
X n = X0 + (Xi+1 − Xi ) = X0 + Xi+1 − E Xi+1 |Fi + E Xi+1 |Fi − Xi .
i=0 i=0 i=0
n−1
X
On pose: M0 = X0 , Mn = Xi+1 − E Xi+1 |Fi , ∀n ≥ 1,
i=0
n−1
X
A0 = 0, An = E Xi+1 |Fi − Xi , ∀n ≥ 1.
i=0
Pour tout n ≥ 0, An ≥ 0, car (Xn )n≥0 est une (Fn )n≥0 -sous-martingale.
On va montrer que les deux familles construites répondent à la question. En effet,
— E(M0 ) = E(X0 ) < +∞,
n−1
X
— Pour tout i = 0, ..., n − 1, E(Mn ) = E(Xi+1 ) − E(Xi+1 ) = 0 < +∞,
i=0
— Pour tout n ≥ 1, Mn est Fn -mesurable car Xn l’est et (Fn)n≥0 est croissante. Alors,
E Mn+1 |Fn = E Mn + Xn+1 − E(Xn+1 |Fn )|Fn = Mn .
D’où (Mn )n≥0 est une (Fn )n≥0 -martingale.
— (An )n≥0 est croissant: pour tout n ≥ 1, An+1 − An = E Xn+1 |Fn − Xn ≥ 0 car (Xn )n≥0
est une (Fn )n≥0 -sous-martingale.
— Xi est Fi -mesurable pour tout i = 0, ..., n − 1, donc Xi est Fn−1 -mesurable car (Fn )n≥0
est croissante. D’où An est Fn−1 -mesurable pour tout n ≥ 1.
Exercice: (voir TD 2).

Soit (Xn )n≥0 une (Fn )n≥0 -martingale. Montrer que (Xn2 )n≥0 est une (Fn )n≥0 -sous-martingale.
Quelle est sa décomposition de Doob?
2.5 Convergence des martingales et l’uniforme intégrabilité

Définition 2.5.1.
Une famille (Xn )n≥0 de v.a(s), définies sur un espace probabilisé (Ω, A, P ), est dite équi-
intégrable, (ou uniformément intégrable), si:

lim sup E |Xn |1{|Xn |≥M } = 0.
M →+∞ n≥0
Remarque 2.5.2.
— Une famille uniformément intégrable est toujours bornée dans L1 (Ω) : sup E|Xn | < +∞.
n≥0
— Si elle existe Z une v.a positive telle que pour tout n ≥ 0, |Xn | ≤ Z, alors, (Xn )n≥0 est
uniformément intégrable.
— Si (Xn )n≥0 est uniformément intégrable et converge en probabilité vers X, alors (Xn )n≥0
converge vers X dans L1 (Ω). En particulier, lim E|Xn | = E|X|.
n→+∞

Soit (Xn )n≥0 une suite de v.a(s) définies sur un espace filtré (Ω, A, (Fn )n≥0 , P ). Alors, on a la
série des résultats suivants:
Théorème 2.5.3.
Soit (Xn )n≥0 est une (Fn )n≥0 -martingale. Alors, on a les équivalences suivantes:
— (Xn )n≥0 est uniformément intégrable.
— (Xn )n≥0 converge dans L1 (Ω).
— (Xn )n≥0 est bornée dans L1 (Ω), et la limite p.s X∞ vérifie: ∀ n ≥ 0, Xn = E(X∞ |Fn ).
— Il existe X ∈ L1 (Ω) telle que: ∀ n ≥ 0, Xn = E(X|Fn ).
Théorème 2.5.4.
Si (Xn )n≥0 est une (Fn )n≥0 -martingale telle que sup E(Xn2 ) < +∞, alors, il existe une v.a noté
n≥0
X∞ , de carré intégrable, telle que (Xn )n≥0 converge presque surement (p.s), et dans L2 (Ω), vers
X∞ .
Preuve:
On va montrer seulement la convergence dans L2 (Ω). Pour cela, considérons les accroissements:
∆Xn := Xn − Xn−1 , n ≥ 1. Ils sont orthogonaux pour le produit scalaire de L2 (Ω) :

E ∆Xi ∆Xj = E ∆Xi E ∆Xj |Fj−1 = 0 pour 1 ≤ i < j.
Par conséquent, pour tout n ≥ 0,

n
X 2 n
X
E(Xn2 ) = E X0 + 2
∆Xi = E(X0 ) + E(∆Xi )2 < E(Xn+1
2
).
i=1 i=1
Ainsi la suite des réels (E(Xn2 ))n≥0 est croissante, et comme elle est bornée, alors elle converge
vers une valeur positive finie. Ceci implique que (Xn )n≥0 est une suite de Cauchy dans L2 (Ω).
Il suffit de voir que, par l’orthogonalité des accroissements, pour tout n, p ≥ 0:
n+p +∞
X X
2 2
E(Xn+p −Xn ) = E(∆Xi ) ≤ E(∆Xi )2 = E(Xn+p
2
)−E(Xn2 ) −→ 0 lorsque n → +∞.
i=n+1 i=n+1
Finalement, il existe une variable aléatoire limite X∞ appartenant à L2 (Ω).
Théorème 2.5.5.
— Si (Xn )n≥0 est une (Fn )n≥0 -martingale telle que sup E(|Xn |) < +∞, alors, il existe une
n≥0
v.a noté X∞ , intégrable, telle que (Xn )n≥0 converge presque surement p.s vers X∞ .
— Si (Xn )n≥0 est une (Fn )n≥0 -sous-martingale telle que sup E(Xn+ ) < +∞, alors, il existe
n≥0
une v.a noté X∞ , intégrable, telle que (Xn )n≥0 converge p.s vers X∞ .
— Si (Xn )n≥0 est une (Fn )n≥0 -sur-martingale telle que sup E(Xn− ) < +∞, alors, il existe
n≥0
une v.a noté X∞ , intégrable, telle que (Xn )n≥0 converge p.s vers X∞ .
— Si (Xn )n≥0 est une (Fn )n≥0 -sur-martingale positive, alors, il existe
une
v.a noté X∞ ,
intégrable, telle que (Xn )n≥0 converge p.s vers X∞ , et Xn ≥ E X∞ |Fn , ∀n ≥ 1.
Remarque 2.5.6.
Notons que si (Xn )n≥0 est une (Fn )n≥0 -martingale, alors,
E|Xn | = E(Xn+ ) + E(Xn− ) = 2E(Xn+ ) − E(Xn ) ≤ 2E(Xn+ ) − E(X0 ).

Application:
Soit (Xn )n≥0 une suite de v.a(s) telle que: E Xn |X1 , ......, Xn−1 = 0, ∀n ≥ 1.
n +∞
X X E(X 2 ) n Sn
On pose: Sn = Xi . Si la série: 2
converge p.s vers 0.
< +∞, alors
i=1 n=1
n n
ai
On va utiliser le lemme de Kronecker qui dit que si la série de terme général est convergente,
n
i
1X
alors ai tend vers 0 lorsque n tend vers l’infini.
n i=1
n
X Xi
Si on pose: Yn = , alors (Yn )n≥1 est une martingale associée à sa filtration canonique:
i=1
i
FnY = σ(Y1 , ......, Yn ) = σ(X1 , ......, Xn ) = FnX . En effet,
— Pour tout n ≥ 1, Yn est Fn -mesurable.

n n E E(X |F X )
X E(Xi ) X i i−1
— E(Yn ) = = = 0.
i=1
i i=1
i
Xn+1 X 1
— E Yn+1 |FnX = E Yn + E Xn+1 |FnX = Yn + 0 = Yn .

|Fn = Yn +
n+1 n+1
X
Si i < j, alors i ≤ j − 1, par suite Xi est Fj−1 −mesurable par croissance de la filtration. Par

X X
suite, E(Xi Xj ) = E E(Xi Xj |Fj−1 ) = E Xi E(Xj |Fj−1 ) = 0.
n n
X E(X 2 ) i
X E(Xi Xj ) X E(X 2 ) i
Finalement, E(Yn2 ) = +2 = < +∞.
i=1
i2 i<j
ij i=1
i2
D’où, d’après le Théorème 2.5.3 ou 2.5.4, (Yn )n≥0 converge p.s vers Y∞ , et le lemme de Kronecker
termine la preuve de cet application.
2.6 Temps d’arrêt

Définition 2.6.1.
Un temps d’arrêt T associé à une filtration (Fn )n≥0 est une v.a à valeurs dans N ∪ {+∞} telle
que (T = n) ∈ Fn , ∀n ≥ 0.
Remarque 2.6.2. [ c \ [
c c
(T = +∞) = (T < +∞) = (T = n) = (T = n) ∈ F∞ = σ Fn .
n≥0 n≥0 n≥0
Exemples:
1. Toute constante T est un temps d’arrêt car (T = n) = ∅ où (T = n) = Ω.
2. Soit (Xn )n≥0 un processus
n (Fn )n≥0 -adapté
o et B ∈ R. Soit TB le temps d’entrée dans B
défini par: TB = inf n ≥ 0, Xn ∈ B , avec la convention: inf ∅ = +∞. Alors, TB est

un temps d’arrêt: ∀n ≥ 0, (TB = n) = X1 ∈ / B, ......, Xn−1 ∈
/ B, Xn ∈ B ∈ Fn .
Proposition 2.6.3.
On a les équivalences suivantes:
1. T est un (Fn )n≥0 temps d’arrêt.
2. ∀n ≥ 0, (T ≤ n) ∈ Fn .
3. ∀n ≥ 0, (T > n) ∈ Fn .

Preuve:
Il suffit de voir que:
[n
(T ≤ n) = (T = i) ∈ Fn .
i=0
(T > n) = (T ≤ n)c ∈ Fn .
(T = n) = (T ≤ n) \ (T ≤ n − 1) = (T ≤ n) ∩ (T ≤ n − 1)c ∈ Fn .
Corollaire 2.6.4.
Si S et T sont deux temps d’arrêt, alors S + T, S ∧ T et S ∨ T sont des temps d’arrêt.
Preuve:
Pour tout n ≥ 0, on a:
[n h i
1. (S + T = n) = (S = k) ∩ (T = n − k) ∈ Fn .
k=0
2. (S ∧ T > n) = (S > n) ∩ (T > n) ∈ Fn .
3. (S ∨ T ≤ n) = (S ≤ n) ∩ (T ≤ n) ∈ Fn .
Motivation des temps d’arrêt

Dans un jeu de pile ou face, un joueur gagne (+1) ou perd (-1) selon que (P) ou (F) apparaı̂t.
Désignons par Yn le gain de ce joueur à la n-ème partie. Alors, (Yn )n≥1 est une suite de v.a(s) i.i.d
1 X n
de loi commune de Bernoulli B telle que E(Y1 ) = 0. Considérons la martingale: Xn = Yi
2 i=1
qui n’est autre que le gain total du joueur après la n-ème partie. Pour tout n ≥ 1, on a
E(Xn ) = 0, ce qui s’exprime en disant que le jeu est équitable. Or, le joueur n’est pas obligé de
jouer indéfiniment, ni même de s’arrêter à un instant donné fixé à l’avance. Il peut, au contraire,
arrêter le jeu à un instant T qu’il juge favorable. Si T < +∞ p.s, le gain du joueur à la date T
est donné par:
XT = Y1 + ...... + YT .
— Si T = n est déterministe, on a bien: E(Xn ) = 0.
— Si T est une v.a indépendante des (Yn )n≥1 et E(T ) < +∞, l’identité de Wald, (voir
TD2), permet d’écrire:
E(XT ) = E(Y1 + ...... + YT ) = E(T )E(Y1 ) = 0.
Définition 2.6.5.
Soit (Xn )n≥0 une suite de v.a(s) définies sur un espace filtré (Ω, A, (Ft )t≥0 , P ) et T un temps
d’arrêt associé à (Fn )n≥0 . Alors on peut définir une nouvelle v.a, notée XT , comme suit:
+∞
X
XT (ω) := XT (ω) (ω) = Xn (ω)1(T =n)(ω) .
n=0
De plus, on définit la tribu du passé jusqu’à l’instant T par:

n o
FT = A ∈ F∞ , ∀ n ≥ 0, A ∩ (T = n) ∈ Fn .
+∞
X
De plus, si T est un temps d’arrêt fini, alors, E(X|FT ) = 1{T =n} E(X|Fn ).
n=0

Proposition 2.6.6.
Soient S et T deux temps d’arrêt associées à une filtration (Fn )n≥0 . Alors,
— FT est une tribu telle que FT ⊂ F∞ et T est FT -mesurable.
— Si A ∈ Fn , alors A ∩ (T = ∞) ∈ F∞ .
— (S < T ), (S = T ) et (S ≤ T ) sont dans FS et FT .
— Si A ∈ FS , alors A ∩ (S ≤ T ) et A ∩ (S < T ) sont dans FT .
— Si S ≤ T, alors FS ⊂ FT .
Proposition 2.6.7.
Soit (Xn )n≥0 une (Fn )n≥0 -martingale, définie sur un espace probabilisé (Ω, A, P ), et T un temps
d’arrêt associé à (Fn )n≥0 . Si T est borné par une constante c ∈ N, alors XT est intégrable et
E(XT ) = E(X0 ).
Preuve: c
X
Dans ce cas, on a: XT = Xn 1(T =n) . Par suite XT est intégrable comme somme fini de v.a(s)
n=0
intégrables: E Xn 1(T =n) ≤ E|Xn | < +∞. Or pour tout k ≤ c, on a: E Xc |Fk = Xk . Alors,

c
X Xc
E(XT ) = E 1{T =k} Xk = E 1{T =k} E(Xc |Fk )
k=0 k=0
c
X
= E E Xc 1{T =k} |Fk ) , 1{T =k} est Fk mesurable
k=0
c
X X c
= E Xc 1{T =k} = E Xc 1{T =k} = E(Xc 1Ω ) = E(Xc ) = E(X0 ).
k=0 k=0
2.7 Martingales arrêtées et Théorème d’arrêt de Doob

Théorème 2.7.1 (Martingales arrêtées).
Soit (Xn )n≥0 une (Fn )n≥0 -martingale, (resp. sur ou sous-martingale), définie sur un espace pro-
babilisé (Ω, A, P ), et T un temps d’arrêt associé à (Fn )n≥0 . Alors le processus arrêté (XT ∧n )n≥0
est une (Fn )n≥0 -martingale, (resp. sur ou sous-martingale).
En particulier, si T est un temps d’arrêt borné, alors XT ∈ L1 (Ω) et E(XT ) = E(X0 ), (resp.
E(XT ) ≤ (ou ≥) E(X0 )).
Preuve:
n−1
X
On a: XT ∧n = XT 1{n>T } + Xn 1{T ≥n} = Xj 1{T =j} + Xn 1{T ≥n} .
j=0
Donc, par la mesurabilité des Xj 1{T =j} , 0 ≤ j ≤ n − 1, on obtient,
n−1
X
E XT ∧n |Fn−1 = Xj 1{T =j} + E Xn 1{T ≥n} |Fn−1
j=0
n−1
X
= Xj 1{T =j} + 1{T ≥n} E Xn |Fn−1
j=0
n−1
X
= Xj 1{T =j} + 1{T ≥n} Xn−1
j=0
=XT ∧(n−1) .

Si de plus, T est un temps d’arrêt borné par c ∈ N, alors d’après la Proposition 2.6.8, on déduit
que:
E(XT ) = E(XT ∧c ) = E(X0 ).
Remarque 2.7.2.
n ∧ T est un temps d’arrêt borné. De plus, si T < +∞ p.s, alors (Xn∧T )n≥0 converge p.s vers
XT lorsque n → +∞.
Théorème 2.7.3. (d’arrêt de Doob)

Soit (Xn )n≥0 une (Fn )n≥0 -martingale, (resp. sur ou sous-martingale), définie sur un espace
(Ω, A, P ), et soient S et T deux temps d’arrêt tels que S ≤ T et T borné. Alors
probabilisé

E XT |FS = XS ,(resp. ≥ et ≤).
Preuve:
— Si S = p et T est borné par K, alors d’après le Théorème
2.7.1, (XT ∧n )n≥0 est une
(Fn )n≥0 -martingale. Donc pour tous n ≥ p : E XT ∧n |Fp = XT ∧p = Xp . Par suite,

pour n ≥ K, on a: XT ∧n = XT et donc E XT |Fp = Xp . C-à-d: E XT |FS = XS .
— Si S est aléatoire. Par définition de FS , on a:
+∞
X +∞
X
E XT |FS = E XT |Fn 1(S=n) = E(Xn )1(S=n) = XS .
n=0 n=0
2.8 Inégalité maximale de Doob

On rappelle que d’après l’inégalité de Markov, pour toute suite de v.a(s) i.i.d positives et
intégrables (Xn )n≥0 , on a:
! n n
[ X 1X n
P max Xi > λ = P Xi > λ ≤ P Xi > λ ≤ E(Xi ) = E(Xn ).
1≤i≤n
1≤i≤n i=1
λ i=1 λ
Pour les martingales, on obtient des bons contrôles de la probabilité du maximum.
Théorème 2.8.1.
Soit (Xn )n≥0 une (Fn )n≥0 -sous-martingale positive, définie sur un espace probabilisé (Ω, A, P ).
Alors, 1
∀ λ > 0, P max Xi > λ ≤ E(Xn ).
1≤i≤n λ
Preuve:
Posons: Mn := max Xi > λ et considérons le temps d’arrêt T qui vaut n sur Mnc et vaut
1≤i≤n
n o
min 1 ≤ i ≤ n, Xi > λ sur Mn de sorte qu’on a: XT ∧n = XT . Le Théorème d’arrêt 2.7.1
nous permet d’écrire:

E(Xn ) ≥ E(XT ) = E XT 1Mn + E XT 1Mnc ≥ E XT 1Mn ≥ λE 1Mn = λP (Mn ).
Finalement, on déduit que:

1
∀ λ > 0, P max Xi > λ ≤ E(Xn ).
1≤i≤n λ

Remarque 2.8.2.
Suivant le même chemin dans le Théorème 2.8.1, on obtient pour une sur-martingale positive:
1
∀ λ > 0, P max Xi > λ ≤ E(X0 ).
1≤i≤n λ
Corollaire 2.8.3.
— Soit (Xn )n≥0 une (Fn )n≥0 -martingale, définie sur un espace probabilisé (Ω, A, P ), alors,
1
∀ λ > 0, P max |Xi | > λ ≤ E(|Xn |).
1≤i≤n λ
— Soit (Xn )n≥0 une (Fn )n≥0 -martingale de carré intégrable, définie sur un espace probabi-
lisé (Ω, A, P ), alors,
1
∀ λ > 0, P max |Xi | > λ ≤ E(Xn2 ).
1≤i≤n λ
Preuve:
Il suffit de voir que si (Xn )n≥0 est une (Fn )n≥0 -martingale, alors (|Xn |)n≥0 et (Xn2 )n≥0 sont deux
sous-martingales positives.
Exercice (Inégalité de Kolmogorov)

n
X
Soit (Xn )n≥1 une suite de v.a(s) centrées et indépendantes. Posons Sn = Xi . Utiliser l’in-
i=1
égalité maximale de Doob pour montrer que:
1
∀ λ > 0, P max |Si | > λ ≤ 2 E(Sn2 ).
1≤i≤n λ
*************************************************************************
*************************************************************************


Exercice 1
Soit (Bt , t ≥ 0) un mouvement Brownien standard et (Ft )t≥0 sa filtration naturelle.

2 2 2
1) Montrer que E (Bt − Bs ) |Fs = E Bt − Bs |Fs pour tous s < t.

2) Montrer que (Bt2 − t, t ≥ 0) est une (Ft )t≥0 -martingale. En déduire E Bt2 |Fs , s < t.
3) Montrer en utilisant l’espérance conditionnelle que: E(Bs Bt2 ) = 0, s < t.
4) On admet que E(Z 4 ) = 3σ 2 si Z ∼ N (0, σ 2 ). Calculer E(Bs2 Bt2 ).
5) Utiliser le fait que la densité N (a, 1) est d’intégrale 1 pour calculer E(eσBt ).
2
σBt − σ2 t
6) En déduire que e , t ≥ 0 est une (Ft )t≥0 -martingale, (σ > 0).
Exercice 3
1) Soit X une v.a intégrable. Posons: Zn = E X|Fn , ∀n ≥ 1. Montrer que (Zn )n≥1 est
une (Fn )n≥1 -martingale.
2) Soit (Xn )n≥1 une suite de v.a(s) i.i.d positives telles que E(X1 ) = 1.
n
Xi . Montrer que le processus (Yn )n≥1 est une (Fn′ )n≥1 -martingale où
Q
Posons: Yn =
i=1
Fn′ = σ(X1 , ..., Xn ). Donner la décomposition de Doob de (Yn2 , n ≥ 1).
3) Soit ϕ une fonction convexe telle que pour tout n ≥ 1, ϕ(Yn ) est intégrable. Monter que
ϕ(Yn ) est une (Fn′ )n≥1 -sous-martingale.
n≥1
Exercice 4
Soient Snet T deux temps d’arrêt. La tribu du opassé jusqu’à l’instant T est définie par:
FT = A ∈ F∞ , ∀ n ≥ 0, A ∩ (T = n) ∈ Fn . Montrer que:
1) FT est bien une tribu telle que FT ⊂ F∞ .
2) Si A ∈ Fn , alors A ∩ (T = ∞) ∈ F∞ .
3) (S < T ), (S = T ) et (S ≤ T ) sont dans FS et FT .
4) Si A ∈ FS , alors A ∩ (S ≤ T ) et A ∩ (S < T ) sont dans FT .
5) Si S ≤ T, alors FS ⊂ FT .

Exercice 5 (Identité de Wald)

Soit (Xn )n≥1 une suite de v.a(s) i.i.d telle que E(X1 ) < +∞. Soit T un temps d’arrêt
aléatoire indépendant de la suite (Xn )n≥1 tel que E(T ) < +∞.
XT
1)- Monter que: E Xi = E(X1 + ...... + XT ) = E(T )E(X1 ).
i=1
1 1
2)- Soit (Xn )n≥1 une suite de v.a(s) i.i.d telle que P (X1 = −1) = et P (X1 = 1) = . On
n
2 2
X n o
pose: Sn = Xi et T = inf n, Sn = 1 . (C-à-d (Sn )n≥1 est une marche aléatoire)
n≥1
i=1
Montrer que T est un temps d’arrêt tel que E(T ) = +∞.
Exercice 7 (Inégalité de Kolmogorov)

n
X
Soit (Xn )n≥1 une suite de v.a(s) centrées et indépendantes. Posons Sn = Xi . Utiliser
i=1
l’inégalité maximale de Doob pour montrer que:
1
∀ λ > 0, P max |Si | > λ ≤ 2 V (Sn ).
1≤i≤n λ
Exercice 8 (la ruine des joueurs)
Rappelons que dans le problème de la ruine des joueurs, on suppose que deux joueurs A et
B jouent un nombre illimité de parties indépendantes, l’enjeu étant de 1 point par partie:
si A gagne la n-ème partie, il donne un point à B et réciproquement. La probabilité que
le joueur A (resp. B) gagne une partie donnée est 0.5 (resp. 0.5).
Pour n ≥ 1, on désigne par Yn le gain de A à la n-ème partie et l’on pose:
Y0 := 0, Xn := Y0 + Y1 + ...... + Yn (n ≥ 0).
On suppose encore que la fortune initiale de A est de a points et celle de B de b points, où
a, b ≥ 1. Dans ce conditions, (Yn )n≥1 est une suite de v.a(s) i.i.d. De plus, Xn représente
le gain réalisé par A au cours des n premières parties. Après la n-ème partie, la fortune
de A est a + Xn celle de B de b − Xn , tant que ces quantités restent positives.
On définit donc un temps d’arrêt T adapté à la (Yn )n≥1 du jeu comme étant:
n o
T := inf n ≥ 1, Xn = −a ou Xn = +b .

1. Montrer que la suite (Xn )n≥1 est une martingale.

2. Montrer que T est presque sûrement fini, (utiliser la martingale arrêtée).
3. Posons: ra = P (XT = −a) (ruine de A) et rb := P (XT = +b) (ruine de B). Déterminer
la loi de XT .
b
4. Utiliser le théorème d’arrêt pour montrer que: ra = .
a+b
5. En déduire que si la fortune du joueur B est infiniment grande (adversaire infiniment
riche), mais que celle du joueur A est toujours fini, alors la ruine de A est certaine.
Nous nous proposons d’évaluer E(T ) la durée moyenne du jeu jusqu’à la ruine de l’un des
joueurs A ou B.
6. Utiliser le théorème d’arrêt pour la martingale (Xn2 − n)n≥1 pour déduire que:
E(XT2 ) = E[T ] = ab.
7. Interpréter la valeur de E(T ) si A joue avec un adversaire infiniment riche.

Chapitre 3
Chaı̂nes de Markov à espace d’états discret
Parmi les modèles dynamiques à temps discret pour lequel le futur dépend seulement de
l’état présent et du hasard, on cite le cas des chaı̂nes de Markov à espace d’états discret. Il est
efficace dans de nombreuses applications: Médecine: (génétique, modèles d’épidémie); Finance:
(les cours de la bourse), Théorie du signal: (problèmes de filtrage, de prédiction); Informatique:
(traitement d’image et de la parole, files d’attente dans les réseaux); Etc,...
3.1 Matrice et graphe de transition

Soit (Xn )n≥0 une suite de v.a(s), définies sur un espace probabilisé (Ω, A, P ), et à valeurs dans
un ensemble E supposé fini, typiquement E = {1, 2, ..., M }. E est appelé l’espace d’états.
(Xn )n≥0 est donc un processus à temps discret.
Définition 3.1.1.
(Xn )n≥0 est dite
une chaı̂ne de Markov si pour tout n ≥ 1 et toute suite i0 , i1 , ......, in−1 , i, j de
E tels que: P Xn = i, Xn−1 = in−1 , ......, X0 = i0 > 0, on a l’égalité suivante:

P Xn+1 = j | Xn = i , Xn−1 = in−1 , ........X0 = i0 = P Xn+1 = j | Xn = i .
| {z } | {z } | {z } | {z } | {z }
Futur Présent Passé Futur Présent
Autrement dit, étant donné l’état présent, toute information sur le passé est inutile pour prévoir
l’état futur.
Exemples:
1) Marche aléatoire symétrique
1 1
Si (Xn )n≥1 est une suite de v.a(s) i.i.d telle que P (X1 = −1) = et P (X1 = 1) = , et si on
n
2 2
X
pose: S0 = 0 et Sn = Xi , alors (Sn )n≥0 est une chaı̂ne de Markov. En effet,
i=1

P Sn+1 = j, Sn = i, Sn−1 = in−1 , ........S0 = i0
P Sn+1 = j|Sn = i, Sn−1 = in−1 , ........S0 = i0 =
P Sn = i, Sn−1 = in−1 , ........S0 = i0

P Xn+1 = j − i, Sn = i, Sn−1 = in−1 , ........S0 = i0
=
P Sn = i, Sn−1 = in−1 , ........S0 = i0

= P Xn+1 = j − i (par indépendance)

= P Sn+1 = j|Sn = i .
27
SGHIR Aissa Chapitre 3. Chaı̂nes de Markov à espace d’états discret
2) Processus de Galton–Watson
C’est un processus de branchement (Zn )n≥0 ou Zn désigne le nombre d’individus de sexe mâle de
la n–éme génération portant un nom donné, ces individus étant tous issus d’un même ancêtre,
l’unique mâle formant la génération 0 (Z0 = 1 p.s). On suppose que chacun des mâles de la
XZn
i
n–éme génération engendre Xn enfants mâles (1 ≤ i ≤ Zn ) de telle sorte que: Zn+1 = Xni .
i=1
L’hypothèse fondamentale est que les v.a(s) (Xni )i≥1 sont i.i.d, et indépendantes avec Zn . Alors,
(Zn )n≥0 est une chaı̂ne de Markov. Galton et Watson ont introduit leur modèle dans le but
d’étudier la disparition de noms de famille: P (extinction) = P (∃n ∈ N, Zn = 0).
Définition 3.1.2.
Une chaı̂ne de Markov (Xn )n≥0 est dite homogène dans le temps si la probabilité conditionnelle
ne dépend pas de n. On appelle alors probabilité de transition de l’état i vers l’état j, la quantité:

pij = P (Xn+1 = j|Xn = i) égale aussi à P (X1 = j|X0 = i)
Remarque 3.1.3.
La connaissance des probabilités de transition (pij )1≤i,j≤M et la loi initiale P (X0 = i) pour tout
i ∈ {1, ..., M }, permet d’obtenir la loi jointe du vecteur aléatoire (X0 , ......, Xn ) via le théorème
des probabilités composées:

P X0 = i0 , .........., Xn = in = P X0 = i0 P X1 = i1 |X0 = i0 .......P Xn = in |Xn−1 = in−1
= P (X0 = i0 )pi0 i1 ......pin−1 in .
Définition 3.1.4.
On appelle matrice de transition de la chaı̂ne de Markov (Xn )n≥0 , la matrice: P = (pij )1≤i,j≤M
de taille M × M .

Proposition 3.1.5.
M
X
1. La matrice P est stochastique. C-à-d: pour tout i ∈ {1, ..., M }, on a: pij = 1.
j=1
2. P admet la valeur propre 1, le vecteur e = (1, ..., 1)′ étant un vecteur propre associé.
Preuve:
1. Pour tout indice i ∈ {1, ..., M }, on a:
M M
X 1 X
pij = P (Xn+1 = j, Xn = i)
j=1
P (Xn = i) j=1
M
[
P (Xn+1 = j), Xn = i
j=1
= (partition de Ω)
P (Xn = i)
P (Ω, Xn = i)
= = 1.
P (Xn = i)
2. Il suffit de voir que:
Définition 3.1.6.
A toute chaı̂ne de Markov (Xn )n≥0 peut être associé un graphe appelé graphe de transition
défini de la façon suivante: les sommets du graphe sont les états: 1, ..., M, et il existe un arc,
étiqueté pij , de i vers j si pij > 0.
Exemple 1: (la ligne téléphonique)

On considère une ligne de téléphone. L’état Xn de cette ligne à l’étape n est 0 si elle est libre
1
et 1 si elle occupée, donc E = {0, 1}. Entre deux instants successifs, il y a une probabilité
2
pour qu’un appel arrive. Si la ligne est occupée et qu’un appel arrive, cet appel est perdu. La
1
probabilité pour que la ligne se libère entre l’instant n et l’instant (n + 1) est . On a donc une
3
chaı̂ne de Markov homogène:

Question:
Supposons qu’aujourd’hui, il fasse soleil, quelle est la probabilité qu’il fasse soleil dans deux
jours? dans trois jours ? dans une semaine?
Solution:
On va utiliser l’équation de Chapman-Kolmogorov.
3.2 Équation de Chapman-Kolmogorov

Définition 3.2.1.
Soit (Xn )n≥0 une chaı̂ne de Markov. La probabilité d’aller de l’état i à l’état j en n transitions
est définie par:
(n)
pij = P (Xn = j|X0 = i),
et la matrice de transition en n transitions est notée par:

(n)
P (n) = pij .
1≤i,j≤M
On adopte aussi la convention P (0) = IM la matrice identité de taille M .

Exemple: (marche aléatoire)
Une particule se déplace le long d’un axe. Après chaque unité de temps, la particule se déplace
d’une unité à droite avec la probabilité p ou se déplace à gauche avec la probabilité 1 − p. Ceci
revient à dire que la particule est représenté par une chaı̂ne de Markov dont la probabilité de
transition: 
 0 si |j − i| > 1,
pij = p si j = i + 1,
1 − p si j = i − 1.

Soit x le nombre de transition à droite et y à gauche, alors, x + y = n et x − y = j − i.

Par conséquent,
n−i+j (n)
n−i+j n−i+j n+i−j
x= et pij = Cn 2 p 2 (1 − p) 2 (loi Binomiale).
2
Proposition 3.2.2. (Équation de Chapman-Kolmogorov)

Pour tout n ≥ 0, la matrice de transition en n coups P (n) est la puissance n-ème de P la
matrice de transition de la chaı̂ne de Markov (Xn )n≥0 . C-à-d: P (n) = P n .
Preuve:
Par récurrence sur n: P (0) = IM = P 0 .
Pour n ≥ 0, on suppose que P (n) = P n et on montre que P (n+1) = P n+1 .
M
[
D’après le théorème des probabilités totales, puisque Ω = (X = k), on obtient,
k=1
(n+1)
pij = P (Xn+1 = j|X0 = i)
M
X
= P (Xn+1 = j, Xn = k|X0 = i)
k=1
M
X P (Xn+1 = j, Xn = k, X0 = i)
=
k=1
P (X0 = i)
M
X P (Xn+1 = j, Xn = k, X0 = i) P (Xn = k, X0 = i)
= ·
k=1
P (Xn = k, X0 = i) P (X0 = i)
M
X
= P (Xn+1 = j|Xn = k, X0 = i) · P (Xn = k|X0 = i),
k=1
mais par la propriété de Markov de (Xn )n≥0 , on a:
P (Xn+1 = j|Xn = k, X0 = i) = P (Xn+1 = j|Xn = k).
Donc
M
X M
X
(n+1) (n)
pij = P (Xn+1 = j|Xn = k) · P (Xn = k|X0 = i) = pik · pkj .
k=1 k=1
Ce qui est exactement d’un point de vue matriciel: P (n+1) = P (n) · P.

Or par hypothèse, on sait que P (n) = P n , donc la récurrence passe.
Remarque 3.2.3.
— On montre facilement que P (n) est une matrice stochastique.
— On en déduit que pour tout couple d’entiers naturels (m, n), on a:
P (n+m) = P n+m = P n · P m = P (n) · P (m) ,
ce qui donne:
M
X
(n+m) (n) (m)
pij = pik · pkj .
k=1
C’est plutôt cette équation qu’on appelle relation de Chapman-Kolmogorov. Ce qu’on

traduit comme suit: aller de i à j en (m + n) transitions, c’est aller de i à un certain k
en m transitions et de k à j en n transitions.
+∞
X
— Si Nj = 1{Xn =j} est le nombre de visites à l’état j. Alors,
n=1
+∞
X +∞
X (n)
E(Nj ) = E E Nj |X0 = i = P (Xn = j|X0 = i) = pij .
n=1 n=1

3.3 Lois marginales d’une chaı̂ne de Markov

On convient de noter la loi de la position initiale X0 comme un vecteur ligne de taille M :

P (X0 ) = µ = (µ1 , ......, µM ) = P (X0 = 1), ......, P (X0 = M ) .
De même, on notera en vecteur ligne la loi de Xn :

P (Xn ) = P (Xn = 1), ......, P (Xn = M ) .
Proposition 3.3.1.
Soit (Xn )n≥0 une chaı̂ne de Markov de loi initiale µ et de matrice de transition P, alors pour
tout entier naturel n ≥ 0, les lois marginales (P (Xn ))n≥0 sont données par: P (Xn ) = µP n .
Preuve:
D’après le théorème des probabilités totales, pour tout j ∈ {1, ..., M }, on a:
M
X M
X
P (Xn = j) = P (Xn = j, X0 = i) = P (X0 = i).P (Xn = j|X0 = i).
i=1 i=1
Par conséquent, avec les notations adoptées, on obtient,

M
X (n)
P (Xn = j) = µi pij . C-à-d : P (Xn ) = µP (n) = µP n .
i=1
3.4 Convergence d’une chaı̂ne de Markov

Puisque P (Xn ) = P (Xn = 1), ......, P (Xn = M ) = µP n , alors une condition suffisante pour
la convergence en loi de la chaı̂ne de Markov (Xn )n≥0 est la convergence de la suite (P n )n≥0 .
Exemple: (la ligne téléphonique)
On note encore µ = (µ0 , µ1 ) la loi initiale, probabilités que la ligne soit initialement libre ou
occupée. La matrice de transition est:

1/2 1/2
P= .
1/3 2/3
Pour étudier les puissances successives de P, l’idée naturelle est de la diagonaliser. On obtient
pour valeurs propres: 1, (on le savait déjà), et 1/6, et pour vecteurs propres associés: (1, 1)′ et
(−1/2, 1/3)′ . On en déduit la matrice de passage:

1 −1/2
Q= .
1 1/3
En notant △ la matrice diagonale de coefficients 1 et 1/6, on a donc:

n n→∞ 1 0 n n→∞ 2/5 3/5
△ −−−→ △∞ = , P −−−→ P∞ = .
0 0 2/5 3/5
Ainsi, quelle que soit la loi initiale µ, on a convergence en loi:
n→∞
P (Xn ) = µP n −−−→ µ∞ = (2/5, 3/5).
Interprétation: au bout d’un certain temps assez long, on regarde l’état de la ligne. Alors, il y a
deux chances sur cinq pour qu’elle soit libre et trois chances sur cinq pour qu’elle soit occupée.

Remarque 3.4.1. (voir TD 3)

1. On peut généraliser le résultat précédent pour tout 0 < α+β < 2.
Quelleque soit loi initiale

µ, on a convergence en loi vers le vecteur de probabilité:
β α
µ∞ = , .
α+β α+β
2. Si on se place dans le cas particulier α = β = 1, on n’a pas convergence de la suite des
puissances de la matrice de transition P, puisque pour tout n ≥ 0, on a:

P 2n = I2
P 2n+1 = P,
et, à part dans le cas particulier où µ = (1/2, 1/2), on n’a pas convergence en loi. Ceci
vient du phénomène de périodicité de la chaı̂ne, nous y reviendrons plus tard.
Il est important de voir que, même lorsque la suite (P n )n≥0 converge, la convergence en loi vers
une loi indépendante de la condition initiale µ n’est pas vraie pour toutes les chaı̂nes de Markov.
Contre exemple 1: (la ruine du joueur)

A joue contre B une suite de pile ou face non biaisés et indépendantes. La somme de leurs
fortunes est de 4 points. A chaque partie, le joueur qui gagne reçoit 1 point. Le jeu s’arrête
lorsque l’un des deux joueurs est ruiné. L’état Xn de la chaı̂ne est la fortune de A à l’étape n,
donc Xn ∈ {0, 1, 2, 3, 4}. Son graphe et sa matrice sont donnés par:
   
1 0 0 0 0 1 0 0 0 0
 1/2 0 1/2 0 0   3/4 0 0 0 1/4 
n n→∞
   
P=
 0 1/2 0 1/2 0 
 P −−−→ P∞ =
 1/2 0 0 0 1/2 
.
 0 0 1/2 0 1/2   1/4 0 0 0 3/4 
0 0 0 0 1 0 0 0 0 1
On voit alors que si la loi initiale est µ = (µ0 , ..., µ4 ), alors la loi asymptotique est:

3 1 1 1 1 3
µ∞ = µP∞ = µ0 + µ1 + µ2 + µ3 , 0 , 0 , 0 , µ1 + µ2 + µ3 + µ4 .
4 2 4 4 2 4
Au final, l’un des deux joueurs sera ruiné, et ceci avec une probabilité qui dépend de la réparti-
tion initiale des 4 points. Par exemple si A part avec 1 point, alors il a trois chances sur quatre
de finir ruiné, tandis que s’il part avec 2 points, il n’a qu’une chance sur deux de finir ruiné.
Le graphe de transition pour P∞ est donné ci-dessous. Le problème ici vient de l’existence de
plusieurs classes de récurrence, nous y reviendrons plus tard.

Contre exemple 2: (modèle d’Ehrenfest)

On considère deux urnes (A) et (B) et N boules numérotées de 1 à N . Au départ, (à l’étape
0), les N boules sont dans l’urne (A). A chaque instant, on choisit un numéro i ∈ {1, ..., N }
de façon équiprobable. Si ce nombre est (i), on change d’urne la boule numérotée (i). L’état
Xn de la chaı̂ne est le nombre de boules à l’instant n dans l’urne (A), avec l’espace d’états:
E = {1, ..., N }. l’état est 0 si l’urne (A) est vide et l’état est N si l’urne (B) est vide. Pour
N = 3 boules, on a:
On vérifie qu’on n’a pas convergence de la suite (P n )n≥0 , mais qu’on a convergence des deux
sous-suites (P 2n )n≥0 et (P 2n+1 )n≥0 . Plus précisément, si on note Q∞ et R∞ les limites respectives
de ces sous-suites, alors,
   
1/4 0 3/4 0 0 3/4 0 1/4
n→+∞  0 3/4 0 1/4  n→+∞  1/4 0 3/4 0 
P 2n −−−−→ Q∞ =   1/4 0 3/4 0 
 P 2n+1 − −−−→ R ∞ = 
 0 3/4 0 1/4 

0 3/4 0 1/4 1/4 0 3/4 0

Le nombre de boules dans une urne change de parité à chaque opération, donc on ne peut avoir
convergence de (P n )n≥0 . De même, la loi de Xn dépend de la parité de n, donc il n’y aura pas
convergence en loi dans le cas général. C-à-d: sauf pour des lois initiales particulières.

3.5 États absorbants, Communications des états

Soit (Xn )n≥0 une chaı̂ne de Markov et E = {1, ...., M } son espace d’état.
Définition 3.5.1.
— On appelle état absorbant tout état tel que une fois dans cet état, la chaı̂ne y reste.
Autrement dit, l’état i est absorbant si pii = 1.
(n)
— On dit que j est accessible depuis i, et on note i −→ j, s’il existe n ≥ 0 tel que pij > 0.
Autrement dit, sur le graphe de transition, on peut aller de i à j en un certain nombre
de transitions n.
— On dit que i communique avec j si i −→ j et j −→ i et on note: i ←→ j.
Exemple:
Dans le modèle de la ruine de joueur, les états 0 et 4 sont absorbants.
Par contre, on a: 1 −→ 0 et 1 ←→ 2, 3 et 3 −→ 4.
Proposition 3.5.2.
La communication entre les états est une relation d’équivalence.
Preuve:
(0)
— Réflexive: On a: pii = 1 > 0. Donc i ←→ i.
— Symétrique (évidente): i ←→ j équivalent à j ←→ i.
(n) (m)
— Transitive: Si i −→ j et j −→ k, alors il existe n, m ≥ 1 tels que: pij > 0 et pjk > 0.
D’après la relation de Chapman-Kolmogorov, on a:
XM
(n+m) (n) (m) (n) (m)
pik = pit · ptk ≥ pij pjk > 0, c-à-d: i −→ k,
t=1
M
X
(n+m) (n) (m) (n) (m)
pki = pkt · pti ≥ pkj pji > 0, c-à-d: k −→ i.
t=1
Finalement par symétrie, la preuve est terminée.
3.6 États transitoires, états récurrents

Soit l’événement: Enj :={le premier retour à j est réalisé à la n-ème transition}, alors,

(n)
fij := P Enj |X0 = i = P Xn = j, Xn−1 ̸= j, ......, X1 ̸= j|X0 = i .
+∞
X (n) (1) (0)
On pose: fij := fij . On a: fij = pij , et par convention: fij = 0. Alors,
n=0

fij = P partant de i, l’état j est occupé au moins une fois .
Définition 3.6.1.
— Un état i est transitoire si fii < 1,
— Un état i est récurrent si fii = 1.

Théorème 3.6.2. n
(n)
X (k) (n−k)
— ∀ n ≥ 1, ∀ i ∈ E, pii = fii pii .
k=0
n
X
(n) (k) (n−k)
— ∀ n ≥ 1, ∀ i ̸= j, pij = fij pjj .
k=0
(m)
— Posons: hii :=P partant de i, on y retourne au moins m fois ,

(m)
hii := lim hii =P partant de i, on y retourne une infinité de fois .
m→+∞
(m)
Alors pour tout m ≥ 1, on a: hii = (fii )m . Par conséquent,
— Un état i est transitoire si hii = 0.
— Un état i est récurrent si hii = 1.
Remarque 3.6.3.
+∞
X
Soit Ni le nombre de visites à l’état i. C-à-d: Ni = 1{Xn =i} . Alors,
n=1
+∞
X X+∞
(n)
E(Ni ) = E E Ni |X0 = i = P Xn = i|X0 = i = pii .
n=1 n=1
Par conséquent, on a le résultat suivant:
Proposition 3.6.4.
+∞
X (n)
— Un état i est transitoire ssi pii < +∞.
n=1
+∞
X (n)
— Un état i est récurrent ssi pii = +∞.
n=1
Remarque 3.6.5.
(n)
— Si i est transitoire alors, lim pii = 0.
n→+∞
— S’il existe j tel que i −→ j, mais j ↛ i, alors i est transitoire.
— Tous les états de la même classe sont ou bien récurrents ou bien transitoires.
X+∞
(n)
— Partant de i, pii est le nombre moyen de visites à l’état i.
n=1
— Si i ←→ j et i est récurrent, alors j est récurrent.
— i est récurrent ssi i est visité une infinité de fois.
— Considérant le temps d’arrêt: Ti = inf{n ≥ 1, Xn = i} qui est l’instant du premier
retour dans l’état i. Il se peut qu’on ne revienne jamais à i si Ti = +∞. Alors,

(n)
fii = P Ti < +∞|X0 = i et fii = P Ti = n|X0 = i .
Par conséquent, on a:
- L’état i est transitoire si fii < 1.
- L’état i est récurrent si fii = 1.
Exemple:
On considère la chaı̂ne de Markov à 7 états suivante: 2 −→ 1, mais 1 ↛ 2, donc 2 est transitoire.
3 −→ 4, mais 4 ↛ 3, donc 3 est transitoire. Il reste deux ensembles: {1, 5} et {4, 6, 7}, à
l’intérieur desquels il y a communication.

Définition 3.6.6.
— Un sous-ensemble A de E est clos, ou fermé, s’il est impossible d’en sortir. C-à-d:
∀ i ∈ A, ∀j ∈ Ac : pij = 0.
— Un sous-ensemble B de E est irréductible si tous ses états communiquent. C-à-d:
∀ (i, j) ∈ B × B : i −→ j.
Exemple:
Dans l’exemple de chaı̂ne à 7 états ci-dessus, l’ensemble {1, 5} est fermé, l’ensemble {4, 6, 7}
aussi. Mais alors {1, 4, 5, 6, 7} aussi, ainsi que {1, 2, 3, 4, 5, 6, 7}. Ces deux derniers exemples
ne semblent pas bien pertinents, d’où la notion d’irréductibilité pour préciser les choses: les
ensembles {1}, {2}, {3}, {5}, {6}, {1, 5} et {4, 6, 7} sont irréductibles.
Proposition 3.6.7.
Si un sous ensemble de E est fermé et irréductible, alors, tous ses états sont récurrents.
Exemple:
Les seuls ensembles à la fois fermés et irréductibles sont {1, 5} et {4, 6, 7}. De ce fait, les états
1, 4, 5, 6 et 7 sont récurrents.
Remarque 3.6.8.
Soit E l’espace d’états, alors on peut partitionner E comme suit:
E = T ∪ R1 ∪ · · · ∪ Rk ,
où T est l’ensemble des états transients et les Ri sont des classes de récurrence. C-à-d des
ensembles fermés et irréductibles d’états récurrents.
Exemple:
Toujours dans le même exemple, on a ainsi la partition suivante:
E = T ∪ R1 ∪ R2 = {2, 3} ∪ {1, 5} ∪ {4, 6, 7}.

Définition 3.6.9.
— Si E n’est formé que d’une seule classe de récurrence (E = R1 ), alors, on dit que la chaı̂ne
est irréductible. Sur le graphe de transition, ceci signifie qu’on peut aller de n’importe
quel sommet à n’importe quel autre en un certain nombre d’étapes.
— Si E est formé d’états transitoires et d’une seule classe de récurrence (E = T ∪ R1 ),
alors, on dit que la chaı̂ne est indécomposable.
Exemples:
— Pour le cas de la ligne téléphonique, si α > 0 mais β = 0, la chaı̂ne à deux états est
indécomposable.
— La chaı̂ne de la ruine du joueur n’est ni irréductible, ni indécomposable, puisqu’elle a
deux classes de récurrence:
E = T ∪ R1 ∪ R2 = {1, 2, 3} ∪ {0} ∪ {4}.
3.7 Période d’un état

Définition 3.7.1. n o
(n)
– La période d(i) de l’état i est définie par: d(i) = pgcd n ≥ 1 : pii > 0 .
– Un état de période 1 est dit apériodique.
Exemples:
1. La ligne téléphonique: si 0 < α, β < 1, les deux états 0 et 1 sont apériodiques.
2. La ruine du joueur: les états 0 et N sont apériodiques, tous les autres sont de période 2.
3. Modèle d’Ehrenfest: tous les états sont de période 2.
Proposition 3.7.2.
— Si pii > 0, alors i est apériodique.
— Si i et j communiquent, alors i et j ont même période.
— Si la chaı̂ne est irréductible, alors tous les états ont même période.
Preuve:
On va montrer le deuxième point, les autres points sont évidents.
(n) (m)
Supposons que i ←→ j, alors il existent n, m ≥ 1 tels que: pij pji > 0. Par conséquent,
XM
(n+m) (n) (m) (n) (m)
pii = pik · pki ≥ pij pji > 0 =⇒ d(i) divise (n + m).
k=1
(l)
Soit maintenant l un entier tel que: pjj > 0, alors,
M
X M
X M
X
(n+m+l) (n) (m+l) (n) (m) (l) (n) (l) (m)
pii = pik · pki = pik pks psi ≥ pij pjj pji > 0,
k=1 k=1 s=1
ce qui implique que: d(i) divise (n + m + l) et puisque d(i) divise (n + m), alors,
h i
d(i) divise (n + m + l) − (n + m) = l.
(l)
On a montré donc que pour tout l tel que pjj > 0, on a: d(i) divise l. Par conséquent
d(i) divise d(j). De même, par symétrie on trouve que d(j) divise d(i). Finalement d(i) = d(j).
Exemple:
Pour l’état 2, on a: d(2) = pgcd{3, 4, 6, 7, ......} = 1. La chaı̂ne étant irréductible, on en déduit
que tous les états sont apériodiques: cette chaı̂ne est apériodique.

3.8 Lois stationnaires

Définition 3.8.1.
Un vecteur de probabilité ligne π est une loi stationnaire, (ou invariante), d’une chaı̂ne de
Markov (Xn )n≥0 de matrice de transition P si : πP = π.
Remarque 3.8.2.
— Le vecteur de probabilité π est stationnaire si c’est un vecteur propre à gauche de la
matrice de transition P pour la valeur propre 1.
— Pour toute matrice de transition, il existe au moins une loi stationnaire π.
— En physique, la loi stationnaire correspond à l’état d’équilibre du système.
Lemme 3.8.3.
Si (Xn )n≥0 est une chaı̂ne de Markov telle que X0 ∼ π, alors pour tout n ≥ 0, Xn ∼ π.
Preuve:
On sait que si P (X0 ) = µ, alors P (Xn ) = µP n . Donc si X0 ∼ π, alors,
P (Xn ) = πP n = (πP)P n−1 = πP n−1 = ...... = π.
Exemple: (voir TD 3)
Pour la chaı̂ne d’Ehrenfest à N = 3 boules, on cherche donc π = (π0 , ..., π3 ) tel que: πP = π et
3
X 1 3 3 1
πi = 1. Alors, on obtient: π = , , , . Il est clair que cette loi stationnaire correspond
i=0
8 8 8 8

1
à une loi Binomiale B 3, . De façon générale, pour le modèle d’Ehrenfest à N boules, on
2
1
montre qu’il y a une unique loi stationnaire π ∼ B N, .
2
Proposition 3.8.4.
— Si π est une loi stationnaire d’une chaı̂ne de Markov, alors πi = 0 pour tout état i
transitoire.
— Si une chaı̂ne de Markov est irréductible, alors sa loi stationnaire π est unique. De plus
πi > 0 pour tout état i de E.
Exemple:
Pour le modèle de la ruine du joueur, si on cherche à résoudre le système d’équations πP = π.
Alors, on obtient une infinité de vecteurs de probabilités solutions, tous ceux de la forme: π =
(p, 0, 0, 0, 1−p), avec p ∈]0, 1[. Ceci est bien sûr dû au fait que la chaı̂ne n’est pas irréductible : il
y a deux classes de récurrence correspondant aux deux états absorbants. Remarquons néanmoins
que tout vecteur de probabilité solution est nul sur les états récurrents 1, 2 et 3.

Théorème 3.8.5. (Convergence en loi vers la loi stationnaire)

Si la chaı̂ne de Markov (Xn )n≥0 est irréductible et apériodique, de loi stationnaire π, alors,
(n) n→∞
∀(i, j) ∈ {1, ..., M } pij −−−→ πj
En particulier, pour toute loi initiale µ, la loi de Xn converge vers π:

n→∞
P (Xn ) = µP n −−−→ π
Remarque 3.8.6.
Une autre façon d’exprimer le résultat ci-dessus est de dire que la suite de matrices (P n )n≥0
converge vers une matrice Π dont toutes les lignes sont égales à π:
   
π π1 · · · · · · πM
P n −−−−→ Π =  ...  =  ..
n→+∞
.
   
.
π π1 · · · · · · πM
Théorème 3.8.7. (Loi forte des grands nombres)

Soit (Xn )n≥0 une chaı̂ne de Markov irréductible de loi stationnaire π. Soit f : E −→ R, alors,
n M
1X p.s.
X
f (Xk ) −−−−→ f i πi
n k=1 n→+∞
i=1
Corollaire 3.8.8. (Temps moyen dans chaque état)

Soit (Xn )n≥0 une chaı̂ne de Markov irréductible de loi stationnaire π, alors le temps relatif
passé par une trajectoire de la chaı̂ne dans l’état i converge presque sûrement vers πi :
n
1X p.s.
1{Xk =i} −−−−→ πi
n k=1 n→+∞
Preuve:
Il suffit d’appliquer la loi forte des grands nombres à la fonction:

E →R
f:
x 7→ 1{Xk =i}
Sa moyenne sous π vaut bien sûr πi et la somme:

n
1X
1{Xk =i}
n k=1
compte le nombre de passages de la chaı̂ne par l’état i sur le nombre total d’étapes: quantité
que l’on peut interpréter comme le temps relatif passé dans l’état i entre les dates 1 et n.
*************************************************************************
*************************************************************************


Exercice 1
On lance une pièce de monnaie équilibré: les résultats des lancers sont les v.a(s) indépen-
dantes Y0 , Y1 , Y2 ...... à valeurs 0 ou 1. Pour tout n ≥ 1, on pose: Xn = Yn + Yn−1 .
1) Comparer P (X3 = 0|X1 = 0, X2 = 1) et P (X3 = 0|X2 = 1).
2) (Xn )n≥0 est-elle une chaı̂ne de Markov.
Exercice 4
On considère la matrice de transition suivante sur E = {1, 2, 3, 4, 5}:
 
0.4 0.3 0.3 0 0
 0 0.5 0 0.5 0 
 
P=  0.5 0 0.5 0 0  
 0 0.5 0 0.5 0 
0 0.3 0 0.3 0.4
1) Tracer le graphe de transition de cette chaı̂ne.
2) Quels son les états transitoires. Quelles sont les états récurrents.
3) Déterminer la loi stationnaire après justification de l’unicité.
4) Trouver si possible la période de chaque états.

Exercice 5 (Le modèle d’Ehrenfest à N = 3)

On dispose de deux urnes A et B. L’urne A contient trois boules numérotées 1, 2 et 3.
L’urne B est vide. On choisit au hasard un numéro entre 1 et 3, et on change d’urne
la boule correspondante. On recommence n fois cette opération. On note 0, 1, 2, 3 les
quatre états possibles de l’urne A : 0 boule, 1 boule, 2 boules, 3 boules.
1) Représenter par un arbre probabiliste l’évolution de l’urne A au cours des quatre pre-
mières étapes.
2) Représenter le graphe de transition. Quelle est la matrice de transition?

1
3) Trouver la loi stationnaire et comparer avec la loi B 3, .
2
Exercice 6 (Pile ou Face)

On joue une suite infinie de Pile ou Face non biaisés: ceci fournit une suite de v.a(s)
1
(Xn )n≥0 i.i.d avec P (Xn = P ) = P (Xn = F ) = . A partir de cette suite on considère la
2
chaı̂ne de Markov (Yn )n≥1 définie par: Y1 = (X0 , X1 ), Y2 = (X1 , X2 ), et de façon générale
Yn = (Xn−1 , Xn ) pour tout n ≥ 1.
1) Déterminer les valeurs de l’espace d’états E.
2) Donner la matrice et le graphe de transition de (Yn )n≥1 .
3) La chaı̂ne est-elle irréductible, apériodique ?
4) Trouver la loi(s) stationnaire(s) si elle existe(nt).
5) Retrouver le résultat de (4) en calculant directement la loi P (Yn ).
Exercice 7
Notons: Eni :={le
premier retour à i est réalisé à la n-ème transition},
(n)
et: fij :=P partant de i, la première transition à j arrive à l’instant n .
On pose :

(n)
fij = P Enj |X0 = i = P Xn = j, Xn−1 ̸= j, ......, X1 ̸= j|X0 = i .
+∞
X
(0) (1) (n)
On convient que: fij
= 0. On a fij
= pij , et on pose aussi: fij = fij .
n=0
Alors: fij =P partant de i, l’état j est occupé au moins une fois .

On dit que:
– Un état i est transitoire si fii < 1.
– Un état i est récurrent si fii = 1.
n
X
(n) (k) (n−k)
1) Montrer que: ∀ n ≥ 1, ∀ i ∈ E, pii = fii pii .
k=0
n
X
(n) (k) (n−k)
2) Montrer que: ∀ n ≥ 1, ∀ i ̸= j, pij = fij pjj .
k=0

(m)
Posons: hii:=P partant de i, on y retourne au moins m fois ,

(m)
hii := lim hii =P partant de i, on y retourne une infinité de fois .
m→+∞
(m)
3) Montrer que: hii = (fii )m et en déduire que:

a) Un état i est transitoire si hii = 0.

b) Un état i est récurrent si hii = 1.
+∞
X
Soit Ni le nombre de visites à l’état i, c-à-d: Ni = 1{Xn =i} .
n=1
X +∞
(n)
5) Comparer E Ni |X0 = i et pii .
n=1

6) Caractériser les états transitoires ou récurrents à l’aide de E Ni .
3.10 Références
[1] Daniel Revuz and Marc Yor (1998). Continuous martingales and Brownian motion.
Springer.
[2] Dominique Foata et Aimé Fuchs (2004). Processus de Poisson, chaı̂nes de Markov et
Martingales. Cours et exercices corrigés. Dunod.
[3] Sabin Lassad (2014). Processus Stochastiques. Cours et exercices corrigés. ellipses.

View publication stats

PDF IntroductionauxProcessusStochastiques

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

PDF IntroductionauxProcessusStochastiques

Transféré par

Droits d'auteur :

Formats disponibles

See discussions, stats, and author profiles for this publication at: https://www.researchgate.

Introduction aux Processus Stochastiques (PDF)

Book · May 2022

sghir aissa View project

The user has requested enhancement of the downloaded file.

Chaı̂nes de Markov et Martingales à temps discret

Enseignant: SGHIR Aissa

Master Statistique, Probabilités

1 Généralités sur les processus stochastiques 3

2 Martingales à temps discret 13

3 Chaı̂nes de Markov à espace d’états discret 27

Généralités sur les processus stochastiques

1.2 Définition d’un processus stochastique

— À un individu ω fixé, la fonction déterministe t → Xt (ω) est dite une trajectoire.

Le prix journalier d’une Le mouvement des grains

1.3 L’exemple d’une marche aléatoire symétrique dans Z

FSO-FPN 4 Masters SPA-MMA (S2)

1.4 Filtration associée à un processus stochastique

1.5 Loi d’un processus stochastique

FSO-FPN 5 Masters SPA-MMA (S2)

1.6 Accroissements d’un processus stochastique

1.7 Processus gaussien et l’exemple du mouvement Brownien

Cov(Xs , Xt ) = s ∧ t = min{s, t}, ∀t, s ≥ 0.

FSO-FPN 6 Masters SPA-MMA (S2)

Proposition 1.7.5 (Caractérisation).

Preuve: (voir TD 1).

Preuve: (voir TD 1).

1.8 L’exemple du processus de Poisson

FSO-FPN 7 Masters SPA-MMA (S2)

— Pour tous t, s ≥ 0, N (t) et N (t + s) − N (s) représentent le nombre d’événements se

P (N (t + s) − N (t) = k)P (N (t) = n)

FSO-FPN 8 Masters SPA-MMA (S2)

P (Tn − Tn−1 ≤ t) = 1 − P (Tn − Tn−1 > t)

1.9 Simulation numérique de quelques trajectoires

Code sous R (deux trajectoires Browniennes sur la même fenêtre)

FSO-FPN 9 Masters SPA-MMA (S2)

plot(t,B1, type = ”l”)

Code sous MATLAB (une seule trajectoire Brownienne par fenêtre)

Code sous R (une seule trajectoire de Poisson par fenêtre)

FSO-FPN 10 Masters SPA-MMA (S2)

1.10 Exercices (TD 1)

FSO-FPN 11 Masters SPA-MMA (S2)

FSO-FPN 12 Masters SPA-MMA (S2)

Martingales à temps discret

2.1 Rappels sur les espérances conditionnelles

4. Si X est B-mesurable, alors E(X|B) = X.

11. Convergence dominée: Si (Xn )n≥0 est une suite de 

— Si X et Y sont deux v.a(s) absolument continues, alors,

2.2 Martingales à temps continu

FSO-FPN 14 Masters SPA-MMA (S2)

— Il est clair que B est adapté à la filtration F B . r r

En effet, puisque Xs est Fs -mesurable, on a:

2.3 Martingales à temps discret

FSO-FPN 15 Masters SPA-MMA (S2)

2)- Intégration stochastique discrète

Preuve: (voir TD 2).

FSO-FPN 16 Masters SPA-MMA (S2)

2.4 Décomposition de Doob des sous-martingales

Exercice: (voir TD 2).

2.5 Convergence des martingales et l’uniforme intégrabilité

FSO-FPN 17 Masters SPA-MMA (S2)

Par conséquent, pour tout n ≥ 0,

Finalement, il existe une variable aléatoire limite X∞ appartenant à L2 (Ω).

11. Convergence dominée: Si (Xn )n≥0 est une suite de

Quelleque soit loi initiale