Cours Magistral Chaine Markov M1

Chaînes de Markov
Auguste AMAN
Université Félix H. Boigny
Master 1 -Maths Appl
M1 - Chaînes de Markov / 78
Plan
1 Définition et exemples
2 Propriétés de Markov
Temps d’arrêt
Propriétés de Markov
3 Classification des états
4 Théorème ergodique
5 Absorption
M1 - Chaînes de Markov 78
Plan
Temps d’arrêt
5 Absorption
M1 - Chaînes de Markov 3 / 78
Processus à temps discret
Espace de probabilités: (Ω, F, P).
Espace d’état: E dénombrable (E = N, Z, Zd etc)
Processus: suite de variables aléatoires {Xn ; n ≥ 0} à valeurs dans E .
Processus et v.a.: On a
Pour tout n ≥ 0, Xn : (Ω, F) → (E , P(E )) variable aléatoire.
X : Ω → E N variable aléatoire.
L) M1 - Chaînes de Markov 4 / 78
Chaîne de Markov
Définition
Soit X = {Xn ; n ≥ 0} processus.
1 X est une chaîne de Markov si
P (Xn+1 = j | X0 = i0 , . . . , Xn = in ) = P (Xn+1 = j | Xn = in )
pour tout n ≥ 0, i0 , . . . , in , j ∈ E .
2 La chaîne de Markov est homogène si on a de plus
P (Xn+1 = j | Xn = i) = P (X1 = j | X0 = i)
) M1 - Chaînes de Markov 5 / 78
Filtration
Filtration naturelle: on pose pour n ≥ 0
Fn = σ(X0 , . . . , Xn ).
La filtration (Fn )n≥0 se nomme filtration naturelle associée à X .
Définition alternative de chaîne de Markov: Pout tout n ≥ 0 et j ∈ E ,
P (Xn+1 = j | Fn ) = P (Xn+1 = j | Xn )
ou encore, pour une chaîne homogène:
L (Xn+1 | Fn ) = p(Xn , ·)
au sens des lois conditionnelles régulières.
Marche aléatoire
Définition: Soient
{Zi ; i ≥ 1} v.a. indépendantes de Rademacher
,→ P(Zi = −1) = P(Zi = 1) = 1/2
On pose X0 = 0, et pour n ≥ 1,
n
X
Xn = Zi .
i=1
X est appelée marche aléatoire dans Z.
Propriété: X est une chaîne de Markov et

1 1
P (Xn+1 = j| Xn = i) = δi+1 (j) + δi−1 (j).
2 2
Chaîne homogène
Proposition
Soit (Xn )n≥0 chaîne de Markov
Alors (Xn )n≥0 homogène ssi il existe p : E × E → [0, 1] telle que
P (Xn+1 = j | X0 = i0 , . . . , Xn = in ) = p(in , j )
pour tout n + 2-uplé (i0 , . . . , in , j ) ∈ E
Enoncé alternatif de la proposition: Soit (Xn )n≥0 chaîne de Markov

P (Xn+1 = j | Fn ) = p(Xn , j)
pour tout n ≥ 0 et j ∈ E (lien avec les lois conditionnelles régulières).
L) M1 - Chaînes de Markov 8 / 78
Notations
Soit X une chaîne de Markov homogène. On note:
Loi initiale: ν0 = L(X0 ) ou encore ν0 (i) = P(X0 = i), i ∈ E
Probabilité de transition: p(i, j) = P(X1 = j| X0 = i), i, j ∈ E
Matrice de transition: p = (p(i, j))i,j∈E
Loi à l’instant k: νk = L(Xk ) ou encore νk (i) = P(Xk = i), i ∈ E
Propriété des matrices de transition
Proposition
Soit X chaîne de Markov de matrice de transition p.
Alors p vérifie
1 Pour tout i, j ∈ E , on a p(i, j) ∈ [0, 1]
Pour tout i ∈ E , on a j∈E p(i, j) = 1.
P
2
On dit que p est une matrice stochastique.
Démonstration:
(1) p(i, j) = P(X1 = j| X0 = i) ∈ [0, 1].
P P
(2) j∈E p(i, j) = j∈E P(X1 = j| X0 = i) = 1.
Exemple: marche aléatoire
Rappel: Soit X la marche aléatoire. On a vu: X0 = 0 et

1 1
P (Xn+1 = j| Xn = i) = δi+1 (j) + δi−1 (j).
2 2
Donc
1 ν 0 = δ0
2 p(i, j) = 12 δi+1 (j) + 12 δi−1 (j).
Exemple: temps à Nancy
Modèle: on choisit E = {1, . . . , 6} := {TM, M, AM, AB, B, TB}.
Proba de transition: par observation statistique, on a trouvé

 
0 1 0 0 0 0
0.4 0.6 0 0 0 0


0.3 0 0.4 0.2 0.1 0 
 
 
 0 0 0 0.3 0.7 0 
 
 0 0 0 0.5 0 0.5
 
0 0 0 0.8 0 0.2
Loi de la chaîne et p
Proposition
Soit X chaîne de Markov homogène, de loi initiale ν et transition p.
1 Pour n ∈ N et i0 , . . . , in ∈ E ,
P (X0 = i0 , . . . , Xn = in ) = ν(i0 ) p(i0 , i1 ) · · · p(in−1 , in )
2 La loi de X est caractérisée par ν et p.
Démonstration
(1) par récurrence: Cas n = 0 trivial.

Si on suppose (1) vrai à l’ordre n, alors
P (X0 = i0 , . . . , Xn = in , Xn+1 = in+1 )

= P (Xn+1 = in+1 | X0 = i0 , . . . , Xn = in , ) P (X0 = i0 , . . . , Xn = in )
= p(in , in+1 ) × ν(i0 ) p(i0 , i1 ) · · · p(in−1 , in )
= ν(i0 ) p(i0 , i1 ) · · · p(in , in+1 ).
(2): Il faut montrer que les lois fini-dimensionnelles

engendrent une loi sur (E N , P(E )⊗N )
,→ Théorème de Kolmogorov.
Loi de la chaîne et produits de matrice
Proposition
Soit X CHMH, de loi initiale ν et transition p. Alors
νn (i) = [ν p n ] (i).
Démonstration:
νn (i) = P(Xn = i)
X
= ν(i0 ) p(i0 , i1 ) · · · p(in−1 , i)
i0 ,...,in−1 ∈E
n
= [ν p ] (i).
Exemple: temps à Nancy
Prédiction à J+2:
 
0.4 0.6 0 0 0 0
0.24 0.76 0 0 0 0 


0.12 0.3 0.16 0.19 0.18 0.05
 
p2 = 
 

 0 0 0 0.44 0.21 0.35
 
 0 0 0 0.55 0.35 0.1 
 
0 0 0 0.4 0.56 0.04
Exemple: temps à Nancy (2)
Prédiction à J+28:
 
0.29 0.71 0 0 0 0
0.29 0.71 0 0 0 0 


0.14 0.36 7.2 × 10−12 0.23 0.16 0.10
 
p 28 =
 0

 0 0 0.47 0.33 0.20

 0 0 0 0.47 0.33 0.20
 
0 0 0 0.47 0.33 0.20
Critère de markovianité
Proposition
Soient
Z : Ω → E variable aléatoire.
F ensemble dénombrable.
{Yn ; n ≥ 1} suite i.i.d, avec Y ⊥⊥ Z et Yn ∈ F .
f : E × F → E.
On pose
X0 = Z , et Xn+1 = f (Xn , Yn+1 ).
Alors X est une chaîne de Markov homogène telle que
ν0 = L(Z ), et p(i, j) = P (f (i, Y1 ) = j) .
Remarque: Il existe une réciproque, mais on ne l’utilisera pas.

Démonstration
Sous les hypothèses de la proposition:
P (Xn+1 = j| X0 = i0 , . . . , Xn = in )
= P (f (Xn , Yn+1 ) = j| X0 = i0 , . . . , Xn = in )
= P (f (in , Yn+1 ) = j| X0 = i0 , . . . , Xn = in )
= P (f (in , Y1 ) = j)
= p(in , j)
Exemple: marche aléatoire
Rappel: On a vu que X est défini par
{Zi ; i ≥ 1} v.a. indépendantes de Rademacher
,→ P(Zi = −1) = P(Zi = 1) = 1/2
On pose X0 = 0, et pour n ≥ 1, Xn = ni=1 Zi .
P
Application du critère:
Xn+1 = f (Xn , Zn+1 ), avec f : Z × {−1, 1} → Z, (x , z) 7→ x + z
et X CHMH avec ν0 = δ0 et
1 1
p(i, j) = P (Z1 = j − i) = δi+1 (j) + δi−1 (j).
2 2
Familles markoviennes de probabilités
Dépendence par rapport à la loi initiale: on note
Pµ (X0 = i0 , . . . , Xn = in ) = µ(i0 ) p(i0 , i1 ) · · · p(in−1 , in )

X
Eµ [ϕ(X0 , . . . , Xn )] = ϕ(i0 , . . . , in ) µ(i0 ) p(i0 , i1 ) · · · p(in−1 , in )
i0 ,...,in ∈E
Cas de la condition initiale fixe: on note Pδi = Pi . Donc
Pi (X0 = i0 , . . . , Xn = in ) = δi (i0 ) p(i0 , i1 ) · · · p(in−1 , in )

X
Ei [ϕ(X0 , . . . , Xn )] = ϕ(i, i1 , . . . , in ) p(i, i1 ) · · · p(in−1 , in )
i1 ,...,in ∈E
Relation entre familles markoviennes
Proposition
Soit X chaîne de Markov de transition p.
(i) Soit µ ∈ M1 (E ) telle que µ(i) 6= 0. On a
Pi (X0 = i0 , . . . , Xn = in ) = Pµ (X0 = i0 , . . . , Xn = in |X0 = i)

Ei [ϕ(X0 , . . . , Xn )] = Eµ [ϕ(X0 , . . . , Xn )|X0 = i]
(ii) Soit µ ∈ M1 (E ). Alors

X
Pµ (X0 = i0 , . . . , Xn = in ) = µ(i) Pi (X0 = i0 , . . . , Xn = in )
i∈E
X
Eµ [ϕ(X0 , . . . , Xn )] = µ(i) Ei [ϕ(X0 , . . . , Xn )]
i∈E
Démonstration
(i) On part de la définition:
Pµ (X0 = i0 , . . . , Xn = in |X0 = i)
Pµ (X0 = i0 , . . . , Xn = in , X0 = i)
=
Pµ (X0 = i)
µ(i) p(i, i1 ) · · · p(in−1 , in )
= 1(i0 =i)
µ(i)
= p(i, i1 ) · · · p(in−1 , in ) 1(i0 =i)
= Pi (X0 = i0 , . . . , Xn = in )
Démonstration (2)
(ii) On utilise l’étape précédente:
Pµ (X0 = i0 , . . . , Xn = in )
X
= Pµ (X0 = i0 , . . . , Xn = in |X0 = i) µ(i)
i∈E
X
= Pi (X0 = i0 , . . . , Xn = in ) µ(i)
i∈E
Plan
Temps d’arrêt
5 Absorption
Plan
Temps d’arrêt
5 Absorption
Temps d’arrêt
Définition
Filtration: suite de σ-algèbres telles que Fn ⊂ Fn+1 .
Définition
Soient
T : Ω → N̄ un temps aléatoire.
Fn = σ(X0 , . . . , Xn )
On dit que T est un temps d’arrêt si
Pour tout n ∈ N, l’ensemble {ω; T (ω) = n} est Fn -mesurable.
Temps d’arrêt: interprétation
Définition alternative: T est un temps d’arrêt si

,→ Pour tout n ∈ N, il existe An ∈ E n+1 tel que
{ω; T (ω) = n} = {ω; (X0 (ω), . . . , Xn (ω)) ∈ An }
Donc, si on connaît X0 , . . . , Xn , on sait si T = n ou T 6= n.
Définition alternative 2: Dans la définition de temps d’arrêt

on peut remplacer {ω; T (ω) = n} par
{ω; T (ω) ≤ n}
{ω; T (ω) > n}
Propriétés simples des temps d’arrêt
Proposition
Soient S et T deux temps d’arrêt. Alors
1 S ∧T
2 S ∨T
sont des temps d’arrêt.
Proposition
Si T est un temps déterministe (T = n presque sûrement)
,→ alors T est un temps d’arrêt.
Temps de retour et de visite
Temps de premier retour: Soit j ∈ E . On pose
Rj = inf {n ≥ 1; Xn = j} ,
temps de premier retour de X en j.
Temps de k ième retour: Soit j ∈ E et k ≥ 2. On pose

n o
Rjk = inf n ≥ Rjk−1 + 1; Xn = j ,
temps de k ième retour de X en j.
Temps de visite: Soit C ⊂ E . On pose
TC = inf {n ≥ 0; Xn ∈ C } ,
temps de 1ère visite en C .

Retours, visites et temps d’arrêt
Proposition
Soit
X une chaîne de Markov
{Fn ; n ≥ 0} la filtration naturelle
Alors les temps Rj , Rjk et TC sont des temps d’arrêt.
Démonstration:
(i) Pour n ≥ 1, on a
{Rj = n} = {X1 6= j, . . . , Xn−1 6= j, Xn = j}
(ii) Pour n ≥ 1, on a
(n−1 )
n o
Rjk
X
=n = 1{j} (Xl ) = k − 1, Xn = j
l=1
Contre-exemple
Dernier temps de passage: Soit i ∈ E et
Si = sup {n ≥ 0; Xn = i} .
Alors
{Si = 10} = {X10 = i} ∩ {Xn 6= i; pour tout n ≥ 11}
Ceci dépend aussi du futur après n = 10, i.e
{Si = 10} 6∈ F10 .
Donc Si n’est pas un temps d’arrêt.
Plan
Temps d’arrêt
5 Absorption
Processus Before et After
Temps de séparation: On considère τ ∈ N.
Processus Before: Soit B τ = {Bnτ ; n ≥ 0} défini par
Bnτ = Xn∧τ = Xn 1(n≤τ ) + Xτ 1(n>τ ) .
Processus After: Soit Aτ = {Aτn ; n ≥ 0} défini par
Aτn = Xτ +n .
Ensembles cylindriques
Définition
Soit A ⊂ E N . On dit que A est cylindrique
s’il existe k ≥ 0 et 0 ≤ n0 < n1 < · · · < nk tels que
n o
A = x ∈ E N ; xn0 = i0 , . . . , xnk = ik , pour i0 , . . . , ik ∈ E ,
ou plus généralement
n o
A = x ∈ E N ; xn 0 ∈ E 0 , . . . , xn k ∈ E k , pour E0 , . . . , Ek ⊂ E .
Propriété de Markov
Proposition
Soit
X chaîne de Markov homogène (loi initiale ν0 , transition p).
τ ∈ N.
Alors
(i) Aτ chaîne de Markov homogène (loi initiale L(Xτ ), transition p).
(ii) Aτ ⊥
⊥ B τ conditionnellement à Xτ , i.e.
Pour tous A, B cylindriques et i ∈ E on a
P (Aτ ∈ A, B τ ∈ B| Xτ = i)
= P (Aτ ∈ A| Xτ = i) P (B τ ∈ B| Xτ = i)
Démonstration
Point (i):

P Aτn+1 = j| Aτ0 = i0 , . . . , Aτn = in
= P (Xτ +n+1 = j| Xτ = i0 , . . . , Xτ +n = in )
= P (Xτ +n+1 = j| Xτ +n = in ) (1)

= P Aτn+1 = j| Aτn = in = p(in , j)
Démonstration de (1): On a
P (Xτ +n+1 = j| Xτ = i0 , . . . , Xτ +n = in )
P (Xτ = i0 , . . . , Xτ +n = in , Xτ +n+1 = j) N
= :=
P (Xτ = i0 , . . . , Xτ +n = in ) D
Démonstration (2)
Calcul de N:
X
N= P(X0 = `0 , . . . , Xτ −1 = `τ −1 ,
`0 ,...,`τ −1 ∈E
Xτ = i0 , . . . , Xτ +n = in , Xτ +n+1 = j)
X
= P (X0 = `0 , . . . , Xτ −1 = `τ −1 , Xτ = i0 , . . . , Xτ +n = in )
`0 ,...,`τ −1 ∈E
× P (Xτ +n+1 = j|Xτ +n = in )

= P (Xτ = i0 , . . . , Xτ +n = in ) P (Xτ +n+1 = j|Xτ +n = in )
= D × P (Xτ = i0 , . . . , Xτ +n = in )
Conclusion:
N
P (Xτ +n+1 = j| Xτ = i0 , . . . , Xτ +n = in ) =
D
= P (Xτ +n+1 = j| Xτ +n = in ) .
Démonstration plus élégante de (i)
Rappel: Soit (Xn )n≥0 chaîne de Markov
P (Xn+1 = j | Fn ) = p(Xn , j)
pour tout n ≥ 0 et j ∈ E .
Application:
τ

P Aτn+1 = j| FnA = P (Xτ +n+1 = j| Xτ , . . . , Xτ +n )
= E {P (Xτ +n+1 = j| Fτ +n ) | Xτ , . . . , Xτ +n }
= E [p(Xτ +n , j)| Xτ , . . . , Xτ +n ]
= p(Xτ +n , j) = p(Aτn , j),
ce qui montre que Aτ est une chaîne homogène de transition p.

Propriété de Markov forte
Théorème
Soit
T temps d’arrêt fini.
XT (ω) (ω) = ∞
P
n=0 Xn (ω) 1(T (ω)=n) .
Alors
(i) AT chaîne de Markov homogène, (loi initiale L(XT ), transition p).
(ii) AT ⊥
⊥ B T conditionnellement à XT , i.e.
Pour tous A, B cylindriques et i ∈ E on a

P AT ∈ A, B T ∈ B| XT = i

= P AT ∈ A| XT = i P B T ∈ B| XT = i
Démonstration
Stratégie: on va montrer que

P AT0 = i0 , . . . , ATn = in = P(XT = i0 ) p(i0 , i1 ) · · · p(in−1 , in )
Préliminaires:

On a
P A0 = i0 , . . . , ATn = ∞
T T T
P
1
k=0 P T = k, A0 = i0 , . . . , An = i n
2 {T = k} = {(X0 , . . . , Xk ) ∈ Dk }.
Démonstration (2)
Calcul:

P AT0 = i0 , . . . , ATn = in
∞
P (X0 , . . . , Xk ) ∈ Dk , AT0 = i0 , . . . , ATn = in
X
=
k=0
X∞
= P ((X0 , . . . , Xk ) ∈ Dk , Xk = i0 , . . . , Xk+n = in )
k=0
X∞
= P ((X0 , . . . , Xk ) ∈ Dk , Xk = i0 )
k=0
× P (Xk+1 = i0 , . . . , Xk+n = in | (X0 , . . . , Xk ) ∈ Dk , Xk = i0 )
∞
X
= P ((X0 , . . . , Xk ) ∈ Dk , Xk = i0 ) p(i0 , i1 ) · · · p(in−1 , in )
k=0
= P(XT = i0 ) p(i0 , i1 ) · · · p(in−1 , in )
Cas particuliers d’application
Proposition
Soit X chaîne de Markov homogène (loi initiale ν0 , transition p).
1 Si T est un temps d’arrêt fini p.s.
P (XT +n = j| XT = i0 , . . . , XT +n−1 = in−1 ) = p(in−1 , j)

E [ϕ(XT +n )| XT = i] = Ei [ϕ(Xn )]
2 Si T = T{i} , Ri ou Rik , on a XT = i et
I AT est une chaîne de Markov (loi initiale δi , transition p).
I AT ⊥⊥ B T .
Contre-exemple
Contexte: On considère
Xn = ni=1 Yi avec Yi i.i.d et Yi ∼ B(1/2)
P
,→ X chaine de Markov de transition

1 1
p(i, j) = 1(j=i) + 1(j=i+1) .
2 2
Le temps aléatoire T = sup{n ≥ 0; Xn = 0}

,→ T < ∞ p.s. et XT = 0.
Conclusion: Alors
P (XT +1 = 1| XT = 0) = 1 6= p(0, 1) = P0 (X1 = 1).
La condition T temps d’arrêt est donc nécessaire.
Loi de la chaîne Before
Théorème
Soient
C ⊂ E et TC = inf{n ≥ 0; Xn ∈ C }
Alors
1 B TC chaîne de Markov homogène (loi initiale ν0 , transition q)
2 On a
q(i, j) = p(i, j) 1C c (i) + δi (j)1C (i).
Matriciellement: !
P P
Q=
0 Id
Plan
Temps d’arrêt
5 Absorption
Accessibilité
Rappel: pour une chaîne de Markov homogène X , on a vu que
ν(i)p n (i, j).

X
Pν (Xn = j) =
i∈E
Accessibilité:
On dit que j accessible depuis i si
Il existe n ≥ 0 tel que Pi (Xn = j) = p n (i, j) > 0.
Notation: i → j.
Communication
Communication:
Si i → j et j → i, on dira que i et j communiquent.
Notation: i ↔ j.
Remarques:
1 Les définitions i → j et i ↔ j ne dépendent pas de ν.
2 Pour tout i ∈ E , on a i ↔ i car p 0 (i, i) = 1.
3 Si i → j et j → k, alors i → k.
Graphe associé à une chaîne de Markov
Définition
On note G(X ) le graphe défini par
G(X ) est un graphe orienté.
Les sommets de G(X ) sont les points de E .
Les arêtes de G(X ) sont définies par l’ensemble
V ≡ {(i, j); i 6= j, p(i, j) > 0} .
Exemple
Définition de la chaîne: Prenons E = {1, 2, 3, 4, 5} et

 
1/3 0 2/3 0 0
1/4 1/2 1/4 0 0 
 
 
1/2
p= 0 1/2 0 0 

 0 0 0 0 1 


0 0 0 2/3 1/3
Graphe associé: au tableau.
Graphe et accessibilité
Proposition
Alors
i → j ssi i = j ou il existe un chemin orienté de i à j dans G(X ).
Démonstration: Si i 6= j on a
(i → j) ⇔ Il existe n ≥ 1 tel que p n (i, j) > 0
⇔ Il existe n ≥ 1 tel que i1 ,...,in−1 ∈E p(i, i1 ) · · · p(in−1 , j) > 0
P
⇔ Il existe n ≥ 1 et i1 , . . . , in−1 ∈ E tels que p(i, i1 ) · · · p(in−1 , j) > 0

⇔ Il existe un chemin orienté de i à j dans G(X )
Classes
Proposition
Alors
1 La relation ↔ est une relation d’équivalence.
2 Notons C1 , . . . , Cl les classes d’équivalence dans E pour ↔.
Alors → est une relation d’ordre partiel entre classes
i.e. C1 → C2 et C2 → C3 =⇒ C1 → C3 .
3 C1 → C2 ssi il existe i ∈ C1 et j ∈ C2 tels que i → j.
Exemple
Définition de la chaîne: Prenons E = {1, 2, 3, 4, 5} et

 
1/3 0 2/3 0 0
1/4 1/2 1/4 0 0 
 
 
1/2
p= 0 1/2 0 0 

 0 0 0 0 1 


0 0 0 2/3 1/3
Classes associés:
C1 = {1, 3}, C2 = {2} et C3 = {4, 5}.
On a C2 → C1
Classe minimale
Définition
Une classe d’équivalence C est minimale si:
Pour tout i ∈ C et j 6∈ C , on a i 6→ j.
Exemple:
Sur l’exemple précédent, on a C1 , C3 minimales, et C2 non minimale.
Critères de minimalité:
(i) S’il existe une unique classe C , elle est minimale.
(ii) Il existe une unique classe minimale C
⇔ Il existe une classe C telle que pour tout i ∈ E , on a i → C .
Application: Marche aléatoire.

Etats récurrents et transitoires
Définition
Soient
Un élément i ∈ E
Alors
1 On dit que i est récurrent si Pi (Ri < ∞) = 1
2 On dit que i est transitoire si Pi (Ri < ∞) < 1
Interprétation:
Si i est récurrent, en partant de i on est sûr d’y revenir.
Nombre de passages
Proposition
Soient
Un élément i ∈ E et
∞
X
N(i) = δi (Xk ),
k=0
i.e. N(i) est le nombre de passages de X par i.

Alors
1 L’état i est récurrent ⇔ N(i) = ∞, Pi -presque sûrement.
2 L’état i est transitoire ⇔ N(i) < ∞, Pi -presque sûrement.
Démonstration: Application de Markov fort.

Récurrence et classes
Théorème
Soient
C une classe pour la relation ↔.
Alors
1 Tous les états de C sont de la même nature (récurrent ou
transitoire).
2 S’il existe i ∈ C tel que Ei [Ri ] < ∞
,→ pour tout j ∈ C on a Ej [Rj ] < ∞
3 S’il existe i ∈ C tel que Ei [Ri ] < ∞
,→ pour tous j, k ∈ C on a Ej [Rk ] < ∞
Démonstration: Application de Markov fort.

Critères de récurrence
Théorème
Soient
C une classe pour la relation ↔.
Alors
1 Si C n’est pas minimale, elle est transitoire.
2 Si C est minimale et |E | < ∞, alors
I C est récurrente
I C est récurrente positive: pour tout i ∈ C , Ei [Ri ] < ∞.
Exemple
Définition de la chaîne: Prenons E = {1, 2, 3, 4, 5} (donc |E | < ∞)

et  
1/3 0 2/3 0 0
1/4 1/2 1/4 0 0 
 
 
p= 1/2 0 1/2 0 0 


 0 0 0 0 1 

0 0 0 2/3 1/3
Classes associés:
C1 = {1, 3}, C2 = {2} et C3 = {4, 5}.
,→ C1 , C3 minimales, et C2 non minimale.
Conclusion: C1 , C3 récurrentes positives, C2 transitoire.
Plan
Temps d’arrêt
5 Absorption
Hypothèses du théorème ergodique
On suppose:
X chaîne de Markov (loi initiale ν, transition p) telle que
(a) Il existe une classe minimale unique C .
(b) On a TC < ∞, Pν presque sûrement.
(c) Pour tout i ∈ C , on a Ei [Ri ] < ∞.
Remarque: Si |E | < ∞
,→ (b) et (c) sont toujours vérifiées.
Théorème limite
Théorème
Sous les hypothèses (a)-(b)-(c), on a
1 Il existe une solution unique de l’équation matricielle dans R1,|E |
,→ π = π p et hπ, 1i = 1, ou encore
X X
π(j) = π(i) p(i, j), π(j) = 1. (2)
i∈E j∈E
2 Pour toute fonction f : E → R bornée on a

n
1X X
lim f (Xk ) = f (i)π(i), Pν − p.s.
n→∞ n
k=1 i∈E
1
3 π(i) = 0 si i 6∈ C et pour i ∈ C on a π(i) = Ei [Ri ]
.
Explications
Point 3: Si on prend f (j) = δi (j), alors le point 2 donne
Nn (i)
Proportion du temps passé en i = −→ π(i).
n
Intuitivement, proportion du temps passé en i
,→ Inversement proportionnelle au temps de retour Ri en i.
1
,→ π(i) = Ei [R i]
.
1 Pn
f (Xk ) −→
P
Point 2: On s’attend à n k=1 i∈E f (i)π(i), car
n
1X X Nn (i)
f (Xk ) = f (i) .
n k=1 i∈E n
Explications (2)
Vocabulaire:
Si π est solution de (2),
π se nomme mesure de probabilités invariante pour p.
Si L(X0 ) = π, alors L(Xn ) = π pour tout n ≥ 1.
Point 1: Notons νk (i) = Pν (Xk = i). Alors

Eν [Nn (i)] = nk=1 νk (i).
P
1 Pn
n k=1 νk (i) −→ π(i) par convergence dominée.
Donc νn −→ π au sens de Cesaro. Donc
n→∞
[νn+1 = νn p] −→ [π = πp] .
M1 - Chaînes de Markov
Exemple
Définition de la chaîne: Prenons E = {1, 2, 3, 4} (donc |E | < ∞) et
1/4 1/4 1/4 1/4
 
 0 0 1 0 
p=
 
 0 1/2 0 1/2

0 0 1 0
Classes associés:
C1 = {1}, C2 = {2, 3, 4}
,→ C1 non minimale et C2 minimale.
Conclusion: C2 récurrente positive, C1 transitoire.
Mesure invariante:
en résolvant le système π = π p et hπ, 1i = 1, on trouve
π = (0, 1/4, 1/2, 1/4) .
De plus, le théorème ergodique s’applique.
Exemple (2)
Remarque:
• En général, il est plus facile de résoudre le système
π = π p et hπ, 1i = 1 que de calculer Ei [Ri ].
• Ici, ce calcul est cependant possible.
Analyse directe: On trouve

• E1 [R1 ] = ∞ car 1 est transitoire.
• E3 [R3 ] = 2 car R3 = 2, P3 -p.s.
• Pour calculer E2 [R2 ]:
h i h i
E2 1(R2 >2k+2) = E2 1(R2 >2k) 1(R2 >2k+2)
n h io n h io
= E2 1(R2 >2k) EX2k 1(R2 (A2k )>2) = E2 1(R2 >2k) E4 1(R2 (A2k )>2)
h i 1 h i
= E2 1(R2 >2k) p(4, 3) p(3, 4) = E2 1(R2 >2k)
2
On en déduit P2 (R2 > 2k) = 1/2k et E2 [R2 ] = 4 = E4 [R4 ].
Convergence en loi
Théorème
Soit X chaîne de Markov (loi initiale ν, transition p) telle que
(a) |E | < ∞.
(b) Il existe une classe minimale unique C .
(c) Une des deux hypothèses est vérifiée:
1 p(i, i) > 0 pour tout i ∈ C .
2 Il existe n ≥ 1 tel que p n (i, j) > 0 pour tout i, j ∈ E .
Alors
(d)
Xn −→ π, i.e. lim νn (i) = π(i),
n→∞
pour tout i ∈ E .
Plan
Temps d’arrêt
5 Absorption
Définition, Hypothèse, Notation
Définition
Soit X chaîne de Markov (loi initiale ν, transition p).
On dit que i ∈ E est absorbant si p(i, i) = 1
On dit que X est absorbante si ses classes minimales sont des
singletons.
Hypothèse de travail: |E | < ∞ et X absorbante.
Notation: On décompose E = T ∪ A avec
T = {Eléments transitoires} , A = {Eléments absorbants} .
Exemple
1 0 0 0
 
1/2 0 1/2 0 
p=

 0 1/2 0 1/2
 
0 0 0 1
Classes associés:
C1 = {1}, C2 = {2, 3}, C3 = {4}
,→ C1 , C3 minimales et C2 non minimale.
,→ X est absorbante.
Loi à l’instant n
Proposition
Soit X chaîne absorbante avec |E | < ∞.
On décompose p sur E = T ∪ A en
!
Q R
p=
0 Id
Alors pour n ≥ 1 on a
 
n−1
!
n
Q Rn
pn = Qj  R
X
, avec Rn = 
0 Id j=0
Limite de p
Théorème
Soit X chaîne absorbante avec |E | < ∞. Alors
1 On a limn→∞ Q n = 0 .
2 limn→∞ Rn = A avec A stochastique.
3 Id − Q inversible et on pose M = (Id − Q)−1 .
4 On a A = M R.
Résumé:
!
∞ 0 A
p = , avec A = (Id − Q)−1 R := M R
0 Id
Démonstration
Point 1: Soit k · k la norme sur les matrices de RT ×T définie par
kBk = sup sup |B(i, j)|

i∈T j∈T
Comme T → A, on peut montrer (un peu délicat) que
kQ n k ≤ cβ n , avec 0 < β < 1
En particulier, limn→∞ Q n = 0.
Autres points: En fait, Q n → 0 exponentiellement. Donc:

P∞ j −1
j=0 Q converge vers (Id − Q) := M.
P∞ j
( j=0 Q )R converge vers M R := A.
Comme p n est stochastique, A est stochastique.
Temps d’absorption
Théorème
Soient
X chaîne absorbante avec |E | < ∞.
A, M et R définies au théorème précédent.
TA = inf{n ≥ 0; Xn ∈ A} = temps d’absorption.
N(j) = limn→∞ Nn (j) = nombre de passages en j (pour j ∈ T ).
Alors
1 TA < ∞ presque sûrement.
2 A(i, j) = Pi (XTA = j) pour i ∈ T et j ∈ A.
3 M(i, j) = Ei [N(j)] pour i, j ∈ T .
P
4 Ei [TA ] = j∈T M(i, j).
Démonstration
Points 1 et 2: Pour i ∈ T et j ∈ A, on a
p n (i, j) = Pi (Xn = j) = Pi (TA ≤ n, XTA = j)
En passant à la limite n → ∞,
A(i, j) = Pi (TA < ∞, XTA = j)
De plus, A est stochastique. Donc

X
1= Pi (TA < ∞, XTA = j) = Pi (TA < ∞)
j∈A
et
A(i, j) = Pi (TA < ∞, XTA = j) = Pi (XTA = j)
Démonstration (2)
Point 3: On a, pour i, j ∈ T
∞ ∞
Q n (i, j) = p n (i, j)
X X
M(i, j) =
n=0 n=0
∞
"∞ #
X X
= Ei [δj (Xn )] = Ei δj (Xn ) = Ei [N(j)]
n=0 n=0
Point 4: On a, pour i ∈ T ,
"∞  
∞ X
#
X X X
Ei [TA ] = Ei 1T (Xn ) = Ei  δj (Xn ) = M(i, j).
n=0 n=0 j∈T j∈T
Exemple
1 0 0 0
 
1/2 0 1/2 0 
p= 
 0 1/2 0 1/2
 
0 0 0 1
Décomposition en T ∪ A:
On a T = {2, 3}, A = {1, 4} et selon cette décomposition,
0 1/2 1/2 0
 
1/2 0 0 1/2
p̃ = 
 
 0 0 1 0 

0 0 0 1
Exemple (2)
Matrices Q, R: On trouve
! ! !
0 1/2 1 −1/2 1/2 0
Q= , Id − Q = , R=
1/2 0 −1/2 1 0 1/2
Matrices M, A: On a donc
! !
−1 4 1 1/2 M 2 1 1/2
M = [Id − Q] = , A= = .
3 1/2 1 2 3 1/2 1
Lecture en termes de probabilités: On obtient par exemple

2 1
P2 (XTA = 1) = A(2, 1) = , P2 (XTA = 4) = A(2, 4) =
3 3
E2 [TA ] = M(2, 2) + M(2, 3) = 2

Cours Magistral Chaine Markov M1

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours Magistral Chaine Markov M1

Transféré par

Droits d'auteur :

Formats disponibles

Chaînes de Markov

Université Félix H. Boigny

Master 1 -Maths Appl

3 Classification des états

3 Classification des états

Espace de probabilités: (Ω, F, P).

Espace d’état: E dénombrable (E = N, Z, Zd etc)

Processus: suite de variables aléatoires {Xn ; n ≥ 0} à valeurs dans E .

La filtration (Fn )n≥0 se nomme filtration naturelle associée à X .

Définition alternative de chaîne de Markov: Pout tout n ≥ 0 et j ∈ E ,

ou encore, pour une chaîne homogène:

au sens des lois conditionnelles régulières.

X est appelée marche aléatoire dans Z.

Propriété: X est une chaîne de Markov et

pour tout n + 2-uplé (i0 , . . . , in , j ) ∈ E

Enoncé alternatif de la proposition: Soit (Xn )n≥0 chaîne de Markov

pour tout n ≥ 0 et j ∈ E (lien avec les lois conditionnelles régulières).

Soit X une chaîne de Markov homogène. On note:

Loi initiale: ν0 = L(X0 ) ou encore ν0 (i) = P(X0 = i), i ∈ E

Probabilité de transition: p(i, j) = P(X1 = j| X0 = i), i, j ∈ E

Matrice de transition: p = (p(i, j))i,j∈E

Loi à l’instant k: νk = L(Xk ) ou encore νk (i) = P(Xk = i), i ∈ E

On dit que p est une matrice stochastique.

Rappel: Soit X la marche aléatoire. On a vu: X0 = 0 et

Modèle: on choisit E = {1, . . . , 6} := {TM, M, AM, AB, B, TB}.

Proba de transition: par observation statistique, on a trouvé

P (X0 = i0 , . . . , Xn = in ) = ν(i0 ) p(i0 , i1 ) · · · p(in−1 , in )

2 La loi de X est caractérisée par ν et p.

(1) par récurrence: Cas n = 0 trivial.

P (X0 = i0 , . . . , Xn = in , Xn+1 = in+1 )

(2): Il faut montrer que les lois fini-dimensionnelles

Modèle: on choisit E = {1, . . . , 6} := {TM, M, AM, AB, B, TB}.

0 0 0 0.4 0.56 0.04

Modèle: on choisit E = {1, . . . , 6} := {TM, M, AM, AB, B, TB}.

0 0 0 0.47 0.33 0.20

ν0 = L(Z ), et p(i, j) = P (f (i, Y1 ) = j) .

Remarque: Il existe une réciproque, mais on ne l’utilisera pas.

Sous les hypothèses de la proposition:

Xn+1 = f (Xn , Zn+1 ), avec f : Z × {−1, 1} → Z, (x , z) 7→ x + z

Dépendence par rapport à la loi initiale: on note

Pµ (X0 = i0 , . . . , Xn = in ) = µ(i0 ) p(i0 , i1 ) · · · p(in−1 , in )

Cas de la condition initiale fixe: on note Pδi = Pi . Donc

Pi (X0 = i0 , . . . , Xn = in ) = δi (i0 ) p(i0 , i1 ) · · · p(in−1 , in )

Pi (X0 = i0 , . . . , Xn = in ) = Pµ (X0 = i0 , . . . , Xn = in |X0 = i)

(ii) Soit µ ∈ M1 (E ). Alors

(i) On part de la définition:

(ii) On utilise l’étape précédente:

3 Classification des états

3 Classification des états

Définition alternative: T est un temps d’arrêt si

{ω; T (ω) = n} = {ω; (X0 (ω), . . . , Xn (ω)) ∈ An }

Donc, si on connaît X0 , . . . , Xn , on sait si T = n ou T 6= n.

Définition alternative 2: Dans la définition de temps d’arrêt

temps de premier retour de X en j.

Temps de k ième retour: Soit j ∈ E et k ≥ 2. On pose

temps de k ième retour de X en j.

Temps de visite: Soit C ⊂ E . On pose

temps de 1ère visite en C .

Dernier temps de passage: Soit i ∈ E et

{Si = 10} = {X10 = i} ∩ {Xn 6= i; pour tout n ≥ 11}

Ceci dépend aussi du futur après n = 10, i.e

{Si = 10} 6∈ F10 .

Donc Si n’est pas un temps d’arrêt.

3 Classification des états