Vous êtes sur la page 1sur 8

Chaîne de Markov

Définition :

 Une chaîne de Markov est une suite de variables aléatoires 𝑋𝑛 (, n ∈ N) qui permet de
modéliser l’évolution dynamique d’un système aléatoire.

 𝑋𝑛 représente l’état du système à l’instant n. La propriété fondamentale des chaînes de


Markov, dite propriété de Markov, est que son évolution future ne dépend du passé qu’au
travers de sa valeur actuelle. Autrement dit, conditionnellement à 𝑋𝑛 , (X0, . . . , 𝑋𝑛 ) et (𝑋𝑛+𝑘 ,
k ∈ N) sont indépendants.

 Les applications des chaînes de Markov sont très nombreuses (réseaux, génétique des
populations, mathématiques financières, gestion de stock, algorithmes stochastiques
d’optimisation, simulation,..)

 Formellement, soit E un espace fini ou dénombrable. Ce sera l’espace d’états.

Soit X = {𝑋𝑛 ; n ≥ 0} une suite de variables aléatoires à valeurs dans E. On dit que X est une
chaîne de Markov si, pour tout 𝑋1 , . . . , 𝑋𝑛+1 ∈ E, on a

Ρ(𝑋𝑛+1 = 𝑥𝑛+1 | 𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 ) = 𝑃(𝑋𝑛+1 = 𝑥𝑛+1 | 𝑋𝑛 = 𝑥𝑛 )

Le futur Le passé (et le présent) Le futur Le présent

Démonstration :

Ρ(𝑋𝑛+1 = 𝑥𝑛+1 | 𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 )
𝑃(𝑋𝑛+1 = 𝑥𝑛+1 ∩ (𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 ))
=
𝑃 (𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 )

𝑃((𝑋𝑛+1 = 𝑥𝑛+1 ) ∩ (𝑋𝑛 = 𝑥𝑛 )) × 𝑃 (𝑋1 = 𝑥1 ) × 𝑃( 𝑋2 = 𝑥2 ) × … × 𝑃(𝑋𝑛−1 = 𝑥𝑛−1 )


=
𝑃 (𝑋1 = 𝑥1 ) × 𝑃( 𝑋2 = 𝑥2 ) × … × 𝑃(𝑋𝑛 = 𝑥𝑛 )

En simplifiant par les probabilités :

𝑃((𝑋𝑛+1 = 𝑥𝑛+1 ) ∩ (𝑋𝑛 = 𝑥𝑛 ))


= = 𝑃(𝑋𝑛+1 = 𝑥𝑛+1 | 𝑋𝑛 = 𝑥𝑛 )
𝑃(𝑋𝑛 = 𝑥𝑛 )
Propriété : Homogénéité

Soit (𝑋𝑛 ) une chaîne de Markov à valeurs dans E. On dit que (𝑋𝑛 ) une chaîne de Markov homogène si
et seulement si, pour tous x, y ∈ E,

 La quantité 𝑃(𝑋𝑛+1 = 𝑦 | 𝑋𝑛 = 𝑥) ne dépend pas de n


Dans ce cas, on définit la matrice de transition P = 𝑝𝑥,𝑦 de la chaîne en posant

Pour tout x,y ∈ 𝐸 , 𝑝𝑥,𝑦 = 𝑃(𝑋1 = 𝑦 | 𝑋0 = 𝑥)

=>La quantité 𝑝𝑥,𝑦 est appelée probabilité de transition de l’état x vers l’état y.

Propriété : Matrice stochastique

Soit k ≥ 1 un entier et soit P = ( 𝑝𝑖,𝑗 )1≤i≤k,1≤j≤k une matrice de taille k × k à coefficients réels. On dit
que P est une matrice stochastique si et seulement si

 ∀i, j ∈ {1, . . ., k} 𝑝𝑖,𝑗 ≥ 0 ;


 ∀i ∈ {1, . . ., k} ∑𝑘𝑗=1 𝑝𝑖,𝑗 = 1.

Propriété : classification des états :

 L'état i est dit récurrent (ou persistant) si P [𝑋𝑡 = i|𝑋0 = i] = 𝑝𝑖𝑖 (t) = 1 pour un certain t
≥ 1.

 L'état i est dit transitoire (ou transient) si cette probabilité est strictement inférieure
à 1.

La figure ci-dessous explique les différents types d’état pour une chaîne de Markov

 Classification et réduction de graphes :

Soit P une matrice de transition d’une chaine de Markov et G le graphe représentatif de P. L’état j
est accessible depuis i s’il existe un chemin de i à j.
𝑛
L’état j est accessible de l’état i si et seulement si il existe n≥0 tel que 𝑃𝑖,𝑗 >0

Les états i et j communiquent s’ils sont accessibles l’un à partir de l’autre => Il existe n≥ 0
𝑛 𝑚
et m≥ 0 tels que 𝑃𝑖,𝑗 >0 et 𝑃𝑖,𝑗 >0 => relation d’équivalence
 Classes

- Une classe est récurrente si elle correspond à un sommet sans successeur dans le graphe des
composantes connexes. Les états d’une classe récurrente sont récurrents.
- Les états d’une classe transitoire sont transitoires.
- Une classe récurrente composée d’un seul état est absorbante
- Une chaine de Markov est irréductible si et seulement si son graphe représentatif est
fortement connexe : tous ses états communiquent.

 Période :
- La période d de l'état i d'une chaine de Markov est égale au plus grand commun diviseur de
𝑛
tous les n pour lesquels 𝑝𝑖,𝑗 > 0.
- L'état i est périodique lorsque d>1 et apériodique lorsque d=1

Pour illustrer notre propos,

Voici un exemple : Considérons le graphe ci-dessous

Il apparait très clairement que les classes de communication sont :

 {1, 2,3} classe transitoire


 {4,5} classe récurrente
 {6} classe récurrente

Déterminons donc sa période ; pour l’état transitoire {1,2,3}, pour aller de 1 à 1 on a le chemin 1-
>2->3->1, qui est de longueur 3 le chemin 1->3->1 qui est de longueur 2 ,etc.…

Ces deux seuls chemins suffisent pour trouver la période de l’état 1

d(1)= pgcd(2,3)=1
Pareil pour 2,3et 6 (où le chemin de 6 à 6 est de longueur 1 constamment). Vérifions cela pour
les états 4 et 5 chemin 4->5->4 et 5->4->5 donc

Pgcd(2,2)= 2 = d(4) = d(5)

Les états 4 et 5 sont de période 2. Ainsi la classe transitoire {1, 2,3} et la classe récurrente {6}
sont apériodiques tandis que la classe récurrente {4,5} est périodique

Propriété : Chapman-Kolmogorov

La relation Chapman-Kolmogorov s’explique par « Pour passer de i à j en m + n étapes il a bien


fallu en m étapes aller de i à un certain k puis en n étapes aller de k à j ».

Pour tout (i, j) ∈ E² et tout couple (m, n) d’entiers positifs, on a l’identité :

P(𝑋𝑚+𝑛 = 𝑗 | 𝑋0 = 𝑖) = ∑𝑘 𝜖 𝐸 P(𝑋𝑚 = 𝑘 | 𝑋0 = 𝑖) P(𝑋𝑛 = 𝑗 | 𝑋0 = 𝑘)


(𝑚,𝑛) (𝑚) (𝑛)
Ou encore : 𝑃𝑖,𝑗 = ∑𝑘 𝜖 𝐸 𝑃𝑖,𝑘 𝑃𝑘,𝑗

 Démonstration :

Cette identité résulte immédiatement de l’associativité du produit matricielle :

𝑃 (𝑚,𝑛) = 𝑃 𝑚,𝑛 = 𝑃 𝑚 𝑃 𝑛 = 𝑃 (𝑚) 𝑃 (𝑛)


Propriété : Distribution stationnaire

 Définition : Chaîne de Markov régulière


o Une chaîne de Markov régulière consiste en une seule classe récurrente apériodique.
De façon équivalente, chaque état peut être atteint à partir de chaque autre après
(𝑛)
un laps de temps suffisant, c’est-à-dire qu’il existe un entier N tel que 𝑃𝑗𝑘 > 0 pour
tous les états j, k et tous les temps n ≥ N
 Théorème :
o Soit P= (𝑝𝑗𝑘 ) la matrice de transition 𝑚 × 𝑚 d'une chaîne de Markov régulière sur
𝑚 états. Alors
- Pour 𝑛 → ∞, les puissances 𝑃 𝑛 approchent une matrice de transition 𝑃 ∞ de la forme

𝜋1 … 𝜋𝑚
𝑃 = ( … … … ) 𝑎𝑣𝑒𝑐 𝜋𝑗 > 0 𝑒𝑡 ∑𝑚

𝑗=1 𝜋𝑗 = 1
𝜋1 … 𝜋𝑚
la distribution 𝜋 = (𝜋1 , 𝜋2 , … , 𝜋𝑚 )𝑇 est la seule solution de l'équation
∑𝑚 𝑇
𝑗=1 𝜋𝑗 𝑝𝑗𝑘 = 𝜋𝑘 𝑝𝑜𝑢𝑟 𝑡𝑜𝑢𝑡 𝑘 , 𝑃 𝜋 = 𝜋, obéissant à la condition de normalisation 𝑒𝑡
∑𝑚𝑗=1 𝜋𝑗 = 1

 La distribution π est qualifiée de distribution stationnaire ou d'équilibre associée à la chaîne


P
Exemple Considérons la matrice de transition suivante

Certaines de ses puissances successives sont

La distribution d'équilibre correspondante est 𝜋 = (0.2,0.3,0.3,0.2). On peut


vérifier que ∑𝑚
𝑗=1 𝜋𝑗 𝑝𝑗𝑘 = 𝜋𝑘 est valable pour chaque :
En effet,
Cas d’utilisation de chaîne de Markov

Dans assurance auto, si le nombre de sinistre dépasse 1 dans les derniers 12 mois => Individu
plus risqué (Higher risk : HR) => Payer plus

Si le nombre de sinistre =0 dans les derniers 12 mois => Individu moins risqué (Lower Risk : LR)=>
Payer moins

60% chances reste HR

La situation ci-dessus présente deux états : HR

On suppose les probabilités suivantes 40% chances devient LR

15% chances devient HR

LR 85% chances reste LR

Représentation de la chaîne de Markov :

La chaîne de Markov peut être présentée de plusieurs façons :

1) L’arbre de probabilité

0 ,4
HR 0 ,15
LR 0 ,85
0 ,6

LR HR HR LR

2) Diagramme de transition

0,15

0,85 LR HR 0,6

0,4

3) Matrice de transition

HR LR
HR 0,6 0,4
[ ]
LR
0,15 0,85
Prédiction après un an

1) L’arbre de probabilité

Cette année
LR
HR 0 ,15 0 ,85
0 ,4 0 ,6
HR LR
LR 0 ,85 0 ,6 HR 0 ,4 0 ,6 0 ,4 0 ,15 0 ,85
0 ,15
HR LR HR LR HR LR HR LR Après une année

2) Matrice de transition
HR LR
HR
0,42 0,58
[ ]
LR 0,2175 0,7825
Simulation avec R

 Création d'un vecteur contenant les données de transition

 Conversion du vecteur « mydata » en une matrice

 Prédiction après un an
 Prédiction après 10 ans

Interprétation :

- Après 10 ans, Si un individu est de la catégorie HR (risque élevé), il a une probabilité 1/3 de
rester HR et 2/3 de devenir moins risqué
- Si un individu qui commence de la catégorie moins risque, il a une probabilité 2/3 de rester
LR et 1/3 de devenir HR

Maintenant, nous allons essayer de modéliser la chaîne de Markov de cet exemple

 Importation de la librairie « markovchain » et création de notre chaîne de Markov

 Représentation du diagramme de transition

Vous aimerez peut-être aussi