Académique Documents
Professionnel Documents
Culture Documents
Définition :
Une chaîne de Markov est une suite de variables aléatoires 𝑋𝑛 (, n ∈ N) qui permet de
modéliser l’évolution dynamique d’un système aléatoire.
Les applications des chaînes de Markov sont très nombreuses (réseaux, génétique des
populations, mathématiques financières, gestion de stock, algorithmes stochastiques
d’optimisation, simulation,..)
Soit X = {𝑋𝑛 ; n ≥ 0} une suite de variables aléatoires à valeurs dans E. On dit que X est une
chaîne de Markov si, pour tout 𝑋1 , . . . , 𝑋𝑛+1 ∈ E, on a
Démonstration :
Ρ(𝑋𝑛+1 = 𝑥𝑛+1 | 𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 )
𝑃(𝑋𝑛+1 = 𝑥𝑛+1 ∩ (𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 ))
=
𝑃 (𝑋1 = 𝑥1 , 𝑋2 = 𝑥2 , … , 𝑋𝑛 = 𝑥𝑛 )
Soit (𝑋𝑛 ) une chaîne de Markov à valeurs dans E. On dit que (𝑋𝑛 ) une chaîne de Markov homogène si
et seulement si, pour tous x, y ∈ E,
=>La quantité 𝑝𝑥,𝑦 est appelée probabilité de transition de l’état x vers l’état y.
Soit k ≥ 1 un entier et soit P = ( 𝑝𝑖,𝑗 )1≤i≤k,1≤j≤k une matrice de taille k × k à coefficients réels. On dit
que P est une matrice stochastique si et seulement si
L'état i est dit récurrent (ou persistant) si P [𝑋𝑡 = i|𝑋0 = i] = 𝑝𝑖𝑖 (t) = 1 pour un certain t
≥ 1.
L'état i est dit transitoire (ou transient) si cette probabilité est strictement inférieure
à 1.
La figure ci-dessous explique les différents types d’état pour une chaîne de Markov
Soit P une matrice de transition d’une chaine de Markov et G le graphe représentatif de P. L’état j
est accessible depuis i s’il existe un chemin de i à j.
𝑛
L’état j est accessible de l’état i si et seulement si il existe n≥0 tel que 𝑃𝑖,𝑗 >0
Les états i et j communiquent s’ils sont accessibles l’un à partir de l’autre => Il existe n≥ 0
𝑛 𝑚
et m≥ 0 tels que 𝑃𝑖,𝑗 >0 et 𝑃𝑖,𝑗 >0 => relation d’équivalence
Classes
- Une classe est récurrente si elle correspond à un sommet sans successeur dans le graphe des
composantes connexes. Les états d’une classe récurrente sont récurrents.
- Les états d’une classe transitoire sont transitoires.
- Une classe récurrente composée d’un seul état est absorbante
- Une chaine de Markov est irréductible si et seulement si son graphe représentatif est
fortement connexe : tous ses états communiquent.
Période :
- La période d de l'état i d'une chaine de Markov est égale au plus grand commun diviseur de
𝑛
tous les n pour lesquels 𝑝𝑖,𝑗 > 0.
- L'état i est périodique lorsque d>1 et apériodique lorsque d=1
Déterminons donc sa période ; pour l’état transitoire {1,2,3}, pour aller de 1 à 1 on a le chemin 1-
>2->3->1, qui est de longueur 3 le chemin 1->3->1 qui est de longueur 2 ,etc.…
d(1)= pgcd(2,3)=1
Pareil pour 2,3et 6 (où le chemin de 6 à 6 est de longueur 1 constamment). Vérifions cela pour
les états 4 et 5 chemin 4->5->4 et 5->4->5 donc
Les états 4 et 5 sont de période 2. Ainsi la classe transitoire {1, 2,3} et la classe récurrente {6}
sont apériodiques tandis que la classe récurrente {4,5} est périodique
Propriété : Chapman-Kolmogorov
Démonstration :
𝜋1 … 𝜋𝑚
𝑃 = ( … … … ) 𝑎𝑣𝑒𝑐 𝜋𝑗 > 0 𝑒𝑡 ∑𝑚
∞
𝑗=1 𝜋𝑗 = 1
𝜋1 … 𝜋𝑚
la distribution 𝜋 = (𝜋1 , 𝜋2 , … , 𝜋𝑚 )𝑇 est la seule solution de l'équation
∑𝑚 𝑇
𝑗=1 𝜋𝑗 𝑝𝑗𝑘 = 𝜋𝑘 𝑝𝑜𝑢𝑟 𝑡𝑜𝑢𝑡 𝑘 , 𝑃 𝜋 = 𝜋, obéissant à la condition de normalisation 𝑒𝑡
∑𝑚𝑗=1 𝜋𝑗 = 1
Dans assurance auto, si le nombre de sinistre dépasse 1 dans les derniers 12 mois => Individu
plus risqué (Higher risk : HR) => Payer plus
Si le nombre de sinistre =0 dans les derniers 12 mois => Individu moins risqué (Lower Risk : LR)=>
Payer moins
1) L’arbre de probabilité
0 ,4
HR 0 ,15
LR 0 ,85
0 ,6
LR HR HR LR
2) Diagramme de transition
0,15
0,85 LR HR 0,6
0,4
3) Matrice de transition
HR LR
HR 0,6 0,4
[ ]
LR
0,15 0,85
Prédiction après un an
1) L’arbre de probabilité
Cette année
LR
HR 0 ,15 0 ,85
0 ,4 0 ,6
HR LR
LR 0 ,85 0 ,6 HR 0 ,4 0 ,6 0 ,4 0 ,15 0 ,85
0 ,15
HR LR HR LR HR LR HR LR Après une année
2) Matrice de transition
HR LR
HR
0,42 0,58
[ ]
LR 0,2175 0,7825
Simulation avec R
Prédiction après un an
Prédiction après 10 ans
Interprétation :
- Après 10 ans, Si un individu est de la catégorie HR (risque élevé), il a une probabilité 1/3 de
rester HR et 2/3 de devenir moins risqué
- Si un individu qui commence de la catégorie moins risque, il a une probabilité 2/3 de rester
LR et 1/3 de devenir HR