Processus Stochastiques

Chaînes de Markov

Prof. Anas RACHID

Département de génie mécanique
ENSAM – Casablanca | Université Hassan II de Casablanca

|1
Processus stochastique

• Le nombre d’étudiants à la FSTS à l’instant t;

• Le nombre d’accidents de voiture à Casablanca à l’instant t;
• Le prix d’une action de bourse à l’instant t;
• Le nombre de défaillances se produisant par jour dans un système technique;
• Le nombre de véhicule sur une autoroute au kilomètre t;
• Le nombre de clients dans une file d’attente à un instant donné .

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |2

 Processus stochastique

 Un processus stochastique est une famille ∈ de variables aléatoires . Comme on vient de voir,
l’indice peut représenter par exemple le temps ou une coordonnée le long d’un chemin.
 Si = ℕ, on parle de processus en temps discret et écrit ( )
 Si = ℝ , on parle de processus en temps continu et écrit { , ≥ 0}.

 Si = , on dira souvent que le processus est à l’instant dans l’état . Donc, On appellera espace des
états l’ensemble des valeurs prises par toutes les variables aléatoires d’un processus stochastique

 La forme prise par un processus stochastique lors d’une expérience

du phénomène aléatoire en question est appelée réalisation ou
trajectoire de ce processus stochastique.

Par exemple la trajectoire du processus « le nombre de clients dans

une file d’attente à un instant » peut prendre la forme suivante:

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |3

 Processus stochastique

• Si on connait, pour chaque paires d’états , et pour chaque instant , la probabilité ( ) que le
processus soit dans à l’instant + 1 étant donné qu’il se trouve dans à l’instant :
= = = ))

c’est la probabilité conditionnelle que le processus fasse une transition de vers au cours d’un
intervalle temporel ( , + 1]; on l’appellera par la suite probabilité de transition à une étape.

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |4

 Chaine de MARKOV

La classe des processus étudiés ici est donc caractérisée par la propriété de l’état présent du processus, c-à-d, son
instant n résume toute l’information utile pour connaitre son évolution future.
En d’autres termes, la prévision cette dernière ne peut être améliorée par une connaissance de ses états aux instants n-
1,n-2,….
Les processus de Markov sont des processus sans mémoire.

On se bornera dans ce cours à traiter des chaine de Markov homogènes dans le temps; les probabilités des transitions
sont indépendantes du temps :
= ∀

En effet, en utilisant la définition de la probabilité conditionnelle et la propriété markovienne, on obtient

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |5

Chaine de Markov- Matrice Stochastique

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |6

 Chaine de Markov- Matrice Stochastique

Exemple 1
On suppose que le temps qu'il fera demain,
- ou bien S pour ensoleillé
- ou bien N pour nuageux,
étant donné le temps qu'il fait aujourd'hui ne dépende pas du temps qu'il faisait les jours précédents. On
désigne par l'événement que le jour > 0 est ensoleillé et par celui qu'il est nuageux. Les
probabilités conditionnelles suivantes sont données:
P( | ) = 0,2 ;
P( | ) = 0,4.
Alors:
P =1−P = 0,8
P =1−P = 0,6
On définit la variable aléatoire par = si se réalise, et = si se réalise. La suite ( )est
une chaîne de Markov à temps discret sur les états 0 et 1 dont la matrice de transition P est donnée par
0,2 0,8
= =
0,4 0,6

Question: On est Mercredi et c'est ensoleillé. Quelle est la probabilité que dimanche suivant soit un jour ensoleillé?

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |7

 Chaine de Markov- Matrice Stochastique

Exemple 2
On reprend l'exemple précédent, mais on suppose maintenant que c'est le temps qu'il fera demain étant
donné le temps qu'il fait aujourd'hui et le temps qu'il faisait hier qui ne dépende pas du temps des jours
précédents avec les probabilités conditionnelles suivantes:

La suite ( ) n’est pas une chaîne de Markov

On peut cependant obtenir une chaîne de Markov en considérant le temps qu'il fait sur les deux derniers
jours d'un jour au suivant. La suite ( ) , définie par =( , ) pour n > 1, est une chaîne de
Markov à temps discret sur les états (0,0), (0,1), (1,0) et (1,1)

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |8

Matrice de transition en n pas

• Pour pouvoir répondre à la question de l’exemple 1, on va définir la matrice de transition à pas

• C’est-à-dire, le calcul des probabilités de transition après transitions.

La matrice de transition en pas est la matrice notée ( ) ou ( ) telle que :

( )
= ( = | = )
Pour tout les états et .

( ) ( )
Pour l’exemple 1, = 4, et donc il faut calculer avec , =0 1 et = 0 1

A Noter que :
( )
1. 0 ≤ ≤1
2.
( )
=1

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES |9

Matrice de transition en n pas

• Pour pouvoir répondre à la question de l’exemple 1, on va définir la matrice de transition à pas

• C’est-à-dire, le calcul des probabilités de transition après transitions.

La matrice de transition en pas est la matrice notée ( ) ou ( ) telle que :

( )
= ( = | = )
Pour tout les états et .

( ) ( )
Pour l’exemple 1, = 4, et donc il faut calculer avec , =0 1 et = 0 1

A Noter que :
( )
1. 0 ≤ ≤1
2.
( )
=1

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES | 10

Matrice de transition en n pas

Comme exemple:
( )
est la probabilité d’aller de à en
( )
= = , = = sommant tous les états intermédiaires

Or
( = , = , = )
= , = = =
( = )
= = = = ( )
=
( )
( ) ( )
= , = = =
Donc
( ) ( ) ( ) =
= ,∀ , La matrice est obtenue en
( )
multipliant la matrice par elle-même.

Équation de Chapman-Kolmogorov

( ) ( ) () 1 =
= =
0 ≠
Pour tous , et pour tout 0 ≤ ≤

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES | 11

Matrice de transition en n pas

Équation de Chapman-Kolmogorov

( ) () 1 =
= et =
0 ≠
Pour tous , et pour tout 0 ≤ ≤

C-à-d:
( ) ( ) () ( )
= =

Matrice de transition à
( )
La matrice des probabilités de transition après pas est la puissance de la matrice des probabilités de
transition ;
( )
=

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES | 12

 Matrice de transition en n pas

On reprend l’exemple 1
la matrice de transition P est donnée par
0,2 0,8
= =
0,4 0,6

Question: On est Mercredi et c'est ensoleillé. Quelle est la probabilité que dimanche suivant soit un jour ensoleillé?

On est mercredi et c’ est un jour ensoleillé, on veut connaitre la probabilité que le dimanche suivant soit un
jour ensoleillé;
=0 = 0) =
Donc
0,2 0,8 0,3344 0,6656
= = =
0,4 0,6 0,3328 0,6672
Par suite
= 0,3344

Remarquer que ≈ ; on dirais que l'état de départ n’a plus d’effet après seulement 4 pas.

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES | 13

Probabilité d’état

Inversement:
Quelle est la probabilité de se trouver dans un état donné de la chaîne de Markov à un temps arbitraire ?

On a
=( ⋯ )
Et l’équation de Chapman-Kolmogorov ( = 1)
( ) ( )
Donc =

D’où la formule

Si → ∞ alors ≈ −1 On note alors ∞ = , alors = .

C-à-d, on a convergence vers une distribution de Avec
=1
probabilité

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES | 14

Probabilité d’état 2/2 (justification mathématique)

Anas RACHID | ENSAM-Casablanca | Université Hassan II de Casablanca PROCESSUS STOCHASTIQUES | 15