Chap2 Processus Stochastique - 17 - 18

1
Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06
Chaîne de Markov à Temps Discret
Hatem El Meddeb, ISAMM 2017-18
hatem.elmeddeb@gmail.com
2
Hatem Elmeddeb
Hatem 2006/07
El Meddeb Département informatique SIRE ISIG 2017-11-06
1. Chaînes de Markov à Temps Discret : CMTD
2. Probabilités d’état
3. Classification des états
4. Etat stationnaire et équilibre des flux
5. Modélisation \ Application
Prérequis: Notions de Probabilités et cours d’Algèbre I : Les Matrices

Positionnement des chaines de Markov à temps Discret 3
Hatem Elmeddeb
Hatem 2006/07
Processus Stochastiques
Evénements discrets Evénements continus
temps discret temps continu
Sans mémoire Sans mémoire

Introduction 4
•Une suite de variables aléatoires {Xn}n≥0 à valeurs dans l’espace

dénombrable (fini) E est appelé processus stochastique (à temps discret) (à
valeurs dans E).
•L’ensemble E est l’espace d’état, dont les éléments seront notés i, j, k...,en
d’autres termes E={0,1,2,…,m}.
•Lorsque Xn = i, le processus est dit être dans, ou visiter, l’état i au temps n.
Chaines de Markov - Variables Aléatoires – IID: le vrai du faux ?

Evénements particuliers 5
Propriété de Markov :
𝑋 +1 = 𝑋 = ,𝑋 −1 = −1 , 𝑋 −2 = −2 , … , 𝑋0 = 0 = 𝑋 +1 = 𝑋 =
On dit que: connaissant le présent le futur et le passé sont

indépendants d’une manière conditionnelle
𝑋 +1 = 𝑋 = = : c’est la probabilité de transition de

l’état i à l’état j.
Matrice et diagramme de transition 6
Hatem Elmeddeb
Hatem 2006/07
1/3 1/2
1/4
2/3 3/5 2/5
1 2 3 4
1/2 1/2 1/4
On parle alors de matrice de transition: =( )1 ,
1/3 2/3 0 0 •m=4 états

1/2 0 1/2 0 •La somme de chaque ligne =1
(4x4) = •q12=2/3
0 3/5 0 2/5
•Matrice stochastique
1/2 0 1/4 1/4
7
Probabilité d’état
Probabilités de transition après n pas 8
Hatem Elmeddeb
Hatem 2006/07
Supposons qu’à un instant n, Xn est distribué suivant le vecteur ligne S(n)

(exemple: S(n)=[0.6 0.2 0.1 0.1] pour m=4)
+1 = 𝑋 +1 = = 𝑋 +1 = 𝑋 = . 𝑋 =
= .
ceci n’est autre que le j ème terme du produit
matricielle : 1, . ( , )
. :est la distribution à l’instant (n+1)
. 2 :est la distribution à l’instant (n+2)

!
Voir rappel cours d’Algèbre I: Les Matrices

Probabilités de transition après n pas-éléments de démonstration 9
Plus précisément, on sait que:
𝑋 +1 = 𝑋 = =
Ainsi pour un état k fixe on a:

(𝑋 +2 = , 𝑋 +1 = , 𝑋 = )
𝑋 +2 = ,𝑋 +1 = 𝑋 = =
(𝑋 = )
𝑋 = . 𝑋 +1 = 𝑋 = . 𝑋 +2 = 𝑋 +1 = ,𝑋 =
=
(𝑋 = )
𝑋 = . 𝑋 +1 = 𝑋 = . 𝑋 +2 = 𝑋 +1 =
=
(𝑋 = )
= 𝑋 +2 = 𝑋 +1 = . 𝑋 +1 = 𝑋 =
= .
Probabilités de transition après n pas-éléments de démonstration 10
Ainsi pour trouver la probabilité d’aller de i à j il suffit de sommer tous les

états k intermédiaires :
 𝑋 +2 = 𝑋 = = . ceci n’est autre que le terme (i,j)

de la matrice 2
 𝑋 + = 𝑋 =
ceci représente le terme (i,j) de la matrice
Probabilités de transition après n pas 11
Equation de Chapman-Kolmogorov
+ 1 = ( ).
et
+
= . avec , 0
Probabilités de transition après n pas - suite de l’exemple 12
Hatem Elmeddeb
Hatem 2006/07
Reprenons l’exemple précédent et supposons que la matrice de transition Q(4x4)

modélise le changement météorologique jour par jour du mois de septembre en
Tunisie entre 4 états (beau-peu nuageux-nuageux-pluvieux). (étude statistique
fictive).
Supposons maintenant que le 10 septembre 2016 la distribution est donnée par le
vecteur ligne S=[0.6 0.2 0.1 0.1]. Prévoir le temps que fera le lendemain puis le
surlendemain. Interpréter les résultats.
Probabilités de transition après n pas - suite de l’exemple 13
Hatem Elmeddeb
Hatem 2006/07
1/3 2/3 0 0
1/2 0 1/2 0
+ 1 = ( ). = 0.6 0.2 0.1 0.1 .
0 3/5 0 2/5
1/2 0 1/4 1/4
= (0.35 0.46 0.125 0.065).
D’où
1 +1 = 𝑋 +1 = 1 = 0.35
Interprétation:
• Après 1 jour (le 11 septembre) on a 35% de chance d’avoir un beau jour.
• 6.5% de chance que demain soit un jour pluvieux.
•Pour le 12 septembre (après 2 jours) il suffit de calculer 2 puis . 2
14
Classification des états

Chaine Irréductible / réductible 15
Hatem Elmeddeb
Hatem 2006/07
•Un état j est dit accessible depuis l’état > 0, 0
•une chaîne est irréductible si tout état est accessible à partir de n'importe quel
autre état. On dit qu’ils appartiennent à une même classe.
2 ∀ , ∈ 𝐸, ∃ >1 ( )≠0
3
1
4 5
•Illustration de deux chaines de Markov réductibles

2 3
1 1 2 3 4
5
4
Etat récurrent / transitoire 16
•Un état est dit récurrent si la probabilité d’y retourner est égale à 1. Dans le
cas contraire l’état est dit transitoire.
•Un état récurrent est visité un nombre infini de fois: la chaine repasse presque
surement par i en partant de i.
•Un état transitoire n’est visité qu’un nombre fini de fois: la chaine ne repasse
jamais par i.
•Si un état est récurrent alors tous les états de sa classe sont aussi récurrents.
La récurrence est une propriété de la classe.
•Notons simplement que lorsque la chaine de Markov est irréductible (et qu’elle
a un nombre fini d’états), ses états sont tous récurrents.
•Le temps de premier retour en i

= 1𝑋 =
• temps moyen du premier retour à l’état i en partant de i

=𝐸 𝑋0 =
•Etat récurrent
< ∞ 𝑋0 = =1 : Probabilité de revenir en i après l’avoir quitté
∞
=∞
=1
•Etat transitoire
< ∞ 𝑋0 = <1
∞
<∞
=1
Etat récurrent / transitoire - exemple 18
Soit la chaine de Markov à deux états:
1 0
=
0.5 0.5
•L’état 0 est récurrent

∞
00 = 1+1+1+⋯ = ∞
=1
•L’état 1 est transitoire

∞
11 = 0.5 + 0.52 + 0.53 + ⋯ < ∞

=1
•Etat récurrent positif

𝐸 𝑋0 = <∞
•Etat récurrent nul

𝐸 𝑋0 = =∞
•Un état est dit absorbant lorsque la probabilité de rester dans l’état est égale à 1.
𝛿 3
1−
1
1 2 1− −𝛿
Chaine périodique / apériodique 20
Hatem Elmeddeb
Hatem 2006/07
•Un état i est périodique si on ne peut y revenir qu’après un nombre d’étape

multiple de k > 1.
•La période d’une CMTD est égale au PGCD de la période de chacun de ses états.
•Une CMTD est dite périodique si sa période est supérieure à 1

•Conséquences:
On peut parler d’une chaine de Markov périodique ou apériodique
Dès que le graphe d’une chaine de Markov irréductible a une boucle
sur un sommet, alors la chaine est apériodique
•Exemple:
2
1 3
4
•On dit qu’une chaîne de Markov est ergodique si elle est irréductible et apériodique.
Etat stationnaire 21
Hatem Elmeddeb
Hatem 2006/07
S (vecteur ligne) est stationnaire pour la chaine de Markov de matrice de

transition Q si
= .
Pour toute chaine de Markov irréductible
•L’état stationnaire S existe

•Il est unique
1
! • =
• 𝑋 = ; .
∞ ∞
Si la chaine est ergodique, alors converge vers la matrice dont toutes les
lignes sont constantes égales à S.
Etat stationnaire - résolution mathématique 22
Lorsque n devient grand,
+1 ≅ ( )
On notera
∞ ≡𝜋
Et donc pour chercher l’état stationnaire il suffit de résoudre le système

suivant:
𝜋 = 𝜋.
𝜋 =1
=1
Etat stationnaire - exemple: ATM 23
Un créneau est soit vide soit plein suivant qu’il contienne ou non un paquet.
1− 1-
0 1
Figure: Chaine de Markov à deux états
La matrice de transition:
1−
=
1−
Cherchons alors les probabilités d’états stationnaires.
𝜋 = 𝜋.
ou
𝜋0 𝜋1 = 𝜋0 𝜋1 . 1 −
1−
En explicitant
𝜋0 = 𝜋0 1 − + 𝜋1
𝜋1 = 𝜋0 + 𝜋1 (1 − )
avec
𝜋 =1
=1
Hatem Elmeddeb
Hatem 2006/07
•En résolvons ces deux équations on trouve:
𝜋0 =
+
𝜋1 =
+
• Pour = 0.1 et = 0.3
𝜋0 = 3/4
𝜋1 = 1/4
•25% du temps le créneau est plein
•Le temps moyen de retour à l’état 1 est:

1 1
𝐸 1 𝑋0 = 1 = 1 = = =4
𝜋1 1 Il faut 4 transitions en moyenne pour retrouver
4 l’état 1.
•Vu que la chaine est irréductible et apériodique, que doit vérifier la matrice ?
0.9 0.1
=
0.2 0.8
2
2 0.9 0.1 0.84 0.16
= =
0.2 0.8 0.48 0.52
3
3 0.9 0.1 0.804 0.196
= =
0.2 0.8 0.588 0.412
10
10 0.9 0.1 0.75 0.25
= =
0.2 0.8 0.75 0.25
La matrice converge vers la matrice dont toutes les lignes sont

constantes égales à ∞ ≡ 𝜋
Equilibre des flux 27
•Soit une chaine de Markov de vecteur de probabilité stationnaire 𝜋.
On a alors 𝜋 = 𝜋.
Ainsi 𝜋 = 𝜋. d’où 𝜋. = 𝜋.
=1 =1 =1
 =1 𝜋 . est le flux moyen de sortie de l’état j
 =1 𝜋 . est le flux moyen d’entrée dans l’état j
 Interprétation : le flux moyen de sortie de l’état j = le flux moyen d’entrée dans

l’état j
28
Modélisation \ Application
Doudou le hamster 29
Doudou le hamster ne connaît que trois endroits dans sa cage : les copeaux
où il dort, la mangeoire où il mange et la roue où il fait de l'exercice. Ses
journées sont assez semblables les unes aux autres, et son activité se
représente aisément par une chaîne de Markov. Toutes les minutes, il peut
soit changer d'activité, soit continuer celle qu'il était en train de faire.
•Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute

suivante.
•Quand il se réveille, il y a 1 chance sur 2 qu'il aille manger et 1 chance
sur 2 qu'il parte faire de l'exercice.
•Le repas ne dure qu'une minute, après il fait autre chose.
•Après avoir mangé, il y a 3 chances sur 10 qu'il parte courir dans sa
roue, mais surtout 7 chances sur 10 qu'il retourne dormir.
•Courir est fatigant pour Doudou ; il y a 8 chances sur 10 qu'il retourne
dormir au bout d'une minute. Sinon il continue en oubliant qu'il est déjà
un peu fatigué.
1- Modéliser le problème et tracer la chaine de Markov associée.

2- Donner la matrice de transition Q associée
3- Prenons l'hypothèse que Doudou dort lors de la première minute de l'étude,
au bout d'une minute, que peut-on prédire sur le comportement de Doudou.
4- Même question au bout de 2 minutes.
5- Prenons l'hypothèse qu’à l’instant n le processus est à l’état 3, que peut-on
prédire sur le comportement du processus à l’instant n+1.
6- Etudier l’existence de l’état stationnaire.
7- Chercher l’état stationnaire 𝜋 .
8- Déduire le nombre moyen de retour sur la roue.

La matrice de transition de ce système est la suivante

0.9 0.05 0.05
= 0.7 0 0.3
0.8 0 0.2
Prenons l'hypothèse que Doudou dort lors de la première

minute de l'étude:
𝑋0 = (1 0 0)
Au bout d'une minute, on peut prédire :
0.9 0.05 0.05

𝑋1 = 𝑋0 . = 1 0 0 . 0.7 0 0.3 = (0.9 0.05 0.05).
0.8 0 0.2
donc 𝑋1 = (0.9 0.05 0.05)
Ainsi, après une minute, on a 90 % de chances que Doudou

dorme encore, 5 % qu'il mange et 5 % qu'il coure.
𝑋2 = 𝑋1 . = 𝑋0 . 2
2
0.9 0.05 0.05
= 1 0 0 . 0.7 0 0.3
0.8 0 0.2
= (0.885 0.045 0.07).
Après 2 minutes, il y a 88,5 de chance que Doudou dorme

encore et 7% de chance qu’il coure.
34
Fin
-VoIP-2017/18
TD - Processus stochastiques &files d’attentes
Exercice 1 Topologie en anneau
On considère un réseau local dont les 5 équipements sont reliés entre eux par une topologie en
anneau. Chaque équipement reçoit le message, mais seul l’équipement à qui le message est
adressé le traite. On suppose que le message se déplace d’un équipement à l’un de ses deux
adjacents avec la probabilité 1/2. Déterminer le graphe et la matrice de transition de la chaine
ainsi obtenue. Quelle est la période de ses états?
Exercice 2 Doudou le hamster
Doudou le hamster ne connaît que trois endroits dans sa cage : les copeaux où il dort, la
mangeoire où il mange et la roue où il fait de l'exercice. Ses journées sont assez semblables
les unes aux autres, et son activité se représente aisément par une chaîne de Markov. Toutes
les minutes, il peut soit changer d'activité, soit continuer celle qu'il était en train de faire.
Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante. Quand il se

réveille, il y a 1 chance sur 2 qu'il aille manger et 1 chance sur 2 qu'il parte faire de l'exercice.
Le repas ne dure qu'une minute, après il fait autre chose. Après avoir mangé, il y a 3 chances
sur 10 qu'il parte courir dans sa roue, mais surtout 7 chances sur 10 qu'il retourne dormir.
Courir est fatigant pour Doudou ; il y a 8 chances sur 10 qu'il retourne dormir au bout d'une
minute. Sinon il continue en oubliant qu'il est déjà un peu fatigué.
1. Modéliser le problème et tracer la chaine de Markov associée.

2. Donner la matrice de transition Q associée
3. Prenons l'hypothèse que Doudou dort lors de la première minute de l'étude, au bout
d'une minute, que peut-on prédire sur le comportement de Doudou.
4. Même question au bout de 2 minutes.
5. Prenons l'hypothèse qu’à l’instant n le processus est à l’état 3, que peut-on prédire sur
le comportement du processus à l’instant n+1.
6. Etudier l’existence de l’état stationnaire.
7. Chercher l’état stationnaire
8. Déduire le nombre moyen de retour sur la roue.
Exercice 3 Serveur en panne
On dispose de 2 serveurs identiques fonctionnant indépendamment et pouvant tomber en

panne au cours d’une journée avec la probabilité q =1/4. On note Xn : le nombre de serveurs
en panne au début de la nième journée.
1. On suppose que, si un serveur est tombé en panne un jour, il est réparé la nuit suivante
et qu’on ne peut réparer qu’un serveur dans la nuit. Montrer que l’on peut définir ainsi
une chaine de Markov dont on déterminera le graphe, la matrice de transition et
éventuellement les distributions stationnaires en fonction de q.
2. Même question en supposant qu’un serveur en panne n’est réparé que le lendemain, le
réparateur ne pouvant toujours réparer qu’une machine dans la journée.
-VoIP-2017/18
Exercice 3 Omar le collectionneur
Pour augmenter ses ventes lors du mondial Russia2017 la société « Délicys » à créer un jeu de
figurine pour notre équipe nationale (22 joueurs). Dans chaque pot de yaourt on trouve une
figurine de collection. Dans cet exercice on va restreindre notre étude à une série de 4
figurines : on note T le nombre de pot de yaourt qu’Omar doit acheter pour obtenir la
collection complète à 4 figurines.
1. Représenter le processus par une chaine de Markov.

2. Établir la matrice de transition. Calculer le vecteur de distribution de probabilité à la
troisième transition.
3. Calculer E(T). Indication : poser Xi le nombre de pots de yaourt à acheter pour passer
de l’état i à l’état (i +1).

Chap2 Processus Stochastique - 17 - 18

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chap2 Processus Stochastique - 17 - 18

Transféré par

Droits d'auteur :

Formats disponibles

1

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Chaîne de Markov à Temps Discret

Hatem El Meddeb, ISAMM 2017-18

1. Chaînes de Markov à Temps Discret : CMTD

3. Classiﬁcation des états

4. Etat stationnaire et équilibre des flux

Prérequis: Notions de Probabilités et cours d’Algèbre I : Les Matrices

Evénements discrets Evénements continus

temps discret temps continu

Sans mémoire Sans mémoire

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

•Une suite de variables aléatoires {Xn}n≥0 à valeurs dans l’espace

•Lorsque Xn = i, le processus est dit être dans, ou visiter, l’état i au temps n.

Chaines de Markov - Variables Aléatoires – IID: le vrai du faux ?

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

On dit que: connaissant le présent le futur et le passé sont

𝑋 +1 = 𝑋 = = : c’est la probabilité de transition de

1/2 1/2 1/4

On parle alors de matrice de transition: =( )1 ,

1/3 2/3 0 0 •m=4 états

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Supposons qu’à un instant n, Xn est distribué suivant le vecteur ligne S(n)

. :est la distribution à l’instant (n+1)

. 2 :est la distribution à l’instant (n+2)

Voir rappel cours d’Algèbre I: Les Matrices

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Plus précisément, on sait que:

Ainsi pour un état k fixe on a:

Ainsi pour trouver la probabilité d’aller de i à j il suffit de sommer tous les

 𝑋 +2 = 𝑋 = = . ceci n’est autre que le terme (i,j)

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Reprenons l’exemple précédent et supposons que la matrice de transition Q(4x4)

= (0.35 0.46 0.125 0.065).

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Classification des états

•Un état j est dit accessible depuis l’état > 0, 0

•Illustration de deux chaines de Markov réductibles

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

•Le temps de premier retour en i

• temps moyen du premier retour à l’état i en partant de i

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Soit la chaine de Markov à deux états:

•L’état 0 est récurrent

•L’état 1 est transitoire

11 = 0.5 + 0.52 + 0.53 + ⋯ < ∞

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

•Etat récurrent positif

•Etat récurrent nul

•Un état i est périodique si on ne peut y revenir qu’après un nombre d’étape

•Une CMTD est dite périodique si sa période est supérieure à 1

S (vecteur ligne) est stationnaire pour la chaine de Markov de matrice de

Pour toute chaine de Markov irréductible

•L’état stationnaire S existe

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Lorsque n devient grand,

Et donc pour chercher l’état stationnaire il suffit de résoudre le système

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Figure: Chaine de Markov à deux états

La matrice de transition:

Hatem Elmeddeb 2006/07 Département informatique SIRE ISIG 2017-11-06

Cherchons alors les probabilités d’états stationnaires.