Mémoire Fin D'etudes

République Algérienne Démocratique et Populaire
Ministère de l’Enseignement Supérieur et de la Recherche Scientifique
Université M’Hamed BOUGARA Boumerdès
Faculté des Sciences

Département des Mathématiques
Mémoire de fin d’étude

En vue de l’obtention de diplôme de Master
Chaines de Markov quotients
Spécialité : Mathématiques Financières
Réalisé par :
 Kennoud Amira
Soutenue le 10/2019, devant le Jury composé de :
Président : Mme GATT
Encadreur : Mme LARABI
Examinateur : Mme CHEMERIK
Année universitaire : 2018-2019

Remerciements
En premier lieu, je remercie dieu tout puissant de m’avoir aidé
à mener bien mon mémoire de fin d’étude,
J’adresse mes remerciements particulièrement à
mon encadreur Madame Larabi.
dès le tout début jusqu’à la fin de ce travail, c’est toujours avec
beaucoup de gentillesse, de disponibilité et sa collaboration,
ainsi que pour m’avoir encadré et orienter avec son savoir et
dont les conseils et critique m’on été d’un apport précieux,
Je remercie égalementtous mes enseignants de département de
Mathématique de la faculté des sciences de Boumerdes;
Mes remerciements s’adressent aussi aux membres de jury :
Mme GATT, Mme .CHEMRIK.
qui me feront l’honneur d’évaluer et juger mon travaille avec
rigueur et profondeur.
Je présente enfin mes remerciements à toutes les personnes qui
ont participés de prés ou de loin à l’élaboration de ce mémoire.
Dédicace
A ma chère mère,
A mon cher père,
A qui mes études faisaient les grandes joies et ma réussite le couronnement d’une éducation
pleine de bonté et d’indulgence.
Qui n’ont jamais cessé, de formuler des prières à mon égard, de soutenir et de m’épauler
pour que je puisse atteindre mes objectifs.
Qui ont tout donné pour mon bonheur
Et A qui
Tous les mots ne seraient être suffisamment éloquents pour exprimer ma profonde gratitude
et l’amour que je vous porte.
Merci maman, Merci papa….
Père, Mère, ce jour n’aurait pas été possible sans vous, et je souhaite du plus profond de mon
cœur vous honorer et faire votre fierté.
A mes frères, Boualem, Maurad, Samir, Rafik, Houssine, Naim, Smail.
A qui je dois tout l’amour, avec tout mes voeux de les voir réussir dans leur vie.
A mes chères sœurs, Chahrazed et Kenza.
Pour toute leurs soutiens tout au long de mes études.
Puisse dieu vous donne santé, bonheur courage et surtout réussite.
À la personne dont j’ai bien aimé la présence dans ce jour,
A mon cher mari, Ahmed …

Pour ses indéfectibles soutiens et sa patience infinie.
Pour ses aides et supports dans les moments difficiles.
A m’adorable petite fille, Lyna …
Qui sait toujours comment procurer la joie et le bonheur pour moi et pour son père,
Que Dieu la protège et leur offre la chance et le bonheur.
A ma belle mère
A mon beau-père
A qui je souhaite une bonne santé.
A tout ma famille,
La famille Kennoud
A ma deuxième famille, tout la famille Farhi…
A tous les professeurs et les enseignants qui ont contribué à ma formation.

Table des matières
Remerciement ............................................................................................................................... 1
Dédicace ...................................................................................................... 2
Introduction générale ............................................................................................................................ 7
1Chaine de Markov à temps discret et Image d’une chaine de Markov…….9

Introduction ....................................................................................................................10
1.1. Notions fondamentales ......................................................................................................... 10
1.1.1. Ensemble fin-infini………..………………………………………………………..…………………………………10
1.1.2. Ensemble dénombrable……………………………………………..……………………………….…………….10
1.1.3. Relation d’équivalence……………………………………………………………………………………....…....10
1.1.4. Application.………………………………………………………………………………………………………….……11
1.1.5. Application injective, surjective, bijective………………………………………………………………….11
1.1.6. Image directe d’une partie…………………………………………………………………………………………11
1.1.7. Image réciproque d’une partie…………………………………………………………………………………..11
1.1.8. Tribu………………………………………………………………………………………………………………………….12
1.1.9. Espace mesurable …………………………………………………………………………………………..………..12
1.1.10. La mesure positive sur une tribu……………………………………………………………………………….12
1.1.11. Espace mesuré…………………..……………………………………………………………………………………..13
1.1.12. Espace probabilité……………………………………………………………………………………………………..13
1.1.13. Application mesurable……………………………………………………………………………………………...13
1.1.14. Variable aléatoire……………………………………………………………………………………………………..14
1.1.15. Tribu engendré par des variables aléatoires……………………………………………………………..14
1.1.16. Probabilité conditionnelle…………………………………………….…………………………………………..14
1.1.17. Processus stochastique……………………………………………………………….…………………………….16
1.2. Les chaines de Markov à temps discret……………………………………………….…………………………....16
1.2.1. Probabilité de transition……………………………………………………………………………………………16
1.2.2. Chaine de Markov homogène……………………………………………………………………………………17
1.2.3. Matrice et graphe de transition………………………………………………………………………………...17
1.2.4. Probabilité de transition en étapes………………………………………………………………………..18
 Théorème (Equation de Chapmann-Kolmogorov)………………………………………18
1.2.5. Loi de probabilité de …………………………………………………………………………………………….19
1.2.6. Classifications des états…………………………………………………………………………………………....20
1.2.6.1. Etat de communication…………………………………………………………………………………………..20
1.2.6.2. Relation d’équivalence………………………………………………………………………………..………….20
1.2.6.3. Chaine irréductible………………………………………………………………………………………………….20
1.2.6.4. Etat absorbant…………………………………………………………………………………………………………21
1.2.6.5. Transition et récurrence………………………………………………………………………………………….21
1.2.6.6. Chaine absorbante………………………………………………………………………………………………….22
1.2.6.7. Chaine régulière……………………………………………………………………………………………………..23
1.2.7. La périodicité………………………………………………………………………………………………………….…23
1.2.8. Régime permanent…………………………………………………………………………………………………...23
1.2.9. Distribution stationnaire…………………………………………………………………………………………...23
1.2.10. Théorèmes de convergence……………………………………………………………………………………...24
1.2.11. Calcul d’une distribution limite………………………………………………………………………………….25
1.2.12. Distribution stationnaire et distribution limite…………………………………………………………..27
1.2.13. Récurrence nul et positif……………………………………………………………………………………………27
1.2.14. Ergodicité…………………………………………………………………………………………………………………..28
1.2.15. Lois des grands nombres……………………………………………………………………………………………28
1.2.16. Le théorème centrale limite………………………………………………………………………………………28
1.3. Image d’une chaine ce Markov…………………………………………………………..………………………….28
1.3.1. Cas d’une application injective (bijective)…………………………………..……………………………..28
1.3.2. Cas d’une application surjective…………………………………………………………………………………30
1.3.3. Caractérisation d’une chaine de Markov image………………………………..……………………….33
1.3.3.1. Dans le cas injectif (bijectif)…………………………………………………………………………………....33
1.3.3.2. Dans le cas surjectif…………………………………………………………………………………………………35
1.4. Le comportement asymptotique d’une chaine de Markov image……………………………………….37
1.4.1. Cas d’une application injective (bijective)………………………………………………………………….37
1.4.1.1. Chaine de Markov irréductible apériodique…………………………………………………………….37
1.4.1.2. Chaine de Markov irréductible périodique………………………………………………………………37
1.4.2. Cas d’une application surjective………………………………………………………………………………..38
1.4.2.1. Chaine de Markov irréductible apériodique…………………………………………………………….38
1.4.2.2. Chaine de Markov irréductible périodique………………………………………………………………39
1.4.2.3. Chaine de Markov réductible……………………………………………………………………………….…40
2. Chaines de Markov quotients………………………………………………………………………………….41
1. Cas particulier…………………………………………………………………………………………………………………….42
2. Cas général…………………………………………………………………………………………………………………………44
3. Le comportement asymptotique d’une chaine de Markov quotient…………………………………..50
3.1. Cas particulier………………………………………………………………………………………………………………50
3.1.1. Chaine de Markov irréductible apériodique……………………………………….……………50
3.1.2. Chaine de Markov irréductible périodique………………………………………………………52
3.2. Cas général……………………………………………………………………………………………………………….…54
3.2.1. Chaine de Markov irréductible apériodique…………………………………………………….54
3.2.2. Chaine de Markov irréductible périodique……………………………………………………….55
3.3. Chain de Markov réductible…………………………………………………………………………………………55
4. Comparaison entre l’image d’une chaine de Markov et chaine de Markov quotient ………….57
3. Applications………………………………………………………………………………………59
1. Introduction sur Matlab………………………………………………………………………………………………………..60
2. Un exemple pratique…………………………………………………………………………………………………………….61
3. Les étapes de l’algorithme…………………………………………………………………………………………………….61
3.1. Définir une chaine de Markov. ……………………………………………………………………………………..61
3.2. Le calcule de la distribution stationnaire d’une chaine de Markov………………………………..63
3.3. Caractérisation d’une chaine de Markov……………………………………………………………………….66
4. Matrice de transition et distribution stationnaire d’une chaine de Markov quotient…………….70
Conclusion Générale…………………………………………………………………………………………………………………77
Annexe………………………………………………………………………………………………………………………………….....78
Bibliographie…………………………………………………………………………………………………………………………….83
7
Introduction générale :
Les chaines de Markov ont une place prépondérante dans le domaine des probabilités.
Ils permettent de modéliser l’évolution dynamique d'un système aléatoire. L’étude de ces
chaines a connu de nombreux champs d’applications, et s’étend sur plusieurs domaines,
notamment en génétique. Néanmoins en écologie, réseaux, mathématiques financières,
simulation…, ce qui nécessite un développement continuel de la théorie qui les régit. Ce
mémoire à pour objet d’exposé un des problèmes théoriques des chaines de Markov. La
question qu’on va se poser est : Dans le cas général, est ce que la suite de variables
aléatoires( ) définie sur une partition quelconque de par :
( ) ( )
est une chaine de Markov. Dans la suite on va donner quelques conditions suffisantes pour
que cette suite ( ) soit une chaine de Markov.
Le premier chapitre aborde des notions fondamentales de base de la mesure qui

constituent la base même des probabilités (des notions sur les applications, les ensembles et
les espace mesurables) et la probabilité conditionnelle pour manipuler les chaines de Markov.
On rappelle également toutes les notions des chaines de Markov à temps discret, avec
différents définitions et exemples pour bien illustré le travail. Comme on a vérifie sous
certaines conditions que l’image d’une chaine de Markov par une fonction est une chaine de
Markov.
On a donné quelques résultats consternant les distributions stationnaires et limites pour la

chaine de Markov image.
Le deuxième chapitre forme le noyau de ce mémoire. Les outils de bases étant bien
définis au cours de premier chapitre, on peut donc aborder "les chaines de Markov quotients".
Ce chapitre est scindé en deux parties :
1. Vérifie si la suite de variables aléatoires ( ) définie par ( ) ( ) est

une chaine de Markov dans les deux cas :
 Le cas particulier : les éléments de la partition sont des singletons.
 Le cas général : est une partition quelconque de .
8
2. Etudier le comportement asymptotique d’une chaine de Markov quotient.

3. Comparaison entre l’image d’une Chaine de Markov et Chaine de Markov Quotient.
Le troisième chapitre et dernier est consacré à la simulation des résultats précédentes

avec le programme Matlab afin de faciliter l’application numérique des théories étudiée.
Chapitre 1
Chaine de Markov à temps discret et image
d’une chaine de Markov
CHAPITRE 1.CHAINE DE MARKOV A TEMPS DISCRET ET IMAGE D’UNE CHAINE DE MARKOV 10
Chapitre I
Chaine de Markov à temps discret et Image d’une chaine de
Markov
1. Introduction :
Les chaines de Markov constituent l’exemple le plus simple des processus stochastique,
lorsque dans l’étude d’une suite de variable aléatoire, on abandonne l’hypothèse
d’indépendance. Il s’agit d’un processus à temps discret, d’où le nom de « chaine ».
1.1. Notions fondamentales

1.1.1. Ensemble fini-infini
Définition : On dit qu’un ensemble est finie s’il existe tel que soit équipotent à
={1,2,3,…, n}. est dite infini s’il n’est pas fini.
Exemple : est infini ;
{ }est fini.
1.1.2. Ensemble dénombrable

Définition :Un ensemble est dit dénombrable, ou infini dénombrable s’il est équipotent à
c'est-à-dire lorsque ses éléments peuvent être listés sans omission ni répétition dans une suite
indexé par les entiers naturels.
Exemples : sont infinis dénombrables.
1.1.3. Relation d’équivalence

Définition 1 :une relation binaire sur un ensemble est une propriété portant sur les
couples d’élémentsde . On la notepar .
Définition 2 :Soit une relation binaire sur un ensemble
- est réflexive si pour tout on a

- est symétrique si pour on a
- est antisymétrique si pour tout
- est transitive si pour tout , .
Définition 3 :Une relation binaire est une relation d’équivalence si et seulement si elle est
réflexive, symétrique et transitive.
Définition 4 : Soient une relation d’équivalence sur un ensemble et . Une classe

d’équivalence de qu’on note par { }
L’ensemble des classes d’équivalences forme partition de .

Propriétés :
o Si est une relation d’équivalence sur et que vérifient , alors

et ont la même classe d’équivalence.
o Une relation d’équivalence sur un ensemble définit une partition de
dont les éléments sont les classes ‘équivalence de
o l’ensemble des classes d’équivalence se nomme "ensemble quotient" de par
et se note L’application qui à tout de associe sa classe
d’équivalence se nomme application canonique.
1.1.4. Application
Définition :Une application définie dans un ensemble a valeur dans un ensemble
est un opérateur qui à chaque élément lui associe un seul élément
1.1.5. Application injective, surjective, bijective

Définition :Soit : une application.
est dite injective si et seulement si , ( ) ( )

ce que équivalent à dire que pour tout dans , il existe au plus dans tel que
(
est dite surjective si et seulement si /
est dite bijective si et seulement si injective et surjective:
1.1.6. Image directe d’une partie

Définition :Soient et une application.
On appelle image directe de notée l’ensemble
{ } { }.
1.1.7. Image réciproque d’une partie

Définition :Soient deux ensembles, une partie de et une application.
On appelle image réciproque de par noté l'ensemble des éléments de dont

l’image par appartient à .
{ }.
Remarque :
1.1.8. Tribu
Définition :Soit ; une famille inclus dans (l’ensemble de partie de ) est

appelé tribus si :
1.
2. ⇒ (stabilité par complémentaire) ;
3. Si (stabilité par réunion dénombrable).
Exemple :Soit { }
Les ensembles{ }{ { } { }} sont des tribus sur mais { { }} n’est pas une
tribu car ne contient pas le complémentaire de { }
Remarque : La plus petite tribu (tribu triviale) sur est { } tendis que la plus grande
(tribu maximale) est .
Proposition : L’intersection des tribus sur est encore une tribu sur .
Théorème :Soient deux ensembles non vide et une application, soient

et , alors :
1) Si est une tribu sur , alors la famille notée { } une tribu

sur
2) Si est une tribu sur , alors la famille { }est une tribu sur .
1.1.9. Espace mesurable

Définition :Le couple où est un ensemble et est une tribu sur est appelée un
espace mesurable. Un élément de est appelé un ensemble -mesurable.
Exemple :( ) est une espace mesurable où la tribu engendré par les intervalles
ouvertsde .
1.1.10. La meure positive sur une tribu

Définition 1:Soit un espace mesurable. On appelle mesure positive sur la tribu la
fonction d’ensembles vérifiant :
Si , deux à deux disjoints ( alors µ(⋃

∑ (Propriété de .
Remarques :
1) µ peut prendre la valeur .

2) Si est dite mesure de probabilité on la note par
Exemples triviaux :
Mesure nulle :
Mesure infinie :
Définition 2:Soit un espace mesuré, on dit que µ est :
1. Finie si µ( ;
2.
1.1.11. Espace mesuré
Définition :On appelle espace mesuré, le triplet , où est un espace mesurable, est
une tribu sur et une mesure sur .
1.1.12. Espace probabilisé

Définition :Un espace probabilisé est construit à partir d'un espacemesurable en le complétant
par une mesure de probabilité : il permet la modélisation quantitative de l'expérience
aléatoire étudiée en associant une probabilité numérique à tout événement lié à l'expérience.
Formellement, c'est un triplet formé d'un ensemble , d'une tribu sur et
d'une mesure sur cette tribu tel que .
L'ensemble est appelé l'univers et les éléments de sont appelés les événements, la
mesure est appelée probabilité ou, mieux, mesure de probabilité, et pour un
événement A de , le nombre réel s'appelle la probabilité de l’événement .
Remarque :Dans le cas général on note par pour un espace probabilisé.
1.1.13. Application mesurable
Définition :Soient deux espaces mesurables et une application de dans .

On dit que est mesurable de dans si l’image réciproque par de tout élément
de est un élément de .
Autrement dit, une fonction est dite ( )-mesurable si la tribu image réciproque par
de la tribu est incluse dans . C'est-à-dire si :
Comme on peut écrire .
Remarques :1) Si toute application définie sur est mesurable.
2) Une fonction constante est mesurable par rapport à toute tribude .
Proposition : Soient et trois espaces mesurables, et soient

des applications mesurables. Alors est mesurable.
Preuve :
Soit Alors .
1.1.14. Variable aléatoire

Définition 1 : Une variable aléatoire est une fonction dont la valeur dépend de l’issue d’une
expérience aléatoire d’univers Ω. On dit qu’une variable aléatoire X est discrète si elle
prend un nombre fini ou dénombrablede valeurs. L’ensemble des issues ω sur lesquelles X
prend une valeur fixée x forme l’évènement {ω : X(ω) = x} que l’on note [X = x].
La probabilité de cet évènement est notée : P(X = x).
Exemple :Soit S le nombre de piles obtenus lors du lancer de deux pièces de Monnaie.
L’ensemble des valeurs possibles pour S est {0,1,2}. Si l’on munit l’univers Ω associé à cette
expérience aléatoire de la probabilité uniforme P, il vient :
P(S = 0) = P ({(P,F)}), puis P(S= 1) = P ({(P,F), (F,P)}) et enfin P(S = 2) = P ({(P,P)}) .
Définition 2 : SoitX une variable aléatoire discrète ;
o E(X)=∑ . est appelée espérance de la variable aléatoire X.

o Var(X) = E ( )− est appelée variance de la variable aléatoire X.
1.1.15. Tribu engendré par des variables aléatoires
Définition : Soient variables aléatoires définie sur un espace probabilisé ( ,

P). On appelle tribu engendré par ces variables aléatoires la plus petite tribu contenue dans ,
qui rend mesurables.
1.1.16. Probabilité conditionnelle

Définition :On désigne par (Ω, A, P) un espace de probabilité associé à une expérience
aléatoire.
Soit A et B deux évènements, On suppose que P(A) > 0.
On définit la probabilité conditionnelle que l’évènement B soit réalisé sachant que

l’évènement A est réalisé par :
P(B / A) = P (B∩A)/ P (A).
Cela définit une nouvelle probabilité sur Ω qui tient compte de l’information « l’évènement A
est réalisé ».
Pour comprendre d’ou vient cette formule, plaçons-nous dans le cas d’une expérience
aléatoire dont l’ensemble des résultats possibles Ω est au plus dénombrable.
L’ensemble Ω est muni de la probabilité P pour tout ω Ω, P({ω}) désigne la probabilité

que le résultat de l’expérience soit ω.
Supposons que cette expérience aléatoire ait été réalisée mais que l’on ignore son issue ; on
sait seulement que l’évènement A (supposé de probabilité non nulle) a eu lieu.
On doit définir une nouvelle probabilité qui tienne compte de cette information.
D’une part, sachant que l’évènement A est réalisé, on posera : ({ω}) = 0 si ω Ω\A.
D’autre part, il n’y a pas de raison de changer le rapport entre les probabilités de deux
éléments de A, ce qui amène à poser ({ω}) = cP({ω}) pour tout ω A, c étant une
constante indépendante de ω.
Pour que soit une probabilité, c doit valoir égal à 1/P(A). La probabilité est maintenant
entièrement définie : ({ω}) = P ({ω}) / P (A) pour tout ω Ω. Par conséquent, pour
tout évènement B, (B) = P (B∩A) / P (A).
Exemple :Pierre apprend qu’une famille avec deux enfants a acheté l’appartement voisin du
sien. Il se dit qu’il y a une chance sur deux la famille ait une fille et un garçon (il a supposé
que chaque enfant a une probabilité 1/2 d’être un garçon et 1/2 d’être une fille). Dans la
conversation avec des voisins, il apprend ensuite qu’au moins un des deux enfants de cette
famille est une fille. Avec cette nouvelle information, il y a maintenant 2 chances sur 3 que
cette famille ait un garçon et une fille.
L’utilisation des probabilités conditionnelles est un moyen de calculer la probabilité d’une

intersection d’évènements puisque P(A ∩ B) = P(A/B)P(B)et donc de décomposer le calcul
de la probabilité d’un évènement A en introduisant un évènement B dont on connait la
probabilité. En effet, on a :
P(A) = P(A ∩ B) + P(A ∩ ) = P(A/B)P(B) + P(A/ )(1 − P(B)).
Ces deux relations se généralisent de la façon suivante :
Proposition :
 Soient m évènements. On suppose que P( ∩...∩ ) > 0.
La probabilité de leur intersection est :
P( ∩...∩ ) = P( )P( / ). . . P( / ∩...∩ ).
 Soit , . . ., une partition de l’ensemble Ω et A un évènement,Alors

P(A) = ∑ ).
Preuve :
1) par définition, on a P( ∩ ) = P( / )P( ). Soit m ≥ 3.

Supposons le résultat vrai pour les m − 1 évènements, , . . . , .

On a ∩...∩ ∩...∩ , P( ∩ . . . ∩ ) > 0.
Donc on peut conditionner par rapport à ∩...∩
P( ∩...∩ ) = P( / ∩...∩ )P( ∩...∩ ).
On obtient le résultat en appliquant l’hypothèse de récurrence pour exprimer
P( ∩...∩ ).
2) P(A) = ∑ car les ensembles A ∩ forment une partition de A et en

utilisant la propriété P(A ∩ ) = P(A/ )P( ).
1.1.17. Processus stochastique

Définition : Soit tel que est une variable aléatoire . La famille des
forme un processus stochastique.
Soit { } l’ensemble des états dans lequel se trouve le processus .

{ } représente la "trajectoire" probabiliste de dans le temps.
Naturellement, le comportement d’un processus stochastique dépend fortement des relations

entre les .
1.2. Chaines de Markov à temps discret

Définition 1 : Une chaine de Markov à temps discret d’espace d’état est une suite
de variables aléatoires prenant leurs valeurs dans l’ensemble et vérifiant la propriété de
Markov :
( / , = …, , = ( / = )
Pour tout n≥0 et , …, , .
Cela signifie que l’état du processus à l’instant ( +1) ne dépend que de celui à l’instant
précédent. Le processus est dit sans mémoire.
1.2.1. Probabilité de transition :

Définition 2 : Soit une chaine de Markov d’espace d’états .
La chaine est caractérisée par la probabilité de passage de l’état vers l’état qu’on appelle
probabilité de transition et qu’on note par :
=P( / =)
C’est la probabilité que la chaine soit à l’état à l’instant ( +1) sachant quelle était à l’état à
l’instant .
1.2.2. Chaine de Markov homogène :

Si ne dépend pas du temps , on dit que la chaine est homogène on écrit au lieu de
.
La probabilité s’appelle la probabilité de transition de l’état vers l’état .
Nous nous intéressons dans ce qui suit uniquement au cas des chaines définies sur un
ensemble d’états fini où dénombrable.
1.2.3. Matrice et graphe de transition

Définition 1 : Soit une chaine de Markov homogène d’espace d’état ,la matrice de
transition de est la matrice notée tel que : = .
Les propriétés d’une matrice de transition :
Une matrice de transition est
 Carré ;
 Pour tous les couple de , ≥0 ;
 Pour tous ∑ =1 ;
Remarque : est une matrice stochastique.
Définition 2 :Une chaine de Markov est représentée par un graphe dont les sommets sont les
états ; il y a un arc du sommet vers le sommet si >0.
Exemple 1.1 :L’observation du ciel a permis de déduire les statistiques suivantes :
-une journée ensoleillée est suivie d’une journée pluvieuse avec probabilité 0.5.
-une journée pluvieuse est suivie d’une journée ensoleillée avec probabilité 0.1.
- une journée pluvieuse est suivie d’une journée pluvieuse avec probabilité 0.9.
L’ensemble des états = {P, S}
Tel que :
P : Pluvieuse
S: Ensoleillé
Les probabilités de transitions :
( / =S) =0.5
( / =P) =0.1
( / =P)=0.9
( / =S)= 1- ( / =S) =0.5
La matrice de transition :
=( ).
Le graphe de transition :
P est stochastique car :
 ≥0, Pour tous de ;

 ∑ =1, Pour tous de ;
1.2.4. Probabilités de transition en étapes :

Définition : La probabilité que la chaine se déplace de l’état vers l’état en transitions
est :
= ( j/ =i) = ( j/ =i) .
On note la matrice dont les éléments sont les probabilités en transition d’aller de
vers .
= =Pet =I.
Théorème(Equation de Chapmann-Kolmogorov) :
Soit une Chaine de Markov homogène d’espace d’état , de matrice de transitions
Alors,
=∑ ;
 En notation matricielle :
= .
 Dans le cas général ; On écrit :
=∑ ou =
Exemple 1.2 :Soit une chaine de Markov d’espace d’état { }et de matrice
de transition,
( ).
On veut calculer la probabilité de transition de l’état 0 à l’état 1 en 3 étapes :
1er méthode :On a que
∑ =
( )
2ème méthode :On calcule directement la matrice de transition puissance le nombre d’étapes :
( )
On a : =0.44.
1.2.5. Loi de probabilité de :

On suppose que l’on dispose de la loi initiale ( ), .
On peut calculer la loi de probabilité la variable ,
( )= ( .
La distribution de peut être écrite sous la forme vectorielle :
=( ( ), ( ), . . ),
Où
( )=∑ ; avec : = ( )
Sous la forme matricielle cette relation s’écrit :
= .
De façon tout à fait analogue on obtient :
Remarque :Une chaine de Markov est complètement définie si on connait sa matrice de

transition P, ainsi que la distribution de , .
Exemple 1.3 :Soit une chaine de Markov d’espace d’état { } de loi initial
= (1/2 ,1/2) et de matrice de transition,
=( ).
= = (1/2 ,1/2) ( )= (3 /4 ,1/4).
= = (3 /4 ,1/4) ( )=(5/8 ,3/8).
1.2.6. Classification des états
1.2.6.1. Etat de communication

Définition:Un état a accès à s’il existe une probabilité strictement positive tel que cet état
soit atteint en un nombre fini de transitions, autrement dit :
Si l’état est accessible à partir de l’état et que est aussi accessible de l’état On dit alors
que ses états communiquent entre eux et on note .
1.2.6.2. Classe de communication

Définition :
 La relation est une relation d’équivalence.

 On définit une classe d’équivalence (où de communication), une classe formée de tous
les états qui communiquent entre eux.
Remarques :
 tous les états de la même classe communiquent entre eux.

 deux états appartenant à deux classes différentes ne communiquent jamais.
1.2.6.3. Chaine irréductible

Définition : Une chaine de Markov est dite irréductible si elle ne contient qu’une seule classe
d’équivalence (de communication).
Dans une chaine de Markov irréductible, tous les états communiquent entre eux
(directement ou indirectement).
Exemple 1.4:Soit une chaine de Markov d’espace d’état { }et de matrice

de transition,
=( )
Graphe de transition :
Tous les états communiquent entre eux, donc la chaine est irréductible.
1.2.6.4. Etat absorbant

Définition :Un état est dit absorbantsi
1.2.6.5. Transition et récurrence

Soit une chaine de Markov d’espace d’états et
- est dit récurent si et seulement si en partant de , la chaine revient presque surement a

l’état
- est dit transient ou de transition s’il n’est pas récurent.
On a trois types de classe d’équivalence:
Soit une classe de communication et
 Une classe est dite transiente ou de transition si est transient.

 Une classe est dite récurrente si est récurent.
 Une classe est dite absorbante si est récurent et
Remarque : un état absorbante ⇒un état récurrente (l’inverse n’est pas toujours vraie).
1.2.6.6. Chaine absorbante

Définition :Une chaine de Markov est dite absorbantesi l’on peut passer de n’importe qu’elle
état vers un état absorbant c'est-à-dire s’il
Exemple 1.5 :Soit une chaine de Markov d’espace d’état { }et de matrice de
transition,
( ).
Exemple 1.6 :Considérons une chaine de Markov, dont l’ensemble des états est
{ },et de matrice de transition,
( ).
D’après le graphe de transition la chaine comporte trois classes {0,1} récurrente,{2} de

transition et {3} absorbante.
1.2.6.7. Chaine régulière

On dit que la chaine est régulière s’il existe un entier tel que toutes les composantes de la
matrice sont strictement positives.
1.2.7. La périodicité
On défini la période d’un état comme le plus grand diviseur commun de
l’ensemble des temps tel que c’est à dire,
{ }
 Si on dit que l’état est périodique de période .

 Si =1, on dit que l’état est apériodique.
Lorsque tous les états d’une chaine sont apériodiques, on dit que la chaine est
apériodique.
Proposition :Deux états qui communiquent entre eux ont la même période.
i j =
On en déduit que dans une même classe de communication, la période est le même pour tous
les états.
1.2.8. Régime permanent

Le régime permanant d’un processus stochastique est l’étude de la convergence de vers
une distribution limite quand n . Ce régime permanent n’est pas influencé par le choix
de la distribution initial.
En terme formel, on dit qu’une chaine de Markov converge vers ou possède une
distribution limite si :
indépendamment de la distribution initiale .
La convergence d’une chaine de Markov est donc une propriété qui ne dépend que de la
matrice de transition .
1.2.9. Distribution stationnaire

Définition :Une distribution de probabilité discrète est dite stationnaire
par rapport à une matrice stochastique si :
Pour calculer la distribution stationnaire d’une chaine de Markov d’espace d’états fini,
on résout le système d’équations linéaires suivant :
{∑
Ou :
∑
{
Théorème 1 (l’existence d’une distribution stationnaire) :

Pour une chaine de Markov d’espace d’états fini, il existe toujours au moins une distribution
stationnaire.
Théorème 2 (l’unicité de distribution stationnaire) :

La distribution stationnaire si elle existe, n’est pas nécessairement unique. Son unicité
dépend de nombre de classes récurrentes. Donc pour chaque classe récurrente il existe une
distribution stationnaire , et les coordonnées de sont nulles pour touts les états
n’appartenant pas à
1.2.10. Théorèmes de convergence
Théorème 1 :
Si la matrice de transition est telle qu’au moins une des ses puissances n’a que des termes
strictement positifs alors :
Quelle que soit la distribution initiale
Et lorsque n
est un vecteur de probabilité strictement positif appelé distribution limite et une matrice
dont toutes les lignes sont identiques au vecteur limite .
Théorème 2 :
Si la valeur propre 1 de la matrice de transition est simple (de multiplicité 1) et toute autre
valeur propre de est de module strictement inférieur a 1 alors :
Lorsque .
1.2.11. Calcul d’une distribution limite :

Pour calculer la matrice , on diagonalise la matrice en écrivant :
=SD .
Avec :
S : La matrice des vecteurs propres.
D :La matrice diagonale des valeurs propres.
: La matrice inverse de S.
On aura :
est une matrice dont toutes les lignes sont identiques et égales à la distribution limite .
On écrit :
Exemple 1.7:Supposons que le temps qu’il fait d’une journée à la journée suivante est décrit
par une chaine de Markov sur les états 0, 1,2 (0 pour ensoleillés, 1 pour nuageux et 2 pour
pluvieux) de matrice de transition,
=( )
D’après la graphe de transitions de , on trouve que la chaine est irréductible car elle
contient une seule classe d’équivalence, donc elle possède une unique distribution
stationnaire.
 Le calcul de la distribution stationnaire :

On trouve:
= (4/7, 2/7, 1 /7).
Vérification de l’existence d’une distribution limite :
D’après les calculs on trouve :
=( ), =( ),
=( ).
On a que :
ne comprend que des termes positifs ce qui confirme le théorème1, on a donc une chaine
de Markov convergente, et on écrit : .
L’équation caractéristique de la matrice est :
+ =0
Les valeurs propres sont : =1 ; = et| | | | .
Ce qui confirme le deuxième théorème, donc la chaine converge vers une distribution
limite .
Le calcul de :
 la matrice diagonale des valeurs propres est :
D=( ).
D’autre part on a :
Pour = le vecteur propre associé = (-0.2673, 0.8018, 0.5345).
Pour =1 le vecteur propre associé = (-0.8729,-0.4364,-0.2182).

Pour le vecteur propre associé = (-0.8165, 0.4082, 0.4082).
Alors la matrice des vecteurs propres est :
=( )
et
=( )avec : .
Ona:
⇒ ⇒ .
( )
( )
( )
( )
( ) ( )=
1.2.12. Distribution stationnaire et distribution limite

Si est la distribution limite d’une chaine de Markov alors est l’unique distribution
stationnaire de cette chaine ( . La réciproque est fausse.
Remarque :une chaine de Markov irréductible possède une unique distribution stationnaire
ne possède pas nécessairement une distribution limite.
1.2.13. Récurrence nulle et positive

Définition : Soit une chaine de Markov de matrice d’état un état est :
 Récurent positif si le temps de retour en partant de est finie et d’espérance finie.

 Récurent nul si le temps de retour en partant de est finie mais que son espérance est
infinie.
1.2.14. Ergodicité
Définition : On dit qui’ un état est ergodique, s'il est récurrent positif et apériodique. On dit
aussi qu’une chaine de Markov est "ergodique" s’il existe une probabilité telle
quepour toute loi initiale µ, la suite converge en loi vers
Théorème : Soit une chaine de Markov ergodique et une chaine ce Markov

image de . Pour toute fonction bornée on a :
∑ ∑
1.2.15. Lois des grands nombres

Théorème :Soit une suite de variables aléatoires, centrée, définies sur le même espace
probabilisé. On dit que la suite des grands nombres (resp la loi
forte des grands nombres) si la suite de terme général ∑ converge vers 0 en
probabilité (resp converge vers 0 presque surement).
1.2.16. Le théorème central limite

Théorème :Soit de variables aléatoires indépendantes, équidistribuées
ayant un moment du second ordre. On pose µ = , = et
√
Le théorème central limite affirme alors que la suite converge en loi vers une variable
aléatoire normal centrée réduite.
1.3. Image d’unechaine de Markov

Dans le cas général, l’image d’une chaine de Markov par une fonction n’est pas une
chaine de Markov. Dans cette partie nous allons donner des conditions nécessaires et
suffisantes pour que soit une chaine de Markov.
Considérons une chaine de Markov homogène d’espace d’états fini où

dénombrable et une application.
1.3.1. Cas d’une application injective (bijective)

Proposition 1 (condition suffisante) :
Si est injective (bijective) et , alors est une chaine de Markov de

matrice de transition tel que
existent.
de plus si possède une distribution stationnaire alors possède une

distribution stationnaire tel que = si ) existe ; =0si non.
Exemple 3.1:Soit une chaine de Markov de loi initiale = (1 /3, 1/3, 1/3), de distribution
stationnaire et de matrice de transition
P=( )
Soit { } { } une application injective (bijective) tel que
0;
( ).
La matrice est une matrice stochastique.
La distribution stationnaire image est :
= ; = ; = .
.
Exemple 3.2 :Soit une chaine de Markov définie sur un espace probabilisé (Ω,
à espace des états et de matrice de transition,
( )
Soient un ensemble fini et une application injective(bijective) de
={1,2,3} ={a,b,c} définie par :
Alors est une chaine de Markov de matrice de

transition tel que :
= = ;
= = =1 ;
= = =0 ;
= = =0 ;
= = =1/2 ;
= = =1/2 ;
= = =3/4 ;
= = =0 ;
= = =1/4 .
Donc :
( ).
1.3.2. Cas d’une application surjective

Dans cette partie, nous allons aborder le cas d’une application « non injective », et donc non
bijective.
Si est surjective tel que : . On ne peut rien dire sur le caractère

markovien de la suite car dans le cas général, la surjection n’assure pas cette propriété.
Proposition 1 (condition nécessaire et suffisante) :
Soient une chaine de Markov homogène et une application mesurable

surjective telle que : .
Si ∑ =∑ .
Alors est une chaine de Markov de Matrice de probabilité de transition
Proposition 2 :Si π est une distribution stationnaire pour la suite alors est une
distribution stationnaire pour la suite ( tel que et ∑ .
Preuve :
est une distribution stationnaire si et seulement si :
∑ ∑ .
∑ ∑ ∑ =∑ ⋃ { }
*∑ ∑ ∑ ∑ ∑ ∑ .
Exemple 3.3:Soit une fonction surjective tel que :
{ } { }
Soit une chaine de Markov de loi initiale µ= (1 /3, 1/3, 1/3), de distribution stationnaire
et de matrice de transition,
P=( )
= =0.
= { }
{ }
=
=
=
= =1.
= { }
{ }
=
{ }
( )( ) ( )( )
= = = ;
{ } { })
{ } { }
=
{ }
= .
Donc:
( ).
La distribution stationnaire de est :
tel que ∑ .
∑ .
∑ ∑ = .
Donc :
, ).
1.3.3. Caractérisation d’une chaine de Markov image

1.3.3.1.Dans le cas injectif (bijectif)
Proposition 1 :Si est irréductible et une application injective (bijective) tel

que avec alors la chaine de Markov est
irréductible.
Preuve :
Soit une application injective(bijective)
Montrons que si est une chaine de Markov irréductible, alors = est

irréductible.
Soient
Une chaine de Markov irréductible⇔ .
( Une chaine de Markov Image irréductible⇔
Soient
Donc :
= >0 (car irréductible) ;
= >0 (car ( irréductible).
D’où la chaine est irréductible.
Proposition 2 :Soit une chaine de Markov homogène d’espace d’état et

une application injective (bijective).
Soient alors :
1) .
2)
Proposition 3 :Soit une chaine de Markov homogène, une fonction

injective (bijective),
Soit .alors :
1)
Exemple 3.3.1 :Dans l’exemple précédent (exemple 3.1), on a :
P=( ).
et le graphe de transition de :
La chaine contient une seule classe d’équivalence ⇒ est irréductible.
La matrice de transition de est :
( )
Le graphe de transition de :
FIGURE 6 : Graphe de transition de
La chaine contient une seule classe d’équivalence est irréductible.

 { }
Irréductible et
Donc :
La chaine est apériodique.
 { }.
Irréductibleet
Donc :La chaine ( est apériodique.
1.3.3.2.Dans le cas surjectif :
Proposition 1 :Si est une chaine de Markov homogène irréductible vérifie la

condition de la proposition et une application surjectivetel que alors la chaine de
Markov est aussi irréductible.
Preuve :
Soient tel que
une chaine de Markov irréductible ⇔ et ;
une chaine de Markov irréductible ⇔ et .
On a :
∑ (Car irréductible).
∑ (Car irréductible).
Donc : est irréductible.
Proposition 2 :Soient une chaine de Markov homogène et une application

surjective tel que une chaine de Markov.
Soient { } alors :
1) ⇒
2) ⇒
Preuve :
Soit , alors { } ⇒ { } .
1) Si état récurrent alors ∑ ,

donc ∑ ∑ ∑ ∑ (car état
récurrente) alors est récurrente.
2) Si état transitoire alors ∑
donc∑ ∑ ∑ ∑ (car état
transitoire) alors est transitoire.
Exemple 3.3.2 :On considère l’exemple précédent (exemple 3.3)
( )
Son graphe :
D’après le graphe on déduit que la chaine contient une seule classe de

communication donc elle est irréductible.
La matrice de transition de est :
( ).
Son graphe de transition :
La chaine contient une seule classe d’équivalence est irréductible.

1.4. Le comportement asymptotique d’une chaine de Markov image
1.4.1. Cas d’une application injective (bijective)

Soient une chaine de Markov d’espace d’états fini, de distribution limite et une
application injective (bijective) tel que une chaine de Markov image d’espace
d’états et de distribution limite tel que = .
1.4.1.1. Chaine de Markov irréductible apériodique
Proposition :
Si est irréductible apériodique alors la chaine est irréductible apériodique.
Si la chaine est ergodique on a :
Où est une matrice dans tout les lignes égales à .
1.4.1.2. Chaine de Markov irréductible périodique
Proposition 1 :
Si est irréductible périodique (de période .
1) On fait une partition de en classe disjointes tel que il existe une

transition se passe d’une classe à
2) En renumérotant de manière consécutive les états de chaque classe, on obtient une
matrice diagonale par blocs qui correspondent à sous chaines irréductibles et
apériodiques tel que :
( )
Proposition 2 :
Soit une chaine de Markov irréductible périodique alors est irréductible

périodique (de période .
On a :
 ∑ ∑
1.4.2. Cas d’une application surjective
Soient une chaine de Markov d’espace d’états fini, de distribution limite et une
application surjective tel que .
Si la chaine satisfait la condition nécessaire et suffisante alors est une chaine de

Markov image d’espace d’états , de distribution limite ∑ et de matrice de
transition ∑
1.4.2.1. Chaine de Markov irréductible apériodique
Proposition :Si est irréductible apériodique alors est une chaine de Markov
irréductible apériodique et
Ou est une matrice dans tout les lignes égales à .
Exemple 4.1 : Soit une chaine de Markov de distribution stationnaire ( )

et de matrice de transition,
( )
Soit une application surjective, { } { }
est une chaine de Markov image de matrice de transition,

( )
1. La chaine est irréductible car elle contient une seule classe de communication.
2. La période : car les deux états se trouve dans la même classe, donc la
chaine est apériodique.
3. La chaine est récurrente positive car l’espace des états est fini et la chaine est
irréductible, donc la chaine est ergodique.
La distribution stationnaire est :
; ∑ .
D’après le théorème d’ergodicité on a :
( ).
1.4.2.2.Chaine de Markov irréductible périodique
Proposition :Si est irréductible périodique alors est une chaine de Markov
irréductible périodique de période ( et
∑ =∑ .
1.4.2.3. Chaine de Markov réductible

Théorème :Si une chaine de Markov réductible ne contient pas une seule classe
d’équivalence.
Soit un état la probabilité que se trouve dans un état à l’étape est :
Où ∑ ∑
Chapitre 2
Chaines de Markov Quotients
CHAPITRE 2. CHAINES DE MARKOV QUOTIENTS 42
Chapitre 2
Chaines de Markov Quotients
Nous avons vérifie dans le chapitre précédent si l’image d’une chaine de Markov ( ) par
une fonction conserve le caractère markovien quand cette fonction a une propriété
particulière (injective (bijective) ou surjective).A présent nous arrivons à l’objet même de ce
mémoire. La question qu’on va se poser est : Dans le cas général, est ce que la suite de
variables aléatoires( ) définie sur une partition quelconque de par :
( ) ( )
est une chaine de Markov. Si ( ) est une chaine de Markov, cette suite appelée chaine de
Markov quotient.Dans la suite on va donner quelques conditions nécessaires et suffisantes
pour que cette suite ( ) soit une chaine de Markov.
Dans la suite, considérons une chaine de Markov chaine de Markov homogène ( )
d'espace d'états et une partition quelconque de .
1. Cas particulier
Si possède que des singletons c'est-àdireque }.
Proposition 1 :Si la partition possède que des singletons alors la suite de variables
aléatoires( ) à valeur dans définie par :
( ) ( ) .
est une chaine de Markov de matrice de transition ( ) tel que
où
Si ( ) admet une distribution stationnaire , alors ( ) admet une distribution stationnaire

donnée par :
( ) tel que = où
Preuve :Soient
⇔ tel que },
( ,… , ) ( ,… , )
= ( ) (car ).
Donc :
( ,… , ) ( )
La propriété de Markov est vérifie d’où ( ) est bien une Chaine de Markov.
Exemple 1 : Soit ( ) une chaine de Markov définie sur l’espace d’état = {1, 2, 3}, de
distribution stationnaire ( , , ) et de matrice de transition,
( )
De plus on définie une partition { } tel que
( ) ( )
Solution :
Possède que des singletons alors ( ) est une chaine de Markov quotient de matrice de
transition :
= ;
= ;
= ;
= ;
= ;
= ;
= ;
Donc :
( )
La distribution stationnaire de ( ) est :
( ) . tel que : = ( ).
= =0.3636 ; = =0.5455 ; = =0.0909.
D'où : ( )
Remarque :La partition possède que des singletons c'est-à-dire alors

et de même pour la distribution stationnaire , donc
toutes les propositions de la chaine de Markov ( ) de l’irréductibilité, la périodicité, la
récurrence et la transitience est applicables pour la chaine de Markov quotient ( ).
2. Cas général :Soient une partition quelconque de et .
Proposition 1 :Soient une partition quelconque de et ( ) la suite de variables

aléatoires à valeur dans définie par :
( ) ( )
Soient si ∑ =∑ , alors( ) est une chaine de Markov

de matrice de transition,
( ) tel que ∑ , .
De plus si( ) admet une distribution stationnaire , alors ( ) admet une distribution
stationnaire donnée par :
( ) tel que =∑ .
Preuve :Soient
( )
On pose : { } card .
On veut vérifie la propriété de Markov suivante :
( ,… , )= ( )
 On calcule le premier terme :
( ,… , )
( )
( )
( ) ( ) ( )
( { } { } { })
= ( ) ( )
( { } { })
( ) ( )
∑ ∑ ∑ ( )
= ( ) ( )
∑ ∑ ( )
( ) ( ) ( ) ( ) ( )
∑ ∑ ∑ ( ) ( ) ( )
= ( ) ( ) ( )
∑ ∑ ( ) ( )
( ) ( ) ( ) ( ) ( )
∑ ( )∑ ( ) ∑ ( )
= ( ) ( ) ( ) … (*)
∑ ( ) ∑ ( )
( ) ( )
=∑ ( )…(1)
(*) : car ( / ) ( / )pour .
 De même on calcule le second terme :
( )
( )
( )
( ) ( )
( { } { })
= ( )
( { })
( ) ( )
∑ ∑ ( )
= ( )
∑ ( )
( ) ( ) ( )
∑ ( )∑ ( )
= ( )
∑ ( )
( ) ( )
=∑ ( )…(2)
Nous avons (1)=(2)donc ( ) est une Chaine de Markov.
Remarque :Le raisonnement est vraie dans le cas général.
Exemple 2 :Soit la suite ( ) une chaine de Markov définie sur l’espace d’état ={1, 2, 3},
de loi initiale µ=( , ), de distributionstationnaire ( )et de matrice de transition
( )
Soit { } tel que
( ) ( )
tel que card ( ) donc n’est pas un singleton,
si ∑ =∑ est vérifie alors( ) est une chaine de Markov.
On vérifié si :
Pour , et } ( )
( ) ( )
et pour , et ( ) ( )
On calcul le premier terme pour :
( ) ( )
( )
( )
∑ ( )
( )
( ) ( )
( )
( ) ( )
( )
( ) ( ) ( ) ( )
( )
…(1)
On calcul le second terme :
( ) ( )
( )
( )
∑ ( )
( )
( ) ( )
( )
( ) ( ) ( ) ( )
( )
…(3)
De même on calcule :
( { } ) ( )
( ) ( ) =
( ) ( )
( ) ( )
= = .
( )
( { } ) ( )
( ) ( ) =
( ) ( )
( ) ( )
= = …(4)
( )
De l’égalité entre (1) et (2), entre (3) et (4), et d’après la proposition (*) et ( ) nous obtenons
que
( ) est une chaine de Markov quotient de matrice de transition
( ) ∑ ,
Pour
∑ = .
∑ =∑ = .
∑ = , avec :∑ ∑ = .
∑ =∑ = , avec :
∑ ∑ = . ∑ = .
Donc :
( ).
et de distribution stationnaire ( ) tel que =∑
Pour et ( , , ).
=∑ = = =∑ = = + = .
donc ( )
Proposition 2 :Soient ( ) une chaine de Markov d’espace d’état avec (

) , une partition quelconque de .
On suppose que ∑ =∑
Si ( ) est irréductible alors la chaine( ) estune chaine de Markov irréductible.
Preuve :
 Soient tel que ( )
( ) est irréductible
D’autre part, on a :
( ) est irréductible
∑ ( ( ) )
∑ ( ( ) )
{
( ) est irréductible.
Proposition 3 :Soient ( ) une chaine de Markov et une partition quelconque de .
On suppose que ∑ =∑
Soit Alors :
1) é é é ..
2) é
Preuve :
1) Si état récurrent alors ∑ ( ) donc
∑ ( ) ∑ ∑ ( ) ∑ ( ) (car état récurrent)
alors est récurrente.
2) Si état transitoire alors ∑ ( )

donc∑ ( ) ∑ ∑ ( ) ∑ ( ) (car état
transitoire) alors est transitoire.
Proposition 4 : Si ( ) ( ) Alors.


Preuve :
Soit ( ) ⇔( )
( ) { } { ∑ }= ( ). Alors
- ( )=1 ( est apériodique) ( )=1 donc est apériodique ;

- ( ) ( est périodique) ( )>1 donc est périodique.
Remarque :Si fini et ( ) est irréductible, alors ( ) est récurrente positive.
Exemple 3 :On a dans l’exemple précédent (exemple 2) :
( )
FIGURE 2 : graphe de transition de
D’après le graphe de transition de ( ) elle contient une seul classe d’équivalence donc elle
est irréductible… (a)
 On a : ( )
Comme la chaine ( )est irréductible donc : ( ) ( ) ( )
Donc la chaine ( ) est apériodique. …(b)

On a calculé la matrice de transition de et on a trouvée :
( ).
son graphe de transition :
FIGURE 3: graphe de transition de
De même on a trouvé d’après le graphe de transition de ( ) que elle contient une seule
classe d’équivalence donc elle est irréductible … (c)
 On a : ( )
Comme la chaine ( )est irréductible donc : ( ) ( )
donc la chaine ( ) est apériodique. …(d)
De (a) et (c) on déduire que la proposition (1) est vérifié, de (b) et (d) la proposition (4) est
vérifié.
3. Le comportement asymptotique d’une chaine de Markov quotient

3.1. Cas particulier
Soient ( ) une chaine de Markov d’espace d’état fini, de distribution limite , une
partition quelconque de tel que card( ) et ( ) la chaine de Markov
quotient d’espace d’états .
3.1.1. Chaine de Markov irréductible apériodique
Proposition :Si( ) est irréductible apériodiquealors la chaine( ) est irréductible

apériodique de distribution limite .
on a :
Si la chaine( ) est ergodique on a :

Où est une matrice dans tout les lignes égales à .
Exemple 4 :Soit( ) une chaine de Markov définie sur l’espace d’état = {1, 2} de
distribution stationnaire ( ), et de matrice de transition,
( )
Soient { }une partition de et ( )la chaine de Markov quotient

d’espace d’états et de matrice de transition
( )
Graphe de transition de :
2. La période : ( ) ( ) car les deux états se trouve dans la même classe, donc
la chaine est apériodique.
= ; = = 0.5.
( )
D’après le théorème d'ergodicité on a :
=( ).
3.1.2. Chaine de Markov irréductible périodique
Proposition 1:Si( ) est irréductible périodique (de période ).
1) On fait une partition de en classe disjointes tel que il existe une

transition se passe d’une classe à
2) En renumérotant de manière consécutive les états de chaque classe, on obtient une
matrice diagonale par blocs qui correspondent à sous chaines irréductibles et
apériodiques tel que :
( )
= .
( )
Proposition 2 :Soit ( ) une chaine de Markov irréductible périodique alors( ) est

irréductible périodique (de période ).
( ) .
Exemple 5 :Soit( ) une chaine de Markov définie sur l’espace d’états = {1, 2, 3, 4}, de
distribution stationnaire ( )et de matrice de transition
( )
Soit ( )la suite de variable aléatoire définie par ( ) ( ) sur la partition

{ }
( ) est une chaine de Markov quotient de matrice de transition,
( )

D’après le graphe, on a :
2. La période : ( ) ( ) ( ) ( ) car les quatres états se trouve

dans la même classe et
donc la chaine ( ) est périodique (car d( ) ).
Les classes : { } { }
( )
( )
 ∑ ∑
La distribution stationnaire de ( )est : ( );
La distribution stationnaire de ( )est : ( )
alors ∑ ∑ ( ) ( )




 =
(car les n’appartient pas à la même classe).
3.2. Cas général

Soient ( ) une chaine de Markov d’espace d’état fini, de distribution limite , et satisfait
la condition suivante si ∑ =∑ , une partition quelconque de
et( ) une chaine de Markov quotient d’espace d’états
3.2.1. Chaine de Markov irréductible apériodique
Proposition :Si ( ) est irréductible apériodique alors ( ) est une chaine de Markov
irréductible apériodique de distribution limite ∑ , .
∑ ∑
Ou est une matrice dans tout les lignes égales à
Exemple 6 :Soit( ) une chaine de Markov définie sur l’espace d’état = {1, 2, 3} de
distribution stationnaire ( ), et de matrice de transition
( )
On suppose que la condition suivante ∑ =∑ est vérifié si
Soit ( )la suite de variable aléatoire définie par( ) ⇔ ( ) sur la partition

{ }
( ) une chaine de Markov quotient de matrice de transition,
( )
Son graphe :
FIGURE 3.2 : Graphe de transition de
D’après le graphe, on a :
2. La période : ( ) ( ) car les deux états se trouve dans la même classe,

donc la chaine est apériodique.
=∑ = =∑ = = .
( )
D’après le théorème d’ergodique on a :
=( )
3.2.2. Chaine de Markov irréductible périodique
Proposition : Soit ( ) une chaine de Markov quotient irréductible périodique sur une
partition quelconque sur l’espace et de matrice de transition ∑
∑ {
∑ ( ) ∑ .
3.3. Chaine de Markov réductible

Soient ( ) une chaine de Markov réductible sur l’espace des états et ( ) une chaine
de Markov quotient réductible définie sur une partition quelconque de par :
( ) ( )
Théorème :
Soit un état la probabilité que ( ) se trouve dans un état en transition est :
Où ∑ ∑
(Probabilité de passer de vers une classe récurrente).
Exemple 7 :Soient( ) une chaine de Markov définie sur l’espace d’états = {1, 2, 3, 4}, de
distribution stationnaire ( ) et de matrice de transition
( )
{ }une partition de et ( ) la chaine de Markov

quotient d’espace d’états et de matrice de transition
( )
Le graphe de transition de ( ):
FIGURE 3.4 : graphe ce transition de

On a deux classes de communication pour ( ) {A, B} : Classe de transition
et {C} : Classe de récurrence.
 (car est transitoire).

 (car est transitoire).
 ∑ (car est récurrente).
 ∑ (car est transitoire et récurrente).
.
.
Alors :
 ∑ (car est transitoire et récurrente).

. =0.
4. Comparaison entre l’image d’une Chaine de Markov et Chaine de

Markov Quotient :
Soient ( ) une chaine de Markov homogène d’espace d’état fini où dénombrable,
une partition quelconque de et ( ) la chaine de Markov quotient d’espace d’état .
Proposition :
1) Si ( ) tel que
( )
2) Si , card ( ) alors il existe une application surjective non injective tel que
( )
Preuve :
1) On pose ( ) . Soit tel que

⇔ ( ) donc est bijective
D’où ( ) ( )
2) On pose ( )
( ) ( ) donc n’est pas injective,
est surjective car ,

( )
Soit ,
( ) ( )
( )
( )
Chapitre 3
Applications
CHAPITRE 3. APPLICATIONS 60
Chapitre 3
Applications
1. Introduction sur MATLAB
MATLAB (MATRIX LABORATORY) est un langage interprété, c’est à dire qu’il
exécute directement (sans compilation) les commandes que vous entrez dans la fenêtre de
commandes.
Pour pouvoir l’utiliser, vous devez donc lancer l’interpréteur. L’application vous offre
plusieurs fenêtres, dont une fenêtre principale contenant la fenêtre de commandes avec le
prompt : ». C’est dans cette fenêtre que vous entrerez toutes les commandes MATLAB. Il est
à noter que toutes les commandes sont en minuscules et en anglais.
Lorsque l’on entre une commande, MATLAB affiche systématiquement le résultat de cette
commande dans cette même fenêtre.
Pour entrer dans MATLAB cliquez sur Start/Programmes/MATLAB sous l’environnement
Windows, ou tapez MATLAB au prompt de la Shell sous Unix.
Pour sortir de MATLAB tapez la commande: >>quit.
Tout programme ou application écrite en MATLAB peuvent être exécutés dans le MATLAB
ou dans des environnements compatibles. Il peut également l'interface avec des fonctions et
des sous-programmes écrits en l'un des langages de programmation C ou en Fortran, tant
couramment utilisés dans la science et de l'ingénierie. Code MATLAB peut également écrire
des fichiers qui utilisent l'environnement MATLAB en tant que moteur de calcul. En outre, il
peut également écrire du code pour normaliser les processus qui, autrement, se reproduit de
façon anecdotique. Plutôt que de décrire ce qu'on a fait et ayant une autre reproduire ce
processus sur la base des instructions, un code dans MATLAB peut exactement exécuter ces
instructions.
MATLAB contient un support solide pour une précision mathématique, au-dessus et au-delà
d'autres programmes qui manipulent et analysent les données. Parce qu'il est conçu pour
mettre en œuvre des algorithmes et équations complexes, MATLAB permet de décimaux et
des fractions étendues, plutôt que de l'arrondissement que d'autres programmes font. Aussi,
MATLAB peut stocker des fichiers d'image avec une plus grande précision. Plutôt que de
briser l'information en pixels représentés avec trois valeurs de couleur 8 bits comme nombres
entiers compris entre 0 et 255, MATLAB peut être programmé à l'information de l'image du
magasin en double précision, l'arithmétique, ce qui rend les données d'image avec une plus
grande précision flottante.
L'environnement de développement de MATLAB est conçu pour manipuler facilement, gérer,

traiter et analyser les données présentées dans les graphiques, les images, la table ou d'autres
ensembles. Outils dans l'environnement sont disponibles à l'échelle, l'extrait, moyenne et
d'isoler les données. Ils interpoler et de prédire les résultats en fonction des paramètres; ils
déterminent également des modèles et des corrélations dans un ensemble de données. Les
demandes de données spécialement "Crunch" peuvent être écrits dans MATLAB, qui passe
ensuite dans l'environnement.
MATLAB est développé et commercialisé par la société américaine The MATLAB Works.
2. Un exemple pratique
Une entreprise dispose de 2 machines identique fonctionnant indépendamment et
pouvant tomber en panne au cours d’une journée avec la probabilité q= .
On note le nombre de machine en panne au début de n-ième journée.
On suppose qu’une machine en panne n’est réparée que lendemain, le réparateur ne pouvant
toujours réparée qu’une machine dans la journée.
L’ensemble d’états E={0,1,2}
( ) (Aucune panne dans la journée)
( ) 0.5 (Une des deux machines est tombée en panne)
(Les deux machines sont tombées en panne)
( ) (La machine qui fonctionne ne tombe pas en panne)
(La machine qui fonctionne ne tombe pas en panne l’autre est réparée)
(La machine en panne est sur de remarcher le lendemain)
(Une seule des deux machines en panne est réparée)
Donc la matrice de transition de ce problème est :
=( ).
3. Les étapes de l’algorithme

Soit ( ) une chaine de Markov d’espace d’états , de loi initial µ , de matrice de transition
et de distribution stationnaire .
Dans ce chapitre nous utiliserons toujours la matrice mentionnée dans l’exemple pratique.
3.1 . Définir une chaine de Markov

Nous avons défini la matrice de transition d’une chaine de Markov et sa loi initiale µ.
 Remarque : on note µ=V dans les algorithmes que nous avons les traiter.
L’algorithme :
FIGURE 1 : Définir la chaine de Markov
L’exécution :
FIGURE 2 : Exécution de la chaine de Markov

3.2. Le calcule de la distribution stationnaire et de la distribution limite de

la chaine
Avant de calculer la distribution limite de la chaine( ) , il faut évidemment s’assurer

qu’elle existe.
Vérification de l’existence d’une distribution limite
Nous avons vu un théorème dans le chapitre 1 qui stipule que si la matrice de transition est
telle qu’au moins une des ses puissances n’a que des termes strictement positifs alors la
chaine de Markov converge, par conséquent suivant la condition suffisante, la convergence de
la chaine implique l’existence de sa distribution stationnaire.
Voici l’algorithme qui vérifie l’existence de la distribution limite :
FIGURE 3 : Vérification de l’existence d’une distribution limite de la chaine

Pour la matrice introduite précédemment nous obtenons le résultat suivant :
FIGURE 4 : Exécution des entrées
Si la distribution stationnaire existe, le programme la calcule avec l’algorithme qui suit :

FIGURE 5 : Calcul de la distribution stationnaire de la chaine
L’exécution :
FIGURE 6 : Distribution stationnaire de la chaine

Le programme retourne la matrice limite , le vecteur de la distribution limite (stationnaire)

et vérifie la somme de ses éléments qui vaut évidemment la valeur P=1.
3.3. Caractérisation d’une chaine de Markov

Nous avons donné les définitions détaillées de l’irréductibilité, la périodicité et l’ergodicité
reste seulement à fournir les programmes.
L’irréductibilité
Nous rappelons qu’une chaine de Markov est irréductible si elle contient une seule classe
d’équivalence, si non elle est réductible.
L’algorithme :
FIGURE 7 : Irréductibilité de la chaine

L’exécution :
FIGURE 8 : La chaine est irréductible
La périodicité
( )
On rappelle que la période d’un état i est définie par : ( ) { }
 Si ( ) on dit que l’état est périodique de période : ( ).

 Si : ( )=1, on dit que l’état est apériodique.
Lorsque tous les états d’une chaine sont apériodiques, on dit que la chaine est
apériodique.
L’algorithme :
FIGURE 9 : La périodicité de la chaine
L’exécution :
FIGURE 10 : La chaine est apériodique

Ergodicité
On dit que la chaine de Markov est ergodique si elle est "irréductible" et "apériodique" et
"récurrente positive".
L’algorithme :
FIGURE 11 : Ergodicité de la chaine
L’exécution :
FIGURE 12 : La chaine est ergodique

4. Matrice de transition et distribution stationnaire d’une chaine de

Markov quotient
Soient( ) une chaine de de Markov ( ) une chaine de Markov quotient définie dans le
deuxième chapitre .Afin de pouvoir calculer sa matrice de transition et sa distribution
stationnaire, nous avons besoinde définir l’ensemble des partitions de .
Le programme demande d’introduire alors et . Ensuite, il détecte la nature de la

partition , c'est-à-dire que possède que des singletons ou non ?
Il suffit pour cela de calculer le nombre des éléments de l’ensemble et le nombre des
partitions de puis de les comparer comme suit :
FIGURE 13 : la nature de la partition
A noter que la CNS signifie "Conditions nécessaires et Suffisantes "vues tout au long du
chapitre (Si ∑ =∑ ).
Nous rappelons que si "la partition possèdeque des singletons", on peut conclure
directement que ( ) est une chaine de Markov quotient.
Par contre si " est une partition quelconque de " c'est-à-dire ,

ce n’est pas suffisant pour conclure, il faux pour cela vérifier une autre condition CNS vue
dans la partie "cas général" du chapitre 2. On vérifie si :
∑ =∑ .
Nous donnons un exemple d’exécution :
L’exécution 1:
FIGURE 14 : la partition possède que des singletons
L’exécution 2 :
FIGURE 15 : il faux vérifie la CNS
Si « la partition est quelconque » il faux vérifie les CNS par l’algorithme suivant :
FIGURE 16 : vérification de caractère Markovien dans le cas général

Exécution 1:
Exécution 2 :
0FIGURE 17 : vérification de caractère Markovien
Nous calculons la matrice de transition et la distribution stationnaire pour par l’algorithme

suivant :
FIGURE 18 : calcule de matrice de transition et distribution stationnaire pour

Exécution1 :
FIGURE 19 : Le calcul de la matrice de transition et de ladistribution stationnaire de la

chaine de Markov quotient.
Exécution 2 :
FIGURE 20 : Le calcul de la matrice de transition et dela distribution stationnaire de la

chaine de Markov quotient.
77
Conclusion générale :
Au terme de ce mémoire, il est possible de rependre à la problématique posée dans

l’introduction et fournir des explications sur le sujet.
L’image d’une variable aléatoire par une fonction est toujours une variable aléatoire,
mais l’image d’une chaine de Markov par la fonction n’est pas forcément une chaine de
Markov. Il existe différents conditions nécessaires et suffisants qui permettent à la fonction
de conserver le caractère markovien de la chaine à temps discret :
- est injective.
- est bijective.
- est surjective et vérifie une condition particulière.
Après avoir confirmé que l’image d’une chaine de Markov par la fonction est une chaine de
Markov il est possible de calculer la matrice de transition associe à la chaine de Markov
image et sa distribution stationnaire a partir de la matrice de transition de la chaine de
Markov et cela dépend de la fonction f (injective, bijective, surjective).
La suite de variables aléatoires définie sur une partition quelconque de par

est une chaine de Markov si elle satisfait les conditions qu’on a cité
dans le deuxième chapitre.
Après avoir confirmé que est une chaine de Markov il est possible de calculer la matrice
de transition associe à la chaine de Markov quotient et sa distribution stationnaire
a partir de la matrice de transition de la chaine de Markov et sa distribution stationnaire
, cela dépend de la partition de des deux cas étudier (cas particulier, cas général).
Une chaine de Markov quotient conserve les mêmes caractéristiques que la chaine
(la périodicité, irréductibilités, récurrence et transition) et peut être identifié à partir de
la matrice de transition de la chaine de Markov
La simulation de ses résultats avec le programme Matlab permet de réaliser

numériquement les opérations traitées manuellement dans la partie théorique.
Annexe
ANNAEXE 79
Le code Matlab
ANNAEXE 80
ANNAEXE 81
ANNAEXE 82
83
Bibliographie :
[1] Carl Graham. CHAINES DE MARKOV. Cours et exercices corrigés. Mathématiques
appliquées pour le Master/SMAI, Ecoles d’ingénieurs.
[2] DIBOUN Mejdouline et TALBI Malika. Chaines de Markov Images. Mémoire de fin
d’étude. En vue de l’obtention du diplôme de master. Année 2016/2017.
[3] Dominique Foata et Aimé Fuchs. PROCESSUS STOCHASTIQUES. Processus de

poisson, chaines e Markov et martingales. Cours et exercices corrigés, Ecoles d’ingénieurs.
[4] ENSAI. CHAINE DE MATRKOV. Janvier-Mars 2011.
[5] É. Pardoux . Processus de Markov et applications Algorithmes, Réseaux, Génome et
Finance. 11 septembre 2006.
[6] F. Bienvenue-Duheille-Chaine de Markov et applications. Université Claude Bernard
Lyon1, 2010-2011.
[7] Jean Bérard. Chaines de Markov.
[8] MIKAEL FALCONNET. INTRODUCTION AUX CHAÎNES DE MARKOV. L3 Génie

Biologique et Informatique – Second semestre 2013-2014.
[9] Paolo Baldi. Laurent Mazliak. Pierre Priouret. Martingales et chaine de Markov avec
exercices corrigés. MASTER 1 ET 2, AGREGATION.
[10] Raphael Lachieze-Rey*. Chaines de Markov (et applications). 25 avril 2016.
[11] SAKHERI Fatma zohra et LAKRID wassila. Comportement asymptotique d’une chaine
de Markov image. Mémoire de fin d’étude. En vue de l’obtention du diplôme de master.
Année 2017/2018.
[12] S.Lemaire. Introduction aux chaines de Markov. L3 Biologie-Santé et L3 Biodiversité

des Organismes et Ecologie.

Mémoire Fin D'etudes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Mémoire Fin D'etudes

Transféré par

Droits d'auteur :

Formats disponibles

République Algérienne Démocratique et Populaire

Ministère de l’Enseignement Supérieur et de la Recherche Scientifique

Université M’Hamed BOUGARA Boumerdès

Faculté des Sciences

Mémoire de fin d’étude

Chaines de Markov quotients

Spécialité : Mathématiques Financières

Soutenue le 10/2019, devant le Jury composé de :

Président : Mme GATT

Encadreur : Mme LARABI

Examinateur : Mme CHEMERIK

Année universitaire : 2018-2019

A mon cher père,

Qui ont tout donné pour mon bonheur

Merci maman, Merci papa….

A mes frères, Boualem, Maurad, Samir, Rafik, Houssine, Naim, Smail.

A mes chères sœurs, Chahrazed et Kenza.

Pour toute leurs soutiens tout au long de mes études.

Puisse dieu vous donne santé, bonheur courage et surtout réussite.

À la personne dont j’ai bien aimé la présence dans ce jour,

A mon cher mari, Ahmed …

Pour ses aides et supports dans les moments difficiles.

A m’adorable petite fille, Lyna …

Que Dieu la protège et leur offre la chance et le bonheur.

A qui je souhaite une bonne santé.

A ma deuxième famille, tout la famille Farhi…

A tous les professeurs et les enseignants qui ont contribué à ma formation.

1Chaine de Markov à temps discret et Image d’une chaine de Markov…….9

Le premier chapitre aborde des notions fondamentales de base de la mesure qui

On a donné quelques résultats consternant les distributions stationnaires et limites pour la

1. Vérifie si la suite de variables aléatoires ( ) définie par ( ) ( ) est

2. Etudier le comportement asymptotique d’une chaine de Markov quotient.

Le troisième chapitre et dernier est consacré à la simulation des résultats précédentes

1.1. Notions fondamentales

Exemple : est infini ;

1.1.2. Ensemble dénombrable

Exemples : sont infinis dénombrables.

1.1.3. Relation d’équivalence

Définition 2 :Soit une relation binaire sur un ensemble

- est réflexive si pour tout on a

Définition 4 : Soient une relation d’équivalence sur un ensemble et . Une classe

L’ensemble des classes d’équivalences forme partition de .

o Si est une relation d’équivalence sur et que vérifient , alors

1.1.5. Application injective, surjective, bijective

est dite injective si et seulement si , ( ) ( )

est dite surjective si et seulement si /

est dite bijective si et seulement si injective et surjective:

1.1.6. Image directe d’une partie

On appelle image directe de notée l’ensemble

1.1.7. Image réciproque d’une partie

On appelle image réciproque de par noté l'ensemble des éléments de dont

Définition :Soit ; une famille inclus dans (l’ensemble de partie de ) est

Théorème :Soient deux ensembles non vide et une application, soient

1) Si est une tribu sur , alors la famille notée { } une tribu

1.1.9. Espace mesurable

1.1.10. La meure positive sur une tribu

Si , deux à deux disjoints ( alors µ(⋃

1) µ peut prendre la valeur .

Définition 2:Soit un espace mesuré, on dit que µ est :

1.1.12. Espace probabilisé

1.1.13. Application mesurable

Définition :Soient deux espaces mesurables et une application de dans .

Comme on peut écrire .