Ecole Militaire Polytechnique Chapitre3

Chapitre 3

Les chaînes de Markov

3.1 Les processus aléatoires

Un processus aléatoire (ou stochastique) est un modèle mathématique qui décrit un système
dans lequel une ou plusieurs grandeurs varient, d’une façon aléatoire, en fonction du temps.
Est donc un processus aléatoire toute famille de VA Xt, telle que pour t ∈ T, Xt soit une
variable aléatoire prenant ses valeurs dans un ensemble E appelé ensemble des états ou espace
d’états. L’ensemble E peut être fini ou infini dénombrable ou non. De même, T peut être
discret ou continu. Quand T est discret, ses éléments sont appelés dates. On appelle chaîne
stochastique les processus dans lesquels l’ensemble E est discret.

Remarque 1
Dans certains cas, la variable t peut ne pas être le temps mais une variable qui joue un rôle
analogue.

Exemple 1
Considérons un stock de pièces de rechange et soit Xt le niveau de stock chaque matin.
L’ensemble T est discret; par contre si on s’intéresse au niveau de stock à tout instant alors T
est continu. Dans les deux cas, l’ensemble E est fini.

Exemple 2
Considérons un guichet dans une administration, soit Xt la durée d’attente du tème usager. Ici,
l’ensemble E est continu et T est discret. La variable t n’est pas le temps ; c’est le numéro
d’ordre de l’usager.

Exemple 3
Soit Xt la durée de vie d’une ampoule électrique à l’instant t. Xt t ≥ 0 est un processus
aléatoire dans lequel l’ensemble E ainsi que T sont continus.

Remarque 2
Lorsque t varie, l’espace d’états E ne change pas, ce sont les probabilités associées à chaque
état qui changent.

3.2 Les chaînes de Markov à temps discret et espace d’états fini.

Les chaînes de Markov sont des processus aléatoires dans lesquels l’espace des états est
discret et dont l’évolution est soumise à la propriété amnésique. On parle de chaîne discrète si
le paramètre t est discret, et de chaîne continue si t est continu.

Equations d’évolution
Considérons un système pouvant prendre les états En, n = 1 : N ; les changements d’états ne
pouvant se produire qu’à des instants déterminés i = 0,1, …appelés dates. Supposons connu
[P(i)], la distribution de probabilités de Xi, ce vecteur qui représente l’ensemble des
probabilités Pn(i) correspondant à une certaine date i s’écrit :

[P(i)] = [p1(i) , p2(i) , ………………pN] (1)

22
Ecole Militaire Polytechnique Chapitre3

Les composantes de ce vecteur vérifient les deux relations :

0 ≤ pn(i) ≤ 1 (2)

∑p
n
n(i) =1 (3)

Un vecteur ayant les deux propriétés (2) et (3) est appelé vecteur stochastique. Lorsque ses
composantes représentent les probabilités d’état d’un système, on l’appellera vecteur d’état de
ce système
Supposons maintenant que le passage d’un état à un autre ou transition ne dépende que de ces
deux états; plus rigoureusement, supposons qu’à toute paire d’états (n , n’) il soit possible
d’associer une probabilité conditionnelle pnn` = probabilité que le système se trouve à l’état n`
à la date i+1 sachant qu’il était à l’état n à la date i, les probabilités initiales Pn(0) , n = 1 : N,
étant supposées connues, on a alors, en vertu du théorème des hypothèses, une chaîne de
Markov régie par les équations :

Pn`(i+1) = ∑ p n(i)pnn`,
n
(4)

Si on écrit cette relation pour chacun des N états de la chaine, on obtient un système de N
équations linéaires. Ce système s’écrit sous forme matricielle

[P(i+1)] = [P(i)] M (5)

D’oû, par récurrence :
[P(1)] = [P(0)] M
[P(2)] = [P(1)] M = [P(0)] M2
…………………………………
[P(i)] = [P(0)]Mi (6)

La matrice M est formée d’éléments pnn` tels que :

0 ≤ pnn` ≤ 1 (7)
∑p
n`
nn` =1 ∀n (8)

PN(i)
Etats n N pNn’

Pn’ (i+1)
Pnn’
Pn(i) n’
n
p2n’
P2(i)
2
p1n’
p1(i)
1
dates
i i+1

23
Ecole Militaire Polytechnique Chapitre3

Toute matrice ayant les propriétés (7) et (8) est appelée matrice stochastique. Chacune de ses
lignes constitue un vecteur stochastique. Les probabilités pnn’ sont appelées probabilités de
transitions. Une chaîne de Markov est entièrement définie par la matrice de transitions M et le
vecteur initial d’états [Pn(0)].

Remarque 3
La propriété caractéristique d’une chaîne de Markov est de pouvoir associer à toute paire
d’états (n,n’) une probabilité de transition pnn` entre la date i et la date i+1. Mathématiquement
cette propriété se formule comme suit
P[ Xi+1 = n`/ Xi = n , Xi-1 = n1 , Xn-2 = n2 ,…] = P[ Xi+1 = n`/Xi = n ] (9)

Connaissant l’état du système à une certaine date i, l’évolution future du système ne dépend
que de cet état et pas des états antérieurs de la chaîne. On résume cette propriété en disant que
la chaîne de Markov est sans mémoire ou qu’elle est amnésique ou encore la chaîne de
Markov oublie son histoire (l’évolution future ne dépend que de la date la plus récente).

Remarque 4
Les probabilités de transitions pnn` peuvent dépendre du temps, on a alors :

Pn`(i+1) = ∑ p n(i)pnn`(i)
n
Une telle chaîne est dite non homogène.
Dans la suite, les chaînes considérées seront supposées homogènes.

Remarque 5
La propriété fondamentale des chaînes de Markov (absence de mémoire) implique que la
durée de séjour du système dans un état donné (en nombre de transitions) suit la loi
géométrique.
En effet, Supposons que le système se trouve dans l’état n et soit Pnn la probabilité de rester
dans cet état après une transition et X la VA représentant le temps passé dans cet état.
La probabilité de rester pendant exactement k transitions est

P(X = k) = (1-pnn)(pnn)k-1 , k = 1, 2,…..

3.3 Graphe de transitions

On associe à toute chaîne de Markov homogène un graphe appelé graphe de transitions entre
les dates i et i+1, construit de la manière suivante :
9 chaque sommet du graphe correspond à un état possible de la chaîne ;
9 deux sommets n et n` étant reliés par un arc orienté de n vers n` ssi pnn` > 0.
9 La valeur de l’arc (n , n’) est égale à pnn’ > 0.

Exemple 4
On représente le cursus d’un étudiant de licence par une CM définie comme suit :
La probabilité de réussir, de redoubler et d’être renvoyé en fin d’année sont pn, rnet qn
respectivement (n = 1, 2, 3). On considère que le succès S et le renvoi R sont définitifs.
a) Tracer le graphe de la chaîne et donner sa matrice de transitions.
b) Que signifie le fait qu’il s’agisse d’une chaîne de Markov.

24
Ecole Militaire Polytechnique Chapitre3

Exemple 5
Un atelier de réparation de postes de téléviseurs a une capacité d’accueil de deux postes en
réparation. Les postes à réparer arrivent le matin. La probabilité qu’il arrive 0, 1, 2 postes à
réparer un matin est de 0.3 ; 0.5 et 0.2. Les postes qu’on ne peut pas réparer sont envoyés en
sous-traitance. La durée de réparation est d’une journée. On ne peut pas réparer plus d’un
poste par jour.
Modéliser l’évolution du système par une chaîne de Markov.

Exemple 6
Une machine peut se trouver, chaque matin, dans l’un des trois états :
¾ L’état 1 correspond à un état de fonctionnement parfait.
¾ L’état 2 correspond à un état de fonctionnement passable.
¾ L’état 3 correspond à une machine inutilisable.
Le fonctionnement de la machine peut être décrit de la façon suivante :
9 Si à la date i, l’état de la machine est parfait, à la date i +1 il sera parfait avec une
probabilité de 0.95 et passable avec une probabilité de 0.05.
9 Si à la date i, l’état de la machine est passable, à la date i +1 il sera passable avec une
probabilité de 0 .90 et inutilisable avec une probabilité de 0.10.
9 Si, à la date i l’état de la machine est inutilisable, à la date i +1 elle sera remplacée par une
machine neuve.
Modéliser l’évolution de l’état de la machine par une chaîne de Markov.

Exemple 7 : Le modèle d’Ehrenfest.

Quatre boules sont réparties sur deux urnes. A chaque étape du processus, une boule est tirée
au hasard, de manière équiprobable et changée d’urne. Soit Xk le nombre de boules dans la
première urne après k tirage. Montrer que la suite Xk forme une chaîne de Markov. Tracer le
graphe de transitions et donner la matrice correspondant.

3.4 Transition d’ordre i, Equations de Chapman Kolmogorov

Soit pnn`(i) la probabilité de passer de l’état n à l’état n’, en exactement i transitions. On a

pnn`(1) = pnn`
pnn`(2) = ∑ pnk(1)pkn`(1) = ∑ pnkpkn` = élément (n,n`) de la matrice M2
K K
Par récurrence :
pnn`(i) = ∑ pnk(1)pkn`(i-1) = élément (n,n`) de la matrice Mi = MM(i-1)
K
Ou encore :

pnn`(i+j) = ∑ k
pnk(i)pkn`(j) (10)

Sous forme matricielle, ces équations s’écrivent:

M(i+j) = M(i)*M(j) (11)

Ce sont les équations de Chapman Kolmogorov

On a évidemment pnn` = δ nn` = ⎧⎨1 si
(0) n = n'
⎩0 sin on

25
 Ecole Militaire Polytechnique Chapitre3

3.5 Décomposition et classification des chaînes de Markov

On dit qu’un état n’, est un descendant d’un état n et on écrit n ≤ n’ s’il existe un entier i ≥ 0
tel que pnn`(i) > 0. Ceci signifie que dans le graphe de transition, il existe un chemin de n à n`.
Si on a à la fois n ≤ n’ et n’ ≤ n, on écrit n ≡ n’. Cette relation est une relation
d’équivalence qui partitionne l’ensemble des états en classes d’équivalence. Dans le graphe de
transitions, cette relation définit les composantes fortement connexes de ce graphe. Chaque
classe d’équivalence est composée par des états qui communiquent entre eux : chaque état
peut être atteint à partir de n’importe quel autre état de la classe.

Une classe d’équivalence Ck constitue un ensemble fermé d’états lorsqu’il n’existe pas de
paire d’états {n,n’} tel que n ∈ Ck, n’ ∉Ck et n ≤ n’. Autrement dit, le système ne peut pas
sortir de la classe Ck s’il y est entré (Ck est une classe finale). Les états d’un tel ensemble sont
dits persistants ou récurrents. Les états appartenant à un ensemble non fermé sont dits
transitoires. On peut montrer facilement qu’une chaîne de Markov à espace d’états fini
comporte au moins un état persistant.
En effet, si tous les états communiquent, la chaîne est irréductible et donc tous les états sont
persistants ; sinon le graphe réduit d’une telle chaîne comporte au moins un sommet sans
successeurs car il est sans circuit. Ce sommet correspond à une classe finale (fermée).
Si une classe récurrente comporte un seul état, on dit que cet état est absorbant.
Une chaîne comportant au moins un état (ou une classe) absorbant est dite absorbante.

Exemple 8
Soit la chaîne de Markov dont la matrice de transition est :
1/2
1/4 1/3
1 2 3 4 5 6 7 1/3 1/3
1 ⎛1/ 2 1/ 2 ⎞ 4 7 1
⎜ ⎟ 1/2 1/3
2 ⎜1/ 3 2 / 3 ⎟ 3/4
3 ⎜ 1 ⎟ 2
1/4
⎜ ⎟
M = 4 ⎜ 3 / 4 1/ 4 ⎟ 3
5 1/3
5 ⎜ 2/ 5 3/ 5 ⎟ 1
⎜ ⎟ 1/4
3/5
6 ⎜ 1/ 4 1/ 4 1/ 2 ⎟ 6
⎜ ⎟
7 ⎝1/ 3 1/ 3 1/ 3⎠
1/2
Graphe de transitions
Matrice de transitions

C1 ={1, 2 } ensemble d’états fermé ;

C2 = {3, 5, 6} ensemble d’états fermé ;
C3 = {4} état transitoire ;
C4 = {7} état transitoire.

On dira que la chaîne ou la matrice stochastique correspondante est irréductible si tous les
états appartiennent à la même classe d’équivalence i.e. le graphe associé est fortement
connexe. Il en résulte que dans une chaîne irréductible tout état peut être atteint à partir de
n’importe quel autre état ou encore tous les états communiquent entre eux. Lorsque la chaîne
n’est pas irréductible il y a au moins deux classes d’équivalence et on dit qu’elle est
réductible.

26
Ecole Militaire Polytechnique Chapitre3

Considérons une chaîne réductible de matrice M et supposons que les classes d’équivalence
C1, C2,… Ch sont fermées. Si on écrit les états de C1 puis ceux de C2 … jusqu’à Ch et enfin les
états transitoires T. On a alors la forme suivante dite forme canonique ou forme normale.

⎡m1 0 0 . 0 0⎤
⎢0 m2 0 . 0 0 ⎥⎥
⎢
⎢0 0 m3 . 0 0⎥
M= ⎢ ⎥
⎢ . . . . . .⎥
⎢0 0 0 . mK 0⎥
⎢ ⎥
⎢⎣ R1 R2 R3 . Rk T ⎥⎦

m1 , m2 …………,mh sont des matrices carrées stochastiques irréductibles. T est une matrice
carrée non stochastique. C’est la matrice de transitions entre les états transitoires. R1 est une
matrice rectangulaire dont les éléments sont les probabilités de transitions de l’ensemble des
états transitoires vers C1, C2, …

Exemple 9
La matrice précédente peut s’écrire :

1 2 3 5 6 4 7

1 1/2 1/2 m1

2 1/3 2/3

3 0 1 0
m2
5 2/5 0 3/5

6 1/4 1/4 1/2

4 0 0 3/4 0 0 1/4 0

7 1/3 0 0 0 0 1/3 1/3

R1 R2 R

3.6 Etude du comportement asymptotique d’une chaîne de Markov

Il s’agit d’étudier le comportement de la chaîne lorsque le nombre de transitions augmente

indéfiniment. Précisément, il s’agit d’étudier la limite du vecteur d‘état :
lim [P(i)] = lim [p1(i) , p2(i) , ……………pN(i)]
i→∞ i→∞

Or on a vu que [P(i)] = [P(0)] Mi

Il s’agit donc d’étudier lim Mi
i→∞

On a vu également que les éléments de Mi sont les probabilités de transitions d’ordre i, pnn`(i)
L’étude du comportement asymptotique d’une chaîne de Markov à espace d’états discret peut
se faire selon trois approches différentes

27
 Ecole Militaire Polytechnique Chapitre3

a) L’approche probabiliste qui caractérise la nature d’un état n de la chaîne en fonction

des propriétés suivantes :
Partant de n, on est sûr (probabilité = 1) ou non de revenir à n. Dans le premier cas n est
récurrent, dans le deuxième cas il est transitoire.
Dans le premier cas, le temps moyen (en nombre de transitions) de retour ou de récurrence
est fini (n est récurrent non nul) ou infini (n récurrent nul). Pour une chaîne finie il n’y a
pas d’état récurrent nul.

b) L’approche algébrique qui consiste à étudier la matrice de transitions M, c-à-d, calculer les
valeurs et vecteurs propres de cette matrice et, éventuellement, diagonaliser M. Dans ce
cadre, on démontre les propriétés suivantes :
1. Toute matrice stochastique M admet au moins une valeur propre égale à 1.
2. Toutes les valeurs propres de M ont un module inférieur ou égal à 1.
3. L’ordre de multiplicité de la valeur propre λ = 1 est égal au nombre de classes finales
(récurrentes) de la chaîne.
4. Si une classe récurrente est périodique de période k, alors les k racines kième de l’unité
sont valeurs propres de M

c) L’approche par la théorie des graphes qui consiste à étudier le graphe de transitions de la
chaîne. C’est l’approche adoptée dans la suite de ce cours.

3.7 Etude de lim pnn`(i)

i→∞

Cette limite dépend des deux états n et n’. On distingue plusieurs cas

I. n ∈ Ck classe finale et n’ ∉Ck .

On a vu dans ce cas que pnn`(i) = 0 ∀i

II. n∈ T et n’∈ T ensemble des états transitoires. Dans ce cas lim pnn`(i) = 0.
i→∞

En effet si r est le nombre d’états transitoires, la probabilité que le système, partant d’un état
transitoire, reste dans l’ensemble des états transitoires après r transitions est strictement
inférieure à 1(sinon l’ensemble des états transitoires contiendrait un chemin de longueur r
dont la valeur de chaque arc égale 1, donc un circuit fermé) ; soit q cette probabilité. Donc la
probabilité que le système reste dans l’ensemble des états transitoires après k*r transitions est
égale à qk. Cette quantité tend vers zéro quand i augmente indéfiniment. Donc
lim pnn`(i) = 0 ∀ n et n` ∈ T
i→∞

En conséquence le système, partant d’un état transitoire, sera absorbé après un nombre fini de
transitions par une classe finale.

III. n état transitoire et n’ ∈ Ck classe fermée.

3.8 Etude des chaînes réductibles

Partant d’un état transitoire n, le système va évoluer à l’intérieur de l’ensemble T des états
transitoires avant d’être absorbé par une classe récurrente. Si la chaîne comprend une seule
classe finale, le système sera absorbé certainement par cette classe. Lorsque la chaîne
comprend plus d’une classe finale, il sera absorbé par l’une de ces classes. Dans ce cas, il est
intéressant de calculer les deux grandeurs suivantes :

28
Ecole Militaire Polytechnique Chapitre3

¾ la probabilité d’absorption par l’une ou l’autre de ces classes finales

¾ la durée moyenne de séjour dans l’ensemble des états transitoires avant l’absorption.

a) Probabilité d’absorption par les classes finales

Soit une chaîne de Markov irréductible et C1 , C2 ,…….,Ch ses classes finales (h>1) et T
l’ensemble des états transitoires. Il s’agit de calculer la probabilité qn(Ck) = probabilité que le
système partant de l’état transitoire n soit absorbé par la classe finale Ck .
En décomposant cette probabilité selon le résultat de la première transition et en appliquant le
théorème des probabilités totales conditionnelles (l’hypothèse Hn’ correspond à la transition
vers l’état n’) et tenant compte du caractère sans mémoire de la chaîne, on obtient :

qn(Ck) = ∑ pnj [probabilité d’absorption par Ck/partant de j ]

j∈E

⎧ 1 si j ∈ CK
⎪
Probabilité d’absorption par Ck/partant de j = ⎨q j (CK ) si j ∈T
⎪ 0
⎩ sin on
En écrivant cette relation pour chacun des r états transitoires, on obtient un système linéaire
de r équations à r inconnues : qn (Ck) , n = 1,2,…………..,r

q1(Ck) = ∑p
n '∈cT
1n ' q n ' (C k ) + ∑p
n '∈Ck
1n '

. . . .
qr(Ck) = ∑ pr n' q n' (C k ) + ∑ p rn'
n '∈cT n '∈Ck

Ce système s’écrit sous forme matricielle :

Q(Ck) = P(Ck) + T.Q(Ck)

Ou encore (I –T) .Q(Ck) = P(Ck)

Q(Ck) = ( I – T )-1. P(Ck) (12)

T est la matrice de transitions entre les états transitoires

⎡ p1 (CK ) = ∑ p1 j ⎤
⎡ 1 K ⎤
q (C ) ⎢ j∈C K ⎥
⎢q (C )⎥ ⎢ p2 (CK ) = ∑ p2 j ⎥
Q(Ck) = ⎢ 2 K ⎥
; P(CK) = ⎢ j∈C K ⎥
⎢ . ⎥ ⎢ . ⎥
⎢ ⎥ ⎢ ⎥
⎣ qr (CK ) ⎦ ⎢ pr (CK ) = ∑ prj ⎥
⎢⎣ j∈C K ⎥⎦
-1
La matrice N = (I –T) , appelée matrice fondamentale, joue un rôle important dans
l’étude des chaînes de Markov absorbantes. A noter que, dans la pratique, il est parfois
plus facile de résoudre le système linéaire que d’inverser la matrice (I –T). Cependant
la matrice fondamentale donne plus d’informations sur la chaîne de Markov.

29
Ecole Militaire Polytechnique Chapitre3

b) Durée moyenne de séjour dans l’ensemble des états transitoires

Soit t n la durée moyenne de séjour dans l’ensemble des états transitoires partant de l’état
n ∈ T.
En suivant le même raisonnement que pour le calcul de la probabilité d’absorption, on peut
écrire:
t n = ∑ pnj (t j + 1) + ∑ pnj
J ∈T j∈C

tn = ∑p
J ∈T
t +
nj j ∑p
J ∈T
nj + ∑p
j∈C
nj

tn = ∑p
J ∈T
t +1
nj j n= 1, 2, …., r

On considère que le fait que le système part d’un état transitoire compte pour un séjour.
En écrivant le système précédent sous forme matricielle, on obtient :

t = T .t + U ⇔ ( I − T ) t = U

Ou encore t = (I – T)-1U (13)

Le vecteur colonne, t de dimension r contient les temps moyens de séjours dans les états
transitoires selon l’état initial.
U est un vecteur colonne de dimension r dont chaque composante est égale à 1

Remarque 5
La relation précédente montre que le temps moyen de séjour dans l’ensemble des états
transitoires, partant de l’état n, est égal à la somme des éléments de la nième ligne de la matrice
fondamentale.
On démontre également que l’élément (n , n’) de la matrice fondamentale N représente le
temps moyen t nn’ de passages (avant l’absorption) par l’état transitoire n’ partant de l’état
transitoire n. Ce qui signifie que, partant de l’état transitoire n, le temps moyen de séjour dans
l’ensemble des états transitoires avant l’absorption est égal à la somme des nombres moyens
de passages par chaque état transitoire.
Preuve
On a vu que les éléments de la matrice Ti tendent vers 0 quand i tend vers . Donc, la
matrice fondamentale N peut s’écrire :
N = (I – T)-1 = I + T + T2 + … =
Soit Xi une chaîne absorbante telle que X0 = n, (n transitoire), et posons :
⎧1 si X i = n'
Yi = ⎨
⎩0 sin on
∞
Yi est une VA de Bernoulli de distribution Pnn( i ') et la série ∑Y
i =0
i représente le nombre de

visites de n’ lorsque l’état initial est n. le nombre moyen de passage par n’, est donc :
∞ ∞ ∞
t nn ' = E( ∑ Yi ) = ∑ E (Yi ) = ∑P (i )
nn ' = élément (n,n’) de la matrice fondamentale N
i =0 i =0 i =0

30
Ecole Militaire Polytechnique Chapitre3

Si PT(0) est le vecteur initial des états transitoires, alors la moyenne du nombre total de visites
d’un état transitoire n avant l’absorption est le nième élément de du vecteur PT(0)N. De plus le
nombre moyen de transitions pendant lesquelles le système est dans l’ensemble des états
transitoires est PT(0) t .

Remarque 6
la durée moyenne de séjour dans les états transitoires peut être vue comme une variable
aléatoire t prenant les valeurs, t1 , t 2 …, avec les probabilités p1(0), p2(0), …

IV. n∈ Ck et n’ ∈ Ck
3.9 Etude des chaînes de Markov irréductibles

pnn`(i) ne dépend que de la matrice irréductible mk de sorte qu’on peut étudier séparément la
chaîne stochastique dont elle est la matrice. Le graphe correspondant est un sous graphe
fortement connexe du graphe initial. On distingue deux types de chaînes irréductibles

1) Les chaînes périodiques (rares dans la pratique)

Un état n d’une chaîne de Markov est périodique de période (d > 1) si

a) pnn(i) = 0 sauf pour i = 0 et peut être i = kd , k = 1 , 2 , …..

Autrement dit pnn(i) > 0 ⇒ i multiple de d
b) d est le plus grand entier qui vérifie la propriété (a)
Les deux propriétés a) et b) signifient que, dans le graphe de transitions, d est le pgcd des
longueurs (en nombre d’arcs) de tous les circuits passant par n.
S’il n’existe pas d’entier d > 1 vérifiant cette propriété, l’état n sera dit apériodique. Il en
est ainsi en particulier si pnn> 1 (le graphe comporte une boucle). On démontre que si, dans
une chaîne irréductible, il existe un état périodique de période d, tous les états sont
périodiques et ont la même période d : la périodicité est donc une propriété de classe.
Le graphe de transitions associé à une chaîne périodique ne comprenant pas de boucles
(donc chaque transition correspond à un arc), il s’en suit que les deux conditions
i) (pnn(d) > 0 )
ii) il existe un circuit de longueur d, au sens du nombre d’arc, passant par n sont équivalentes.
Par ailleurs, s’il existe deux chemins L1 et L2 de n à n’ de longueurs d1 et d2, alors d1 = d2
mod d.
En effet, soit d3 la longueur d’un chemin L3 de n’ à n. On a : L1 et L3 forment un circuit,
de même L2 et L3 forment un circuit ; donc :
d1 + d3 = 0 mod d et d2 + d3 = 0 (mod. d), donc d1 – d2 = 0 (mod. d)
Ou encore d1 = d2 (mod d)
Appelons dnn’ la distance modulo d entre n et n’ et soit R, la relation définie sur E par :
n R n’ ⇔ dnn’ = 0 (mod. d) (1)
Cette relation est une relation d’équivalence, car elle est
i) Réflexive car dnn = 0
ii) Symétrique car dnn’ + dn’n = 0, donc si dnn’ = 0 (nRn’) alors dn’n = 0 (n’Rn).
iii)Transitive dnk = 0 (nRk) et dkn’ = 0 (kRn’) ⇒ dnn’ = 0 (nRn’).
Cette relation d’équivalence partitionne l’ensemble E des états en d classes d’équivalence :
E0, E1,…Ed-1
En prenant alors comme base un certain état n ∈ E0, l’état n’ ∈ Er (0 ≤ r < d) si la longueur
d’un chemin de n à n’ est égale à r (mod. d) ; ceci signifie que si à une certaine date le
système est dans l’un des états de Er, il est nécessairement dans l’un des états de Er+1 à la date

31
Ecole Militaire Polytechnique Chapitre3

suivante (E0 si r = d-1). Autrement dit, le système parcourt, d’une façon cyclique, les d classes
E0, E1,…., Ed-1. En termes de graphe, ceci signifie que tous les successeurs d’un sommet de la
classe Er sont nécessairement dans la classe Er+1 ou dans E0 si r = d-1.
En résumé, pour déterminer la périodicité d’une chaine de Markov irréductible, on considère
un état n quelconque et on calcule d = PGCD des longueurs (en nombre d’arcs) des circuits
passant par cet état. Si d > 1, l’état n est périodique de période d et donc tous les états de la
chaine sont périodiques de période d.
Pour déterminer les classes d’équivalence, il suffit de prendre un état n quelconque et de
déterminer tous les états qui lui sont équivalents (distance par rapport n = 0 (mod.d)) et on
répète la procédure pour les états restants.

Exemple 10
Soit la chaîne
1 2 3 4 5 6
1 0 1 0 0 0 0
2 0 0 1 0 0 0 1 2 3
3 .4 0 0 .6 0 0
M = 4 0 0 0 0 1 0
5 0 0 0 0 0 1
6 1 0 0 0 0 0 4 5 6

G est fortement connexe donc la chaîne est irréductible.

Prenons l’état 1. Les circuits élémentaires passant par 1 sont 1231 et 1234561 de PGCD = 3.
Donc l’état 1 (ainsi que tous les états) est périodique de période 3.
Donc, le graphe G est périodique de période d = 3
E0 = {1 , 4 } ; E1 = {2 , 5 } ; E2 = {3 , 6 }
En permutant les lignes et les colonnes, la matrice M s’écrit

1 4 2 5 3 6
1 0 0 1 0 0 0
4 0 0 0 1 0 0
2 0 0 0 0 1 0
M1 = 5 0 0 0 0 0 1
3 0.4 0.6 0 0 0 0
6 1 0 0 0 0 0

1 4 2 5 3 6
1 0 0 0 0 1 0
4 0 0 0 0 0 1
2 .4 .6 0 0 0 0
2
( M1) = 5 1 0 0 0 0 0
3 0 0 0 0 .4 .6

32
Ecole Militaire Polytechnique Chapitre3

6 0 0 0 0 1 0
1 4 2 5 3 6
1 .4 .6 0 0 0 0
4 1 0 0 0 0 0
2 0 0 .4 .6 0 0
3
(M1) = 5 0 0 1 0 0 0
3 0 0 0 0 .4 .6
6 0 0 0 0 1 0

(M1)4, a la même forme que M1

Pour tout entier k > 1, M1(3k+1) donne une matrice de la forme M1 ; M1(3k+2) donne une matrice
de la forme (M1)2 et M1(3k) donne une matrice de la forme (M1)3. On en conclut que lim Mi
i →∞
(i )
n’existe pas et donc lim P nn ' n’existe pas également.
i →∞

La matrice diagonale par bloc, D = (M1)3 est la matrice de transitions d’une chaîne de Markov
composée de trois sous chaînes irréductibles apériodiques, chacune d’elles ayant pour
ensemble d’états l’une des classes Er.
Ce résultat est général : dans une chaîne irréductible de période d, la matrice D = Md contient
les matrices de transitions de d sous chaînes, chacune d’elles étant irréductible apériodique
ayant pour ensemble d’états l’une des classes Er. Si on regroupe, au préalable, les états par
classe alors la matrice D = Md sera composée de d sous matrices stochastiques ayant leurs
diagonales superposées à celle de D. En utilisant la matrice D (ceci revient à considérer la
matrice M aux dates di, i = 1, 2,…), on obtient d sous chaînes irréductibles apériodiques,
chacune d’elles ayant pour ensemble d’états l’une des classes Er. La seule différence concerne
l’unité de temps qui est maintenant égale à la durée de d transitions de la chaîne initiale. D’où
le résultat :
⎧d
( id + j ) ⎪ si n'∈ E r + j mod(d )
Si n ∈ Er, lim Pnn ' = ⎨ u n'
i →∞
⎪⎩ 0 sin on
µ n ' est le temps moyen de retour en n’ dans la chaîne initiale

2) Les chaînes de Markov irréductibles apériodiques (ergodiques ou régulière)

Le régime permanent

On dit qu’une chaîne de Markov est régulière si :

lim [p(i)] = [p( ∞ )] = [p] = [p1,p2 ,………………..,pN] (14)
i→∞

C’est-à-dire les probabilités d’états tendent vers des valeurs limites p1,p2 ,…………….,pN
strictement positives indépendantes de la distribution initiale p1(0),p2(0),………., pN(0). Dans
ce cas, la matrice correspondante est dite régulière ou ergodique. On appelle régime
permanent celui qui correspond aux valeurs [p( ∞ )] dans le cas où le système a la propriété
ergodique.

33
Ecole Militaire Polytechnique Chapitre3

On démontre que si la matrice de transitions est irréductible apériodique, elle possède la

propriété ergodique.
Le régime permanent, lorsqu’il existe, s’obtient en constatant que :

lim [p(i)] = lim [p(i+1)]= [p( ∞ )] = [p].

i→∞ i→∞

Dans ce cas, la relation (5) P(i+1) = P(i)M, donne :

[p] = [p]M (15)
Ou encore
[ P ]D = 0 ⎫
⎪
N
= 1⎬
∑1 pi
(16)
⎪⎭
Avec
D=M– I
La relation (15) montre que [p] est vecteur propre à gauche associé à la valeur propre 1. Donc
1 est toujours valeur propre de M. Les probabilités d’états en régime permanent sont obtenues
en résolvant le système linéaire (16). On démontre que si la matrice M est régulière alors :

i
⎡ p11 p12 ...... p1N ⎤ ⎡ p1 p2 ..... pN ⎤
⎢p p22 ...... ⎥
p2 N ⎥ ⎢p p2 .... pN ⎥⎥
lim M = lim ⎢ 21 = ⎢
i 1
i→∞ i→∞ ⎢ . . . . ⎥ ⎢. . . . ⎥
⎢ ⎥ ⎢ ⎥
⎣ pN 1 pN 2 ..... p NN ⎦ ⎣ p1 p2 .... pN ⎦

Pour i suffisamment grand, Mi est formée par des lignes identiques au vecteur [p] quelque soit
le vecteur initial [p (0)] ; (le vecteur limite [p] est indépendant du vecteur initial [p (0)]).
i
On sait que les éléments de M sont les probabilités de transitions d’ordre i, pnn’(i). La relation
précédente montre que lim Pnn’(i) = Pn’ , ∀n
i→∞

Remarque 6 : En régime permanent, Pn, la probabilité de l’état n représente la fraction du

temps pendant laquelle le système est dans cet état. Cette propriété est à la base de l’étude
expérimentale des chaînes de Markov : on observe un phénomène pendant une période assez
longue pour permettre au régime stationnaire de s’instaurer et on note les fractions de temps
pendant lesquelles le système est dans tel ou tel état. Ces fractions sont assimilées aux
probabilités d’états correspondants.

Exemple 11
Etudier le comportement asymptotique de la chaîne dont la matrice de transition est la
suivante : 1/4
⎡ 3 1⎤
⎢0 3/4
4 4⎥ 1 2
⎢1 3⎥
M= ⎢ 0 ⎥
⎢4 4⎥ 1/4 3/4
⎢1 1 1⎥ 1/4 1/2
⎢⎣ 4 3
2 4 ⎥⎦ C1
1/4 C2
Remarque 7
Pour calculer les probabilités d’états en régime permanent, on peut utiliser avantageusement
le théorème des coupes (Bernard Lemaire) dont l’énoncé suit :

34
Ecole Militaire Polytechnique Chapitre3

Pour un processus de Markov homogène et permanent, la fréquence des transitions vers

l’extérieur de toute coupe C égale celle vers l’intérieur de C :

∑∑ P P
i∈C j∈C
i ij = ∑∑ P P j ji (17)
j∈C i∈C

C est un sous graphe connexe du graphe de transitions et C son complémentaire.

Un cas particulier de ce théorème correspond au cas où on considère la coupe correspondant à
un seul sommet. Le théorème s’énonce alors : pour tout sommet du graphe (état du système),
le flux entrant égale le flux sortant.

Remarque 8
Le régime permanent peut être atteint aussi pour des chaînes comportant une seule classe
finale apériodique et des états transitoires. Dans ce cas, les probabilités associées aux états
transitoires sont nulles.

3.9 Temps moyen du premier passage.

Pour les chaînes de Markov régulières, deux grandeurs sont intéressantes à étudier à cause de
leurs applications pratiques, ce sont
¾ le temps moyen du premier passage par un état n’ partant d’un autre état n
¾ la probabilité d’atteindre un état n1 avant un autre état n2, partant d’un état n
Le temps moyen du premier passage noté µ nn ' est le nombre moyen de transitions avant
d’attendre l’état n’, lorsque le système part de l’état n. Si n = n’ ce temps est appelé temps de
récurrence pour l’état n. Le calcul des µ nn ' peut se faire par trois méthodes.
1) Par calcul direct de la matrice V = [ µ nn ' ],
Pour calculer les éléments de la matrice V = [ µ nn ' ], on utilise le même raisonnement que pour
le calcul des probabilités d’absorption par les classes finales. Pour n et n’ donné, on peut
écrire
µ nn ' = ∑ p n k ( µ kn ' + 1) + p n 'n '
k ≠n'

= ∑p
k ≠n'
nk µ kn ' + 1
N
= ∑p
k =1
nk µ kn ' − p nn ' µ n 'n ' + 1
En écrivant cette relation pour tout n et n’, on obtient un système de N2 équations dont la
solution donne les µ nn ' . Sous forme matricielle, ce système s’écrit :

V = M(V-Vdiag)+V1 (18)

V1 est une matrice de 1 et Vdiag est une matrice qui a la même diagonale que V et zéros
ailleurs.
En multipliant cette relation par la distribution d’équilibre, on obtient :
[P]V =[P] M(V-Vdiag)+[P]V1
= [P] (V-Vdiag)+[P]V1
Compte tenu de la relation [P]M = [P], on obtient :

[P] Vdiag = [P]V1

Cette relation montre que

35
Ecole Militaire Polytechnique Chapitre3

N
1
pn µ nn = ∑p
k =1
k =1 Pn =
µ nn
. ∀n (19)

Les probabilités d’équilibre sont égales à l’inverse du temps moyen de récurrence.

Cette méthode permet de calculer le temps moyen du premier passage par n’importe quel état
de la chaîne partant de n’importe quel état mais exige beaucoup de calculs car elle nécessite la
résolution d’un système linéaire de N2 équations.

2) En rendant l’état n’ absorbant

Le temps moyen du premier passage de l’état n à l’état n’ peut aussi être obtenu en rendant
l’état n’ absorbant (les autres états sont alors transitoires) et en calculant le temps moyen de
séjour dans l’ensemble des états transitoires sachant que l’état initial est l’état n. Ceci revient
à supprimer, dans le graphe de transitions, tous les arcs sortant de n’ et à ajouter la boucle
(n’,n’) de valeur 1.
Dans la matrice de transitions, on met tous les éléments de la ligne n’ à zéro sauf l’élément
(n’,n’) = 1. Cette méthode est plus facile à mettre en œuvre mais elle n’est valable que pour n’
donné et ne permet pas le calcul du temps moyen de récurrence µ nn . Par contre elle donne des
informations supplémentaires puisque l’élément (n,n1) de la matrice fondamentale représente
le nombre moyen de passages par l’état n1 avant d’atteindre l’état n’ lorsque le système part
de l’état n.
3) En ajoutant un état absorbant n1
On associe au problème initial la matrice de transitions suivante :

n1 1 …….. n’ …………N

n1 1 0 0 0

1
.
Mn’ = . mn’ mg 0 md
n’
.
.
N

[ mg, mn’, md] = M est la matrice initiale de transitions. Le graphe de transitions associé à Mn’
est obtenu en réorientant les arcs pointant vers n’, avec leurs valeurs, vers le sommet n1. La
chaîne décrite par Mn’ possède un état absorbant n1et tous les états de la chaîne initiale sont
transitoires. Il est clair (par construction) que, partant d’un état n ≠ n’, le premier passage par
l’état n’ dans la chaîne initiale correspond à l’absorption par l’état n1 dans la chaîne associée à
Mn’. Donc le vecteur µ n ' contenant les temps moyens du premier passage par l’état n’, compte
tenu de l’état initial, est donné par la somme des lignes de la matrice fondamentale associée à
la matrice Mn’ :
µ n ' = t n ' = (I-Tn’)-1U (20)
Tn’ est la matrice de transitions entre les états transitoires de la chaîne de Markov décrite par
la matrice Mn’. En répétant cette opération pour chacun des autres états, on obtient la matrice
V des temps moyens du premier passage.

36
Ecole Militaire Polytechnique Chapitre3

Il y a lieu de noter que ces deux dernières méthodes donnent de l’information supplémentaire
puisque l’élément t nk de la matrice fondamentale représente le temps moyen pendant lequel
le système passe par l’état k avant d’atteindre l’état n’ sachant que l’état initial est n.

Remarque 9
Une autre notion d’intérêt pratique est la probabilité d’atteindre un état n1 avant un autre état
n2, lorsque l’état initial est n. Pour calculer cette probabilité, on rend les deux états n1 et n2
absorbants et on calcule la probabilité d’absorption par chacun des deux états n1 et n2.

Exemple 12
Une entreprise utilise une machine dont l’état d’usure, chaque matin, est l’un des suivants :
neuve (1), usagé (2), usé (3), en panne (4). Chaque matin où la machine se trouve en panne,
soit elle est réparée et se trouver le lendemain dans l’état (2), soit elle est remplacée par une
neuve.
Le processus de vieillissement de la machine est modélisé par une chaîne de Markov dont la
matrice de transition est la suivante:

1 2 3 4

1 .6 .2 .1 .1

2 0 .7 .2 .1
M =
3 0 0 .8 .2

4 0 5. 0.5 0 0

.
µ14 , le temps moyen de premier passage par l’état 4 lorsque l’état initial est l’état 1
correspond à l’espérance de vie d’une machine neuve. Pour le calculer, on peut utiliser la
première méthode; dans ce cas on doit résoudre un système de 4x4 = 16 équations linéaires,
ce qui nécessite beaucoup de calculs.
Utilisons la deuxième méthode :
On rend l’état 4 absorbant. La matrice correspondante est :

1 2 3 4

1 .6 .2 .1 .1

2 0 .7 .2 .1
M4 =
3 0 0 .8 .2

4 0. 0 0 1

La matrice de transition entre les états transitoires est :

37
Ecole Militaire Polytechnique Chapitre3

1 2 3
1 .6 .2 .1

T1 = 2 0 .7 .2

3 0 0 .8

Dont la matrice fondamentale est :

1 2 3
1 2.5 1.66 2.92

N1 = (I-T1)-1 = 2 0 3.33 3.33

3 0 0 5

La durée de vie pour une machine neuve est µ14 = 7.08 égale la somme des éléments de la
première ligne de N1.
De même, la durée de vie pour une machine usagée est µ 24 = 6.67 égale la somme des
éléments de la deuxième ligne de N1.
Les éléments de la matrice fondamentale N1 nous donnent des informations intéressantes sur
le processus de vieillissement de la machine. Ainsi n13 = 2.92 signifie qu’une machine neuve
passe en moyenne 2.92 fois par l’état usé (3) avant de tomber en panne. L’élément n21 = 0
nous renseigne qu’une machine usagée ne devienne jamais neuve.
Ces informations ne peuvent pas être obtenues par la première méthode.
Utilisons maintenant la troisième méthode :

4’ 1 2 3 4

4’ 1 0 0 0 0

1 0.1 0.6 0.2 0.1 0

M4’ = 2 0.1 0 0.7 0.2 0

3 0.2 0 0 0.8 0

4 0 0.5 0.5 0 0

La matrice fondamentale associée est

1 2 3 4

1 2.5 1.67 2.92 0

2 0 3.33 3.33 0
N2 = (I-T2)-1 =
3 0 0 5 0

4 1.25 2.5 3.13 1

38
Ecole Militaire Polytechnique Chapitre3

Les temps moyen de passage par l’état 4 sont contenus dans le vecteur
µ 4 = [ µ1 4 µ 2 4 µ 3 4 µ 4 4 ] = [7.08 6.67 5 7.88]
La matrice fondamentale N2 nous donne, en plus des informations fournies par N1, µ 44 le
temps moyen de retour dans l’état 4. Cette information nous fournit, sans faire de calcul, la
probabilité stationnaire de l’état 4 par la relation P4 = 1/ µ 44 = 1/7.88 = 0.13
En outre, les éléments de la colonne 4 signifient que le nombre moyen de passages par l’état 4
avant d’atteindre l’état 4 est nul sauf si on part de l’état 4 lui-même.

39
Ecole Militaire Polytechnique Chapitre3

3.10 Exercices

1) Soit une chaîne de Markov dont la matrice de transitions M suit :

1 2

1 .85 .15

M=

2 .35 .65

a) Tracer le graphe de transitions.

b) Diagonaliser la matrice M
c) Calculer les puissances successives de M.
d) La distribution initiale étant [p(0)]= [0.4 0.6], calculer la distribution après une, deux, n
transitions.
e) En déduire le comportement asymptotique de M.

2) On considère la chaîne de Markov dont la matrice de transition M suit:

1 2 3

1 0 1-p p

M= 2 1 0 0

3 0 q 1-q

a) Tracer le graphe de transition de la chaîne.

b) Donner les conditions sur p et q pour que la chaîne soit irréductible et apériodique.
c) Déterminer la nature de la chaîne selon les valeurs de p et q.
d) Calculer les probabilités d’états en régime permanent (lorsque celui-ci existe).

3) Un joueur possède un DA et en a besoin de 5 DA. Pour acquérir l’argent qui lui manque, il
participe au jeu de hasard suivant : à chaque coup, la somme misée sera gagnée avec la
probabilité p et perdue avec la probabilité q = 1-p. Il décide alors de jouer à chaque fois la
somme qui le rapprocherait le plus de 5 DA sans toutefois la dépasser. Evidemment, il ne
peut pas miser plus d’argent qu’il n’en possède. Le jeu se poursuit jusqu’à ce qu’il
obtienne la somme désirée ou qu’il perde tout.
a) Modéliser la fortune du joueur par une chaîne de Markov.
b) On suppose désormais p = q = 0.5, calculer la probabilité que le joueur obtienne la somme
désirée.
c) Calculer la durée moyenne du jeu.
d) Quel est le nombre moyen de fois où le joueur possède 2 DA, 3, 4.
Le vecteur d’état initial est étant [P(0)] = [ 0, 0.3, 0.2, 0.3, 0.2, 0]
e) Calculer la durée moyenne du jeu
f) Quel est le nombre moyen de fois où le joueur possède 1 DA, 2, 3, 4.

40
Ecole Militaire Polytechnique Chapitre3

4) Une entreprise utilise une machine dont l’état d’usure est l’un des suivant : neuve (N), usé
(U), très usé (TU), inutilisable (I).
Le processus de vieillissement de la machine est modélisé par une chaîne de Markov dont
la matrice de transitions est la suivante:

N U TU I

N .6 .2 .1 .1

U 0 .7 .2 .1
M =
TU 0 0 .8 .2

I 0 0 0 1

a) Tracer le graphe de transitions correspondant.

b) Décomposer la chaîne et donner la nature de chaque état
c) Le régime permanent peut il être atteint. Si oui, donner les probabilités d’états
correspondants.
d) Calculer la durée moyenne d’une machine neuve.
L’entreprise décide de déclasser la machine dès que celle-ci devienne très usée.
e) Modéliser le vieillissement de la machine par une chaîne de Markov, compte tenu de cette
décision :
f) Refaire les questions a, b, c et d.
g) Quelle est la probabilité, pour une machine neuve, d’atteindre l’état (I) avant l’état (T).

5) une machine peut se trouver, chaque matin, dans l’un des trois états :
9 L’état 1 correspond à un état de fonctionnement parfait.
9 L’état 2 correspond à un état de fonctionnement passable.
9 L’état 3 correspond à une machine inutilisable.
Les probabilités de transition entre les trois états sont données par la matrice M :

1 2 3

1 0.95 0.05 0

M= 2 0 0.9 0.1

3 1 0 0

p31= 1 signifie que chaque matin où la machine se trouve inutilisable, elle subit une révision
complète pendant la journée (ne travaille pas) et sera en parfait état le lendemain.
a) Modéliser l’évolution de l’état de la machine par une chaîne de Markov. Tracer le graphe
de transitions. Quelle est la nature de la chaîne. Le régime permanent peut-t-il s’instaurer.
b) Calculer les probabilités d’états en régime permanent, dans le cas où celui-ci existe.
c) Quelle est la fraction du temps pendant laquelle la machine est en parfait état.
d) Sachant que la machine est en parfait état, quel est le temps moyen jusqu’à la prochaine
panne.

41
Ecole Militaire Polytechnique Chapitre3

e) Les productions journalières selon l’état de la machine sont: P = (1000, 800, 0), calculer la
production journalière moyenne.

6) Soit une chaîne de Markov à 5 états donnée par sa matrice de transition :

1 2 3 4 5

1 ⎡1 0 0 0 0⎤
⎢ ⎥
⎢ ⎥
2 ⎢.2 .5 0 0 .3 ⎥
⎢ ⎥
⎢ ⎥
M= 3 ⎢1 0 0 0 0⎥
⎢ ⎥
⎢ ⎥
4 ⎢0 .5 0 .5 0⎥
⎢ ⎥
⎢ ⎥
⎢0 .25⎥⎦
5 ⎣ .75 0 0

a) Tracer le graphe de la chaîne et qualifier ses différents états.

b) Donner le vecteur d’états en équilibre statistique si celui-ci peut s’instaurer.
c) L’état initial de la chaîne est 2, quelle est la distribution des états au bout d’un intervalle
de temps, au bout de deux.
d) Combien de temps lui faut-il, en moyenne, pour atteindre l’état 1. Quelle est la probabilité
de cet évènement.
e) Quel est le nombre moyen de passages par l’état 5 avant d’atteindre l’état 1.

7) Les études dans une école durent trois années. A l’issue de chaque année, chaque élève a
une probabilité P d’être admis en année supérieure (ou d’obtenir le diplôme), q de
redoubler et r d’être renvoyé.
a) Modéliser le cursus d’un élève par une chaîne de Markov à 5 états.
b) Tracer le graphe de transitions.
c) Calculer la durée moyenne des études.
d) Calculer la probabilité qu’un élève obtienne son diplôme (et la probabilité d’abandonner
les études) selon son état dans le cursus.
e) Pour chacune des années d’entée, quelle est la loi de probabilité de la durée de séjour
dans cette année (classe).
f) Calculer, pour chacune des années, la probabilité d’atteindre la classe immédiatement
supérieure. En déduire la probabilité qu’un élève de première année atteigne la troisième
année.

8) dans une université, les études de magister durent deux années normalement (une année de
cours et une année de thèse). Certains étudiants requièrent une année supplémentaire.
Celui qui ne soutient pas sa thèse au bout de trois années, il n’obtient pas son diplôme. A
la fin de chaque année, chaque étudiant soit il passe en année supérieure soit il est renvoyé
(pas de redoublement). D’après les statistiques de l’université, on a établi le tableau
suivant qui donne les estimations des probabilités de passage d’une année à l’autre.

42
Ecole Militaire Polytechnique Chapitre3

2 3 renvoyé Diplôme
1 3/4 0 1/4 0
2 0 2/10 1/10 7/10
0 0 1/5 4/5
a) Modéliser le cursus d’un étudiant par une chaîne de Markov
b) Déterminer la probabilité qu’un étudiant d’un niveau donné, obtienne son diplôme ou
échoue.
c) S chaque année on admet 100 candidats en 1ère année, donner la taille moyenne des
groupes aux différents niveaux.

43