EPFL RECHERCHE OPÉRATIONNELLE

Institut de Mathématiques MA/IN

J.-F. Hêche ÉTÉ 2004

SÉRIE D’EXERCICES 16

Les énoncés des séries et leurs corrigés ainsi que les copies des présentations sont disponibles
sur le site du cours : http://roso.epfl.ch/cours/ro/2003-2004

Problème 1
Soit la chaı̂ne de Markov donnée par le graphe représentatif suivant :
1

3 5
1/2

1/4 1/2
1
3/4 2/3
1/3
2 4
1
a) Déterminer la période d de la chaı̂ne de Markov.
b) Calculer la matrice P d .
c) Déterminer les classes disjointes de cette chaı̂ne de Markov et trouver les distributions
stationnaires associées.

Problème 2
Soit la chaı̂ne de Markov à temps discret définie par la matrice de transition
 
1/3 0 0 2/3 0 0
 0 0 0 0 1 0 
 
 0 1/2 1/2 0 0 0 
P = 
 1/4 1/2 0 0 0 1/4  
 0 1/4 3/4 0 0 0 
0 0 0 0 0 1

a) Classifier complètement la chaı̂ne et ses états.

b) Si, à l’instant n = 0, le processus se trouve dans l’état 1, quelle est la probabilité qu’il
visite l’état 5 une infinité de fois?

Remarque. Les états du processus sont numérotés de 1 à 6.

Problème 3 Le modèle d’Ehrenfest

Considérer deux urnes contenant initialement b billes chacune. À chaque étape, une bille est
choisie au hasard et déplacée d’une urne dans l’autre. La suite {X n , n = 0,1, . . .}, où Xn
représente le nombre de billes dans la première urne, est une chaı̂ne de Markov. Déterminer la
matrice de transition de cette la chaı̂ne.

1
Problème 4
Une entreprise doit gérer le stock d’un produit par une politique (s,S). Soit X t le niveau du
stock au début de la période t. Une décision de réapprovisionnement est prise selon une politique
(s,S) : 
S si Xt ≤ s
Yt =
Xt si Xt > s
où Yt est le niveau du stock juste après le réapprovisionnement (que l’on suppose immédiat). La
demande Dt du produit au cours de la période t est une variable aléatoire discrète indépendante
du niveau du stock Xt0 , pour tout t0 ≤ t. Cette demande est prélevée du stock (X t+1 = Yt − Dt
peut donc être négatif en cas de rupture de stock).

a) Montrer que les processus {Xt ,t = 0,1, . . .} et {Yt ,t = 0,1, . . .} constituent des chaı̂nes de
Markov.
b) Les demandes Dt sont des variables de distribution P [D t = k] = ak (k = 0,1,2,3) où
(ak ) = ( 18 38 38 81 ). On pose s = 1 et S = 3.
(i) Donner la matrice de transition et la distribution stationnaire de {Y t ,t = 0,1, . . .}.
(ii) Donner la matrice de transition de {X t ,t = 0,1, . . .} et vérifier que sa distribution
3 1 3 3 7
stationnaire est πXt = ( 80 5 8 10 80 ).
c) Si l’on appelle X la variable aléatoire correspondant au niveau du stock dans le régime
stationnaire de ce cas particulier, calculer le niveau moyen du stock, c’est-à-dire E[X + ],
où X + = max(0,X). Quelle est alors la probabilité de tomber en rupture de stock?

Problème 5
Soit la chaı̂ne de Markov à temps discret définie par le graphe de transition suivant :

1
1/2 1 4 6
1/2
1

1/4
1/4 3 1/8
1/8
3/4 3/4
3/4 2 5 7 1/2
1/2

a) Donner la matrice de transition de la chaı̂ne.

b) Classifier complètement les états, les classes et la chaı̂ne.
c) Quel est le nombre moyen de transitions entre deux visites successives de l’état 3?
d) Partant de l’état initial 7, quel est le nombre moyen de transitions avant d’atteindre un
état persistant?

23 mars 2004 – JFH/sp