Exercice1

Soit (𝑋𝑛 )𝑛≥0 une suite de variables aléatoires indépendantes et identiquement distribuée
de loi Gamma et Y une variable aléatoire telle que 𝑌; 𝑋0 ; … . ; 𝑋𝑛 ; … .. soient des
variables aléatoires indépendantes.

𝑍0 = 𝑌
On pose {
𝑍𝑛+1 = 𝑋𝑛2 𝑐𝑜𝑠(𝑍𝑛 )

1. Démontrer que (𝑍𝑛 )𝑛≥0 est une chaine de Markov

𝑋𝑛3 +𝑋𝑛2 +𝑋𝑛 +1
2. Même question pour (𝑊𝑛 )𝑛≥0 où 𝑊0 = 𝑌 et 𝑊𝑛+1 =
𝑒 𝑋𝑛 +𝑒 −𝑋𝑛

Exercice2
On considère un combat de deux soldats ayant les mêmes habilités de tel sorte que :

 Quand un soldat est sain, les probabilités des différents cas sont résumées dans le
tableau suivant
Rater son adversaire Atteindre mortellement Atteindre corporellement
son adversaire son adversaire
1 1 1
3 3 3
 Quand un soldat est blessé, les probabilités des différents cas sont résumées dans
le tableau suivant
Rater son adversaire Atteindre mortellement Atteindre corporellement
son adversaire son adversaire
1 1 1
2 4 4
On désire modéliser cette situation par une chaine de Markov ; pour cela on convient de
coder les états comme suit :

o Les deux soldats sont sains par SS

o Les deux soldats sont blessés par BB
o Les deux soldats sont morts par MM
o Un des deux soldats est mort et l’autre sain par SM
 o Un des deux soldats est mort et l’autre blessé par MB
o Un des deux soldats est blessé et l’autre sain par SB
1. Déterminer le graphe de transition issue de cette situation
2. En considérant l’espace des états 𝐸 = {SS; SB; BB; SM; MM; MB} dans cet ordre ;
déterminer la matrice de transition de ce modèle
3. Etudier les classes de cette chaine
4. En déduire une représentation graphique des classes.

Exercice3
On veut étudier l’effet de la présence d’un couple de lions dans une portion de savane
dans laquelle cohabitent trois populations d’animaux dont les lions se nourrissent. On
modélise les animaux mangés, antilopes (a), gnous (g) et zèbres (z) comme les états
d’une chaîne de Markov dont les trajectoires sont des successions de proies mangées par
les lions, comme par exemple (gzzaggaa). On fait l’hypothèse que la probabilité qu’un
lion mange une proie a (ou g ou z) après avoir mangé une proie g (ou a ou z) ne dépend
pas de ce qu’il avait mangé avant g (ou a ou z) et que cette probabilité est invariante au
cours du temps. D’où la modélisation par une chaîne de Markov d’espace d’états

𝑆 = {𝑎, 𝑔, 𝑧} et dont on propose la matrice de transition suivante :

0.5 0.1 0.4

ℚ = [0.2 0.3 0.5]
0.2 0.2 0.6

1. Quelle est, selon ce modèle, la probabilité que les lions mangent un zèbre après
avoir mangé une antilope ?
2. Des deux trajectoires suivantes, (gazg) et (gzag), quelle est la plus probable ?
Justifier votre réponse par un calcul.
3. La distribution 𝜋0 suivante est-elle une distribution stationnaire pour la chaîne de
Markov des animaux successivement mangés par les lions ? Justifier votre
réponse.
E a g z
𝜋0 6 4 11
21 21 21
 4. Justifier que cette chaine de Markov admet une unique distribution limite.
5. Si au départ la nourriture des lions se composait pour 3/4 de zèbres, cette
proportion dans leur régime alimentaire va-t-elle, selon ce modèle, diminuer,
augmenter ou rester constante ? Expliquer.

Exercice4 .
On considère une file d’attente avec 0 clients à l’instant 0 et on suppose que, à chaque
instant n, un client est retiré de la file d’attente et 𝑌𝑛 nouveaux clients se présentent, où
(𝑌𝑛 )𝑛≥0 est une suite de v.a. iid de loi 𝑞 sur ℕ.

1. Exprimer 𝑋𝑛+1 en fonction de 𝑋𝑛 𝑒𝑡 𝑑𝑒 𝑌𝑛+1 où 𝑋𝑛 est le nombre de clients à

l’instant n.
2. Montrer que la suite (𝑋𝑛 )𝑛≥0 des nombres de clients aux instants successifs est
une chaîne de Markov.
3. On suppose que la loi de 𝑌0 est donnée par le tableau suivant
𝑌0 0 1 2
ℙ(𝑌0 = 𝑘) 1 1 1
3 2 6
Déterminer les termes de la matrice de transition de cette chaîne.

Exercice 5
Une souris se déplace dans le labyrinthe de la figure ci-dessous. Initialement, elle se
trouve dans la case 1. A chaque minute, elle change de case en choisissant, de manière
équiprobable, l’une des cases adjacentes. Dès qu’elle atteint soit la nourriture (case 4),
soit sa tanière (case 5), elle y reste.
 1. Donner le graphe de transition de cette situation ainsi que la matrice de transition.
2. Déterminer la probabilité que la souris atteigne la nourriture?
3. Au bout de combien de temps atteint-elle sa tanière?

Exercice6
Anatole et Barnabé jouent à la variante suivante de Pile ou Face. Ils jettent une pièce de
monnaie (parfaitement équilibrée) de manière répétée.

Anatole gagne dès que la pièce tombe trois fois de suite sur Face, alors que Barnabé
gagne dès que la suite Pile-Face-Pile apparaît.

Pour modéliser cette situation après avoir effectué deux jets ; on considère l’espace des
états 𝐸 = {𝑃𝑃; 𝑃𝐹; 𝐹𝑃; 𝐹𝐹, 𝐴 𝑔𝑎𝑔𝑛𝑒; 𝐵 𝑔𝑎𝑔𝑛𝑒} Où par exemple PP signifie que la
pièce est tombée sur Pile lors des deux derniers jets.

1. Déterminer le graphe de transition

2. Déterminer la matrice de transition
3. Classifier les états.
Exercice 7: Promenade du scarabée sur un tétraèdre.

Partant du sommet 1, à chaque unité de temps, le scarabée passe d'un sommet à un

autre, quelconque.
Déterminer:
1. le temps moyen mis par le scarabée pour atteindre le sommet 4.
2. la probabilité d'atteindre le sommet 4 s'il y a de la colle au sommet 2.
3. la distribution limite si elle existe.
Exercice 8
Soit une chaîne de Markov de matrice:
0 0 1 1
2
1 0 0 0
Q 2 1
0 3 0 2
0 1 0 0
3

1 - Construire le graphe de la chaîne. En donner les classes et leur statut.

2 - Etudier la périodicité de la chaîne.
3 - Etudier sa convergence.
Exercice 9
C’est un système motivé par la physique, qui a été introduit pour modéliser de manière
simple la répartition d’un gaz entre deux récipients. N boules, numérotées de 1 à N, sont
réparties sur deux urnes A et B. De manière répétée, on tire au hasard, de façon
équiprobable, un numéro entre 1 et N, et on change d’urne la boule correspondante.
On suppose que 𝑁 = 3 et on désire modéliser cette situation par le nombre de boule dans
l’urne A.

1. Déterminer le graphe et la matrice de transition.

2. Etudier la périodicité de la chaine
3. Etudier la convergence de la chaine
4. La chaine admet-elle une distribution limite ? justifier votre réponse.

Exercice 10
Un individu vit dans un milieu où il est susceptible d’attraper une maladie par piqûre
d’insecte. Il peut être dans l’un des trois états suivants : ni malade ni immunisé (R),
malade (M) ou immunisé (I). D’un mois sur l’autre, son état peut changer selon les règles
suivantes : étant immunisé, il a une probabilité de 0,8 de le rester et de 0,2 de passer à
l’état R, étant malade, il a une probabilité de 0,25 de le rester et de 0,75 de devenir
immunisé, enfin, étant dans l’état R, il a une probabilité de 0,6 de le rester et de 0,4 de
tomber malade.

1. Donner la matrice de transition ℚ de la chaîne de Markov d’ensemble d’états

𝑆 = {𝐼, 𝑀, 𝑅} modélisant la population à laquelle appartient cet individu.
2. Calculer la proportion d’individus malades dans la population après un mois si 4%
des individus étaient malades au départ et les autres ni malades ni immunisés.
3. Le calcule ℚ2 . En déduire que la chaîne admet une distribution limite.
4. Déterminer cette distribution limite puis interpréter le résultat obtenu.
5. Que se passerait-il selon ce modèle dans une région où la proportion de malades
serait de 48% au départ ? Peut-on prévoir une épidémie dans ce cas ?

Exercice 11
On considère une boutique de reprographie contenant m photocopieuses que personne ne
sait réparer, fonctionnant toutes simultanément toute la journée.

Si, au début d'une journée, k photocopieuses fonctionnent, le nombre X de

photocopieuses tombant en panne pendant la journée est une variable aléatoire uniforme
sur {0,1,..., k}.
Quel est le délai moyen au bout duquel plus aucune photocopieuse ne fonctionne?

Exercice12
Dans un certain pays, il ne fait jamais beau deux jours de suite. Si un jour il fait beau, le
lendemain il peut neiger ou pleuvoir avec autant de chances. Si un jour il pleut ou il neige,
il y a une chance sur deux qu’il y ait changement de temps le lendemain, et s’il y a
changement, il y a une chance sur deux que ce soit pour du beau temps.

a) Former, à partir de cela, une chaîne de Markov et en déterminer sa matrice de transition.

b) Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain?

c) Si on suppose que l’on a que deux états (beau temps et mauvais temps), déterminer la
matrice de transition de la nouvelle chaîne ainsi obtenue.

Exercice 13
Un service de reprographie comprend deux photocopieuses fonctionnant
indépendamment l'une de l'autre. Chaque machine a une probabilité 1-p de tomber en
panne pendant la journée. Une seule machine peut être réparée à la fois. On s'intéresse au
nombre Xt de machines en panne au début de la t-ième journée.

1 - Dans cette question, on considère qu'une machine en panne sera réparée pendant la
journée suivante et se retrouvera à l'état de marche le lendemain.

a) Dessiner le graphe du processus {𝑋𝑡 , 𝑡 𝑁} ainsi que sa matrice de transition,

après avoir expliqué son caractère markovien. Classer les états du processus. Etudier la
périodicité.

b) Si, au départ, les deux machines fonctionnent, combien faudra-t-il de jours en

moyenne pour qu'elles soient toutes deux en panne?

c) Au bout d'un temps assez long, quelle proportion du temps global le service
passe-t-il à ne pas fonctionner?

2 - Dans cette question, on considère qu'une machine tombée en panne sera réparée au
cours des deux jours suivants.
 a) Vérifier que{𝑋𝑡 , 𝑡 𝑁} n'est plus markovien.

b) Construire un espace des états permettant de décrire ce processus par une

chaîne de Markov et donner son graphe de transitions.

Exercice14
Un radar est placé sur une route où il passe en moyenne 5 véhicules en excès de

vitesse par heure. On admet que ces véhicules forment un Processus de Poisson. Quelle
est la probabilité qu’au bout d’une demi-heure, une voiture exactement se soit arrêtée
sachant que :

a) dans le premier quart d’heure, aucune voiture n’a été prise et dans la première heure,
deux voitures ont été prises ;

b) la première heure, deux voitures ont été prises et dans les deux premières heures, trois
voitures ont été prises ;

c) dans les dix premières minutes, aucune voiture n’a été prise et dans le premier quart
d’heure, une voiture a été prise.

Exercice15
Les arrivées d’autobus à une station forment un processus de Poisson d’intensité 𝜆

Chaque autobus s’arrête un temps fixe 𝜏 à la station. Un passager qui arrive à un instant

𝜏0 monte dans le bus si celui-ci est là, attend pendant un temps 𝜏 ′ , puis, si l’autobus n’est
pas arrivé pendant le temps 𝜏 ′ quitte la station et s’en va à pied.

1. Calculer la probabilité que ce piéton ratte le bus.

2. En déduire la probabilité que le passager prenne l’autobus.

Exercice16
Sur une route à sens unique, l’écoulement des voitures peut être décrit par un
1
processus de Poisson d’intensité = 𝑠 −1 . Un piéton qui veut traverser la route a besoin
6
d’un intervalle d’au moins 4s entre 2 voitures successives. Calculer :
a) la probabilité pour qu’il attende ;
b) la durée moyenne des intervalles qui lui permettent de traverser la route ;
c) le nombre moyen de voitures qu’il voit passer avant de pouvoir traverser la route.

Exercice 17
On considère un appareil de comptage, qui dénombre les voitures sur une route, de flux
de poisson d’intensité 𝜆 ; l’appareil peut tomber en panne à l’instant T, où T est une
variable aléatoire de loi Gamma Γ(1; 𝛼).

Soit X le nombre de véhicules enregistrés par l’appareil jusqu’à ce qu’il tombe en panne.

1. Déterminer la loi de X
2. Calculer 𝔼(𝑋/𝑇 = 𝑡)
3. En déduire l’espérance de X.

Exercice18
Un système client-serveur reçoit en moyenne 1000 requêtes par seconde, arrivant selon
un processus de Poisson. Il dispose d’un unique serveur pouvant traiter en moyenne 2000
clients par seconde. On suppose que le temps de service d’un client est distribué selon la
loi exponentielle.

1. Calculer la probabilité que le temps de service dépasse 2 ms.

2. Représenter le diagramme pour un système ne comportant pas de file d’attente.
Quelle est le pourcentage de clients rejetés ?
3. Même question pour un système comportant une file d’attente d’une place.
Puis calculer le taux d’occupation du serveur.
4. Même question pour un système comportant une file d’attente de 2 places

Exercice19
Un système client-serveur reçoit en moyenne 1000 requêtes par seconde, arrivant selon
un processus de Poisson. A titre expérimental, on envisage un système sans file d’attente
mais comportant plusieurs serveurs de front. Lorsque tous les serveurs sont occupés, les
requêtes sont rejetées.
 1. Quelle est le pourcentage de clients rejetés pour un système comportant 1 serveur
traitant 4000 requêtes par seconde ?
2. Même question pour un système comportant deux serveurs traitant chacun 2000
requêtes par seconde.
3. Même question pour un système comportant quatre serveurs traitant chacun 1000
requêtes par seconde.

Exercice 20
On considère un processus markovien à espace d’états 𝐸 = {1; 2; 3; 4} de générateur
infinitésimal.

−2 1 1 0
2 −5 1 2
𝐿=[ ]
2 0 −3 1
0 0 1 −1

1. Représenter le processus sous forme de graphe.

2. Déterminer la distribution stationnaire du processus

Exercice 21
Un homme d’affaire voyage entre Paris, Bordeau et Marseille. Il passe dans chaque ville
1 1
un temps de loi exponentielle de moyenne de mois pour paris et Bordeaux et de de
4 5
1
mois pour Marseille avec la probabilité . S’il est à Bordeau, il va à Paris avec la
2
3 1
probabilité et à Marseille avec la probabilité . Après avoir visité Marseille, il retourne
4 4

toujours à Paris.

1. Donner le générateur du processus markovien décrivant l’itinéraire de l’homme

d’affaire
2. Déterminer la fraction du temps qu’il passe dans chaque ville
3. Combien de voyage fait-il en moyenne de Paris à Bordeau par année ?
 Exercice 22
Un petit magasin d’informatique peut avoir au plus trois ordinateurs en stock. Des clients
arrivent avec un taux de 2 clients par semaine. Si au moins un ordinateur est en stock, le
client l’achète. S’il reste au plus un ordinateur, le tenancier du magasin commande deux
nouveaux ordinateurs, qui sont livrés après un temps de loi exponentielle de moyenne
1une semaine.

1. Donner le générateur du processus décrivant le nombre d’ordinateur en stock.

2. Déterminer la distribution stationnaire
3. Quel est le taux de vente d’ordinateur ?

Exercice (File d’attente ici)

Exercice 23
Une station-service comporte une seule pompe à essence. Des voitures arrivent selon un
processus de poisson de taux 20 voitures par heure. Le temps de service suit une loi
exponentielle d’espérance 2 minutes.

1. Donner la distribution stationnaire du nombre de voitures dans la station

2. Déterminer le temps d’attente moyen avant d’être servi, et le temps de séjour total.
3. Quelle proportion des voitures doit attendre avant de pouvoir faire le plein ? quelle
proportion doit attendre plus de 2 minutes ?
4. On suppose maintenant que tout conducteur trouvant 2 voitures dans la station
repart aussitôt.
a. Déterminer la distribution stationnaire du nombre de voitures dans la station.
Quelles est la probabilité qu’une voiture reparte sans faire le plein ?
b. Déterminer le temps d’attente et le temps de séjour moyen.

Exercice 24
Des clients arrivent dans un salon de coiffure selon un processus de poisson de taux 5
clients par heure. On suppose qu’il y a un seul coiffeur, qui met un temps exponentiel de
moyenne un quart d’heure pour coiffer un client. La salle d’attente comporte deux chaises.
Si un client arrive et que toutes les chaises sont occupées, il repart.

1. Calculer la distribution stationnaire

2. Quelle est la probabilité qu’un client attende avant d’être servi ?
3. Déterminer le temps moyen d’attente moyen
4. Quel est le nombre moyen de clients servis par heure ?
5. On suppose maintenant qu’il y a deux coiffeurs. Chacun met un temps exponentiel
de moyenne une demi-heure pour s’occuper d’un client. Calculer le nombre moyen
de clients servis par heure.

Exercice 25
Le centre d’appel d’une compagnie d’assurance reçoit en moyenne 40 appels par heures.
Il y a trois opérateurs pour répondre aux appels. Le temps des appels est exponentiel de
moyenne 3 minutes.

1. Quel le nombre moyen d’opérateurs occupés ?

2. Quelle est la probabilité qu’un client doive attendre avant qu’on lui réponde ?

Exercice 26
La salle d’attente du docteur H comprend deux chaises. Les patients arrivent selon un
processus de poisson de taux 6 patients par heure. Les patients de trouvant les 3 chaises
occupées partent chercher un autre médecin. Les consultations suivent une loi
exponentielle de moyenne 15 minutes.

1. Quelle est la probabilité que la salle d’attente soit pleine ?

2. Calculer le temps d’attente moyen d’un patient avant la consultation
3. Combien de patients le docteur traite-t-il par heure en moyenne ?

Exercice 27 (Modélisation de la désintégration radioactive)

On désire modéliser la désintégration radioactive de N atomes par un processus
markovien de taux 𝑞(𝑛; 𝑛 − 1) = 𝜇
1. Déterminer le graphe associé à ce processus
2. Déterminer le générateur infinitésimal 𝐿
3. Déterminer la matrice 𝑅 tel que 𝐿 = 𝜇𝑅 − 𝜇𝕀𝑁+1
(𝑘)
4. Montrer par récurrence que 𝑅𝑘 = (𝑎𝑖𝑗 ) 1≤𝑖≤𝑁+1 où
1≤𝑗≤𝑁+1

1 𝑠𝑖 𝑖 ≤ 𝑘 𝑒𝑡 𝑗 = 1
(𝑘)
𝑎𝑖𝑗 = {1 𝑠𝑖 𝑘 + 1 ≤ 𝑖 𝑒𝑡 𝑗 = 𝑖 − 𝑘
0 𝑠𝑖𝑛𝑜𝑛
(𝜇𝑡)𝑘 (𝑘)
1 + ∑+∞
𝑘=1 𝑘! 𝑎𝑁+1𝑗 𝑠𝑖 𝑗 = 𝑁 + 1
5. Vérifier que 𝑒 𝜇𝑡 𝑞𝑡 (𝑁; 𝑗 − 1) = {
(𝜇𝑡)𝑘 (𝑘)
∑+∞
𝑘=1 𝑎𝑁+1𝑗 𝑠𝑖 𝑗 ≠ 𝑁 + 1
𝑘!

6. Déterminer 𝑞𝑡 (𝑁; 𝑗 − 1) dans chacun des cas suivants :

a. 𝑗 = 𝑁 + 1
b. 𝑗 > 𝑁 + 1
c. 1 < 𝑗 < 𝑁 + 1
d. 𝑗 = 1
7. On pose 𝑌𝑡 = 𝑁 − 𝑋𝑡 le nombre d’atomes désintégrés au temps t.
(𝜇𝑡)𝑘 −𝜇𝑡
a. Montrer que 𝔼(𝑌𝑡 ) = ∑𝑁−1
𝑘=1 (𝑘−1)! 𝑒 + 𝑁𝑞𝑡 (𝑁; 0)

b. Vérifier que lim 𝑁𝑞𝑡 (𝑁; 0) = 0

𝑁→+∞

c. En déduire que lim 𝔼(𝑌𝑡 ) = 𝜇𝑡

𝑁→+∞

8. Calculer lim 𝑞𝑡 (𝑁; 𝑚) ; 𝑚 ∈ {0; 1; … ; 𝑁} puis interpréter le résultat

𝑡→+∞