Vous êtes sur la page 1sur 54

PROCESSUS AL

EATOIRES : PR

ESENTATION
I- INTRODUCTION
La theorie des processus aleatoires concerne letude mathematique de phenom`enes
physiques, biologiques ou economiques evoluant dans le temps, et dont levolution est de
caract`ere aleatoire, cest-` a-dire non previsible avec certitude.
Pour denir un processus aleatoire, il faut :
1- Un espace des temps T (T R
+
)
Les deux espaces des temps les plus utilises sont :
T = N : le processus est dit discret ; on regarde ce quil se passe ` a chaque unite de
temps, ou bien on fait une suite doperations et on regarde ce quil se passe ` a chaque
operation (ex : lancer dune pi`ece).
T = R
+
: le processus est dit continu : on garde les yeux xes sur un syst`eme qui evolue
dans le temps ` a partir dun instant t
0
que lon prend pour origine des temps (t = 0).
2- Un espace des etats E
Lensemble E peut etre :
discret : cest-` a-dire ni ou denombrable. Il sera, dans ce cas, souvent pratique didentier
E avec une partie de N ou de Z.
non discret : par exemple E = R ou E R
2
(partie du plan) ou E R
3
(partie de
lespace)
3- Une famille de variables aleatoires (X
t
)
tT
.
Ces variables aleatoires sont toutes denies sur un meme espace probabilise (, A, P)
et ` a valeurs dans lespace des etats E.
Ainsi, ` a chaque instant t T, on associe, non pas une valeur deterministe (comme
dans le calcul dune trajectoire mecanique) mais une valeur aleatoire decrite par une varia-
ble aleatoire X
t
` a valeurs dans E.
La variable aleatoire X
t
peut representer les resultats dessais successifs comme par
exemple, le jet dune pi`ece ` a pile ou face, ou des observations successives sur une carac-
teristique dune population.
2 Processus aleatoires : Presentation
Le processus aleatoire est la famille de variables aleatoires (X
t
)
tT
.
Un processus aleatoire est une generalisation dun vecteur aleatoire. Comme dans
le cas du vecteur aleatoire, la connaissance de la loi de X
t
pour tout t T est loin de
caracteriser le processus.
En particulier, elle ne donne aucune information sur le passage de t ` a t + t et donc,
sur levolution du processus.
Ce qui jouera le plus grand r ole dans letude des processus aleatoires, ce sont les pro-
babilites de transition.
Si B
1
et B
2
sont des parties de E, on note P([X
t+t
B
2
]/[X
t
B
1
]) la probabilite
de transition de B
1
` a B
2
entre t et t + t (cest-` a-dire la probabilite detre dans B
2
` a
linstant t + t sachant quon etait dans B
1
` a linstant t ).
Les elements principaux qui dierencient les processus aleatoires generaux sont lespace
des etats E, lespace des temps T et les relations de dependance entre les X
t
.
4- Quelques relations de dependance.
Processus de comptage :
Un processus de comptage (N
t
)
tT
, o` u T R, est un processus croissant (si s t, alors
N
s
N
t
), ` a valeurs dans E = N.
Processus ` a accroissements independants :
Un processus croissant (X
t
)
t0
est dit ` a accroissements independants si pour tout n N

,
et pour tous t
1
, , t
n
tels que t
1
< t
2
< < t
n
, les accroissements X
t
1
X
0
, X
t
2
X
t
1
,
, X
t
n
X
t
n1
sont des variables aleatoires independantes.
Processus homog`ene dans le temps :
Le processus (X
t
)
t0
est dit homog`ene, si pour tout t et pour tout s, la loi de X
t+s
X
s
ne depend pas de s.
Processus de Markov :
Le processus (X
t
)
t0
est dit de Markov, si pour tout n N, pour tous t
1
, , t
n
, t
n+1
tels
que t
1
< t
2
< < t
n
< t
n+1
:
P([X
t
n+1
= e
n+1
]/[X
t
1
= e
1
] [X
t
n
= e
n
]) = P([X
t
n+1
= e
n+1
]/[X
t
n
= e
n
])
cest-` a-dire, la probabilite de nimporte quel comportement futur, le present etant connu,
nest pas modie par toute connaissance supplementaire du passe.
Processus aleatoires 3
II- EXEMPLES DE PROCESSUS AL

EATOIRES
1- Signal telegraphique
Ce processus, utilise en theorie de la communication, rend compte de letat doccupation
dune ligne.
T
2k
: instant de la n de la k
i`eme
communication ;
T
2k+1
: instant du debut de la (k + 1)
i`eme
communication.
T = R
+
; E = {1, 1}
X
t
= 1 si la ligne est libre, cest-` a-dire sil existe k tel que T
2k
t < T
2k+1
;
X
t
= 1 si la ligne est occupee, cest-` a-dire sil existe k tel que T
2k+1
t < T
2k+2
.
On a l` a, un processus (dit ` a creneaux), markovien, ` a accroissements independants,
homog`ene dans le temps.
Probl`emes qui se posent :
Trouver la loi de X
t
;
Calculer P([X
t
= e
j
]/[X
s
= e
i
]) pour s t et pour e
i
, e
j
E ;
Existe-t-il une loi limite de la loi de X
t
quand t tend vers linni ?
2- Processus de ramication
Ce processus est utilise pour suivre levolution de certaines populations animales ou
cellulaires, ou bien dun nom chez les humains.
Chaque individu gen`ere, independamment des autres, un nombre aleatoire de descen-
dants.
X
n
est le nombre dindividus total ` a la n
i`eme
generation.
E = N ; T = N.
Le processus est markovien.
Probl`emes qui se posent :
Determiner la loi de X
n
;
Trouver une relation entre X
n
et X
n+1
;
Existe-t-il une probabilite non nulle dextinction de lesp`ece ?
4 Processus aleatoires : Presentation
3- Files dattente
Ces processus sont utilises en recherche operationnelle.
Des clients se presentent ` a des guichets ` a des temps aleatoires, pour y recevoir des
services de duree aleatoire (ex : banque, magasin, peage dautoroute...)
X
t
est le nombre de clients en attente ` a linstant t.
E = N ; T = R
+
.
Probl`emes qui se posent :
Existence dun regime stationnaire, nombre moyen de clients en attente, duree moyenne
de lattente dun client ;
Determination du nombre minimal de guichets assurant un bon ecoulement de la le.
4- Mouvement Brownien
Dans un gaz, chaque particule est soumise aux impacts incessants de ses voisines. Les
collisions provoquent des deplacements.
X
t
est la position dune particule donnee ` a linstant t.
X
t
X
s
est le deplacement pendant [s, t[ : cest la somme dun grand nombre de petits
deplacements independants et il sera legitime de supposer que sa loi est une loi Normale.
E R ; T = R
+
.
Le processus est ` a accroissements independants, homog`ene dans le temps.
PROCESSUS DE MARKOV
I- G

EN

ERALIT

ES
Le processus de Markov fournit un outil simple de modelisation dune classe parti-
culi`ere de syst`emes ` a espaces detats discrets. Par ailleurs, lanalyse des processus de
Markov est un preliminaire necessaire ` a letude des syst`emes de les dattente.
Denition : Le processus (X
t
)
t0
est dit de Markov (homog`ene), si
a)axiome de Markov : pour tous t
1
< t
2
< < t
n
< t
n+1
, pour tous x
1
, , x
n+1
:
P([X
t
n+1
= x
n+1
]/[X
t
1
= x
1
] [X
t
n
= x
n
]) = P([X
t
n+1
= x
n+1
]/[X
t
n
= x
n
])
b)axiome dhomogeneite : pour tous s et t, pour tous x, y E, P([X
t+s
= y]/[X
s
= x])
ne depend que de t (et non des instants s et t +s).
Laxiome de Markov traduit que la probabilite de nimporte quel comportement futur,
le present etant connu, nest pas modie par toute connaissance supplementaire du passe.
Notations : On pose p
x,y
(t) = P([X
t+s
= y]/[X
s
= x]) = P([X
t
= y]/[X
0
= x]) et
P(t) = (p
x,y
(t))
x,yE
. On pose egalement
(t)
= P
X
t
(ainsi
(t)
x
= P([X
t
= x]).)
Proprietes :
a) P(t) est une matrice stochastique, i.e. p
x,y
(t) 0 et

y
p
x,y
(t) = 1 pour tout x.
b) Pour tout s et pour tout t, P(s +t) = P(s)P(t).
c) Pour tout s et pour tout t,
(s+t)
=
(s)
P(t).
Preuve :
a) p
x,y
(t) [0, 1] car cest une probabilite. De plus, la ligne x correspond ` a la loi P
[X
0
=x]
X
t
et on a bien

y
p
x,y
(t) =

y
P
[X
0
=x]
([X
t
= y]) = 1.
b) Pour calculer p
x,y
(t +s) = P
[X
0
=x]
([X
t+s
= y]), on va faire intervenir les dierents etats pouvant
etre occupes ` a linstant t :
P
[X
0
=x]
([X
t+s
= y]) =
P([X
0
= x] [X
t+s
= y])
P([X
0
= x])
=

zE
P([X
0
= x] [X
t
= z] [X
t+s
= y])
P([X
0
= x])
6 Processus de Markov
=

zE
P([X
t+s
= y]/[X
0
= x] [X
t
= z])P([X
0
= x] [X
t
= z])
P([X
0
= x])
=

zE
P([X
t+s
= y]/[X
t
= z])P([X
t
= z]/[X
0
= x])
dapr`es laxiome de Markov (X
0
napporte rien de plus que X
t
pour determiner la loi de X
t+s
). Ainsi,
on a
p
x,y
(t +s) =

zE
p
x,z
(t)p
z,y
(s),
qui est le coecient (x, y) de la matrice produit P(t)P(s).
c)
(t+s)
y
= P([X
t+s
= y]) =

xE
P([X
t+s
= y]/[X
t
= x])P([X
t
= x]) cest-` a-dire

(t+s)
y
=

xE

(t)
x
p
x,y
(s).
2
II- CHAINES DE MARKOV
`
A TEMPS DISCRET
Pour cette classe particuli`ere de processus, on ne sinteresse ` a letat du syst`eme quen
des instants particuliers t
n
de leur evolution. Cela peut se produire dans deux cas :
Soit on sinteresse ` a letat du syst`eme ` a intervalles de temps reguliers comme par
exemple tous les jours ou toutes les heures. On a alors t
n
= n, o` u est lunite de temps
consideree. Cest le cas le plus simple ` a comprendre. Letat du syst`eme ` a letape n du
processus est alors letat du syst`eme au n-i`eme jour o` u ` a la n-i`eme heure.
Soit on sinteresse ` a letat du syst`eme juste apr`es un evenement : t
n
est alors lins-
tant du n-i`eme evenement. Letat du syst`eme ` a letape n du processus correspond alors
` a letat juste apr`es le n-i`eme changement detat. Les instants eectifs de changements
detats ne sont alors plus equidistants.
Pour simplier, on traitera ici le premier cas et on prendra T = N.
1- Matrice de transition et graphe dune chane de Markov
On notera P la matrice P(1) denie precedemment (et p
x,y
= p
x,y
(1)). Comme, pour
tous entiers m et n, on a P(n + m) = P(n)P(m), on a en particulier, pour tout n,
P(n + 1) = P(n)P(1) = P(n)P et donc, comme de plus, P(0) = I = P
0
P(n) = P
n
et
(n)
=
(0)
P
n
pour tout n N .
Ainsi, la seule donnee de la matrice de transition P et de
(0)
sut ` a determiner la
loi de X
n
pour tout n N.
Processus aleatoires 7
La matrice de transition P caracterise la chane et se prete bien aux calculs mais, pour
mieux visualiser les transitions entre etats, il est souvent utile de faire un graphe de la
chane, equivalent ` a la donnee de P o` u :
les etats sont representes par des points ;
une probabilite de transition p
x,y
> 0 est representee par un arc oriente de x ` a y
au dessus duquel est notee la valeur de p
x,y
.
2- Exemples classiques de chanes de Markov
a) Chemin aleatoire ` a une dimension
i) Un individu qui a bu fait, ` a chaque instant, de fa con aleatoire, un pas en
avant ou un pas en arri`ere. On a un graphe en boudins et une matrice de transition
tridiagonale : E = Z, p
i,i+1
= p
i,i1
=
1
2
, p
i,j
= 0 si |i j| = 1.
ii) Ce meme individu est maintenant dans un couloir ferme de chaque c ote par
une porte (E = {0, , N}). Lorsquil heurte une porte, il est assome : 0 et N sont des
etats absorbants (une fois quon y est, on y reste).
iii) Meme cas de gure que ii) mais quand lindividu heurte une porte, celle-ci,
au lieu de lassomer, le renvoie un pas en arri`ere.
b) Chane ` a 2 etats
P =
_
1
1
_
.
On suppose que
(0)
= (1, 0). Que vaut
(n)
?
On a
(n)
=
(0)
P
n
et pour calculer les puissances dune matrice, on etudie ses elements propres.
On sait que
1
= 1 est toujours valeur propre de P (associee au vecteur propre
t
(1, , 1) car

yE
p
x,y
= 1). Pour trouver ici lautre valeur propre, on utilise
1
+
2
= trP = 2 :
2
= 1 = 1
si P = I : P est donc diagonalisable.
Recherche des vecteurs propres : pour
2
= 1 , (1 )x
1
+x
2
= (1 )x
1
conduit ` a
x
1
+x
2
= 0.
On a donc, si =
_
1
1
_
, alors
1
=
1
+
_

1 1
_
et

(n)
=
(0)

_

n
1
0
0
n
2
_

1
=
_
+(1 )
n
+
,
(1 )
n
+
_
.
3- Classication des etats
Denition : Soit x et y deux etats. On dit que x m`ene ` a y sil existe n N tel que
p
x,y
(n) > 0. On dit que x et y communiquent si x m`ene ` a y et si y m`ene ` a x.
Remarque : Pour n 1, p
x,y
(n) =

x
1
,,x
n1
p
x,x
1
p
x
1
,x
2
p
x
n1
,y
donc, si p
x,y
(n) > 0, il
existe x
1
, , x
n1
tels que p
x,x
1
> 0, p
x
1
,x
2
> 0, , p
x
n1
,y
> 0, cest-` a-dire que lon peut
8 Processus de Markov
trouver sur le graphe un chemin de x ` a y si x = y (il peut meme y en avoir plusieurs!).
Attention toutefois, p
x,x
(0) = 1, donc x m`ene toujours ` a x meme sil ny a pas de chemin
de x vers lui-meme.
La relation de communication est une relation dequivalence ; une chane ` a une seule
classe est dite irreductible.
Denition : Un etat x est dit non essentiel sil existe un etat y et n N tels que
p
x,y
(n) > 0 et p
y,x
(m) = 0 pour tout m N. Dans le cas contraire x est dit essentiel.
Les etats dune meme classe de communication sont de meme nature : on parlera de
classe non essentielle (classe que lon peut quitter) et classe essentielle (ou absorbante)
(classe que lon ne peut pas quitter).
Denition : La periode d(x) dun etat x est denie par :
d(x) = P.G.C.D.{n N

; p
x,x
(n) > 0}
(avec d(x) = 0 si pour tout n N

, p
x,x
(n) = 0). Si d(x) = 1, x est dit aperiodique.
Propriete : Tous les etats dune meme classe de communication ont meme periode.
Preuve : Si x et x

communiquent, il existe k et l tels que p


x,x
(k) > 0 et p
x

,x
(l) > 0. Alors p
x,x
(k+l) > 0.
Soit m tel que p
x

,x
(m) > 0. Alors p
x,x
(k +m+l) > 0. Donc d(x) divise k +l et d(x) divise k +m+l ;
donc d(x) divise m et ceci, pour tout m tel que p
x

,x
(m) > 0, donc d(x) divise d(x

). Comme x et x

jouent le meme r ole, d(x) = d(x

).
2
Remarque : Une classe dont un element admet une boucle, (cest-` a-dire p
x,x
> 0), est
obligatoirement aperiodique (cest-` a-dire de periode 1), mais ce nest pas une condition
necessaire.
Exemple de chane periodique : marche aleatoire sur Z.
Theor`eme : Si x et y sont dans une meme classe de communication de periode d, si
p
x,y
(n) > 0 et si p
x,y
(m) > 0, alors d divise mn.
Preuve : Comme y m`ene ` a x, il existe k tel que p
y,x
(k) > 0. On a donc p
x,x
(m+k) > 0 et p
x,x
(n+k) > 0.
Donc d divise m+k et n +k, il divise donc la dierence.
2
Ainsi, on peut partitionner les classes periodiques de la fa con suivante :
Processus aleatoires 9
Denition : Soit C une classe de communication de periode d, et soit x
0
xe dans C.
On denit, pour k {0, 1, , d 1},
C

k
= {y E ; si p
x
0
,y
(n) > 0 alors n k[d]}.
Les C

k
sont appelees sous-classes cycliques de C.
Remarque : Les C

k
nont pas forcement le meme nombre delements, mais elles sont
toutes non vides.
On pose T
x
=
_
min{n 1 ; X
n
= x} si il existe m 1 tel que X
m
= x
+ si X
m
= x pour tout m 1
.
Denition : Un etat x est dit recurrent si P
[X
0
=x]
([T
x
< +]) = 1 , cest-` a-dire,
si partant de x, on repasse presque s urement en x. Dans le cas contraire, x est dit
transitoire.
On pose f
(n)
x,y
= P
[X
0
=x]
([T
y
= n]) pour n 1 (et par convention f
(0)
x,y
= 0) et

x
= E
[X
0
=x]
(T
x
) =

n1
nf
(n)
x,x
.
On a alors x recurrent si et seulement si

n1
f
(n)
x,x
= 1, et
x
represente le temps moyen
de retour en x : il peut etre inni, meme si x est recurrent. On est donc conduit ` a une
classication plus ne des etats recurrents.
Denition : Un etat recurrent est dit recurrent positif si
x
< +. Dans le cas
contraire, il est dit recurrent nul.
Propriete : Pour n 1, on a p
x,y
(n) =
n

k=0
f
(k)
x,y
p
y,y
(n k).
Preuve : Le processus passe de x ` a y en n etapes si et seulement sil passe de x ` a y pour la premi`ere
fois en k etapes (0 k n) et sil passe ensuite de y ` a y en les n k etapes suivantes. Ces chemins,
pour des k distincts, sont disjoints, et la probabilite dun chemin pour k xe est f
(k)
x,y
p
y,y
(n k).
Ce raisonnement intuitif peut etre rendu rigoureux de la fa con suivante.
Comme, pour n 1,
[X
n
= y] =
n1
_
k=1
([T
y
= k] [X
n
= y]) [T
y
= n],
on en deduit, les [T
y
= k] etant disjoints,
P([X
n
= y]/[X
0
= x]) =
n1

k=1
P([T
y
= k] [X
n
= y]/[X
0
= x]) +f
(n)
x,y
=
n1

k=1
P([T
y
= k]/[X
0
= x])P([X
n
= y]/[T
y
= k] [X
0
= x]) +f
(n)
x,y
Or, pour 1 k n 1, [T
y
= k] [X
0
= x] est de la forme A [X
k
= y] o` u A ne depend que de
X
0
, , X
k1
. Par consequent,
P([X
n
= y]/[T
y
= k] [X
0
= x]) = P([X
n
= y]/A [X
k
= y]) = P([X
n
= y]/[X
k
= y]) = p
y,y
(n k).
10 Processus de Markov
Comme P([X
n
= y]/[X
0
= x]) = p
x,y
(n) et P([T
y
= k]/[X
0
= x]) = f
(k)
x,y
, il en resulte
p
x,y
(n) =
n1

k=1
f
(k)
x,y
p
y,y
(n k) +f
(n)
x,y
=
n

k=1
f
(k)
x,y
p
y,y
(n k) =
n

k=0
f
(k)
x,y
p
y,y
(n k)
avec la convention f
(0)
x,y
= 0.
2
Theor`eme (crit`ere de recurrence) :
1) Un etat y est recurrent si et seulement si
+

n=0
p
y,y
(n) = +. On a alors
+

n=0
p
x,y
(n) =
+ pour tout x qui m`ene ` a y.
2) Un etat y est transitoire si et seulement si
+

n=0
p
y,y
(n) < +.
On a alors
+

n=0
p
x,y
(n) < + pour tout x E.
Preuve : On consid`ere les series enti`eres F
x,y
(s) =
+

n=0
s
n
f
(n)
x,y
et P
x,y
(s) =
+

n=0
s
n
p
x,y
(n).
On etablit que P
x,y
(s) =
x,y
+F
x,y
(s)P
y,y
(s) .
En eet, P
x,y
(s) =
+

n=0
s
n
p
x,y
(n) = p
x,y
(0) +
+

n=1
s
n
n

k=0
f
(k)
x,y
p
y,y
(n k) avec p
x,y
(0) =
x,y
(0). De
plus f
(0)
x,y
p
y,y
(0) = 0, donc on a bien
+

n=1
s
n
n

k=0
f
(k)
x,y
p
y,y
(n k) =
+

n=0
s
n
n

k=0
f
(k)
x,y
p
y,y
(n k) = F
x,y
(s)P
y,y
(s)
dapr`es la denition du produit de deux series.
En appliquant ceci ` a x = y, on obtient P
y,y
(s) = 1 +F
y,y
(s)P
y,y
(s), soit P
y,y
(s) =
1
1F
y,y
(s)
.
Si y est recurrent, f
y,y
= 1, soit, par le lemme dAbel, lim
s1

F
y,y
(s) = 1 et donc lim
s1

P
y,y
(s) = +.
Si x = y et si x m`ene ` a y, alors F
x,y
(1) = 0, et, comme P
x,y
(s) = F
x,y
(s)P
y,y
(s), si lim
s1

P
y,y
(s) =
+, alors lim
s1

P
x,y
(s) = +.
Si y est transitoire, alors lim
s1

P
y,y
(s) < + et, comme on a F
x,y
(1) 1, on a lim
s1

P
x,y
(s) < +,
cest-` a-dire
+

n=0
p
x,y
(n) < +.
2
Consequence : Si y est transitoire, alors
+

n=0
p
x,y
(n) < + pour tout x, et, en partic-
ulier, lim
n+
p
x,y
(n) = 0, mais la reciproque est fausse en general.
Propriete : Les etats dune meme classe de communication sont, soit tous recurrents,
soit tous transitoires.
Preuve : Si x et x

communiquent, il existe k et l tels que p


x,x
(k) > 0 et p
x

,x
(l) > 0. On a donc
p
x,x
(k + n + l) p
x,x
(k)p
x

,x
(n)p
x

,x
(l) et donc P
x,x
(1) p
x,x
(k)P
x

,x
(1)p
x

,x
(l). Do` u, si x

est
Processus aleatoires 11
recurrent, alors x lest aussi et, comme x et x

jouent le meme r ole, si x est recurrent, alors x

lest aussi.
2
Cas particulier des chanes nies : Si E est ni, la classication se simplie beaucoup.
Propriete : Si E est ni, essentiel equivaut ` a recurrent et il existe au moins un etat
recurrent.
Preuve :
Si tous les etats etaient transitoires, on aurait lim
n+
p
x,y
(n) = 0 pour tout y et alors, comme la
somme ne comporte quun nombre ni de termes, lim
n+

yE
p
x,y
(n) =

yE
lim
n+
p
x,y
(n) = 0, ce qui
contredit

yE
p
x,y
(n) = 1.
Si x est non essentiel, la probabilite de ne pas revenir en x est non nulle, donc f
x,x
= 1 et x est
transitoire. Donc, recurrent implique toujours essentiel (meme si E est inni).
Si x est essentiel, la chane reduite ` a la classe de communication de x est une chane nie si E est
ni, et admet donc au moins un etat recurrent. Comme tous les etats dune meme classe sont de meme
nature, x est bien recurrent.
2
Complement : Un crit`ere de recurrence pour les chanes innies
Theor`eme : Soit (X
n
) une chane de Markov ` a valeurs dans E, de matrice de transition P, U un sous
ensemble propre de E, et, pour i U,
i
= P
[X
0
=i]
([X
k
U pour tout k]). Alors, le vecteur colonne
(
i
)
iU
est la solution maximale du syst`eme
_
X = P
|U
X
0 x
i
1
.
Remarques :
1. Si Q = (q
ij
) = P
|U
, alors, pour tout n 1, Q
n
est une matrice sous-stochastique, i.e. 0 q
(n)
ij
1 et

jU
q
(n)
ij
1.
On montre ceci par recurrence :
pour n = 1,

jU
q
ij


jE
q
ij
= 1 ;
si cest vrai pour n,

jU
q
(n+1)
ij
=

jU
_

kU
q
(n)
ik
q
kj
_
=

kU
q
(n)
ik
(

jU
q
kj
)

kU
q
(n)
ik
1.
On posera
(n)
i
=

jU
q
(n)
ij
, pour i U. On a donc montre ci-dessus que
(n+1)
i

(n)
i
, cest-` a-dire que
(
(n)
i
)
n
est decroissante.
2.
i
= lim
n+

(n)
i
. En eet,
P
(X
0
=i)
(X
k
U pour tout k n) =

j
1
,,j
n
U
q
1j
1
q
j
n1
j
n
=

jU
_
_

j
1
,j
n1
U
q
1j
1
q
j
n1
j
_
_
=

jU
q
(n)
ij
=
(n)
i
12 Processus de Markov
et
i
= P
[X
0
=i]
([X
k
U pour tout k]) = lim
n+
P
[X
0
=i]
([X
k
U pour tout k n]).
Preuve du Theor`eme : En exploitant Q
n+1
= Q Q
n
, il vient

jU
q
(n+1)
ij
=

kU
q
ik
_

jU
q
(n)
kj
_
, soit

(n+1)
i
=

kU
q
ik

(n)
k
. En prenant la limite, que lon peut intervertir avec la somme gr ace ` a la convergence
monotone, on a bien
i
=

kU
q
ik

k
et 0
i
1.
De plus, si X est solution, x
k
1, donc x
i
=

kU
q
ik
x
k


kU
q
ik
=
(1)
i
et, par recurrence, si x
k

(n)
k
,
alors x
i
=

kU
q
ik
x
k


kU
q
ik

(n)
k
=
(n+1)
i
, do` u x
i

i
, par passage ` a la limite.
2
Cas particulier : Si E = N et U = N

, alors
i
= 1 f
i0
. Donc, si la chane est irreductible et si le
syst`eme
_
X = QX
0 x
i
1
admet une autre solution que X = 0, alors la chane est transitoire.
4- Absorption par les classes recurrentes dans le cas ni
Si R
1
, , R
k
sont les classes recurrentes de (X
n
) et T lensemble de ses etats tran-
sitoires, on numerote les etats de T de 1 ` a t ; pour j T , on note a
(n)
j
(R
i
) la pro-
babilite que, partant de letat j, on arrive dans la classe R
i
` a la n-i`eme etape et on
pose a
j
(R
i
) =
+

n=1
a
(n)
j
(R
i
) (probabilite dabsorption de letat transitoire j par la classe
recurrente R
i
). On pose a
(n)
(R
i
) =
_
_
_
_
a
(n)
1
(R
i
)
.
.
.
a
(n)
t
(R
i
)
_
_
_
_
et a(R
i
) =
+

n=1
a
(n)
(R
i
). Enn, on note
P
T
la matrice extraite de P en ne gardant que les lignes et les colonnes correspondant
aux etats transitoires.
Propriete : On a (I P
T
)a(R
i
) = a
(1)
(R
i
) avec a
(1)
j
(R
i
) =

xR
i
p
j,x
.
Preuve : Pour n 2, a
(n)
j
(R
i
) =

x/ R
i
p
j,x
a
(n1)
x
(R
i
). Mais, si x R
k
, avec k = i, alors a
(n1)
x
(R
i
) = 0,
car lorsquon est dans une classe recurrente, on y reste. Ainsi
a
j
(R
i
) =

n1
a
(n)
j
(R
i
) = a
(1)
j
(R
i
) +

n2

xT
p
j,x
a
(n1)
x
(R
i
)
= a
(1)
j
(R
i
) +

xT
p
j,x

n2
a
(n1)
x
(R
i
)
= a
(1)
j
(R
i
) +

xT
p
j,x
a
x
(R
i
)
ce qui donne la ligne j de la propriete.
2
Processus aleatoires 13
5- Distribution stationnaire
Denition : Une famille = (
x
)
xE
est dite distribution stationnaire dune chane,
de matrice de transition P, si cest une probabilite qui verie = P.
Remarques :
Si
(0)
= , alors, (n) = pour tout n (preuve par recurrence sur n : etant
donne que
(n+1)
=
(n)
P, si
(n)
= , alors
(n+1)
= P = .)
Si (X
n
) converge en loi, lim
n+

(n)
est une probabilite notee
()
qui est distri-
bution stationnaire de la chane. En eet, on a
(n+1)
=
(n)
P pour tout n N et, en
prenant la limite quand n +, on obtient bien
()
=
()
P.
peut ne pas exister : si E = N et p
k,k+1
= 1 pour tout k N, = P conduit
` a
0
= 0 et
k
=
k1
pour tout k N

: on aurait alors
k
= 0 pour tout k N et ne
peut pas etre une probabilite.
Une chane peut admettre une innite de distributions stationnaires.
Interpretations :

y
=

xE

x
p
x,y
secrit aussi

xE

y
p
y,x
=

xE

x
p
x,y
( car

xE
p
y,x
= 1). On peut
interpreter
y
p
y,x
comme le nombre moyen de transitions de y vers x par unite de temps et

xE

y
p
y,x
sinterpr`ete alors comme le ux moyen de sortie de letat y. De meme,

xE

x
p
x,y
est le ux moyen dentr`ee dans letat y. Ainsi, en regime permanent :
pour tout etat y, il y a egalite entre le ux sortant de y et le ux entrant dans y.

y
peut sinterpreter comme la proportion de temps passe dans letat y.
Propriete : Si est distribution stationnaire dune chane irreductible, alors
x
> 0
pour tout x E.
Preuve : On a = P
n
pour tout n N, donc
y
=

xE

x
p
x,y
(n) pour tout etat y.
Supposons quil existe y tel que
y
= 0. Alors, comme
x
p
x,y
(n) 0, on a, pour tout x E et pour
tout n N,
x
p
x,y
(n) = 0.
Or, la chane etant irreductible, il existe n tel que
x
p
x,y
(n) > 0 ; do` u
x
= 0, et ceci, pour tout x.
On a alors = 0, ce qui est impossible, puisque est une probabilite.
2
Si x est recurrent positif, on pose, pour tout y E,
x
(y) = E
[X
0
=x]
_

n0
1I
[X
n
=y][T
x
>n]
_
:
cest le nombre moyen de visites dans letat y entre deux visites dans letat x.
14 Processus de Markov
Propriete : Si x est un etat recurrent positif, alors =
_

x
(y)

x
_
yE
est distribution
stationnaire.
Preuve : On a

x
(y) = E
[X
0
=x]
_
_

n0
1I
[X
n
=y][T
x
>n]
_
_
=

n0
E
[X
0
=x]
_
1I
[X
n
=y][T
x
>n]
_
=

n0
P
[X
0
=x]
([X
n
= y] [T
x
> n])
Si y = x, on a P
[X
0
=x]
([X
0
= y] [T
x
> 0]) = 0 et, pour n 1, on a aussi P
[X
0
=x]
([X
n
= y] [T
x
= n]) =
0, de sorte que lon a deux expressions pour
x
(y) :

x
(y) =

n1
P
[X
0
=x]
([X
n
= y] [T
x
> n 1]) ; ()

x
(y) =

n1
P
[X
0
=x]
([X
n
= y] [T
x
> n]) .
Dautre part, P
[X
0
=x]
([X
0
= x] [T
x
> 0]) = 1 et, pour n 1, les probabilites P
[X
0
=x]
([X
n
= x] [T
x
> n])
sont nulles, de sorte que
x
(x) = 1. Comme x est recurrent, la relation 1 = f
x,x
=

n1
P
[X
0
=x]
([T
x
= n])
est veriee.
Or, elle peut encore secrire 1 =
x
(x) =

n1
P
[X
0
=x]
([X
n
= x] [T
x
> n 1]). Ainsi, () est veriee
pour tout y E. On la reecrit :

x
(y) = P
[X
0
=x]
([X
1
= y] [T
x
> 0]) +

n2
P
[X
0
=x]
([X
n
= y] [T
x
> n 1])
= p
x,y
+

n2
P
[X
0
=x]
([X
n
= y] [T
x
> n 1]) .
Maintenant, pour n 2,
P
[X
0
=x]
([X
n
= y] [T
x
> n 1]) =

z=x
P
[X
0
=x]
([X
n1
= z] [X
n
= y] [T
x
> n 1]) = K
avec K =

z=x
P
[X
0
=x]
([X
n
= y]/[X
n1
= z] [T
x
> n 1]) P
[X
0
=x]
([X
n1
= z] [T
x
> n 1]).
Or,
[T
x
> n 1] [X
n1
= z] = [X
1
= x] [X
n1
= x] [X
n1
= z] = [X
n2
= x] [X
n1
= z],
et, par laxiome de Markov
P
[X
0
=x]
([X
n
= y]/[X
n1
= z] [T
x
> n 1]) = P
[X
0
=x]
([X
n
= y]/[X
n1
= z]) .
Ainsi,
P
[X
0
=x]
([X
n
= y] [T
x
> n 1]) =

z=x
P
[X
0
=x]
([X
n
= y]/[X
n1
= z]) P
[X
0
=x]
P ([X
n1
= z] [T
x
> n 1])
=

z=x
p
z,y
P
[X
0
=x]
P ([X
n1
= z] [T
x
> n 1]) .
Processus aleatoires 15
Par suite,

x
(y) = p
x,y
+

n2
P
[X
0
=x]
([X
n
= y] [T
x
> n 1])
= p
x,y
+

n2

z=x
p
z,y
P
[X
0
=x]
([X
n1
= k] [T
x
> n 1])
= p
x,y
+

z=x
p
z,y

n2
P
[X
0
=x]
([X
n1
= k] [T
x
> n 1])
= p
x,y
+

z=x
p
z,y

n1
P
[X
0
=x]
([X
n
= k] [T
x
> n])
= p
x,y
+

z=x
p
z,y

x
(z) =

x
(z)p
z,y
.
Dautre part, on a

x
(y) =

y
E
[X
0
=x]
_
_

n0
1I
[X
n
=y][T
x
>n]
_
_
= E
[X
0
=x]
_
_

n0

y
1I
[X
n
=y][T
x
>n]
_
_
= E
[X
0
=x]
_
_

n0
1I
[T
x
>n]
_
_
=

n0
P
[X
0
=x]
([T
x
> n]) = E
[X
0
=x]
(T
x
) =
x
.
Si x est recurrent positif, alors
x
< + et on peut poser
y
=

x
(y)

x
. Il en resulte bien que est
distribution stationnaire.
2
Theor`eme :
1) Une chane irreductible admet une distribution stationnaire si et seulement si tous
ses etats sont recurrents positifs. Dans ce cas, est unique et
x
= 1/
x
pour tout x E.
2) Une chane quelconque admet une distribution stationnaire si et seulement si elle
poss`ede une classe recurrente positive. Dans ce cas, si est une distribution station-
naire et si (R
i
)
i
sont les classes recurrentes positives, il existe des reels positifs
i
de
somme 1 tels que :

x
= 0 si x nest pas recurrent positif et
x
=
i
/
x
si x R
i
.
Preuve :
1) On montre facilement que lexistence dune distribution stationnaire implique la recurrence de
la chane. En eet, on a alors = P
n
pour tout n N, do` u
y
=

xE

x
p
x,y
(n) pour tout y E. Si
tous les etats etaient transitoires, on aurait, pour tout x E, lim
n+
p
x,y
(n) = 0.
Comme p
x,y
(n) 1 et que

x
converge, on peut appliquer le theor`eme de convergence dominee de
Lebesgue, cest-` a-dire intervertir limite et somme.
On a alors
y
= lim
n+

xE

x
p
x,y
(n) =

xE
lim
n+
p
(n)
x,y
= 0, ce qui est contradictoire.
On montre ensuite que, si est une distribution stationnaire, que lon prend comme distribution
initiale, alors
y

y
= 1 pour tout etat y.
16 Processus de Markov
En eet,
y
= E
[X
0
=y]
(T
y
) =

n0
P
[X
0
=y]
([T
y
> n]) =

n1
P
[X
0
=y]
([T
y
n]) ; do` u

y
=

n1
P
[X
0
=y]
([T
y
n])P([X
0
= y]) =

n1
P([X
0
= y] [T
y
n]).
On pose a
n
= P([X
m
= y pour 0 m n]). On a P([X
0
= y] [T
y
1]) = P([X
0
= y]) = 1 a
0
et, pour n 2,
P([X
0
= y] [T
y
> n 1]) = P([X
0
= y] [X
m
= y pour 1 m n 1])
= P([X
m
= y pour 1 m n 1]) P([X
m
= y pour 0 m n 1])
= P([X
m
= y pour 0 m n 2]) P([X
m
= y pour 0 m n 1])
= a
n2
a
n1
dapr`es laxiome dhomogeneite. Donc
y

y
=

n1
P ([X
0
= y] [T
y
n]) = 1 lim
n+
a
n
et lim
n+
a
n
=
P([X
m
= y pour tout m 0]) = 0 car y est recurrent. Donc
y

y
= 1 et, comme
y
> 0, on a
y
< +
et
y
=
1

y
.
On a ainsi montre que tout etat y est recurrent positif et que la distribution est unique.
Reciproquement, si les etats sont recurrents positifs, on a une distribution stationnaire donnee par
la propriete precedente, et, dapr`es ce que lon vient de voir, cette distribution est donc unique et verie

y
=
1

y
pour tout etat y.
2) Si est distribution stationnaire, alors = P
n
pour tout n N. Do` u
y
=

xE

x
p
x,y
(n) pour
tout y E.
Si y est transitoire, on verie exactement comme dans 1) que
y
= 0.
Si y est recurrent, alors
y
=

xE

x
p
x,y
=

xCl(y)

x
p
x,y
car si x est transitoire,
x
= 0 et si x est
recurrent, dans une autre classe, p
x,y
= 0.
En posant C = Cl(y) et (C) =

xCl(y)

x
, on a :
soit (C) = 0 et alors
x
= 0 pour tout x C ;
soit (C) = 0 et alors
C
=
_

x
(C)
_
xC
est distribution stationnaire de la chane irreductible
reduite ` a C. Par consequent, dapr`es lunicite vue au 1), on a
x
=
(C)

x
et x est recurrent positif. De
plus, on a

C
(C) = 1.
Reciproquement,

xR
k
1

x
= 1 et

k

xR
k

x
=

k
= 1.
De plus,
y
=

xE

x
p
x,y
=

xCl(y)

x
p
x,y
.
2
Consequences :
1) nest pas unique sil existe plusieurs classes recurrentes positives.
2) Les etats dune meme classe de communication sont, soit tous transitoires, soit tous
recurrents positifs, soit tous recurrents nuls.
En eet, soit x recurrent positif. Alors x est essentiel et la chane reduite ` a la classe de communication
de x est irreductible et admet une distribution stationnaire puisquelle poss`ede un etat recurrent positif.
Processus aleatoires 17
Donc, tous les etats de la classe de communication de x sont recurrents positifs.
3) Si la chane est irreductible, le nombre moyen de visites ` a y entre deux passages
par x verie
x
(y) =

x

y
.
En eet, denie par
y
=

x
(y)

x
est distribution stationnaire et dapr`es lunicite,
y
=
1

y
.
6- Comportement asymptotique
La loi conditionnelle de X
n
sachant [X
0
= x] est representee par la famille (p
x,y
(n))
yE
.
Pour avoir la convergence en loi, il est necessaire que lim
n+
p
x,y
(n) existe pour tout y mais,
en general, ceci nest pas susant car il nest pas evident que la famille limite soit une
probabilite. Cest pourquoi, on introduit la notion plus restrictive suivante :
Denition : On dit que la chane (X
n
)
n0
de matrice de transition P admet une distri-
bution limite si, pour tout (x, y) E
2
, p
x,y
(n) admet une limite l
y
independante de x,
quand n tend vers +, la famille l = (l
y
)
yE
etant non identiquement nulle.
La famille l = (l
y
)
yE
est alors la distribution limite.
Remarque : Il nest pas evident, a priori, que si l existe, elle merite le nom de dis-
tribution. Il est clair que l
y
0, mais de

yE
p
x,y
(n) = 1, on deduit a priori seulement
que

yE
l
y
1. Pour pouvoir aller plus loin, il va falloir admettre le theor`eme suivant, dit
theor`eme ergodique :
Theor`eme ergodique : Si y est aperiodique ou non recurrent positif, alors
lim
n+
p
x,y
(n) =
f
x,y

y
pour tout x E.
Consequences :
En particulier, si y est non recurrent positif, alors lim
n+
p
x,y
(n) = 0.
Si x = y aperiodique ou non recurrent positif, alors lim
n+
p
y,y
(n) =
1

y
. En eet, si y
est recurrent, alors f
y,y
= 1 et si y est non recurrent, alors
y
= + et comme f
y,y
1,
on a
f
y,y

y
=
1

y
= 0.
Remarque : Si y est recurrent positif de periode d = 1, lim
n+
p
x,y
(n) peut ne pas exister.
Propriete : Si l est une distribution limite, alors l est lunique distribution stationnaire
de la chane.
Preuve : Soit y tel que lim
n+
p
x,y
(n) = l
y
= 0. Alors, necessairement, y est recurrent positif, dapr`es le
theor`eme ergodique. Il existe donc au moins une classe recurrente positive. Mais il ne peut pas en exister
plusieurs car sinon, en prenant x dans une autre classe recurrente positive, on aurait lim
n+
p
x,y
(n) = 0.
Il existe donc une unique distribution stationnaire avec
x
=
1

x
pour tout etat recurrent positif, et

x
= 0 sinon.
18 Processus de Markov
On a donc, pour tout etat y,
y
=

xE

x
p
x,y
(n) et, comme p
x,y
(n) 1 et que

xE

x
converge, on
peut appliquer le theor`eme de convergence dominee de Lebesgue, cest-` a-dire intervertir limite et somme.
On a
y
= lim
n+

xE

x
p
x,y
(n) =

xE

x
lim
n+
p
x,y
(n) = l
y

xE

x
= l
y
, donc l = .
En particulier, on en deduit que l est une loi de probabilite.
2
Theor`eme : 1) La distribution limite existe si et seulement si la suite (X
n
)
n0
converge
en loi, la loi limite netant pas fonction de la loi initiale. La limite en loi est alors la
distribution limite, qui est aussi lunique distribution stationnaire de la chane.
2) La distribution limite existe si et seulement si il existe une seule classe recurrente
aperiodique C telle que, pour tout x E et pour tout y C, la probabilite que, partant
de x, la chane passe au moins une fois par y soit egale ` a 1.
Preuve : 1) resulte de la denition de la distribution limite et de la propriete precedente.
2) resulte essentiellement du theor`eme ergodique et du fait que, si y est recurrent periodique, lim
n+
p
x,y
(n)
nexiste pas.
2
Remarque : Une chane peut converger en loi sans quil existe de distribution limite,
mais, dans ce cas, la limite en loi depend de la loi initiale : cela se produit sil existe
plusieurs classes recurrentes positives ou bien sil existe une classe recurrente positive de
periode d = 1.
Pour terminer, on admettra le theor`eme suivant :
Denition : Une chane recurrente positive, de periode d, admet une unique distribution
stationnaire (
y
)
yE
telle que, si x et y sont dans la meme sous-classe cyclique :
lim
n+
p
x,y
(nd) = d
y
.
III- CHAINES DE MARKOV
`
A TEMPS CONTINU
1- Regime transitoire
Contrairement ` a ce qui se passe pour les chanes de Markov ` a temps discret, on ne
dispose pas ici dun historique complet du processus : on observe celui-ci ` a certains
instants dans le temps, choisis aussi nombreux que lon veut et repartis comme on veut
mais la notion dunite de temps na plus de sens ici et la matrice P = P(1) ne permet
pas de determiner P(t) pour tout t.
Lidee est alors de considerer P(h) lorsque h 0.
Processus aleatoires 19
Gr ace ` a P(t +h) = P(t)P(h) = P(h)P(t) et ` a P(0) = I, on a :
P(t +h) P(t)
h
= P(t)
P(h) I
h
=
P(h) I
h
P(t).
Sous reserve dexistence des limites, si on pose A = lim
h0
P(h)I
h
= P

(0), on a alors :
P

(t) = P(t)A = AP(t) et P(0) = I.


Cette equation dierentielle matricielle admet lunique solution :
P(t) = e
tA
=
+

n=0
t
n
n!
A
n
.
Ainsi, on determine A` a partir de la famille (P(t))
t0
, (A = P

(0)), mais reciproquement,


la seule connaissance de A permet de retrouver tous les P(t) (P(t) = e
At
).
La matrice A est appelee le generateur innitesimal du processus.
On pose A = (a
x,y
)
x,yE
. Ainsi, a
x,y
= lim
h0
p
x,y
(h)
x,y
h
.
Si x = y, a
x,y
0 et p
x,y
(h) = a
x,y
h +o(h)
Si x = y, a
x,y
0 et p
x,x
(h) = 1 +a
x,x
h +o(h).
On a ici, pour tout x E,

yE
a
x,y
= 0 (la somme sur chaque ligne de A vaut 0).
Propriete : Pour tout etat x E, le temps passe dans x avant de le quitter suit la loi
exponentielle E(
x
) avec
x
= a
x,x
=

y=x
a
x,y
.
Preuve : Si T
x
designe ici le temps passe en x avant de le quitter, on a :
P([T
x
> t +h]) = P([T
x
> t +h]/[T
x
> t])P([T
x
> t])
Mais, dapr`es lhomogeneite dans le temps, on a P([T
x
> t + h]/[T
x
> t]) = P([T
x
> h]). Ainsi, si on
pose G
x
(t) = P([T
x
> t]), on obtient :
G
x
(t +h) = G
x
(t)G
x
(h) avec G
x
(h) = p
x,x
(h) +o(h) = 1 +a
x,x
h +o(h),
donc
G
x
(t+h)G
x
(t)
h
= G
x
(t)
_
a
x,x
+
o(h)
h
_
et, en faisant h 0, il vient :
G

x
(t) = a
x,x
G
x
(t) avec G
x
(0) = 1,
soit G
x
(t) = e
a
x,x
t
et P([T
x
t]) = 1 e
a
x,x
t
.
2
20 Processus de Markov
Levolution dun processus de Markov ` a temps continu peut se voir comme une repetition
de deux phases :
on reste un certain temps (de loi exponentielle) dans un etat ;
lorsquon quitte cet etat, on choisit letat vers lequel on sort, cette destination
ne dependant ni du temps passe dans letat, ni du chemin par lequel on est arrive ` a letat.
On notera p
x,y
la probabilite de se rendre dans letat y en quittant letat x.
Propriete : Pour tout (x, y) E
2
tel que x = y, p
x,y
=
a
x,y

z=x
a
x,z
(et p
x,x
= 0).
Preuve : On a, si
x
= a
x,x
=

z=x
a
x,z
,
P([X
t+h
= x]/[X
t
= x]) =
x
h +o(h)
et, pour y = x,
P([X
t+h
= y]/[X
t
= x]) = a
x,y
h +o(h) = p
x,y

x
h +o(h)
dapr`es la denition de p
x,y
. Cest donc bien que p
x,y
=
a
x,y

x
=
a
x,y

z=x
a
x,z
.
2.
Denition :La chane de Markov discr`ete de matrice de transition P = (p
x,y
)
x,yE
est
appelee chane de Markov induite du processus.
2- Regime permanent
On rappelle que, si
(t)
est la loi de X
t
, i.e.
(t)
= (
(t)
x
)
xE
o` u
(t)
x
= P([X
t
= x]), on
a :

(t)
=
(0)
P(t).
Denition : On dit que le processus (X
t
)
t0
est stationnaire si la loi de X
t
est
independante de t.
On a alors
(t)
=
(0)
pour tout t 0 et en derivant lequation precedente, on obtient
:
0 =
(0)
P

(t) =
0)
P(t)A =
(t)
A =
(0)
A.
Denition : On appelle distribution stationnaire toute probabilite qui verie
A = 0.
Si (X
t
) converge en loi et si
()
= lim
t+

(t)
, alors
()
est distribution stationnaire
du processus.
On a (A)
y
=

xE

x
a
x,y
=

x=y

x
a
x,y
+
y
a
y,y
avec a
y,y
=

x=y
a
y,x
ainsi :
A = 0 equivaut ` a

x=y

x
a
x,y
=

x=y

y
a
y,x
Processus aleatoires 21
Cette relation traduit lequilibre, en regime stationnaire du ux rentrant en y (

x=y

x
a
x,y
)
et du ux sortant de y (

x=y

y
a
y,x
).
Exercices
1 Dans un certain pays, il ne fait jamais beau deux jours de suite. Si un jour il fait beau,
le lendemain il peut neiger ou pleuvoir avec autant de chances. Si un jour il pleut ou il
neige, il y a une chance sur deux quil y ait changement de temps le lendemain, et sil y
a changement, il y a une chance sur deux que ce soit pour du beau temps.
a) Former, ` a partir de cel` a, une chane de Markov et en determiner sa matrice de
transition.
b) Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain?
c) Si on suppose que lon a que deux etats (beau temps et mauvais temps),
determiner la matrice de transition de la nouvelle chane ainsi obtenue.
2 Trois chars livrent un combat. Le char A atteint sa cible avec la probabilite 2/3, le char
B avec la probabilite 1/2 et le char C avec la probabilite 1/3. Ils tirent tous ensembles
et d`es quun char est touche, il est detruit. On consid`ere ` a chaque instant, lensemble
des chars non detruits. Montrer quon obtient une chane de Markov dont on explicitera
lensemble des etats et la matrice de transition dans chacun des cas suivants :
a) Chaque char tire sur son adversaire le plus dangereux ;
b) A tire sur B ; B tire sur C et C tire sur A.
3 On consid`ere 5 points equirepartis sur un cercle. Un promeneur saute ` a chaque instant,
dun point ` a lun de ses voisins avec la probabilite 1/2 pour chaque voisin. Determiner le
graphe et la matrice de transition de la chane ainsi obtenue. Quelle est la periode de ses
etats?
4 On dispose de 2 machines identiques fonctionnant independamment et pouvant tomber
en panne au cours dune journee avec la probabilite q =
1
4
. On note X
n
le nombre de
machines en panne au debut de la n-i`eme journee.
a) On suppose que, si une machine est tombee en panne un jour, elle est reparee
la nuit suivante et quon ne peut reparer quune machine dans la nuit. Montrer que lon
peut denir ainsi une chane de Markov dont on determinera le graphe, la matrice de
transition et eventuellement les distributions stationnaires.
b) Meme question en supposant quune machine en panne nest reparee que le
lendemain, le reparateur ne pouvant toujours reparer quune machine dans la journee.
c) Le reparateur, de plus en plus paresseux, met maintenant 2 jours pour reparer
une seule machine. Montrer que (X
n
) nest plus une chane de Markov, mais que lon
peut construire un espace de 5 etats permettant de decrire le processus par une chane de
22 Processus de Markov
Markov dont on donnera le graphe des transitions. Calculer la probabilite que les 2 ma-
chines fonctionnent apr`es n jours (n = 1, n = 2 et n = 3) si elles fonctionnent initialement.
5 Determiner la matrice de transition des chanes suivantes :
a) N boules noires et N boules blanches sont placees dans 2 urnes de telle fa con
que chaque urne contienne N boules.
`
A chaque instant on choisit au hasard une boule
dans chaque urne et on echange les deux boules.
`
A linstant n, letat du syst`eme est le
nombre de boules blanches de la premi`ere urne.
b) N boules numerotees de 1 ` a N sont reparties dans une urne.
`
A chaque instant,
on tire un numero i au hasard entre 1 et N et la boule de numero i est change durne.
`
A
linstant n, letat du syst`eme est le nombre de boules dans la premi`ere urne.
c) Determiner la distribution stationnaire de la chane au b). (On montrera quil
sagit de la loi binomiale de param`etres N et 1/2). Determiner lesperance du nombre
de tirages necessaires pour revenir ` a letat initial dans les cas N = 2M, X
0
= M et
N = 2M, X
0
= 2M. Donner un equivalent lorsque M est grand et une valeur approchee
pour N = 10.
6 Dans Z
k
, on a k directions, et dans chaque direction, on a 2 sens. Un point de Z
k
a
donc 2k voisins. Un promeneur oisif saute ` a chaque instant dun point de Z
k
` a lun de
ses voisins avec la meme probabilite. Etudier la recurrence des chanes de Markov ainsi
obtenues. (On distinguera les cas k = 1, k = 2 et k 3).
7 Soit (X
n
)
nN
une chane de Markov de matrice de transition
P =
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
0 0 0 0 0
1
2
0
1
2
0 0
0 0 0 0 1 0 0 0 0 0
0 0
1
2
0
1
4
0
1
4
0 0 0
0 0 0 0 0 0 1 0 0 0
0 0
1
4
0 0 0
1
4
1
2
0 0
1
2
0 0 0 0 0 0
1
2
0 0
0 0 0
1
2
0 0 0 0 0
1
2
1
2
0 0 0 0
1
2
0 0 0 0
0
3
4
0 0 0 0 0 0
1
4
0
0 0 0 0 0 0 1 0 0 0
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
.
a) Representer le graphe de cette chane. Determiner les classes de communication,
leur nature, leur periodicite et eventuellement les sous-classes cycliques.
b) Calculer les probabilites dabsorption des etats transitoires par les classes recur-
rentes.
c) Determiner les distributions stationnaires de la chane et le temps moyen de
retour pour les etats recurrents. Existe-t-il une distribution limite ?
PROCESSUS DE POISSON
I- PR

ESENTATION
De nombreux phenom`enes aleatoires se manifestent par des arrivees survenant une
par une ` a des instants aleatoires successifs.
Exemples :
arrivees dappels ` a un central telephonique ;
impacts de micrometeorites sur un satellite ;
passage de vehicules ` a un peage dautoroute ;
arrivees de clients ` a un guichet, occurrence daccidents dans une ville, pannes de
machines dans une usine...
De tels phenom`enes peuvent se denir par la famille (S
n
)
nN

des temps darrivees qui


sont des variables aleatoires. Mais on peut aussi le faire ` a partir du processus de comptage
(N
t
)
tR
+
, ou par la famille (T
n
)
nN

des intervalles de temps entre deux arrivees.


N
t
est le nombre devenements apparus jusqu` a linstant t.
N
t+u
N
u
est le nombre devenements apparus entre u et u +t.
Lespace des etats du processus (N
t
)
tR
+
est E = N et lespace des temps est T = R
+
.
Le processus qui modelise convenablement les exemples cites est le processus de Pois-
son.
On conviendra que N
0
= 0.
On note :
S
n
linstant de realisation du n-i`eme evenement ;
T
n
la duree separant le (n 1)-i`eme evenement du n-i`eme evenement pour n 2
et T
1
= S
1
.
On a :
S
n
= T
1
+T
2
+ +T
n
pour tout n N

:
T
1
= S
1
et T
n
= S
n
S
n1
pour tout n 2.
Ainsi, la connaissance de la famille (S
n
)
nN

equivaut ` a celle de la famille (T


n
)
nN

.
24 Processus de Poisson
Dautre part, S
n
t signie que le n-i`eme evenement a eu lieu ` a linstant t ou avant,
cest-` a-dire qu` a linstant t, au moins n evenements ont eu lieu, cest-` a-dire que N
t
n.
Ainsi
F
S
n
(t) = P([S
n
t]) = P([N
t
n]) = 1
n1

k=0
P([N
t
= k])
et
P([N
t
= n]) = P([N
t
n]) P([N
t
n + 1]) = P([S
n
t]) P([S
n+1
t]).
Par consequent, la connaissance de (N
t
)
tR
+
equivaut ` a celle de la famille (S
n
)
nN

.
II- D

EFINITIONS ET DESCRIPTION DU PROCESSUS


Soit (N
t
)
tR
+
un processus aleatoire ` a valeurs dans N tel que N
0
= 0.
Denition 1 : Le processus (N
t
)
tR
+
est appele processus de comptage si cest un
processus croissant, cest-` a-dire si pour tout s t, N
s
N
t
. La variable aleatoire N
t
N
s
est alors appelee accroissement du processus sur ]s, t].
Denition 2 : Un processus de comptage (N
t
)
tR
+
est appele processus `a accroisse-
ments independants si pour tout n N

et pour tous t
1
, , t
n
tels que t
1
< t
2
< t
n
,
les accroissements N
t
1
N
0
, N
t
2
N
t
1
, , N
t
n
N
t
n1
sont des variables aleatoires
independantes.
Les processus veriant cette hypoth`ese sont assez nombreux : il semble en eet assez
naturel que les arrivees se produisant dans des intervalles disjoints ne soient pas liees entre
elles.
Denition 3 : Le processus est dit stationnaire (ou homog`ene dans le temps), si pour
tout s et pour tout t, laccroissement N
t+s
N
s
a meme loi que N
t
.
Remarque : Cette propriete est semblable ` a laxiome dhomogeneite pour les chanes
de Markov : seule la duree ecoulee entre deux instants (et non pas les deux instants eux-
memes) compte pour determiner la loi de laccroissement.
Si cette propriete semble relativement naturelle pour certains types darrivees, comme
par exemple pour les pannes survenant dans un parc de machines qui fonctionnent en
continu et toujours de la meme fa con, elle ne sera certainement pas realisee pour des pro-
cessus representant des arrivees ` a pics saisonniers (par exemple le nombre de passages
de vehicules au peage autoroutier de Bandol du 14 juillet au 15 ao ut ne suit pas la meme
loi que celui des vehicules du 17 octobre au 18 novembre).
Processus aleatoires 25
Denition 4 : Un processus ` a accroissements independants stationnaire (N
t
)
tR
+
est dit
`a evenements rares si lim
h0
+
P([N
h
> 0]) = 0 et si lim
h0
+
P([N
h
>1])
P([N
h
=1])
= 0.
Remarque : La deuxi`eme propriete traduit limprobabilite darrivees simultanees.
Si on pose f(t) = P([N
t
= 0]) ( et donc f(0) = 1), la premi`ere hypoth`ese traduit la
continuite de f en 0, car P([N
h
> 0]) = 1 f(h) et donc lim
h0
+
f(h) = f(0).
Denition 5 :Un processus de comptage (N
t
)
tR
+
tel que N
0
= 0 est un processus de
Poisson si :
C1 : (N
t
)
tR
+
est stationnaire
C2 : (N
t
)
tR
+
est un processus ` a accroissements independants ;
C3 : (N
t
)
tR
+
est un processus ` a evenements rares .
Le nom donne au processus de Poisson sexplique par ce qui suit :
Proriete : Un processus de comptage (N
t
)
tR
+
tel que N
0
= 0 est un processus de
Poisson si et seulement si :
C1 : (N
t
)
tR
+
est stationnaire ;
C2 : (N
t
)
tR
+
est un processus ` a accroissements independants ;
C3 : il existe > 0 tel que, pour tout t 0, la variable aleatoire N
t
suive la loi de
Poisson de param`etre t.
Preuve : Un processus qui verie C3 verie egalement C3.
En eet, si on a C3, alors
P([N
h
= 0]) = e
h
= 1 h +o(h)
do` u P([N
h
> 0]) = h+o(h) et lim
h0
P([N
h
> 0]) = 0. De plus, P([N
h
= 1]) = e
h
h = h+o(h) h
et
P([N
h
> 1]) = 1 P([N
h
= 0]) P([N
h
= 1]) = o(h)
et donc lim
h0
+
P([N
h
>1])
P([N
h
=1])
= 0.
On va maintenant montrer que, pour un processus de Poisson, laxiome C3 est verie.
P([N
t+s
= k]) =
k

i=0
P([N
t+s
= k] [N
t
= i]) (1)
=
k

i=0
P([N
t
= i] [N
t+s
N
t
= k i]) (2)
=
k

i=0
P([N
t
= i])P([N
t+s
N
t
= k i]) (3)
=
k

i=0
P([N
t
= i])P([N
s
= k i]) (4)
(On passe de (2) ` a (3) en utilisant C2 et de (3) ` a (4) en utilisant C1.)
26 Processus de Poisson
On pose alors P([N
t
= k]) = p
k
(t) et on va etablir que p
k
(t) = e
t
(t)
k
k!
par recurrence sur k.

Etude pour k = 0 : p
0
(t) = f(t) avec f qui verie
f(t +s) = f(t)f(s) ()
f est continue sur R
+
car lim
h0
(f(t +h) f(t)) = lim
h0
f(t)(f(h) 1) = 0.
Or, les seules solutions continues de (), ` a valeurs dans R
+
, sont les fonctions de la forme f(t) = e
at
.
(En eet, = ln f verie (s + t) = (t) + (s). En particulier, (nt) = n(t), puis, avec t =
1
n
,

_
1
n
_
=
1
n
(1), puis
_
m
n
_
=
m
n
(1). On a alors (r) = r(1) pour tout r Q et on conclut que
(x) = x(1) par densite de Q dans R (x = limr
n
) et gr ace ` a la continuite de f (f(x) = limf(r
n
)).
Ainsi f(x) = e
(x)
= e
x(1)
).
Ici f est ` a valeurs dans [0, 1], non identiquement nulle, donc a 0. Le cas a = 0 na pas dinteret car
alors on aurait P([N
t
= 0]) = 1 pour tout t. Donc, a < 0 et il existe = a tel que
f(t) = p
0
(t) = P([N
t
= 0]) = e
t
.
Recurrence sur k : On suppose maintenant que p
i
(t) = e
t
(t)
i
i!
pour tout t 0 et pour tout i k et
on va montrer que p
k+1
(t) = e
t
(t)
k+1
(k+1)!
.
Pour cela on va etablir une equation dierentielle du premier ordre veriee par p
k+1
(t) : on regarde
combien darrivees se sont produites jusqu` a linstant t +h en faisant intervenir le nombre darrivees qui
se sont produites jusqu` a linstant t.
[N
t+h
= k + 1] =
k+1
_
i=0
[N
t
= i] [N
t+h
N
t
= k + 1 i]
et donc, toujours en utilisant C2 puis C1, il vient
P([N
t+h
= k + 1]) =
k+1

i=0
P([N
t
= i])P([N
t+h
N
t
= k + 1 i]) =
k+1

i=0
P([N
t
= i])P([N
h
= k + 1 i])
soit, avec la notation introduite ici
p
k+1
(t +h) =
k+1

i=0
p
i
(t)p
k+1i
(h)
Or, pour i k 1, on a k + 1 i 2 ; do` u P([N
h
= k + 1 i]) = p
k+1i
(h) = o(p
1
(h)) car
lim
h0
P([N
h
>1])
P([N
h
=1])
= 0 et
p
k+1
(t +h) =
k1

i=0
p
i
(t)p
k+1i
(h) +p
1
(h)p
k
(t) +p
0
(t)p
k+1
(h) = p
1
(h)p
k
(t) +p
0
(h)p
k+1
(t) +o(p
1
(h)).
Avec p
0
(h) = 1 p
1
(h) +o(p
1
(h)), on obtient alors :
p
k+1
(t +h) p
k+1
(t) = p
1
(h) [p
k
(t) p
k+1
(t)] +o(h).
Donc
p
k+1
(t+h)p
k+1
(t)
h
=
p
1
(h)
h
[p
k
(t) p
k+1
(t)] +
o(h)
h
et
p

k+1
(t) = lim
h0
p
1
(h)
h
[p
k
(t) p
k+1
(t)] .
Processus aleatoires 27
Or p
1
(h) = 1 p
0
(h) +o(p
1
(h)) donc lim
h0
1p
0
(h)
p
1
(h)
= 1 = lim
h0
1p
0
(h)
h

h
p
1
(h)
et comme
lim
h0
1 p
0
(h)
h
= lim
h0
1 e
h
h
= ,
cest donc que lim
h0
p
1
(h)
h
= , do` u p

k+1
(t) = [p
k
(t) p
k+1
(t)], soit :
p

k+1
(t) +p
k+1
(t) = p
k
(t).
Pour resoudre cette equation dierentielle lineaire du premier ordre, on applique la methode dite de
variation de la constante.
On a donc p
k+1
(t) = C(t)e
t
avec
C

(t)e
t
= p
k
(t) = e
t

k+1
t
k
k!
.
Do` u C

(t) =

k+1
t
k
k!
et
C(t) C(0) =
_
t
0
C

(u)du =

k+1
k!
_
t
0
u
k
du =

k+1
k!
_
u
k+1
k + 1
_
t
0
=
(t)
k+1
(k + 1)!
avec p
k+1
(0) = C(0) = P([N
0
= k + 1]) = 0 car N
0
= 0. On a donc bien p
k+1
(t) = e
t
(t)
k+1
(k+1)!
. 2
Remarques :
[1] Pour tous s et t et pour tous i k :
P([N
t+s
= k] [N
s
= i]) = P([N
s
= i] [N
t+s
N
s
= k i])
= P([N
s
= i])P([N
t+s
N
s
= k i])
= P([N
s
= i])P([N
t
= k i]).
Ainsi,
P([N
t+s
= k]/[N
s
= i]) =
P([N
s
= i] [N
t+s
= k]
P([N
s
= i])
= P([N
t
= k i]) = e
t
(t)
ki
(k i)!
.
Ceci determine les probabilites de transition de i ` a k entre les instants s et t +s.
[2] La loi de (N
t
1
, N
t
2
, , N
t
n
) est parfaitement determinee.
En eet, si t
1
t
2
t
n
, et si k
1
k
2
k
n
alors :
[N
t
1
= k
1
] [N
t
n
= k
n
] = [N
t
1
= k
1
][N
t
2
N
t
1
= k
2
k
1
] [N
t
n
N
t
n1
= k
n
k
n1
]
et donc, en utilisant encore C2,puis C1, puis C3, on a alors, apr`es simplication evidente
P([N
t
1
= k
1
]) ([N
t
n
= k
n
]) = e
t
n

k
n
t
k
1
1
(t
2
t
1
)
k
2
k
1
(t
n
t
n1
)
k
n
k
n1
k
1
!(k
2
k
1
)! (k
n
k
n1
)!
.
28 Processus de Poisson
III- CARACT

ERISATION DUN PROCESSUS DE POISSON PAR SES TEMPS


DARRIV

EE
Soit S
n
linstant de la n-i`eme arrivee : S
n
= inf{t 0 ; N
t
= n} et T
n
le n-`eme temps
dattente pour n N

: T
n
= S
n
S
n1
(en convenant S
0
= 0).
On a S
n
=
n

i=1
T
i
et N
t
= max{n 0 ; S
n
t}.
Theor`eme : (N
t
)
tR
+
est un processus de Poisson de param`etre si et seulement si les
variables aleatoires T
n
sont independantes de meme loi exponentielle E() (de densite
f
T
n
(t) = e
t
1I
]0,+[
(t)).
Preuve :
P([T
1
> t]) = P([N
t
= 0]) = e
t
= 1 F
1
(t)
o` u F
1
est la fonction de repartition de T
1
. On a donc bien T
1
qui suit la loi exponentielle E().
P
[T
1
=t
1
]
([T
2
> t]) = P([N
t
1
+t
= 1]/[N
t
1
= 1] [N
s
= 0 pour tout s < t
1
])
= P([N
t
1
+t
N
t
1
= 0]/[N
t
1
= 1] [N
s
= 0 pour tout s < t
1
])
= P([N
t
1
+t
N
t
1
= 0])
dapr`es lindependance des accroissements.
Or P([N
t
1
+t
N
t
1
= 0]) = P([N
t
1
+tt
1
= 0]) = P([N
t
= 0]) dapr`es la stationnarite ; et cest aussi
e
t
car N
t
suit la loi de Poisson P(t).
Donc T
2
est bien independante de T
1
et de meme loi exponentielle E().
De fa con plus generale,
P([T
k
> t]/[T
1
= t
1
] [T
k1
= t
k1
]) = P([N
t
k1
+t
N
t
k1
= 0])
= P([N
t
= 0]) = e
t
.
Donc T
k
est independante de T
1
, , T
k1
et de meme loi exponentielle E().
La reciproque sera admise. 2
Consequence : Les variables aleatoires S
n
suivent la loi Gamma (, n) (ou loi dErlang),
de densite denie par
f
S
n
(t) =

n
(n 1)!
e
t
t
n1
1I
]0,+[
(t).
Propriete : Si (N
t
)
tR
+
est un processus de Poisson de param`etre , le temps aleatoire
U qui separe un instant du prochain evenement et le temps aleatoire V qui separe du
dernier evenement suivent la loi exponentielle E().
Preuve :
P([U > x]) = P([N
+x
N

= 0] = P([N
x
= 0]) = e
x
Processus aleatoires 29
car [U > x] signie que pendant la duree x qui suit , il ny a aucune arrivee. De meme,
P([V > x]) = P([N

N
x
= 0] = P([N
x
= 0]) = e
x
car [V > x] signie que pendant la duree x qui precedait , il ny a eu aucune arrivee. 2
Remarque : On a alors E(U +V ) = E(U) +E(V ) =
2

alors que E(T


n
) =
1

pour tout n N

. Cest donc
que U +V = T
N

na pas meme loi que les T


n
alors que sur [N

= n], on a T
N

= T
n
.
On peut terminer ce paragraphe en remarquant que E(N
1
) = et E(T
n
) =
1

. Ainsi,
plus est grand, plus le nombre moyen darrivees par unite de temps est important, et
plus lintervalle entre 2 arrivees est court, ce qui semblait a priori evident. Pour cette
raison, on appelle egalement le param`etre lintensite du processus.
IV- PROPRI

ET

ES SUPPL

EMENTAIRES
1- Decomposition, superposition
On peut decomposer en deux un processus de Poisson suivant un certain crit`ere.
Exemples :
Compteur ` a fonctionnement aleatoire : Des particules arrivant vers un compteur for-
ment un processus de Poisson de param`etre = 6 part/mn. Chaque particule a la
probabilite 2/3 detre enregistree par le compteur. Les particules enregistrees forment un
processus de Poisson de param`etre = 4 part/mn.
De meme,
les voitures qui passent devant une station service forment un processus de Poisson de
param`etre . Chaque voiture a la probabilite p de sarreter ` a la station. Alors, les voitures
qui sarretent ` a la station forment un processus de Poisson de param`etre p et les voitures
qui passent devant la station sans sarreter forment un processus de Poisson de param`etre
(1 p). De plus, ces deux processus sont independants.
Preuve : Ici, on va simplement montrer la propriete C3 pour le processus
_
N
(1)
t
_
t0
des voitures qui
sarretent ` a la station.
P([N
(1)
t
= k] =
+

n=k
P
_
[N
(1)
t
= k]/[N
t
= n]
_
P([N
t
= n])
=
+

n=k
C
k
n
p
k
(1 p)
nk
e
t
(t)
n
n!
= e
t
+

n=k
p
k
(1 p)
nk
(t)
n
k!(n k)!
= e
t
p
k
k!
+

m=0
(t)
m+k
(1 p)
m
m!
( en posant m = n k ) ;
= e
t
(pt)
k
k!
e
(1p)t
= e
pt
(pt)
k
k!
.
2
30 Processus de Poisson
Inversement, on pourrait montrer que
la somme de deux processus de Poisson independants de param`etres respectifs
1
et
2
est un processus de Poisson de param`etre
1
+
2
.
On a alors :
Propriete : Si
_
N
(1)
t
_
t0
et
_
N
(2)
t
_
t0
sont deux processus de Poisson independants de
param`etres respectifs
1
et
2
, alors la loi conditionnelle de N
(1)
t
sachant [N
(1)
t
+N
(2)
t
= n]
est la loi binomiale B
_
n,

1

1
+
2
_
.
Preuve :
P
_
[N
(1)
t
= k]/[N
(1)
t
+N
(2)
t
= n]
_
=
P
_
[N
(1)
t
= k] [N
(2)
t
= n k]
_
P([N
(1)
t
+N
(2)
t
= n])
=
P([N
(1)
t
= k])P([N
(2)
t
= n k])
P([N
(1)
t
+N
(2)
t
= n])
=
e

1
t
(
1
t)
k
k!
e

2
t
(
2
t)
nk
(nk)!
e
(
1
+
2
)t
((
1
+
2
)t)
n
n!
= C
k
n

k
1

nk
2
(
1
+
2
)
n
.
2
2- Processus de Poisson et loi binomiale.
Propriete : Pour s t, la loi conditionnelle de N
s
sachant [N
t
= n] est la loi binomiale
B
_
n,
s
t
_
.
Preuve :
P
[N
t
=n]
([N
s
= k]) =
P([N
s
= k] [N
t
= n])
P([N
t
= n])
=
P([N
s
= k] [N
t
N
s
= n k])
P([N
t
= n])
=
P([N
s
= k])P([N
t
N
s
= n k])
P([N
t
= n])
=
P([N
s
= k])P([N
ts
= n k])
P([N
t
= n])
=
e
s
(s)
k
k!
e
(ts)
((ts))
nk
(nk)!
e
t
(t)
n
n!
= C
k
n
_
s
t
_
k
_
1
s
t
_
nk
.
2
3- Processus de Poisson et loi uniforme
La loi de (S
1
, S
2
, , S
n
) sachant [N
t
= n] est celle de (U

1
, U

2
, , U

n
) ; U

i
etant
la i-`eme plus petite valeur parmi les U
1
, U
2
, , U
n
, variables aleatoires independantes de
meme loi uniforme sur [0, t]. ( En particulier U

1
= min(U
1
, , U
n
) et U

n
= max(U
1
, , U
n
)).
Cette loi a pour densite f

denie par :
f

(s
1
, s
2
, , s
n
) =
_
n!
t
n
si 0 s
1
s
2
s
n
t ;
0 sinon.
Processus aleatoires 31
Ainsi, pour simuler les n premiers temps darrivee dun processus de Poisson sachant
que [N
t
= n], il sut de tirer n nombres au hasard entre 0 et 1 (touche random de
la calculatrice), de les ranger par ordre croissant, puis de les multiplier par t en faisant
eventuellement les conversions en format horaire adequat (heures, minutes, seconde).
V- PROCESSUS DE POISSON COMPOS

ES
Pour un processus de Poisson, la condition C3 entrane limpossibilite dune realisation
simultanee de deux evenements ou plus. Si on supprime cette condition, les evenements
peuvent se produire par grappes, leectif de la grappe etant lui-meme aleatoire.
Exemples :
Arrivees davions dans un aeroport : chaque avion transporte un certain nombre
de passagers ;
Trac routier : chaque accident engendre un certain nombre de blesses...
Les instants doccurrence des grappes devenements sont les S
n
dun processus de
Poisson de param`etre .
`
A chaque instant S
n
est associee une variable aleatoire Y
n
designant le nombre deve-
nements se produisant ` a linstant S
n
.
On suppose les Y
n
independantes et de meme loi.
Z
t
est le nombre devenements apparus jusqu` a linstant t.
On a la relation fondamentale suivante :
Z
t
= Y
1
+Y
2
+ +Y
N
t
.
Cette relation permet, en particulier, de determiner la fonction generatrice de Z
t
et
donc son esperance et sa variance.
Propriete : G
Z
t
(s) = exp (t(G
Y
(s) 1)) ; E(Z
t
) = tE(Y ) et var(Z
t
) = tE(Y
2
).
Preuve : G
Z
t
(s) = E
_
E
N
t
_
s
Z
t
_
_
avec
E
[N
t
=n]
_
s
Z
t
_
= E
[N
t
=n]
_
s
Y
1
++Y
n
_
= (G
Y
(s))
n
car les Y
i
sont independantes entre elles et independantes de N
t
.
Donc E
N
t
_
s
Z
t
_
= (G
Y
(s))
N
t
et
E
_
s
Z
t
_
= E
_
E
N
t
_
s
Z
t
_
_
= E
_
G
Y
(s)
N
t
_
= G
N
t
(G
Y
(s)) = exp (t(G
Y
(s) 1))
car N
t
suit la loi de Poisson de param`etre t. On a alors
G

Z
t
(s) = tG

Y
(s)G
Z
t
(s) et G

Z
t
(s) = tG
Z
t
(s)
_
G

Y
(s) +t(G

Y
(s))
2
_
.
32 Processus de Poisson
En prenant la limite quand s tend vers 1, on obtient E(Z
t
) = tE(Y ), et
lim
s1

Z
t
(s) = t
_
(var(Y ) E(Y ) +E(Y )
2
) +t(E(Y ))
2
_
= var(Z
t
) E(Z
t
) + (E(Z
t
))
2
do` u var(Z
t
) = t
_
var(Y ) +E(Y )
2
_
= tE(Y
2
). 2
Exemple :
Le nombre daccidents par jour dans une ville suit un processus de Poisson de param`etre
2 et le nombre de personnes impliquees suit la loi geometrique de param`etre
1
2
. Quelle est
la moyenne et la variance du nombre de personnes accidentees durant une semaine ?
E(Y ) = 2 et var(Y ) = 2 = E(Y
2
) E(Y )
2
do` u E(Y
2
) = 6 et, pour t = 7, E(Z
t
) = 2 7 2 = 28 et
var(Z
t
) = 2 7 6 = 84. 2
Remarque :
On a E(N
t
) = t, donc, par exemple, dans le cas de lavion, le nombre moyen de pas-
sagers arrives jusqu` a linstant t est egal au nombre moyen E(N
t
) davions arrives jusqu` a
t multiplie par le nombre moyen de passagers par avion E(Y ), ce qui parat evident.
VI- COMPL

EMENT : PROCESSUS NON HOMOG


`
ENES
Soit (X
t
)
t0
un processus de comptage ` a accroissements independants veriant X
0
= 0,
P([X
t+h
= i + 1]/[X
t
= i]) = (t)h +o(h) et P([X
t+h
= i]/[X
t
= i]) = 1 (t)h +o(h).
On note S
n
le n-i`eme temps darrivee du processus.
Propriete : X
t
suit la loi de Poisson de param`etre (t) =
_
t
0
(u)du et T
1
= S
1
suit la
loi de densite t (t) exp
_

_
t
0
(u)du
_
1I
]0,+[
(t).
Remarques :
[1] Pour un processus de Poisson (X
t
) dintensite , on a
P([X
t+h
= i + 1]/[X
t
= i]) = h +o(h) et P([X
t+h
= i]/[X
t
= i]) = 1 h +o(h).
cest-` a-dire que ne depend pas de t.
[2] Le processus etudie ici est une generalisation du processus de Poisson. Pour
(t) = constant, on retrouve que X
t
suit la loi de Poisson de param`etre (t) = t et
que T
1
suit la loi exponentielle de param`etre .
Preuve : On reprend la methode utilisee pour montrer que, si (X
t
) est un processus ` a accroissements
independants, stationnaire et ` a evenements rares, alors X
t
suit la loi de Poisson P(t) : on pose p
n
(t) =
P([X
t
= n]) puis, en considerant p
n
(t + h) et en passant ` a la limite quand h 0, on va etablir une
equation dierentielle.
P([X
t+h
= 0]) = P([X
t
= 0] [X
t+h
X
t
= 0]) = P([X
t
= 0])(1 (t)h +o(h)), soit
p
0
(t +h) p
0
(t) = (t)hp
0
(t) +o(h).
Processus aleatoires 33
Dautre part, pour n 1,
P([X
t+h
= n]) =

k
P([X
t
= k] [X
t+h
X
t
= n k])
= P([X
t
= n])(1 (t)h) +P([X
t
= n 1])(t)h +o(h)
soit p
n
(t+h)p
n
(t) = ((t)p
n
(t)+(t)p
n1
(t))h+o(h). On a donc, en divisant par h et en faisant h 0 :
_
p

0
(t) +(t)p
0
(t) = 0
p

n
(t) +(t)p
n
(t) = (t)p
n1
(t)
avec p
0
(0) = 1 et p
n
(0) = 0 pour n 1.
On resout alors, soit en utilisant les equations dierentielles du premier ordre (et la methode de
variation de la constante), soit ` a laide de la fonction generatrice de X
t
:
G(z, t) =
+

n=0
z
n
p
n
(t).
Premi`ere methode :
p

0
(t)
p
0
(t)
= [ln(p
0
(t))]

= (t) et ln(p
0
(t)) ln(p
0
(0)) =
_
t
0
(u)du.
Ainsi, p
0
(t) = P([X
t
= 0]) = exp((t)). Dautre part, par la methode de variation de la constante,
p
n
(t) = C(t) exp((t)) avec C

(t) exp((t)) = (t)p


n1
(t)
et par recurrence, si on suppose que p
n1
(t) = exp((t))
((t))
n1
(n1)!
, on a alors C

(t) = (t)
((t))
n1
(n1)!
et,
comme C(0) = 0 (p
n
(0) = 0 pour n 1), on a alors C(t) =
((t))
n
n!
et on a bien :
P([X
t
= n]) = p
n
(t) = exp((t))
((t))
n
n!
.
Deuxi`eme methode : On a
G
t
(z, t)+(t)G(z, t) = (t)
+

n=1
z
n
p
n1
(t) = (t)zG(z, t), soit
G

G
= (z1) et,
comme G(0) = p
0
(0) = 1, G(z, t) = exp
_
(z 1)
_
t
0
(u)du
_
. On reconnat bien l` a la fonction generatrice
de la loi de Poisson de param`etre (t) =
_
t
0
(u)du.
Pour la loi de T
1
, P([T
1
> t]) = P([X
t
= 0]) = exp((t)) = 1 F
T
1
(t) pour t > 0. On a donc bien
f
T
1
(t) = (t) exp((t)) pour t > 0 .
Exercices
8 Calculer la loi du n-i`eme temps darrivee dun processus de Poisson de deux fa cons :
a) En utilisant [S
n
t] = [N
t
n]
34 Processus de Poisson
b) En utilisant S
n
= T
1
+T
2
+ +T
n
.
9 Les arrivees dautobus ` a une station forment un processus de Poisson dintensite .
Chaque autobus sarrete un temps xe ` a la station. Un passager qui arrive ` a un instant
t
0
monte dans le bus si celui-ci est l` a, attend pendant un temps

, puis, si lautobus nest


pas arrive pendant le temps

, quitte la station et sen va ` a pied.


Determiner la probabilite que le passager prenne lautobus.
10 Sur une route ` a sens unique, lecoulement des voitures peut etre decrit par un pro-
cessus de Poisson dintensite =
1
6
s
1
. Un pieton qui veut traverser la route a besoin
dun intervalle dau moins 4s entre 2 voitures successives. Calculer :
a) la probabilite pour quil doive attendre ;
b) la duree moyenne des intervalles qui lui permettent de traverser la route ;
c) le nombre moyen de voitures quil voit passer avant de pouvoir traverser la route.
11 On consid`ere un appareil de comptage, qui denombre les voitures sur une route, de
ux poissonien dintensite . Lappareil peut tomber en panne ` a linstant T, o` u T est une
variable aleatoire de loi Gamma (1, a).
Soit X le nombre de vehicules enregistres par lappareil jusqu` a ce quil tombe en
panne. Determiner la loi et lesperance de X.
12 Un radar est place sur une route o` u il passe en moyenne 5 vehicules en exc`es de
vitesse par heure. On admet que ces vehicules forment un Processus de Poisson.
a) Determiner la probabilite qu1 voiture ait ete prise dans le premier 1/4 dheure
sachant que 2 ont ete prises en 1 heure.
b) On suppose ici que le radar ne peut pas tomber en panne mais quil ne detecte
que 80% des vehicules en exc`es de vitesse. Determiner la loi du nombre de vehicules
detectes par le radar apr`es 100 heures de fonctionnement et le nombre moyen de ces
vehicules.
c) On suppose ici que le nombre de personnes dans les vehicules varie de 1 ` a 5 avec
les probabilites respectives 0,4 ; 0,3 ; 0,1 ; 0,1 ; 0,1. Determiner la fonction generatrice
du nombre de personnes retardees par lincident apr`es 100 heures et le nombre moyen de
ces personnes.
d) On suppose ici que la duree de fonctionnement du radar suit une loi exponen-
tielle de moyenne 100 heures. Determiner la loi du nombre de vehicules detectes par le
radar et le nombre moyen de ces vehicules.
PROCESSUS DE NAISSANCE ET DE MORT
Utilises plus particuli`erement en biologie, demographie, physique, sociologie, pour ren-
dre compte de levolution de la taille dune population, les processus de naissance et de
mort sont des processus de Markov continus (T = R
+
), ` a valeurs dans E = N tels que
les seules transitions non negligeables possibles ` a partir de n soient vers n + 1 ou vers
n 1. Le generateur innitesimal du processus est donc une matrice dite tridiagonale
A = (a
i,j
)
i,jN
veriant a
i,j
= 0 si |i j| 2.
On posera a
n,n+1
=
n
et a
n,n1
=
n
pour n 1 ( et a
0,1
=
0
) :
n
represente le
taux de naissance ` a partir de letat n et
n
le taux de mort ` a partir de letat n.
Les les dattente de type Markovien (M/M) sont des cas particuliers tr`es importants
de processus de naissance et de mort. Leur etude compl`ete sera eectuee ulterieurement.
A =
_
_
_
_
_
_
_
_
_

0

0
(0)

1
(
1
+
1
)
1

2
(
2
+
2
)
2

3
.
.
.
.
.
.
(0)
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
_
de graphe des taux :
Le graphe des taux de transition est constitue de boudins, les arcs vers la droite
representant les taux de naissance, et ceux vers la gauche les taux de mort. Ces proces-
sus sont lanalogue des chemins aleatoires dans le cas o` u lechelle des temps est continue.
I-

ETUDE G

EN

ERALE
1. Regime transitoire
On rappelle que si P(t) = (p
i,j
(t)), o` u p
i,j
(t) = P([X
u+t
= j]/[X
u
= i]), alors
P(t) = e
At
=
+

k=0
t
k
k
A
k
.
36 Processus de naissance et de mort
La loi de X
t
est alors donnee, en theorie, par
(t)
=
(0)
P(t). (On notera ici, par
commodite decriture,
(t)
= p(t) = (p
n
(t))
nN
, avec p
n
(t) = P([X
t
= n]).
Malheureusement, le calcul de e
At
sav`ere bien souvent tr`es complique (puissances de
matrice, puis serie ` a sommer!). On pref`erera, en general, garder lexpression dierentielle,
meme si celle-ci est souvent tout aussi dicile ` a resoudre.

Equations de Kolmogorov : On a p(t) = p(0)P(t) qui redonne, en derivant,


p

(t) = p(0)P

(t) = p(0)P(t)A = p(t)A,


et donc p

j
(t) =

i
p
i
(t)a
i,j
, qui donne ici le syst`eme suivant, dit dequations de Kol-
mogorov :
_
p

0
(t) =
0
p
0
(t) +
1
p
1
(t)
p

n
(t) =
n1
p
n1
(t) (
n
+
n
)p
n
(t) +
n+1
p
n+1
(t) pour n 1
.
2- Regime permanent
Lorsque, quand t +, les limites p
n
= lim
t+
p
n
(t) existent et sont independantes de
letat initial du processus, on a alors p

= 0 et pA = 0 i.e. p est distribution stationnaire


du processus si le regime permanent existe. Ceci se traduit par les equations dites de
balance :
_
0 =
0
p
0
+
1
p
1
0 =
n1
p
n1
(
n
+
n
)p
n
+
n+1
p
n+1
pour n 1
que lon retrouve en ecrivant en chaque etat legalite du ux entrant et du ux sortant :
etat 0 :
1
p
1
=
0
p
0
;
etat 1 :
2
p
2
+
0
p
0
=
1
p
1
+
1
p
1
;
.
.
.
etat n :
n+1
p
n+1
+
n1
p
n1
=
n
p
n
+
n
p
n
;
.
.
.
auxquelles il faut ajouter lequation
+

n=0
p
n
= 1 pour que p denisse bien une probabilite.
Ces equations se simplient successivement pour donner nalement des egalites boudins
par boudins :
_

1
p
1
=
0
p
0

2
p
2
=
1
p
1
.
.
.

n
p
n
=
n1
p
n1
.
.
.
.
On en deduit alors p
n
=

0

n1

n
p
0
pour n 1, avec p
0
_
1 +
+

n=1

n1

n
_
= 1.
Processus aleatoires 37
II-

ETUDE DE QUELQUES CAS PARTICULIERS
On etudie ici les cas particuliers des populations o` u les taux de naissance et de mort
sont lineaires :

n
= n +
represente le taux dimmigration : arrivees venant de lexterieur. Il est suppose
constant (et donc independant du nombre dindividus dej` a presents).
represente le taux de naissance : chaque individu est susceptible de donner
naissance ` a un nouvel individu avec le taux et sil y a dej` a n individus, la probabilite
quil y ait une naissance sur lintervalle [t, t +h[ est alors nh +o(h).

n
= n + si n 1
represente le taux demigration : departs vers lexterieur. Il est suppose constant
(sauf sil ny a personne, auquel cas il est nul).
represente le taux de mort : chaque individu est susceptible de mourir avec le
taux et sil y a dej` a n individus, la probabilite quil y ait une mort sur lintervalle
[t, t +h[ est alors nh +o(h).
1. Croissance pure, par immigration
Cest le cas
n
= et
n
= 0 pour tout n N.
_
p

0
(t) = p
0
(t)
p

n
(t) = p
n1
(t) p
n
(t) pour n 1
.
On retrouve les equations veriees par le processus de Poisson (N
t
) de param`etre .
En particulier X
t
suit la loi de Poisson P(t) : p
n
(t) = e
t
(t)
n
n!
.
2. Croissance pure, par naissance
Cest le cas
n
= n et
n
= 0 pour tout n N.
Ceci na de sens que si X
0
1. On supposera que X
0
= 1 .
_
p

0
(t) = 0
p

n
(t) = (n 1)p
n1
(t) np
n
(t) pour n 1
.
Proprietes : X
t
suit la loi geometrique G(e
t
) : p
n
(t) = e
t
(1 e
t
)
n1
.
Preuve : On peut trouver p
n
(t) par recurrence ascendante sur n (matrice A triangulaire superieure !)
p

0
(t) = 0 donc p
0
(t) = p
0
(0) = 0.
38 Processus de naissance et de mort
p

1
(t) = p
1
(t) donc p
1
(t) = Ce
t
avec C = p
1
(0) = 1.
Supposons que p
n1
(t) = e
t
(1 e
t
)
n2
pour n 2. On a
p

n
(t) +np
n
(t) = (n 1)e
t
(1 e
t
)
n2
.
Cest une equation dierentielle lineaire du premier ordre avec second membre donc, pour la resoudre,
on applique la methode de la variation de la constante.
p
n
(t) = C(t)e
nt
avec C

(t)e
nt
= (n 1)e
t
(1 e
t
)
n2
, soit
C

(t) = (n 1)e
(n1)t
(1 e
t
)
n2
= (n 1)e
t
(e
t
1)
n2
=
d
dt
_
(e
t
1)
n1
_
donc C(t) C(0) = (e
t
1)
n1
et C(0) = p
n
(0) = 0 pour n 2. Finalement,
p
n
(t) = (e
t
1)
n1
e
nt
= e
t
(1 e
t
)
n1
.
X
t
suit donc la loi geometrique de param`etre e
t
et, en particulier, E(X
t
) = e
t
2
3. Decroissance pure, par dec`es
Cest le cas
n
= 0 et
n
= n pour tout n N.
On suppose X
0
= N 1. Ce mod`ele decrit levolution dun syst`eme compose de N
dispositifs independants non reparables, dont les durees de fonctionnement obeissent ` a
une meme loi exponentielle de param`etre (duree de vie moyenne 1/).
Dans ce cas, il est immediat que p
n
(t) = C
n
N
e
nt
(1 e
t
)
Nn
pour n {0, 1, , N} .
En eet, la probabilite quun dispositif de duree de vie T fonctionne encore ` a linstant t
est P([T > t]) = e
t
(donc la probabilite quil ne fonctionne plus est (1e
t
)). Comme
p
n
(t) est la probabilite quil y ait exactement n dispositifs qui fonctionnent ` a linstant t
et quil y a exactement C
n
N
fa cons de choisir les n qui fonctionnent, on a bien le resultat.
On peut le retrouver avec les equations de Kolmogorov :
_
p

n
(t) = np
n
(t) + (n + 1)p
n+1
(t) pour n {0, 1, , N 1}
p

N
(t) = Np
N
(t)
.
Proprietes : X
t
suit la loi binomiale B(N, e
t
) : p
n
(t) = C
n
N
e
nt
(1 e
t
)
Nn
.
Preuve : On peut trouver p
n
(t) par recurrence descendante sur n (matrice A triangulaire inferieure !)
p

N
(t) +Np
N
(t) = 0 donc p
N
(t) = Ce
Nt
avec C = p
N
(0) = 1.
Supposons maintenant que p
n+1
(t) = C
n+1
N
(e
t
)
n+1
(1 e
t
)
Nn1
pour n {1, , N 1}.
On a
p

n
(t) +np
n
(t) = (n + 1)C
n+1
N
(e
t
)
n+1
(1 e
t
)
Nn1
.
Processus aleatoires 39
On applique la methode de la variation de la constante : p
n
(t) = C(t)e
nt
avec
C

(t) = e
nt
(n + 1)
N!
(n + 1)!(N n 1)!
e
(n+1)t
(1 e
t
)
Nn1
= (N n)C
n
N
e
t
(1 e
t
)
Nn1
=
d
dt
_
C
n
N
(1 e
t
)
Nn
_
donc C(t) C(0) = C
n
N
(1 e
t
)
Nn
avec C(0) = p
n
(0) = 0 pour n < N et
p
n
(t) = C
n
N
e
nt
(1 e
t
)
Nn
.
X
t
suit donc la loi binomiale B(N, e
t
) et, en particulier, E(X
t
) = Ne
t
.
2
4- Processus de Yule-Ferry
Cest le cas
n
= n et
n
= n pour tout n N.
_
p

0
(t) =
1
p
1
(t)
p

n
(t) = (n 1)p
n1
(t) n( +)p
n
(t) + (n + 1)p
n+1
(t) pour n 1
.
Dans ce cas, la matrice A nest plus triangulaire et les p
n
(t) sont plus diciles ` a
determiner. On peut toutefois determiner E(X
t
) dans un cadre un peu plus general (au-
torisant limmigration mais pas lemigration :
Proprietes : Si
n
= n + et
n
= n et si X
0
= N, alors
M(t) = E(X
t
) =
_
t +N si =
Ne
()t
+

_
e
()t
1
_
si =
Preuve : On ecrit les equations de Kolmogorov :
_
p

0
(t) = p
0
(t) +p
1
(t)
p

n
(t) = ((n 1) +)p
n1
(t) (n( +) +)p
n
(t) + (n + 1)p
n+1
(t) pour n 1
.
On pose G(s, t) = E(s
X
t
) =
+

n=0
s
n
p
n
(t). On a alors
2
G(s, t) =
+

n=0
s
n
p

n
(t) qui secrit ici :

2
G(s, t) = p
0
(t) +p
1
(t) +
+

n=1
s
n
[((n 1) +)p
n1
(t) (n( +) +)p
n
(t) + (n + 1)p
n+1
(t)]
= p
0
(t) +p
1
(t) +
+

n=0
s
n+1
(n +)p
n
(t)
+

n=1
(n( +) +)s
n
p
n
(t) +
+

n=2
ns
n1
p
n
(t)
avec
+

n=0
s
n+1
(n +)p
n
(t) = s
2

n=1
ns
n1
p
n
(t) +sG(s, t) = s
2

1
G(s, t) +sG(s, t),
+

n=1
(n( +) +)s
n
p
n
(t) = s( +)
1
G(s, t) +G(s, t) p
0
(t),
40 Processus de naissance et de mort
+

n=2
ns
n1
p
n
(t) =
1
G(s, t)
1
p
1
(t)
do` u nalement
2
G(s, t) = (s
2
s( +) +)
1
G(s, t) +(s 1)G(s, t) .
Cette equation se resout gr ace ` a la theorie des equations aux derivees partielles mais letude de ce
type de probl`emes nest pas ` a lordre du jour et on va ici se contenter den deduire la taille moyenne de
la population ` a linstant t :M(t) = E(X
t
).
On remarque que M(t) =
+

n=1
np
n
(t) =
1
G(1

, t) et on va trouver une equation dierentielle lineaire


du premier ordre dont M est solution. Pour cela, on derive lequation precedente par rapport ` a s et on
prend la limite quand s 1

2
G(s, t) = (2s ( +))
1
G(s, t) + (s
2
s( +) +)
2
1
G(s, t) +G(s, t) +(s 1)
1
G(s, t)
Or
1
G(1

, t) = M(t),
1

2
G(1

, t) =
2

1
G(1

, t) = M

(t) et G(1

, t) = 1 donnent :
M

(t) = ( )M(t) + .
Si = , M

(t) = et M(t) = t +N car M(0) = N.


Si = , lequation sans second membre a pour solution Ce
()t
et une solution particuli`ere de
lequation compl`ete est

donc M(t) = Ce
()t

avec M(0) = N = C

et nalement
M(t) = Ne
()t
+

_
e
()t
1
_
.
2
5- Cas logistique `a taux non lineaires
On consid`ere une population dont la taille X
t
est comprise entre 2 entiers N
1
et N
2
et
dont les taux de naissance et de mort par individu sont
= (N
2
X
t
) et = (X
t
N
1
)
(plus il y a de monde, plus le taux de naissance est faible et le taux de mort fort ; moins
il y a de monde, plus le taux de naissance est fort et le taux de mort faible : les individus
ont besoin de place pour se developper !).
On suppose que les membres de cette population agissent independamment les uns
des autres. Les taux de naissance et de mort resultant pour la population sont alors

n
= n(N
2
n) et
n
= n(n N
1
).
Proprietes : Un tel processus admet une distribution stationnaire denie par :
p
N
1
+k
=
C
N
1
+k
C
k
N
2
N
1
_

_
k
pour k {0, , N
2
N
1
}
avec C =
_
N
2
N
1

j=0
1
N
1
+j
C
j
N
2
N
1
_

_
j
_
1
.
Processus aleatoires 41
Preuve : On pose
k
= p
N
1
+k
on on ecrit les equations de balance :

m1
p
m1
=
m
p
m
pour m {N
1
+ 1, , N
2
}.
Avec m = N
1
+k, on a
m
= (N
1
+k)(N
2
N
1
k) et
m
= k(N
1
+k). Ainsi, on a :

1
=

N
1
(N
2
N
1
)
1(N
1
+1)

0

2
=
_

_
N
1
(N
1
+1)(N
2
N
1
)(N
2
N
1
1)
1.2.(N
1
+1)(N
1
+2)

0
=
_

_
2
N
1
N
1
+2
C
2
N
2
N
1

0
.
.
.

k
=
_

_
k
N
1
(N
1
+1)(N
1
+k1)(N
2
N
1
)(N
2
N
1
k+1)
k!(N
1
+1)(N
1
+k)

0
=
_

_
k
N
1
N
1
+k
C
k
N
2
N
1

0
puis on determine
0
en utilisant
0
+
1
+ +
N
2
N
1
= 1.
2
III- PROBL
`
EME DEXTINCTION DE LESP
`
ECE
Lorsque lon etudie une population telle que
0
= 0 (quand il ny a plus personne,
cest denitif !), on peut chercher la probabilite quelle a de disparatre un jour, et, si
elle doit disparatre, le temps quelle va mettre pour disparatre. On est donc conduit ` a
considerer les probabilites :
a
k
: probabilite dextinction de lesp`ece si la taille initiale est k ;
ainsi que les variables aleatoires :
T
k
: temps ecoule jusqu` a lextinction de lesp`ece si la taille initiale est k.
On est dans le cas, o` u, si X
t
= 0, alors X

= 0 pour t et
P([T
k
t]) = P
[X
0
=k]
([X
t
= 0]) = P
k,0
(t).
La fonction de repartition de T
k
est donc F
T
k
: t P
k,0
(t) = p
0
(t) , o` u p
0
est determine
par les equations de Kolmogorov, avec la condition initiale p
k
(0) = 1.
De plus, a
k
= P([T
k
< +]) = lim
t+
P
[X
0
=k]
([X
t
= 0]) .
En pratique, la determination du regime transitoire est bien souvent compliquee :
ainsi, on se contentera parfois, ` a defaut davoir la loi de T
k
, de determiner
k
= E(T
k
) :
temps moyen jusqu` a lextinction, lorsque la taille initiale est k.
Pour la determination de a
k
, on consid`erera la chane de Markov induite telle quon
la denie dans le chapitre sur les processus de Markov. On a ici p
n,n+1
=

n

n
+
n
= p
n
et p
n,n1
=

n

n
+
n
= q
n
et 0 est une classe absorbante, alors que N

constitue une classe


transitoire.
On a alors les resultats suivants :
42 Processus de naissance et de mort
Theor`eme : On pose d
j
=
q
1
q
j
p
1
p
j
=

1

j
et
j
=

1

j1

j
=
1
d
j

j
.
La probabilite dextinction ` a partir de la taille initiale k est :
a
k
=
_

_
+

j=k
d
j
1+
+

j=1
d
j
si
+

j=1
d
j
converge
1 sinon
.
Le temps moyen jusqu` a lextinction est :

k
=
_

_
+

j=1

j
+
k1

i=1
d
i
+

j=i+1

j
si
+

j=1

j
converge
+ sinon
.
Preuve : Pour la probabilite dextinction, cest-` a-dire dabsorption par letat 0, voir lexercice 14.
Pour le temps moyen dabsorption, on proc`ede de meme. On rappelle que le temps moyen de sejour
dans un etat j est
1

i
+
i
, car la distribution de ce temps suit la loi exponentielle E(
j
+
j
).
En considerant les etats j + 1 et j 1 qui peuvent resulter de la premi`ere transition, on a alors :

j
=
1

j
+
j
+

j

j
+
j

j+1
+

j

j
+
j

j1
pour j 1 (1)
o` u par convention
0
= 0. En posant z
j
=
j

j+1
et en reordonnant (1) on obtient :
z
j
=
1

j
+

j

j
z
j1
pour j 1. (2)
En iterant cette relation, il vient
z
k
=
1

k
+

k

k
1

k1
+

k

k1

k1
z
k2

... et on termine en suivant exactement la meme demarche que dans lexercice 14.
2
Exercices
13 La duree de bon fonctionnement dune machine est une variable aleatoire de loi
exponentielle de param`etre . En cas de panne, le temps de reparation obeit ` a une loi
exponentielle de param`etre .
Quelle est la probabilite que la machine fonctionne ` a linstant t si elle fonctionnait ` a
linstant 0 ?
14 Un joueur decide de faire des paris jusqu` a quil soit ruine ou bien quil ait atteint
N euro. Sil dispose de j euro quand il eectue un pari, alors, ` a ce pari, il gagne 1 euro
avec la probabilite p
j
ou bien il perd 1 euro avec la probabilite q
j
= 1 p
j
. On note a
k
la
Processus aleatoires 43
probabilite de nir ruine avec une fortune initiale de k euro et a
(n)
k
la probabilite de nir
ruine en n paris.
a) Modeliser le probl`eme par une chane de Markov et faire le graphe correspondant.
b) Determiner a
N
et a
0
.
c) Montrer que :
a
(1)
1
= q
1
et a
(n)
1
= p
1
a
(n1)
2
si n 2 ;
pour j 2, a
(1)
j
= 0 et a
(n)
j
= p
j
a
(n1)
j+1
+q
j
a
(n1)
j1
si n 2.
d) En deduire que :
a
1
= q
1
+p
1
a
2
et a
j
= p
j
a
j+1
+q
j
a
j1
si j 2, puis
p
j
(a
j
a
j+1
) = q
j
(a
j1
a
j
) pour 1 j N 1 ;
a
j
a
j+1
= d
j
(a
0
a
1
) pour 1 j N 1, si on pose d
j
=
q
1
q
j
p
1
p
j
.
e) Verier que a
k
=
N1

j=k
(a
j
a
j+1
) pour 1 k N 1 et que 1 =
N1

j=0
(a
j
a
j+1
),
et en deduire que a
k
=
N1

j=k
d
j
1+
N1

j=1
d
j
.
f) En deduire, en faisant N +, la probabilite de ruine du joueur.
15 On consid`ere une station de taxis comportant K places pour les taxis et une capacite
daccueil illimitee pour les clients qui se presentent, de fa con Poissonnienne, au rythme
de par heure. Les taxis arrivent egalement de fa con Poissonnienne, au rythme de par
heure, mais ne sarretent quavec la probabilite
1
m+1
sil y a dej` a m taxis (0 m < K).
a) Verier quon est en presence dun processus de naissance et de mort et en
donner le graphe (etats (n, m)
n0,m{0,K}
).
b) A.N. : K = 3, = 10, = 15. Donner la proportion de temps pendant laquelle
il ny a pas de taxi et le temps moyen dattente dun client.
16 On consid`ere N etudiants qui, chacun, lorsquils sont ` a Toulouse, y restent un temps
exponentiel de param`etre avant den sortir et inversement, restent un temps exponen-
tiel de param`etre ` a lexterieur avant de rentrer. Soit X
t
le nombre de ces etudiants
qui sont sur Toulouse ` a linstant t. Verier que (X
t
) est un processus de naissance et
de mort ; representer son graphe ; etablir que la distribution stationnaire est la loi bino-
miale B
_
N,

+
_
et trouver le nombre moyen detudiants sur Toulouse lorsque N = 23,
1

= 5jours et
1

= 2jours.
44 Processus aleatoires
jeudi 6 avril 2000
I Soient A, B et U trois variables aleatoires reelles independantes, U suivant la loi uni-
forme sur [, ]. On pose, si f
0
> 0, X
t
= Acos(2f
0
t +U) et Y
t
= Bsin(2f
0
t +U).
Verier que (X
t
) et (Y
t
) sont des processus dordre 2 ; determiner
X
,
Y
,
X
,
Y
et R
X,Y
.
II Un operateur telephonique propose ` a un client 2 types dabonnements mensuels. On
note X
n
le type utilise par le client pour le mois n. Labonnement type 1 est reconduit le
mois suivant avec la probabilite
1
2
tandisque labonnement de type 2 est reconduit avec la
probabilite
1
4
.
1) Determiner le graphe, la matrice, et, si elle existe, la distribution stationnaire
de la chane ainsi obtenue. Quelle est la probabilite dutiliser labonnement 1 au mois de
juillet si celui-ci est utilise au mois davril ?
2) Quel est, en mois, le temps moyen de retour ` a chaque type dabonnement ?
Retrouver ceux-ci apr`es avoir calcule P
[X
0
=i]
([T
i
= n]) pour tout n et pour i {1, 2}.
3) Quel est le co ut moyen mensuel de labonnement si les tarifs sont de 100F pour
le type 1 et 200F pour le type 2 ?
4) Meme question, en considerant quun changement dabonnement co ute 50F. (On
fera intervenir X
n
et X
n1
avant de passer ` a la limite).
III Losquune equipe de foot a joue n matches, on note X
n
la serie de matches sans
defaites en cours. On suppose que, si X
n
= k, la probabilite de ne pas perdre le match
suivant est p
k
.
1) Montrer rapidement que (X
n
) denit une chane de Markov et faire son graphe.
Exprimer P
(X
0
=0)
(T
0
= n) et donner des conditions pour que la chane soit transitoire,
recurrente nulle ou recurrente positive (` a laide des r
n
= p
0
p
1
p
n1
).
2) On suppose que p
n
= p pour tout n et que le president organise une grande fete
chaque fois que lequipe atteint son 5-i`eme match sans defaite. Quel est le nombre moyen
de matches joues dune fete ` a lautre ? (A.N. : p =
1
2
)
IV Un automobiliste qui cr`eve monte la roue de secours et remet la roue crevee dans sa
voiture sans la faire reparer : sil cr`eve ` a nouveau, il fait appel ` a un depanneur qui lui
vend alors 2 roues dun coup. Les crevaisons arrivent suivant un processus de Poisson au
rythme moyen de 1 par an.
1) Trouver les lois du nombre de crevaisons N
t
et de depannages M
t
jusqu` a t.
(M
t
) est-il un processus de Poisson ? Montrer que E(M
t
) =
t
2

1
4
(1 e
2t
).
2) Si le depannage coute 400F, 1 roue 400F et 2 roues 600F (la deuxi`eme ` a moitie
prix) a-t-il raison de proceder ainsi sur une duree de 1 an ? 2, 3, 4 ans ? (Comparer les
co uts moyens des 2 strategies).
(On negligera les durees des depannages, demontages et montages).
N.B. : Pour certains calculs desperances, il conviendra dutiliser la fonction generatrice.
Contr oles precedents 45
jeudi 19 avril 2001.
I On dispose de 2 machines identiques fonctionnant independamment et pouvant tomber
en panne au cours dune journee avec la probabilite q =
1
4
. La maintenance est assuree
par 2 specialistes speciques. Lorsquune machine tombe en panne, le premier specialiste
la demonte le lendemain (sil nest pas occupe avec lautre machine), et le deuxi`eme la
repare toute la journee suivante. Montrer que lon peut denir une chane de Markov
(X
n
) ` a 5 etats, X
n
designant letat du syst`eme au debut du n-i`eme jour. Determiner le
graphe, la matrice de transition et eventuellement les distributions stationnaires de cette
chane. Combien de jours passe-t-on en moyenne sans aucune machine entre 2 journees
o` u toutes les 2 fonctionnent ?
II On consid`ere la marche aleatoire sur N denie par p
k,k+1
= p ; p
k,k1
= 1 p pour
k N

et p
0,1
= 1.
1) Montrer que, si p <
1
2
, la chane est recurrente positive et determiner les temps
moyens de retour en chaque etat.
2) On note f
(n)
ij
la probabilite datteindre j ` a partir de i en exactement n etapes et
on pose f
ij
=

n1
f
(n)
ij
. Montrer que f
0,0
= f
1,0
; f
10
= pf
20
+q et f
k+1,0
= pf
k+2,0
+(1p)f
k,0
pour k 1, puis que f
k,0
= A +B
_
1p
p
_
k
pour k 1.
En deduire que la chane est recurrente nulle si p =
1
2
.
3) En utilisant le complement de cours, montrer que la chane est transitoire si
p >
1
2
.
III On consid`ere 2 joueurs A et B. On donne au depart iF ` a A et (4i)F ` a B (1 i 3).
A chaque etape, chaque joueur tire 1 carte parmi 3 (numerotees de 1 ` a 3) : celui qui ob-
tient la plus faible valeur reverse ` a lautre la dierence (en francs : F) entre les 2 valeurs
tirees (ou tout son argent sil na pas assez, et rien sils ont tire la meme carte). X
n
designe
la fortune du joueur A apr`es n parties (en convenant que si X
n
0
{0, 4}, X
n
0
+m
= X
n
0
pour tout m).
Montrer que (X
n
) est une chane de Markov. En determiner le graphe, la matrice, les
distributions stationnaires et pour tout i, la probabilite q
i
que A nisse ruine si sa fortune
initiale est i.
IV Une concession automobile re coit au debut de chaque mois une nouvelle voiture, sauf
sil en reste 3 auquel cas elle refuse. Les acheteurs constituent un processus de Poisson
dintensite mois
1
.
1) Determiner
0
,
1
,
2
,
1
,
2
,
3
les probabilites davoir respectivement 0, 1, 2,
au moins 1, au moins 2, au moins 3 acheteurs dans le mois.
2) Si X
n
designe le nombre de voitures dans la concession immediatement apr`es la
livraison du mois n, montrer que (X
n
) est une chane de Markov ` a 3 etats ; en determiner
son graphe, sa matrice et sa distribution stationnaire.
En deduire le nombre moyen de voitures refusees par an.
46 Processus aleatoires
jeudi 4 avril 2002.
I Une personne poss`ede r parapluies, quelle utilise entre son domicile et son bureau.
Lorsquil pleut ` a son depart (du domicile ou du bureau), et seulement dans ce cas, elle
prend un parapluie, ` a condition quil y en ait un. La probabilite quil pleuve est p,
independante du passe.
Montrer que lon peut denir une chane de Markov ` a r + 1 etats en considerant le
nombre X
n
de parapluies disponibles au moment du n-i`eme depart. Ecrire sa matrice,
rechercher les distributions stationnaires eventuelles et determiner la probabilite que la
personne se mouille. (A.N. : r = 3 et p = 0.8).
II Le nombre de voitures qui arrivent ` a une station de lavage pendant la duree dun
lavage (prise comme unite de temps) suit la loi de Poisson P(), de fonction generatrice
A(s) = e
(s1)
. Montrer que, si X
n
designe le nombre de voitures dans la station (poste
de lavage + le dattente) au temps n, (X
n
) est une chane de Markov avec p
0j
= a
j
,
p
ij
= a
ji+1
si 1 i et j i 1, p
ij
= 0 sinon (preciser les a
k
).
Si = (
k
) est distribution stationnaire, de fonction generatrice G, ecrire les equations
veriees par les
k
et en deduire que G(s) =

0
(s1)A(s)
sA(s)
.
En faisant tendre s vers 1, montrer que lon doit avoir
0
= 1 . En deduire la
condition dexistence de et determiner dans ce cas, le nombre moyen de vehicules dans
la station en regime stationnaire.
III Un radar est place sur une route o` u il passe en moyenne 5 vehicules en exc`es de vitesse
par heure. On admet que ces vehicules forment un Processus de Poisson.
1) Determiner la probabilite qu1 voiture ait ete prise dans le premier 1/4 dheure
sachant que 2 ont ete prises en 1 heure.
2) On suppose ici que le radar ne peut pas tomber en panne mais quil ne detecte
que 80% des vehicules en exc`es de vitesse. Determiner la loi du nombre de vehicules
detectes par le radar apr`es 100 heures de fonctionnement et le nombre moyen de ces
vehicules.
3) On suppose ici que le nombre de personnes dans les vehicules varie de 1 ` a 5 avec
les probabilites respectives 0,4 ; 0,3 ; 0,1 ; 0,1 ; 0,1. Determiner la fonction generatrice
du nombre de personnes retardees par lincident apr`es 100 heures et le nombre moyen de
ces personnes.
4) On suppose ici que la duree de fonctionnement du radar suit une loi exponen-
tielle de moyenne 100 heures. Determiner la loi du nombre de vehicules detectes par le
radar et le nombre moyen de ces vehicules.
IV On sinteresse ` a la succession des secteurs visites par un individu dans une station de
ski dont le plan est represente ci-dessous : notre individu choisit, toujours au hasard, (de
fa con equiprobable), lune des pistes issues du secteur o` u il se trouve.
1) En notant X
n
le secteur o` u il se trouve apr`es n deplacements, montrer que lon
denit ainsi une chane de Markov : determiner son graphe, sa matrice et la nature de
ses etats.
Contr oles precedents 47
2) Si on suppose initialement notre individu au secteur 2 (X
0
= 2), determiner :
la probabilite quil y soit de nouveau apr`es 4 deplacements ;
la probabilite quil visite un jour le secteur 6 ;
le nombre moyen de passages par le secteur 3.
2
1
3
4
6
5
48 Processus aleatoires
jeudi 17 avril 2003.
I On consid`ere une machine ` a sous o` u, pour chaque partie, la mise est de 2 euros. La
machine peut renvoyer 2 pi`eces de 2 euros (ce qui se realise avec la probabilite p
1
), 3 pi`eces
de 2 euros (avec la probabilite p
2
), sinon elle garde la pi`ece misee. Un joueur poss`ede au
depart k pi`eces de 2 euros (1 k 4) et il sarrete d`es quil est ruine ou d`es quil a au
moins 10 euros (etat G). On note X
n
le nombre de pi`eces du joueur apr`es n parties (on
convient que si X
n
0
{0, G}, alors X
n
= X
n
0
pour n n
0
).
1) Determiner le graphe, la matrice et les classes (et leur nature) de la chane ainsi
obtenue. Trouver les eventuelles distributions stationnaires et limites.
2) Pour chaque valeur de k, determiner la probabilite a
k
de nir ruine.
Application : p
1
=
2
9
, p
2
=
1
9
.
II Soit (p
j
)
jN
une probabilite sur N telle que p
j
> 0 pour j > 0. On consid`ere la chane
de Markov (X
n
)
nN
sur N, de matrice de transition P denie par :
P
0,j
= p
j
pour j 0 ;
P
i,j
=
_
1
i
si j < i
0 sinon
si i 1.
1) Montrer que la chane est irreductible recurrente.
2) Si est distribution stationnaire de la chane, on pose (j) =

i>j

i
i
. Exprimer
, puis , ` a laide de
0
et de G denie par G(j) =

i>j
p
i
.
3) Lorsque p
0
= 0 et p
i
=
1
i

1
i+1
pour i 1, montrer que la chane est recurrente
positive et determiner le temps moyen de retour en 0.
III
`
A raison d1 vehicule toutes les 10 secondes en moyenne, le ux des vehicules dune
voie donnee comporte une proportion de p = 10% de camions.
1) Quelle est la probabilite quau moins un camion passe dans un intervalle de 1
minute ?
2) Sachant que 10 camions sont passes dans un intervalle de 5 minutes, quel est le
nombre moyen de vehicules qui sont passes dans cet intervalle ?
3) Sachant que 30 vehicules sont passes durant 10 minutes, quelle est la probabilite
que 3 parmi eux soient des camions ?
IV Les clients membres Club se presentent ` a un salon de coiure suivant un processus
de Poisson dintensite , les autres personnes desirant se faire coier forment egalement
un processus de Poisson, independant du precedent, dintensite . Le salon dispose de 2
coieurs et le temps de coiage est exponentiel, de taux . An de limiter lattente, les
clients non membres ne sont acceptes que lorsque le nombre total de clients dans le salon
est strictement inferieur ` a N.
1) Faire le graphe du processus de naissance et de mort ainsi obtenu.
Contr oles precedents 49
2) Pour = = 1 et = 2, determiner la probabilite quun client non membre soit
accepte (en regime stationnaire), ainsi que le nombre moyen de clients toutes categories
dans le salon. Calculer ces valeurs lorsque N = 3.
50 Processus aleatoires
jeudi 1 avril 2004.
I On consid`ere une chane de Markov dont les etats sont numerotes de 0 ` a r (r 2). Si
le processus est dans letat 0, il a une probabilite 1/2 dy rester et la probabilite 1/2r de
passer dans lun des r autres etats. Dautre part, sil est dans letat k, 1 k r 1,
(resp. r), il a une probabilite 1/2 dy rester et la probabilite 1/2 daller en k + 1 (resp.
1).
1) Determiner la matrice de passage P, le graphe et les classes de cette chane.
2) Determiner les eventuelles distributions stationnaires.
3) Determiner f
(n)
11
= P([T
1
= n]/[X
0
= 1]) pour n 1,
1
= E
[X
0
=1]
(T
1
) et
lim
n+
P
n
.
II On consid`ere une chane de Markov dont les etats sont numerotes de 1 ` a 5, de matrice
de transition P =
_
_
_
_
_
_
_
_
? 0 1/12 1/4 1/3
0 ? 0 0 3/4
1/3 1/12 ? 0 1/12
0 1/3 1/4 ? 1/6
0 1/3 0 0 ?
_
_
_
_
_
_
_
_
.
1) Completer la matrice P. Determiner le graphe, les classes et les eventuelles
distributions stationnaires de la chane. On trouvera en particulier une unique classe
recurrente R.
2) On note = inf{n 0 ; X
n
R} et v(x) = E
[X
0
=x]
(). Que vaut v(x)
pour x R ? En utilisant le syst`eme complet ([X
1
= y])
y
, verier que, pour x / R,
v(x) = 1 +
5

y=1
p
xy
v(y) et en deduire v(x) pour tout x / R.
3) On note, pour z R, w(x, z) = P
[X
0
=x]
([X

= z]). Que vaut w(x, z) pour


x R ? En utilisant le syst`eme complet ([X
1
= y])
y
, verier que, pour x / R,
w(x, z) =
5

y=1
p
xy
w(y, z) et en deduire w(x, z) pour tout x / R et pour tout z R.
III On suppose que des bus ` a destination de luniversite arrivent ` a larret devant chez
vous suivant un processus de Poisson de taux = 4/h. Votre objectif est de prendre le
dernier qui passe avant t
0
= 8h (ainsi vous echouez si un bus passe entre linstant s o` u
vous arrivez ` a larret et t
0
, ou bien si vous netes pas encore parti ` a t
0
). Votre stategie
consiste ` a choisir un instant s < t
0
et ` a prendre le premier bus qui se presente ` a partir de
linstant s.
1) Montrer que la probabilite de succ`es est p(s) = (t
0
s)e
(t
0
s)
.
2) Quelle est la valeur s
0
de s qui maximise cette probabilite ? Determiner la
probabilite de gain pour s = s
0
(on montrera quelle est en particulier independante de
).
IV Chaque bacterie dune population biologique peut donner naissance ` a 1 bacterie
supplementaire apr`es un temps exponentiel de taux , et peut disparatre apr`es une
existence de loi exponentielle de taux . De plus, une immigration exponentielle de taux
est autorisee lorsque la taille de la population est inferieure ou egale ` a N.
Contr oles precedents 51
1) Faire le graphe du processus de naissance et de mort ainsi obtenu.
2) Lorsque N = 2, = = 1, = 2, determiner la distribution stationnaire et
la proportion du temps o` u limmigration est interdite, ainsi que la taille moyenne de la
population.
(On rappelle que, pour |x| < 1,
+

n=1
x
n
n
= ln(1 x)).
52 Processus aleatoires
jeudi 7 avril 2005.
I Une population est constituee de m g`enes de type 1 ou 2. On note X
n
le nombre de
g`enes de type 1 ` a la n-i`eme generation. On admet que lon a une chane de Markov de
matrice de transition P denie par p
ij
= C
j
m
_
i
m
_
j
_
mi
m
_
mj
pour 0 i, j m (avec
0
0
= 1). On suppose que X
0
= k, 1 k m1.
1)

Ecrire la matrice et faire le graphe pour m = 3. Determiner la nature des etats,
les eventuelles distributions stationnaires et la probabilite que lon nisse avec tous les
g`enes de type 1.
2) Verier que E(X
n
) = k pour tout n, et que la probabilite que lon nisse avec
tous les g`enes de type 1 est k/m si X
0
= k.
II Un individu migraineux consomme un triptan dans une journee avec la probabilite q.
Lorsquil nen a plus en stock, il va voir son ami pharmacien qui lui en donne j avec la
probabilite q(1 q)
j1
pour le jour suivant. Si X
n
est le nombre de triptans en stock au
n-i`eme jour, on a alors une chane de Markov denie sur N par la matrice de transition P
veriant:
_

_
p
0,j
= p(1 p)
j1
pour tout j N

p
i,i1
= q et p
i,i
= 1 q pour tout i N

p
i,j
= 0 sinon.
1) Faire le graphe de cette chane, etudier sa nature, ses eventuelles distributions
stationnaires et les temps moyens de retour pour chaque etat.
2) Montrer que f
0,0
(n) = pq(1 pq)
n2
pour n 2 et retrouver
0
=
1
pq
+ 1.
III Au football, on suppose que les buts sont marques suivant un processus de Poisson
(N
t
) de param`etre . On sinteresse ici uniquement aux parties qui se sont terminees avec
3 buts marques. La duree dune partie est une constante notee T.
1) Quelle est la probabilite qu` a la mi-temps (instant T/2), il y ait eu, pour les
parties considerees, exactement 1 but ? aucun but ?
2) Montrer que P
[N
T
=3]
([N
s
1]) = 1
_
1
s
T
_
3
pour 0 < s < T. Si S
1
est
linstant darrivee du premier but, ecrire [S
1
s] ` a laide de N
s
et en deduire la densite
de S
1
lorsque N
T
= 3.
`
A quel instant en moyenne est marque le premier but lorsquil y
en a eu 3 dans la partie ?
IV La superette de Saint-Lary na quune caisse ! Les clients se presentent suivant un
processus de Poisson de taux , la duree de service est exponentielle, de taux . Pendant
les vacances, la lle de la caissi`ere joue ` a la console ` a ses c otes mais ` a partir de 4 clients
derri`ere la caisse, elle se decide ` a aider sa m`ere, ce qui rend le service 2 fois plus rapide.
Montrer quon est en presence dun processus de naissance et de mort (faire le graphe).
Trouver la condition pour quil ny ait pas engorgement et determiner les probabilites sta-
tionnaires du syst`eme. En deduire la proportion de temps o` u la lle joue ` a sa console
lorsque = 50/h et 1/ = 2mn.
Contr oles precedents 53
jeudi 13 avril 2006.
I On consid`ere la chane de Markov denie sur N par la matrice de transition P veriant:
_

_
p
0,k
= p
k
> 0 pour tout k N
p
k,k1
= 1 pour tout k N

p
i,j
= 0 sinon.
1) Faire le graphe de cette chane. En donner les classes et periodes.
2) Que vaut f
0,0
(n) pour n N

? Montrer que, si p
k
=
1
(k+1)(k+2)
pour tout k N,
la chane est recurrente nulle.
3) On suppose ` a partir de maintenant que p
k
=
1
2
k+1
pour tout k N. Determiner
f
0,0
(n) pour n N

, la nature de la chane et montrer que


0
= 2.
Montrer que f
1,1
(n) =
n1
2
n
pour n N

et montrer que
1
= 4.
4) Trouver les eventuelles distributions stationnaires et limites et en deduire
n
pour tout n N (On retrouvera en particulier
0
et
1
).
II Les etudes dans une ecole durent 3 ans ; ` a lissue de chaque annee, tout el`eve a une
probabilite p = 0, 75 de passer dans lannee superieure (ou davoir son dipl ome sil est en
derni`ere annee), une probabilite q = 0, 2 de redoubler et une probabilite r = 0, 05 detre
renvoye.
Montrer que le cursus dun etudiant peut etre modelise par une chane de Markov ` a
5 etats (dont 2 sont absorbants) et tracer le graphe associe. Calculer la probabilite que
lel`eve obtienne son dipl ome, ` a partir de chaque etat du cursus.

Etablir egalement les
durees moyennes des etudes, des etudes avant renvoi et des etudes avant obtention du
dipl ome.
III Des pi`eces sont produites suivant un processus de Poisson, ` a raison dune toutes les
10 minutes en moyenne.
1) Si 5 pi`eces sont produites dans une heure, quelle est la probabilite que 10 pi`eces
soient produites en 2 heures ? que 3 pi`eces soient produites en 1/2 heure ?
2) Une proportion p = 10% des pi`eces sont defectueuses. Donner lintervalle de
temps moyen entre la production de 2 pi`eces defectueuses.
3) Sachant que 8 pi`eces ont ete produites durant une heure, quelle est la probabilite
quau moins lune dentre elles soit defectueuse ?
IV On consid`ere un centre depilation sans rendez-vous ` a 2 cabines, dans lequel les clientes
se presentent au rythme de 5 par heure en moyenne, suivant un ux poissonien. Le temps
depilation est exponentiel, de moyenne 30 minutes. Si les 2 cabines sont dej` a prises, une
cliente attend quon soccupe delle pendant un temps exponentiel de moyenne 15 mn
avant de repartir furieuse. Le centre nadmet que 2 personnes maximum en attente.
1) Montrer quon a aaire ` a un processus de naissance et de mort ` a 5 etats, exprimer
les probabilites stationnaires en fonction de p
0
, puis les calculer.
54 Processus aleatoires
2) Determiner le nombre moyen de clientes dans le centre, le nombre moyen de
clientes en attente et la proportion de temps o` u les 2 cabines sont occupees.