Vous êtes sur la page 1sur 11

Departement MIDO Modelisation et simulation stochastique

L3 informatique Annee 20072008


1 Introduction
2 Revisions
3 Processus de Poisson
3.1 Introduction
On consid`ere une route sur laquelle le passage moyen est dun vehicule toutes les 10
secondes, avec 10% de camions, le reste etant des voitures particuli`eres. Les questions quon
peut se poser sont par exemple les suivantes :
1. Quelle est la probabilite pour quau moins un camion passe dans un intervalle dune
minute ?
2. Sachant que 10 camions sont passes dans un intervalle de 5 minutes, quel est le nombre
moyen de vehicules qui sont passes dans cet intervalle ?
3. Si 30 vehicules sont passes en 10 minutes, quelle est la probabilite pour que 3 dentre
eux soient des camions ?
Pour repondre `a ce genre de questions, il faudra faire des hypoth`eses sur la loi du nombre dar-
rivees sur un intervalle donne. Dans ce chapitre, on supposera que le processus correspondant
est un processus de Poisson.
3.2 Processus ponctuels
On introduit dabord la notion de processus ponctuel en considerant la suite (T
n
)
n0
des
instants successifs de passage des vehicules, avec T
0
= 0. Ce type de processus sapplique `a de
nombreuses situations comme les arrivees de clients `a un guichet, les emissions de particules
radioactives, etc. De mani`ere generale, on consid`ere un ev`enement repetitif, nomme top, et
on note les instants successifs auxquels il se produit.
La suite (T
n
)
n0
est donc une suite de variables aleatoires `a valeurs dans R
+
, lensemble
des nombres reels positifs, T
n
etant la date du ni`eme top. Cest un processus stochastique qui
verie :
1. T
0
= 0
2. T
0
< T
1
< T
2
< , la suite est strictement croissante, ce qui suppose quil ny a pas
deux tops simultanes,
3. T
n
tend vers + quand n tend vers +, ce qui suppose quil ny a pas daccumulation
vers un point particulier du temps.
3.3 Processus de comptage
On associe ensuite `a ce processus ponctuel un processus dit de comptage qui, `a chaque
instant t, fait correspondre le nombre N(t) de tops qui se sont produit dans lintervalle ]0, t].
Le nombre (aleatoire) N(t) est aussi egal `a lindice du dernier top qui sest produit dans ]0, t].
La famille (N(t))
tR
+ est un processus stochastique `a temps continu, qui verie :
1. N(0) = 0
2. N(b) N(a) est le nombre de tops qui se sont produits dans lintervalle ]a, b], pour
0 < a < b.
3.4 Processus de Poisson
Denition 3.1. Un processus de comptage (N(t))
tR
+ est un processus de Poisson (ho-
mog`ene) de densite > 0 si
1. Pour toute suite 0 t
1
t
2
t
k
, les variables aleatoires N(t
i+1
) N(t
i
),
0 i k 1, sont independantes. Cette propriete exprime le fait que le processus est ` a
accroissements independants.
2. Le nombre de tops dans un intervalle de longueur h suit une loi de Poisson de param`etre
h :
P[N(t +h) N(t) = k] = e
h
(h)
k
k!
On a donc en particulier P[N(h) = k] = e
h
(h)
k
k!
et E[N(t+h)N(t)] = E[N(h)] = h.
La deuxi`eme propriete implique en particulier que les accroissements sont stationnaires,
cest-`a-dire ne dependent que de la longueur de lintervalle.
3.5 Loi des inter-arrivees
Etant donne un processus ponctuel (T
n
)
n0
, on denit la suite (S
n
)
n1
des inter-arrivees
par : S
n
= T
n
T
n1
pour n 1. La variable aleatoire reelle S
n
represente lintervalle de
temps entre deux arrivees de tops consecutives.
On a alors :
Theor`eme 3.2. Si (N(t))
tR
+ est un processus de Poisson (homog`ene) de densite > 0
associe ` a un processus ponctuel (T
n
)
n0
, alors la suite des inter-arrivees (S
n
)
n1
est une
suite de variables aleatoires independantes, de meme loi exponentielle de param`etre , cest-
` a-dire que P[S
n
t] = 1 e
t
et E[S
n
] =
1

.
3.6 Autre denition des processus de Poisson
On a une sorte de reciproque au theor`eme3.2 : supposons quon consid`ere une suite dinter-
arrivees (S
n
)
n1
et quon lui associe les dates correspondantes en posant T
n
= S
1
+ + S
n
avec T
0
= 0. On peut alors denir un processus de comptage (N(t))
tR
+. Si la suite (S
n
)
n1
est une suite de v.a. independantes de meme loi exponentielle de param`etre > 0, alors
(N(t))
tR
+ est un processus de Poisson de densite .
3.7 Loi des arrivees
Pour un processus de Poisson (N(t))
tR
+ de densite , on sait que les inter-arrivees (S
n
)
n1
sont independantes et exponentielles de param`etre . On peut en deduire la loi des arrivees,
2
cest-`a-dire de la suite (T
n
)
n0
. Pour n 1, la v.a. T
n
= S
1
+ + S
n
suit une loi gamma,
elle a pour densite sur R
+
:
f
T
n
(s) =

(n 1)!
e
s
(s)
n1
3.8 Processus de Poisson marques
On peut dabord remarquer que si (N
1
(t))
tR
+ et (N
2
(t))
tR
+ sont deux processus de
Poisson independants de param`etres respectifs
1
et
2
, alors le processus deni par la somme :
N(t) = N
1
(t) +N
2
(t) est un processus de Poisson de param`etre
1
+
2
.
Dans lautre sens, supposons que (N(t))
tR
+ soit un processus de Poisson pour lequel on
peut diviser les arrivees en plusieurs categories, dont on connait les probabilites. Alors on dit
que le processus (N(t))
tR
+ est marque.
Par exemple N(t) = N
1
(t) +N
2
(t) pour deux categories devenements, avec les processus
(N
1
(t))
tR
+ et (N
2
(t))
tR
+ independants, le top de type 1 se produisant avec la probabilite p
et le top de type 2 avec la probabilite q = 1p. Dans ce cas, on peut montrer que (N
1
(t))
tR
+
et (N
2
(t))
tR
+ sont des processus de Poisson de param`etres respectifs p et q.
3
4 Chanes de Markov `a temps discret
4.1 Introduction
On consid`ere deux joueurs A et B qui font des parties successives (et independantes) de
pile ou face. On suppose qu`a chaque partie, A gagne avec la probabilite p, donc perd avec
probabilite q = 1p, avec 0 < p < 1. On suppose de plus que la fortune globale pour les deux
joueurs est a, un nombre entier deuros, et quun joueur qui perd donne 1 euro `a lautre. Le
jeu sarrete d`es quun joueur est ruine.
On sinteresse alors `a la suite de variables aleatoires (X
n
)
n0
o` u X
n
est la somme possedee
par le joueur A apr`es la n
eme
partie. Ces variables sont donc `a valeurs dans lensemble E =
{0, 1, . . . , a 1, a} qui est appele lensemble des etats du syst`eme.
On peut representer les possibilites devolution de la fortune de A par le graphe suivant :
0 1 2
a 1 a
q
p
q
p p
q q
p
1 1
Les valeurs qui nous interesseraient dans ce contexte sont, par exemple, les probabilites
pour que A gagne connaissant son etat de depart :
P[A gagne/X
0
= i] pour i {1, 2, . . . , a 1}.
4.2 Dependance non Markovienne
On consid`ere le jeu suivant, qui utilise deux pi`eces A et B et un de `a 6 faces. La pi`ece A
est equilibree tandis que la pi`ece B a face des deux cotes. Le jeu proc`ede en exactement trois
etapes :
etape 1 : on choisit une des deux pi`eces
etape 2 : on lance la pi`ece choisie
etape 3 : si pile tombe, on jette le de, et si face tombe, on relance la pi`ece.
Lensemble des experiences correspondant `a ce jeu peut etre represente par larbre suivant :
B A
pile face face
1 2 3 4 5 6 pile face face
1
2
1
2
1
2
1
2
1
1
6
1
6
1
6
1
6
1
6
1
6
1
2
1
2 1
niveau 1
niveau 2
niveau 3
Une experience correspondant `a un chemin dans larbre, on obtient 9 experiences :
4

1
= (A, pile, 1) avec P(
1
) =
1
2

1
6

1
6
=
1
24
. De meme,
2
= (A, pile, 2) avec
P(
2
) =
1
24
, et ainsi de suite jusqu`a P(
6
) =
1
24
.

7
= (A, face, pile) avec P(
7
) =
1
8
et
8
= (A, face, face) avec P(
8
) =
1
8
.

9
= (B, face, face) avec P(
9
) =
1
8
.
On peut associer trois variables aleatoires `a ce jeu : X
1
est le resultat du premier tirage, X
2
le resultat du deuxi`eme tirage et X
3
le resultat du troisi`eme tirage. Dans ce cas, lexperience

1
peut aussi etre notee [X
1
= A, X
2
= pile, X
3
= 1] et les autres experiences sexpriment de
fa con analogue.
Avec cette notation, on a par exemple P[X
2
= pile/X
1
= B] = 0. Comparons maintenant les
deux probabilites P[X
3
= face/X
2
= face, X
1
= A] et P[X
3
= face/X
2
= face, X
1
= B].
Dans le premier cas, on obtient
1
2
tandis que dans le second cas, on obtient 1.
Ces valeurs, comme le montrera la denition du paragraphe suivant, indiquent que ce jeu
nest pas une chane de Markov.
4.3 Denition dune chane de Markov `a temps discret
Denition 4.1. Soit (X
n
)
n0
une suite de variables aleatoires discr`etes ` a valeurs dans
un meme ensemble E (generalement choisi comme un sous-ensemble de N ou Z). La suite
(X
n
)
n0
est une chane de Markov si :
pour tout entier n 1, pour toute suite i
0
, i
1
, . . . , i
n1
, i, j delements de E, on a :
P[X
n+1
= j/X
0
= i
0
, X
1
= i
1
, . . . , X
n1
= i
n1
, X
n
= i] = P[X
n+1
= j/X
n
= i]
lorsque cette probabilite est bien denie.
Cette denition exprime que le resultat du (n+1)
eme
tirage ne depend que du resultat du
n
eme
tirage. En particulier, ce resultat est independant des resultats des tirages anterieurs.
On voit alors pourquoi le jeu considere au paragraphe precedent nest pas une chane de
Markov, puisque pour une chane de Markov, les probabilites P[X
3
= j/X
2
= i, X
1
= k] et
P[X
3
= j/X
2
= i, X
1
= h] sont toutes deux egales `a P[X
3
= j/X
2
= i].
Denition 4.2. Une chane de Markov (X
n
)
n0
est dite homog`ene si de plus la probabilite
P[X
n+1
= j/X
n
= i] ne depend pas de n.
Dans ce cas, on a en particulier P[X
n+1
= j/X
n
= i] = P[X
1
= j/X
0
= i] et on pose
p
i,j
= P[X
1
= j/X
0
= i], ce qui denit la matrice de transition de la chane : P = (p
i,j
)
EE
.
Remarquons que pour tout i, les evenements [X
1
= j], j E forment lensemble de tous
les evenements possibles, on a donc :

jE
p
i,j
= 1, ce qui exprime que la somme des elements
dune ligne quelconque de la matrice vaut 1.
Une matrice satisfaisant cette propriete est dite stochastique.
Par exemple, la matrice correspondant au probl`eme de la ruine du joueur, vu au premier
paragraphe, est :
P =
_
_
_
_
_
_
_
_
_
_
1 0 0 0 . . . 0 0 0
q 0 p 0 . . . 0 0 0
0 q 0 p . . . 0 0 0
. . .
0 0 0 . . . q 0 p 0
0 0 0 . . . 0 q 0 p
0 0 0 . . . 0 0 0 1
_
_
_
_
_
_
_
_
_
_
5
4.4 Graphe dune chane de Markov
Comme le montre lexemple introductif, le graphe dune chane de Markov homog`ene
est obtenu en prenant comme sommets les etats de la chane, cest-`a-dire lensemble E. Pour
deux etats i et j de E, le graphe comporte une transition detiquette p
i,j
de i vers j si p
i,j
> 0.
Consid`erons lexemple de la promenade aleatoire sur une ligne droite : lensemble des etats
est E = Z (lensemble des entiers relatifs) et on suppose qu`a partir dun etat i, on peut passer
uniquement dans lun des deux etats voisins : i + 1 ou i 1, avec les probabilites respectives
p et 1 p, o` u 0 < p < 1. On a donc les coecients de la matrice de transition :
p
i,j
=
_
_
_
p si j = i + 1
1 p si j = i 1
0 sinon
et le graphe inni associe :
i 1 i i + 1
p p
1 p 1 p
4.5 Relation de Chapman-Kolmogorov
Pour une chane de Markov homog`ene, la matrice P = (p
i,j
)
EE
fournit les probabilites
p
i,j
= P[X
n+1
= j/X
n
= i] = P[X
1
= j/X
0
= i] de passer de letat i `a letat j en une
etape. On sinteresse maintenant aux probabilites de passer dun etat `a un autre en 2, 3, . . . ,
n etapes, et on notera p
(n)
i,j
= P[X
n
= j/X
0
= i] la probabilite de passer de i `a j en n etapes.
Calculons par exemple la probabilite p
(2)
i,j
= P[X
2
= j/X
0
= i] de passer de i `a j en 2
etapes :
P[X
2
= j/X
0
= i] =

kE
P[X
2
= j, X
1
= k/X
0
= i] (en considerant toutes les possibilites pour X
1
)
=

kE
P[X
2
= j, X
1
= k, X
0
= i]/P[X
0
= i] (probabilites conditionnelles)
=

kE
P[X
2
= j/X
1
= k, X
0
= i] P[X
1
= k, X
0
= i]/P[X
0
= i]
=

kE
P[X
2
= j/X
1
= k, X
0
= i]P[X
1
= k/X
0
= i]
=

kE
P[X
2
= j/X
1
= k]P[X
1
= k/X
0
= i] (propriete de Markov)
=

kE
P[X
1
= j/X
0
= k]P[X
1
= k/X
0
= i] (chane homog`ene)
=

kE
p
k,j
p
i,k
=

kE
p
i,k
p
k,j
ce qui correspond `a la matrice P
2
.
6
Plus generalement, on a le theor`eme suivant, dit de Chapman-Kolmogorov (qui se demontre
par recurrence) :
Theor`eme 4.3. Si P = (p
i,j
)
EE
est la matrice de transition dune chane de Markov
homog`ene, alors la matrice des probabilites p
(n)
i,j
= P[X
n
= j/X
0
= i] de passer de i ` a j en n
etapes est P
n
:
(p
(n)
i,j
)
EE
= P
n
4.6 Decomposition des etats en classes
La decomposition du graphe dune chane de Markov en composantes fortement connexes
donne une partition des etats en classes. Par exemple, la chane ci-dessous `a gauche comporte
trois classes : C
1
= {0, 1}, C
2
= {2} et C
3
= {3}, tandis que la chane ci-dessous `a droite
comporte une seule classe. Dans ce dernier cas, la chane est dite irreductible.
0 1
2
3
1
2
1
2
1
2
1
2
1
4
1
4
1
4
1
4
1
0 1 2
1
2
1
4
2
3
1
2
1
2
1
4
1
3
Cette notion est formalisee par les denitions suivantes.
Denition 4.4. Soit (X
n
)
n0
une chane de Markov et i, j deux etats de cette chane. On
dit que j est accessible ` a partir de i sil existe n 0 tel que p
(n)
i,j
> 0, cest-` a-dire quil existe
n tel que la probabilite datteindre j ` a partir de i en n etapes soit non nulle.
On note ceci i

j et on dit que i et j communiquent si i

j et j

i.
On peut montrer que la relation de communication est une relation dequivalence (reexive,
symetrique et transitive), et les classes dequivalence forment alors une partition de lensemble
E des etats de la chane. De plus, on peut etendre la relation

aux classes : pour deux classes
C et C

, on dit que C

C

sil existe i C et j C

tels que i

j. Notons que si C

C

,
alors on ne peut pas revenir de C

`a C.
Dans lexemple ci-dessous `a gauche avec trois classes, on a C
2

C
1
et C
2

C
3
.
Denition 4.5. Les classes maximales pour cet ordre partiel sont appelees classes recurrentes.
Les etats de ces classes sont aussi appeles etats recurrents. Les autres classes et les etats
7
quelles contiennent sont dits transitoires.
Un etat i est dit absorbant si pour tout n 0, p
(n)
i,i
= 1. Un tel etat, dont on ne peut pas
ressortir, forme une classe ` a lui tout seul.
Un etat i est un etat de retour sil existe n 1 tel que p
(n)
i,i
> 0, cest-` a-dire que la probabilite
datteindre i ` a partir de lui-meme en strictement plus de 0 etapes est non nulle.
Un etat de non-retour est un etat qui nest pas un etat de retour : pour tout n 1, p
(n)
i,i
= 0.
Un tel etat, o` u lon ne revient jamais, forme aussi une classe ` a lui tout seul.
Par exemple, C
1
et C
3
sont recurrentes tandis que C
2
est transitoire. Letat 3 est absorbant.
Remarque : on peut montrer quune chane de Markov nie a au moins un etat recurrent.
4.7 Periodicite
Considerons la chane suivante.
0 1
3 2
avec M =
_
_
_
_
0 0
1
2
1
2
1 0 0 0
0 1 0 0
0 1 0 0
_
_
_
_
On voit quelle est irreductible et quelle contient deux cycles : 0 2 1 0 et
0 3 1 0, tous deux de longueur 3. On dit que cette chane est periodique de periode 3.
On peut alors decomposer lunique classe en sous-classes {1}, {0} et {2, 3}, avec le graphe
suivant :
{1} {0}
{2, 3}
Cette notion est formalisee dans la denition et la propriete suivantes :
Denition 4.6. Soit i un etat de retour. La periode de i est le pgcd (plus grand commun
diviseur) des longueurs des cycles de i ` a i. Si le pgcd vaut 1, on dit que letat est aperiodique.
On denit par convention la periode dun etat de non-retour comme +.
On peut montrer que tous les etats dune meme classe ont la meme periode, ce qui conduit
`a parler de periode dune classe.
4.8 Temps de sejour
Lorsque p
j,j
= 0, le temps de sejour (cest-`a-dire le nombre detapes passees) dans un etat
j dune chane de Markov suit une loi geometrique (sinon on ne reste pas dans letat j). En
eet, `a chaque etape, la probabilite de rester dans j est p
j,j
alors que celle den sortir est
1 p
j,j
. La probabilite de passer k etapes dans letat j est donc P[N
j
= k] = (1 p
j,j
)p
k
j,j
.
8
4.9 Temps datteinte
On sinteresse maintenant au premier instant n 1 o` u un etat donne j est atteint par
une chane (X
n
)
n0
, appele temps datteinte de j, et on note donc :
T
j
= inf{n 1 | X
n
= j}
Levenement [T
j
= n] peut aussi sexprimer comme [X
1
= j, X
2
= j, . . . , X
n1
= j, X
n
= j],
ce qui signie quil ne depend que des resultats anterieurs `a letape n.
On consid`ere alors la probabilite datteindre pour la premi`ere fois j en n etapes, sachant
quon part de i :
f
(n)
i,j
= P[T
j
= n/X
0
= i] pour n 1 et f
(0)
i,j
= 0
donc en particulier, f
(1)
i,j
= p
i,j
.
La probabilite de passer au moins une fois par j (toujours en partant de i) est :
f
i,j
= P[T
j
< +/X
0
= i] =

n1
f
(n)
i,j
et f
i,i
est donc la probabilite dau moins un retour en i.
Le temps moyen datteinte de j `a partir de i est lesperance conditionnelle de T
j
(partant de
i) :
M
i,j
= E[T
j
/X
0
= i] =

n1
nf
(n)
i,j
La valeur M
i,i
est donc le temps moyen de retour en i.
On a alors la caracterisation suivante :
Theor`eme 4.7. Soit i un etat de la chane.
i est transitoire f
i,i
< 1

n0
p
(n)
i,i
< +.
i est recurrent f
i,i
= 1

n0
p
(n)
i,i
= +.
De plus, i est dit
recurrent non nul si le temps moyen de retour en i est ni : M
i,i
< +
recurrent nul si le temps moyen de retour en i est inni : M
i,i
= +
4.10 Nombre de passages
Considerons maintenant la variable aleatoire N
j
representant le nombre de passages dans
letat j. Elle est denie par : N
j
=

n1
1
{X
n
=j}
.
Rappelons que 1
A
est la fonction indicatrice de lensemble A, denie par 1
A
() = 1 si A
et 1
A
() = 0 sinon.
On a alors, en notant R
i,j
le nombre moyen de passages dans letat j partant de i :
R
i,j
= E[N
j
/X
0
= i] =

n1
p
(n)
i,j
et on peut montrer les resultats suivants pour un etat transitoire :
9
Theor`eme 4.8. Soit j un etat transitoire. Alors :
R
i,j
=
f
i,j
1 f
j,j
En particulier, la suite (p
i,j
(n)
)
n
tend vers 0 quand n tend vers linni.
La variable aleatoire N
j
(partant de j) suit une loi geometrique :
P[N
j
= k/X
0
= j] = (1 f
j,j
)f
k
j,j
pour k 0
Remarque : on retrouve alors le fait que R
j,j
= E[N
j
/X
0
= j] =
f
j,j
1f
j,j
=

n1
p
(n)
j,j
et on obtient aussi

n0
p
(n)
j,j
=
1
1f
j,j
.
4.11 Techniques de calcul
On remarque que pour aller de i `a j en exactement n etapes, on atteint dabord en une
etape un etat k dierent de j, puis on va de k `a j en exactement n 1 etapes (sans repasser
par j). Pour des valeurs distinctes de k, les chemins obtenus sont distincts ce qui permet
dobtenir la formule :
f
(n)
i,j
=

k=j
p
i,k
f
(n1)
k,j
pour tout n 1 et donc de calculer les probabilites f
(n)
i,j
par recurrence. On en deduit :
f
i,j
= p
i,j
+

k=j
p
i,k
f
k,j
Les temps moyens datteinte M
i,j
verient : M
i,j
= 1 +

k=j
p
i,k
M
k,j
4.12 Regime transitoire : lois des X
n
Une consequence importante du theor`eme de Chapman-Kolmogorov est la connaissance
des lois des variables aleatoires X
n
, n 1, en fonction de la loi de X
0
. Cette loi caracterise le
regime transitoire de la chane. Notons :

(0)
= (
(0)
1
,
(0)
2
, . . . ,
(0)
i
, . . .)
le vecteur (ligne) deni par
(0)
i
= P[X
0
= i] pour i E, qui decrit la loi de X
0
, et

(n)
= (
(n)
1
,
(n)
2
, . . . ,
(n)
i
, . . .)
le vecteur deni par
(n)
i
= P[X
n
= i] pour i E, qui decrit la loi de X
n
.
Alors, pour tout j, on a :
P[X
n
= j] =

iE
P[X
n
= j, X
n1
= i]
=

iE
P[X
n
= j/X
n1
= i]P[X
n1
= i]
=

iE
P[X
1
= j/X
0
= i]P[X
n1
= i]
=

iE
p
i,j

(n1)
i
=

iE

(n1)
i
p
i,j
10
ce qui correspond au produit du vecteur
(n1)
par la matrice P. On a donc :

(n)
=
(n1)
P pour tout n 1
et
(n)
=
(0)
P
n
pour tout n 0
4.13 Regime stationnaire
Un autre objectif pour une chane de Markov est de caracteriser son comportement pour
des grandes valeurs de n : si les lois de X
n
se stabilisent quand n tend vers linni, on
obtient un regime stationnaire. Formellement, un tel comportement existe lorsque la suite
des matrices (P
n
)
n1
a une limite pour n +. Dans ce cas, un passage `a la limite dans la
premi`ere equation ci-dessus permet la denition suivante :
Denition 4.9. Une loi de probabilite = (
0
,
1
, . . .) sur lensemble E des etats est sta-
tionnaire si elle verie = P.
On sait deja que pour un etat transitoire j, la suite p
(n)
i,j
tend vers 0. Donc si la matrice
P
n
converge, sa limite a toute la colonne j nulle, et
j
= 0.
On peut montrer :
Theor`eme 4.10. Si la chane est irreductible et aperiodique, la distribution
(n)
admet une
limite, independante de la distribution initiale. De plus,
si tous les etats sont transitoires ou recurrents nuls (possible seulement si la chane est
innie), cette limite est nulle,
si tous les etats sont recurrents non nuls (ce qui est le cas dune chane irreductible
aperiodique nie), la distribution stationnaire est unique, elle est solution du syst`eme
= P avec

iE

i
= 1 et elle est reliee aux temps moyens de retour par la relation :

j
=
1
M
j,j
.
11