Vous êtes sur la page 1sur 32

DEA Environnement Marin : processus

stochastiques
Avner Bar-Hen

Table des mati`eres


1

Processus stochastique . . . . . . . . . . . . . . .
1.1
Definition . . . . . . . . . . . . . . . . . .
1.2
Exemples . . . . . . . . . . . . . . . . . .
1.3
Processus cumulant . . . . . . . . . . . . .
2
Chane de Markov . . . . . . . . . . . . . . . . . .
2.1
Processus de Markov . . . . . . . . . . . .
2.2
Chane de Markov . . . . . . . . . . . . .
3
Chanes de Markov homog`enes . . . . . . . . . . .
3.1
Classification des e tats . . . . . . . . . . .
3.2
Exemple : marche aleatoire . . . . . . . . .
3.3
Comportement asymptotique . . . . . . . .
3.4
Conclusion . . . . . . . . . . . . . . . . .
3.5
Exemples dapplication . . . . . . . . . . .
4
Processus de Poisson . . . . . . . . . . . . . . . .
4.1
Syst`eme differentiel . . . . . . . . . . . .
4.2
Interpretation des resultats . . . . . . . . .
4.3
Comparaison avec un mod`ele deterministe
4.4
Temps dattente . . . . . . . . . . . . . . .
5
Tour dhorizon de quelques processus . . . . . . .
5.1
Processus de naissance . . . . . . . . . . .
5.2
Processus de naissance et mort . . . . . . .
5.3
Processus de branchement . . . . . . . . .
5.4
Renouvellement . . . . . . . . . . . . . .
5.5
Files dattente . . . . . . . . . . . . . . . .
5.6
Processus ponctuel . . . . . . . . . . . . .
5.7
Generalisation dune chane de Markov . .
Bibliographie . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

4
4
5
5
7
7
7
8
8
11
12
13
13
16
18
19
19
20
21
22
24
25
26
27
29
29
31

1 Processus stochastique
1.1 Definition
Un processus stochastique {Xt : t T } est une suite de variables aleatoires indexees
par T a` valeurs dans un ensemble X .
T est lensemble des indices. Souvent t represente le temps mais t peut e tre de dimension
multiple (par exemple la longitude et la latitude). Si T est a` valeur discr`ete on parle
de processus a` temps discret. Si lensemble des valeurs de T est continu, on parle de
processus a` temps continu.
X est lensemble des e tats du processus. Lensemble des e tats peut e tre continu ou
discret mais nous nous limiterons au cas o`u ces e tats sont en nombre fini ou denombrable.
En resume, on peut dire que la caracteristique de base dun processus stochastique est le
fait que la loi de la variable Xt soit fonction de t.
La notion de processus e largit la notion de variable aleatoire. Une realisation dun processus est appelee trajectoire. Cest donc la suite des realisations des variables aleatoires
Xt .
Les realisations dune meme variable aleatoire pouvant e tre differentes, les realisations
dun meme processus peuvent donner des trajectoires differentes.

`
TABLE DES MATIERES

1.2 Exemples
1. Le cours dune action cotee en bourse au jour le jour :
Xt : valeurs (en francs) de laction a` la date t
X : R+
T : {jour de cotation}
2. Un exemple de processus stochastique degenere est lechantillon i.i.d :
{Xt : t 1} Xt N (0, 1)
X :R
T = 1, . . . , n
Pt
Un processus plus interessant est le processus cumulant : St =
i=1 Xi . Nous
reviendrons rapidement sur ce processus dans le prochain paragraphe.
3. Jeu de Pile ou Face. Apr`es chaque lancer, le joueur gagne 1F sil obtient Pile et
perd 1F sil obtient Face. La variable Xn representant sa fortune apr`es n tirages
est un processus appele marche aleatoire ou processus de Bernouilli. (X = Z et
T = N). On peut noter quen relation avec lexemple 2, ce processus peut e tre vu
comme un processus cumulant.
4. La temperature au sol a` un instant donne dans une parcelle est un processus doublement indice. La loi de Xmn depend de la longitude et de la latitude : X = R et
T = R2 .
5. Le nombre de cellules dans une culture a` la date t. On suppose que chaque cellule
se divise en deux au bout dune duree aleatoire de temps.

1.3

Processus cumulant
Le processus cumulant est un mecanisme essentiel dans beaucoup de processus et nous
allons donc en presenter les bases.
Soit {Xn }nN = {X0 , X1 , X2 , . . .} une suite de variables aleatoires gaussiennes independantes
centrees reduites, cest-`a dire Xi N (0, 1). Soit :
Sn =

n
X

Xi

i=0

Sn est distribue selon une loi normale car cest la somme de variables aleatoires gaussiennes independantes.

bar-hen.net

Processus stochastique

De plus :
E(Sn ) = E

n
X

!
Xi

i=0

V(Sn ) = V

n
X

n
X

E (Xi ) = 0

i=0

!
Xi

i=0

n
X

V (Xi ) = n

i=0

et donc
Sn N (0, n)
Il est important de noter que les Sn ne sont pas independants. En effet :
Sn = Sn1 + Xn

Cov(Sn , Sm ) = E(Sn Sm ) E(Sn )E(Sm )


!
n X
m
X
= E
Xi Xj
i=0 j=0

n X
m
X

E (Xi Xj )

i=0 j=0
min(n,m)

E Xi2

i=0

= min(n + 1, m + 1)
On peut e tendre cette definition a` un processus a` temps continu : on definit le processus
{Xt : t 0} par
Xt N (0, 1)
Cov(St , Ss ) = min(s, t)
Le processus ainsi defini est appele mouvement brownien.
Historiquement ce processus est cense rendre compte de la trajectoire dune particule
dans un espace contenant dautres particules.

bar-hen.net

`
TABLE DES MATIERES

2 Chane de Markov
2.1

Processus de Markov
Definition 0.1 Un processus de Markov est un processus dont levolution future {Xs :
s > t} ne depend de son passe qu`a travers son e tat a` linstant t :
s > t,

L(Xs |Xr : r t) = L(Xs |Xt )

o`u L(Xs |Xt ) designe la loi de Xs sachant Xt .


Cette definition signifie que, pour le futur, lhistoire du processus jusqu`a linstant t est
enti`erement resumee par son e tat a` linstant t ; ou encore que le present e tant connu, le
futur est independant du passe.
Revenons sur les exemples de la section precedente :
le cours dune action (exemple 1) nest vraisemblablement pas un processus de Markov : la memoire du processus est probablement plus longue (par exemple une tendance saisonni`ere) ;
un processus degenere (exemple 2) est bien e videmment un processus de Markov, le
processus cumulant aussi : seule compte la derni`ere valeur. On parle parfois dordre
du processus ou encore de memoire, cest-`a-dire de la longueur de la dependance.
Le processus cumulant est dordre 1 alors que le processus degenere est dordre 0.
La fortune du joueur au jeu du Pile ou Face (exemple 3) est un processus de Markov
si les tirages sont independants ;
dans le cas de la temperature dans un champ (exemple 4) la question ne se pose pas
par rapport a` cette definition puisque lindice est double.

2.2

Chane de Markov
Definition 0.2 Une chane de Markov est un processus de Markov pour lequel X et T
sont finis ou denombrables.
Une chane de Markov est donc un processus a` temps discret.
En notant i1 , i2 , . . . les e tats contenus dans X , nous avons :
P(Xn+1 = in+1 |X0 = i0 , . . . , Xn = in ) = P(Xn+1 = in+1 |Xn = in )
La loi dune chane de Markov est donc enti`erement determinee par les probabilites initiales 0 (i) =P(X0 = i) et les probabilites de transition :
n,n+1 (i, j) = P(Xn+1 = j|Xn = i)
Il est suffisant de donner les probabilites de transition en une e tape car les autres probabilites sen deduisent immediatement :
X
n,n+2 (i, j) =
n,n+1 (i, k)n+1,n+2 (k, j)
kX

n,n+3 (i, j) =

X
kX

etc.
bar-hen.net

n,n+2 (i, k)n+2,n+3 (k, j)

Chanes de Markov homog`enes

On reconnat l`a la formule de multiplication matricielle. Ce resultat se generalise :


X
n,m+p (i, j) =
n,m (i, k)m,m+p (k, j)

(1)

kT

Cette e quation est connue sous le nom dequation de Chapman-Kolmogorov.

Chanes de Markov homog`enes


Definition 0.3 On appelle chane de Markov homog`ene une chane de Markov dont les
probabilites ne dependent pas de linstant n considere :
n,n+1 (i, j) = (i, j)
Par exemple la fortune du joueur au jeu de Pile ou Face est une chane de Markov
homog`ene car la probabilite de passer dune somme a` une autre ne depend pas de linstant
considere (sous lhypoth`ese de tirages independants...).
La loi dune chane de Markov homog`ene est resumee dans la matrice de transition
qui contient lensemble des probabilites de transition. Traditionnellement, lindice de la
ligne donne letat au temps n et lindice de la colonne donne letat au temps n + 1 :

(1, 1) . . . (1, j) . . .
..
..

.
.

(i,
1)
.
.
.
(i,
j)
.
.
.

..
..
.
.
Tous les termes de la matrice des probabilites de transition sont positifs ou nuls et
la somme des termes sur une ligne est e gale a` 1.En effet, quand on est dans un e tat
donne, a` letape suivante, on effectue une transition avec la probabilite 1. Les termes
dune ligne donnee constituent donc une loi de probabilite appelee loi de transition de
letat correspondant a` lindice de la ligne. Une matrice carree possedant ces proprietes
est appelee matrice stochastique.
Nous verrons plus loin (page 12) que la matrice de transition entre le temps n et le temps
n + k peut secrire k .
Un cas particulier est celui des chanes de Markov homog`enes finies. La loi est donc
donnee par une matrice de dimension finie.

3.1

Classification des e tats


Dans la definition que nous avons donnee dune chane de Markov, levolution du processus au cours du temps a` partir dun e tat donne est enti`erement decrite par la matrice
des probabilites de transition. On peut aussi voir une chane de Markov comme un ensemble detats entre lesquels seffectuent des transitions. Certaines transitions sont possibles (probabilite de transition strictement positive) alors que dautres sont impossibles
bar-hen.net

`
TABLE DES MATIERES

Figure 1 graphe des transitions possibles dune chane de Markov

(probabilite de transition nulle). Ceci nous am`ene a` vouloir visualiser une chane de Markov en representant chaque e tat par un sommet et chaque transition par un arc. Il faut
noter quun arc poss`ede une orientation. Ce point de vue structurel consiste en fait a` visualiser le graphe des transitions possibles dune chane de Markov (voir figure 1). Dans
la mesure o`u les arcs sont orientes, on parle de graphe oriente. Si des poids sont associes
aux arcs, on parle dautomate
Dans la theorie des graphes, on appelle chemin une succession darcs, telle que lextremite
du ne` me arc soit lorigine du (n + 1)e` me arc et on appelle circuit un chemin ferme. Le
graphe des transitions possibles de la figure 1 comporte par exemple le chemin [0,1,2,3,4,5]
et le circuit [0,1,2,0].
Pour la suite on note n (i, j) la probabilite que le syst`eme soit dans letat i au temps t et
dans letat j au temps t + n :
n (i, j) = P(Xt+n = j|Xt = i) = P(Xn = j|X0 = i)
On dit que letat j est accessible a` partir de letat i si la probabilite de passer de i a` j est
non nulle :
i j n 0 : n (i, j) > 0
En theorie des graphes ceci signifie quil existe un chemin entre i et j.
On dit que les e tats i et j communiquent si chacun deux est accessible a` partir de
lautre :

ij
i j
ji
bar-hen.net

10

Chanes de Markov homog`enes

Pour que deux e tats ne communiquent pas il faut que lun des deux ne soit pas accessible
a` partir de lautre, cest-`a-dire :
n 0

n (i, j) = 0 ou

n 0n (j, i) = 0

La relation de communication entre deux e tats est reflexive (par convention i 0 (i, i) = 1),
symetrique (par definition) et transitive, cest donc une relation dequivalence.
Il est donc possible de construire une partition des e tats dune chane de Markov en
classes dequivalence telle que tous les e tats dune classe communiquent entre eux et que
deux e tats appartenant a` deux classes differentes ne communiquent pas. Par construction,
ces classes sont deux a` deux disjointes et leur reunion est lensemble des e tats.
En theorie des graphes, une classe dequivalence correspond a` une composante fortement connexe, cest-`a-dire dont tous les e lements sont communiquants. On peut donc
construire le graphe reduit (par exemple la figure 2). Dans ce graphe, les sommets
representent les classes et les arcs representent les transitions possibles entre classes.
Ce graphe poss`ede la propriete detre sans circuit (on ne peut jamais revenir au point
dorigine), tous les circuits du graphe dorigine des transitions possibles ayant servi a`
construire les differentes classes.
Il est alors possible de distinguer deux types de classe :
une classe est dite transitoire sil est possible den sortir mais dans ce cas, le processus
ne pourra plus jamais y revenir (classe (0,1,2) et classe (3) dans la figure 2) ;
une classe est dite recurrente sil est impossible de la quitter (classe (4,5) et classe (6)
dans la figure 2).
Si une classe recurrente est composee dun seul e tat, cet e tat est dit absorbant (etat 6 dans
la figure 2). Un e tat i absorbant est donc tel quune fois dans cet e tat on ne peut le quitter
(par exemple la ruine dans le cas du jeu de Pile ou Face). En terme de probabilites de
transition, ceci signifie que k 6= i , ik = 0 et donc ii = 1.
Les e tats absorbants sont tr`es particuliers puisquils constituent des e tats terminaux du
syst`eme. Il est notamment interessant detudier les probabilites dabsorption, cest-`a-dire
les probabilites que le syst`eme finisse par atteindre un tel e tat.
Les e tats dune classe transitoire sont dits transitoires alors que les e tats dune classe
recurrente sont dits recurrents. Un e tat absorbant est donc un type particulier detat
recurrent.
Une chane de Markov pour laquelle il nexiste quune seule classe recurrente (egale a`
lensemble des e tats) est dite irreductible. Ceci signifie que tous les e tats communiquent.
Pour un e tat i de la chane, on appelle temps de retour le temps minimal pour revenir a`
letat i ; cest-`a-dire le plus petit n tel que n (i, i) > 0.
Soit i un e tat dune chane de Markov. La periode de retour de i, notee Ti est la quantite
definit par :
Si n = kTi , k N n (i, i) > 0
Si n 6= kTi , k N n (i, i) = 0
cest-`a-dire que les retours a` letat i ne sont possibles que pour des durees multiples a` la
periode.
bar-hen.net

`
TABLE DES MATIERES

11

0,1,2

HH

HH
H

HH
H
j
H
-

4,5

Figure 2 exemple de graphe reduit


Une autre mani`ere e quivalente de dire les choses est de definir la periode comme le
pgcd{n T : n (i, i) > 0}
Letat i est dit periodique si Ti > 1 et aperiodique si Ti = 1.
Il est possible de montrer que deux e tats communiquants ont la meme periode et donc
que la periode est constante a` linterieur des classes de communication.
La periode commune des e lements de la classe est appelee periode de la classe.
Si la chane est irreductible et quelle a une periode, on parle dune chane periodique ;
si elle na pas de periode on parle de chane aperiodique.
Une chane irreductible et aperiodique est dite ergodique.
Exemple 0.1 Soit la matrice de transition de la chane :


0 1
=
1 0
la periode de la chane est 2, le syst`eme agit comme un metronome.

3.2

Exemple : marche aleatoire


Un individu se deplace dans une direction fixe et peut, a` chaque e tape, soit faire un pas
en avant (avec une probabilite pi ), soit faire un pas en arri`ere (probabilite qi ), soit rester
sur place (probabilite ri = 1 pi qi ).
On suppose que ce processus est homog`ene, ce qui signifie que les probabilites des trois
e venements dependent de lendroit i o`u lindividu se trouve mais pas de letape n. En
notant 0 le premier e tat, on obtient donc la matrice de transition :

r0 p 0 0 . . .
q1 r1 p 1 0 . . .

0 q2 r 2 p 2 0 . . .

..
... ..
=
.
. 0 q3 r 3

..
... ...

. 0

.. . .
.
.
bar-hen.net

12

Chanes de Markov homog`enes

1 i+1


pi




ri
PP qi
P


i
PP
P

- i

PP
PP
q i1

Figure 3 Exemple de marche aleatoire


e tat initial

@

@ 
R
@
r0
@
@
O


q1
@
@


@
@

r1








@
@

p0

q2

@
@

2 .................

r2





@
@



@
@

p1




Figure 4 Graphe dune marche aleatoire


Cette matrice est de dimension finie ou infinie.
On peut representer cette matrice sous forme dun automate (voir figure 4)
De nombreux cas de marche aleatoire sont utilises : fortune du joueur au jeu de Pile ou
Face, etc.

3.3

Comportement asymptotique
Dans la suite, on notera n (i) la probabilite que le syst`eme soit dans letat i a` la ne` me
e tape :
n (i) = P(Xn = i)
P
On note n = (n (1), . . . , n (i), . . .) avec iT = n (i) = 1.
La definition des probabilites de transition implique :
n (i) = P(Xn = i)
X
=
P(Xn = i|Xn1 = j)P(Xn1 = j)
jT

bar-hen.net

`
TABLE DES MATIERES

13

(i, j)n1 (j)

jT

Ce qui peut secrire matriciellement :


n = n1
et donc de facon generale :
n = 0 n
Cette e quation correspond a` lecriture matricielle de lequation 1.
Il est interessant de se demander si un processus donne finit par adopter un comportement
stable ou pas, sil converge vers une limite ou non. Pour cela on e tudie le comportement
asymptotique du vecteur n .
Il est facile de montrer que la plus grande valeur propre de vaut 1.
On appelle distribution stationnaire la distribution de probabilite correspondant a` tout
vecteur propre de associe a` la valeur propre 1 :
=
Le vecteur n rend compte de la loi de Xn . Cette distribution est dite stationnaire si elle
ne change pas lors dune transition. Un tel vecteur rend compte dun comportement
stochastique stable du syst`eme.
Il est important de noter que nest pas necessairement unique.
On appelle distribution limite leventuelle limite de la suite n .
Il est possible de montrer que si le vecteur n admet une limite , alors correspond a`
une distribution stationnaire. Ceci implique que la limite ne depend pas de letat initial
0 du syst`eme.
Une condition necessaire et suffisante pour lexistence dune distribution limite independante
de 0 est que 1 soit une valeur propre simple de (cest-`a-dire de multiplicite e gale a`
1) et que le module des autres valeurs propres soit strictement inferieur a` 1. Ceci signifie
quil nexiste quune seule classe recurrente. Une fois quon y rentre on ne peut plus en
sortir.

3.4

Conclusion
Les sections precedentes nont permis que de soulever le coin du voile recouvrant la
theorie des processus markoviens et il nest pas dans notre but daller plus en avant sur
le sujet. Les probl`emes classiques de comptage consistent a` estimer la loi du nombre
doccurrence dun ou plusieurs e tats dans un temps donne. Nous renvoyons le lecteur
interesse a` la bibliographie.

bar-hen.net

14

Chanes de Markov homog`enes

3.5 Exemples dapplication


Telephone arabe
Une histoire se transmet entre des individus par le phenom`ene du bouche a` oreille. Il
existe trois versions de cette histoire et chaque individu a` qui est raconte une version a
une probabilite p de la restituer telle quelle et une probabilite q = 1 p de la modifier en
une des deux autres versions. La matrice secrit donc

p 2q 2q
= 2q p 2q
q
q
p
2
2
et son polynome caracteristique est


q
q
p


2
2
q

q
1 = 1
q
2


p
= 0 (1 )(p ) = 0
2
2q

2 = 3 = p
2
q

p
2

q
2

On distingue deux cas :


1. p

q
2
q
2

= 1 p = 1, 2q = 0 : la matrice est lidentite et le probl`eme est trivial ;

2. p < 1 : la seule valeur propre de module 1 est 1 et elle est simple. On se limite
a` ce cas.
La suite converge quel que soit 0 vers lunique distribution stationnaire = (1 , 2 , 3 )
qui verifie :

q
q
1 =p1 + 2 2 + 2 3
1 1 1
2 = 2q 1 + p2 + 2q 3 = = ( , , )
= =
q q
3 3 3
3 = 2 1 + 2 2 + p3
car 1 p = q
Ceci signifie quasymptotiquement il nest pas possible de connatre la version originale.
Pour bien comprendre la convergence du processus, il est interessant de diagonaliser la
matrice . Les vecteurs associes a` (p 2q ) verifient :

q
q
q

(p 2 )1 =p1 + 2 2 + 2 3


q
= (1, 1, 0)
q
q
q

(p 2 )2 = 2 1 + p2 + 2 3 =
p
= =
= (0, 1, 1)

2
(p 2q )3 = 2q 1 + 2q 2 + p3
La diagonalisation de la matrice consiste a` e crire sous la forme :

1 1
0
1
0
0
1
1
1
1
0 2 1 1
= P P 1 = 1 1 1 0 p 2q
3
1 0 1
0
0
p 2q
1 1 2
et on a
n = (P P 1 )n = P n P 1
bar-hen.net

`
TABLE DES MATIERES

or

1
n

0
=
0
puisque p

q
2

15

0 
n
p 2q
0

0
1 0 0
n+
0  0 0 0
n
0 0 0
p 2q

< 1. Et donc
lim n = P

n+

lim n P 1

n+

1 1 1
1
= 1 1 1
3
1 1 1

Ce qui signifie que chaque personne a` qui est racontee une version de lhistoire en restitue
une autre tiree e quiprobablement parmi les 3 versions.
Ce resultat est assez logique si lon note que les e tats de la matrice sont non-identifiables,
cest-`a-dire quon peut les intervertir.
Application a` la genetique
La genetique est un des champs dapplication privilegies des chanes de Markov car cela
revient a` supposer que linformation apportee par le passe du patrimoine genetique dun
individu est enti`erement contenue dans le patrimoine genetique de ses parents. Cette
hypoth`ese est en general raisonnable.
S.Wright a e tudie la fluctation de la frequence des g`enes. Considerons une population de
taille N dindividus haplodes. On suppose la taille constante au cours des generations.
Le nombre total de g`enes est de 2N : j g`enes seront de type a et 2N j g`enes seront de
type A.
Soit {Xn : n 0} le nombre de g`enes a a` la ne` me generation. {Xn : n 0} est une
chane de Markov. Lespace des e tats contient 2N + 1 valeurs {0, 1, 2, 3, . . . , 2N }.
Si on neglige la mutation et la selection, un mod`ele simple pour calculer les probabilites
de transition dune generation a` lautre consiste a` supposer que, si lon a j g`enes de type
a a` une generation donnee, chaque g`ene de la generation suivante est le resultat dune
j
et la probabilite dobtenir k g`enes de
experience de Bernouilli de param`etre pj = 2N
type a est donnee par :
k
jk = P(Xn+1 = k|Xn = j) = C2N
pkj (1 pj )2N k

(2)

Dans ce mod`ele simple, il est important de remarquer que :


j,j = 1 pour j = 0 et j = 2N
Il ne peut y avoir de distribution limite car il existe deux e tats absorbants.
Dun point de vue genetique, ceci signifie que lendogamie produit une selection en faveur des homozygotes.
Il serait pertinent de connatre la vitesse de convergence vers les e tats absorbants.
Introduction de la mutation Pour ameliorer le mod`ele on peut introduire la mutation
sous forme de deux termes : le taux de mutation de a en A et le taux de mutation de

bar-hen.net

16

Processus de Poisson

A en a. La probabilite de transition jk garde la meme forme mais le pj de lequation 2


devient :


j
j
pj =
+ 1

2N
2N
Si et sont strictement positifs alors 0 et 2N ne sont plus absorbants. Il est possible de
montrer que lon a alors une distribution limite.
Introduction de la selection On peut e galement introduire la selection dans le mod`ele
de base en supposant que le g`ene a a un avantage selectif sur le g`ene A represente par un
terme (1 + s). Dans ce cas, la probabilite de transition jk garde la meme forme mais le
pj de lequation 2 devient :
(1 + s)j
pj =
2N + js
e` me
Si il y a j g`enes de type a a` la n generation, lesperance du nombre de g`enes a a` la
generation (n + 1) vaut :
E(Xn+1 |Xn = j) = 2N pj = 2N

(1 + s)j
2N + js

et lesperance du nombre de g`ene A a` la generation (n + 1) vaut :


E(Xn+1 |Xn = j) = 2N (1 pj ) = 2N

2N j
2N + js

Le rapport des deux esperances vaut :


nombre de g`enes a a` la generation n
(1 + s)j
= (1 + s)
2N j
nombre de g`enes A a` la generation n
ce qui rend compte de la pression de selection en faveur du g`ene a.

4 Processus de Poisson
Dans la section 2, nous nous sommes interesses aux concepts de base des chanes de
Markov et donc dun processus a` temps discret. Le but de cette section est de presenter
(de mani`ere rapide) un exemple important de processus a` temps continu.
Un probl`eme classique est de compter le nombre doccurrence dun e venement donne
dans un intervalle de temps. A titre dexemple on peut citer les appels telephoniques a` un
standard, loccurrence daccident a` un carrefour ou lapparition des bourgeons sur une
plante.
La justification intuitive pour voir ces exemples comme des processus de Poisson provient de la loi des e venements rares. Pour chaque petit intervalle de temps nous avons une
experience de Bernouilli dont la probabilite de succ`es est faible. Un resultat classique des
statistiques permet de modeliser le nombre devenements par une loi de Poisson. Nous
reviendrons plus loin sur une justification plus formelle (mais que nous esperons tout
aussi intuitive).
On note Xt le nombre devenements survenus dans lintervalle ]0, t].
La fonction de repartition est une fonction non-decroissante en escalier (voir figure 5).
bar-hen.net

`
TABLE DES MATIERES

17
Xt
6

t1 t2

t3 t4

t5

t6

X(0) = 0 Xt = nombre devenements survenus avant t


Figure 5 Trajectoire dun processus de comptage
Definition 0.4 Xt est est un processus poissonnien sil verifie les conditions suivantes :
H1 le processus est sans memoire : les occurrences des e venements sont independantes
les unes des autres. Une autre mani`ere e quivalente de dire les choses est de postuler que
loccurrence devenements avant la date t ninflue en rien sur loccurrence devenements
apr`es t ;
H2 le processus est homog`ene dans le temps : la loi de laccroissement (Xt+h Xt ) du
processus ne depend que de h et non pas de t (et est donc la meme que celle de Xh ).
Lhypoth`ese (H1) induit que le processus de comptage des e venements est un processus
markovien : connaissant le present, le futur est independant du passe.
Pour lhypoth`ese (H2) on parle de stationnarite ou parfois dhomogeneite temporelle.
Par analogie avec la loi des e venements rares, la probabilite dobserver plus dun e venement
dans un intervalle de temps t tend vers 0 quand t tend vers 0. Cette propriete peut
secrire :
P(Xt+t Xt > 1)
=0
t0
t
De mani`ere e quivalente, ceci peut secrire :
lim

(3)

P(Xt+t Xt > 1) = o(t)


Divisons un intervalle de temps ]0, t] en N sous-intervalles de longueur t = N1 . La
probabilite quun e venement survienne dans un sous-intervalle vaut 1 P (Xt = 0)
o(t) et donc lesperance du nombre doccurrence dans lintervalle de temps vaut :
N (1 P (Xt = 0) o(t)) = t1 (1 P (Xt = 0) o(t))

(4)

Si t tend vers 0, et sous reserve de quelques conditions, lequation 4 tend vers une limite
correspondant au nombre doccurrence de levenements considere dans un intervalle de
temps de longueur t. Cette limite est appelee lintensite et est notee :

bar-hen.net

18

Processus de Poisson

lim t1 (1 P (Xt = 0)) =

t0

(5)

Ce qui peut secrire :


P (Xt = 0) = 1 t + o(t)
De meme lequation 3 peut secrire :
lim t1 (1 P (Xt = 0) P (Xt = 1)) = 0

t0

Cest-`a-dire :
P (Xt = 1) = t + o(t)

4.1

Syst`eme differentiel
Lutilisation de syst`eme differentiel en processus est classique mais il est neanmoins
possible de passer ce paragraphe lors dune premi`ere lecture.
Pour t suffisamment petit, nous venons dobtenir le syst`eme dequations :

P(Xt+t Xt > 1) = o(t)


P(Xt+t Xt = 1) = t + o(t)

P(Xt+t Xt = 0) = 1 t + o(t)
Notons
pn (t) = P(Xt = n)
Pour n > 0, on a
pn (t + t) = P(Xt = n)P(Xt+t Xt = 0)
+P(Xt = n 1)P(Xt+t Xt = 1) + o(t)
= pn (t)(1 t) + pn1 (t)t + o(t)
= pn (t) + t(pn1 (t) pn (t)) + o(t)
Do`u :

pn (t + t) pn (t)
o(t)
= (pn1 (t) pn (t)) +
t
t
et en passant a` la limite, on obtient :
pn (t + t) pn (t)
= (pn1 (t) pn (t))
t0
t
lim

p0n (t) = (pn1 (t) pn (t))


Pour n = 0 on a :
p0 (t + t) = P(Xt = 0)P(Xt+t Xt = 0)
= p0 (t)(1 t + o(t))
bar-hen.net

`
TABLE DES MATIERES

19

Do`u :
p00 (t) = p0 (t)
Les fonctions pn (t) verifient donc le syst`eme differentiel :
 0
p0 (t) =
p0 (t)
p0n (t) = (pn1 (t) pn (t))
Il est possible de montrer que la solution de ce syst`eme est :
p0 (t) = et
p1 (t) = tet
et par recurrence :
n 0

4.2

pn (t) = et

(t)n
n!

Interpretation des resultats


La solution du syst`eme differentiel
n
t (t)

P(Xt = n) = pn (t) = e

n!

signifie que, a` tout instant t, la variable Xt suit une loi de Poisson de param`etre t. On
retrouve l`a une interpretation naturelle de lintensite :
Xt P(t)
On en deduit immediatement lesperance et la variance de Xt :
E(Xt ) = V(Xt ) = t
Ce resultat peut aussi se retrouver en considerant lapproche binomiale dej`a e voquee ;
on decoupe lintervalle ]0, t] en N intervalles de taille N1 suffisamment petit pour ne pou. Dans chaque
voir contenir quau plus un seul e venement et ce, avec une probabilite t
N
sous-intervalle la probabilite dapparition dun e venement suit une loi de Bernouilli de
param`etre t
. Les intervalles e tant independants, Xt correspond a` la somme des N lois
N
de Bernouilli et donc :


t
Xt B N,
N
quand N tend vers linfini,
et :

t
N

tend vers 0 et la loi binomiale tend vers la loi de Poisson


Xt P(t)

bar-hen.net

20

Processus de Poisson

4.3 Comparaison avec un mod`ele deterministe


Si on voulait construire un mod`ele deterministe, on aurait la fonction :
x(t) = nombre devenements observes dans lintervalle ]0, t]
lequation differentielle correspondant aux hypoth`eses dabsence de memoire et de stationnarite serait :
dx
=
dt
avec la condition initiale x(0) = 0. On obtient donc lequation :
x(t) = t
qui correspond au comportement moyen (cest-`a-dire en esperance) du processus de
Poisson.

4.4

Temps dattente
Loi de la duree entre deux e venements
On sinteresse maintenant a` la duree (aleatoire) separant deux occurrences de levenement.
On se place a` une date t0 et on va e tudier la variable T :
T = temps dattente jusqu`a la prochaine occurrence
On a :
P(T > t) = P(Xt0 +t Xt0 = 0)
= P(Xt = 0) hypoth`ese dindependance temporelle
= p0 (t) = et
La loi de T est donc independante de t0 et on a
P(T > t) = et P(T t) = 1 et
cest-`a-dire T suit une loi exponentielle de param`etre :
T E()
Il est important de remarquer quon ne se preoccupe pas de savoir si t0 est une date doccurrence. lhypoth`ese dindepence temporelle implique que la loi de T reste inchangee.

bar-hen.net

`
TABLE DES MATIERES

21

Interpretation et proprietes
Xt suit une loi de Poisson de param`etre t. On a donc E(X1 ) = . Ceci signifie que
represente le nombre moyen devenements survenant dans une unite de temps. Nous
retrouvons l`a le sens de lintensite du processus de Poisson.
De meme T suit une loi exponentielle de param`etre , on a donc E(T ) = 1 . La duree
moyenne separant deux e venements est donc e gale a` 1 .
Il est possible de demontrer que la loi de Poisson est la loi du nombre devenements
survenant dans une unite de temps quand ces e venements sont separes par des durees
exponentielles independantes.
On peut aussi sinteresser a` la loi conditionnelle :
P(T > s + t|T > s) =
=
=
=
=

P(T > s + t, T > s)


P(T > s)
P(T > s + t)
P(T > s)
(t+s)
e
es
et
P(T > t)

Ceci signifie que la loi exponentielle est sans memoire. On peut montrer que cette
propriete est caracteristique de la loi exponentielle.
Cette propriete est a` lorigine du paradoxe de lautobus (poissonnien) :
Si un usager attend un bus dune ligne sur laquelle les passages suivent une loi de Poisson,
la loi (et donc lesperance) reste constante au cours du temps. Concr`etement ceci signifie
que si les bus passent en moyenne toutes les 30 minutes et que lusager a dej`a attendu 15
minutes, lesperance du temps a` attendre reste inchangee et est de 30 minutes.
E(T ) = E(T t > T > t) =

Date du ne` me e venement


Soit Tn la date (aleatoire) a` laquelle survient le ne` me e venement :
T1 E()
et de facon generale :
Tn Tn1 E()
pour n > 0 (T0 = 0).
Donc Tn est la somme de n variables exponentielles de param`etre . Il est possible de
montrer que la densite fn (t) de la variable aleatoire Tn secrit :
n
fn (t) =
et tn1
(n 1)!
bar-hen.net

22

Tour dhorizon de quelques processus

Cest-`a-dire une loi gamma dont le param`etre n est entier. On parle aussi de loi dErlang
et donc :
n

n
V(Tn ) =
2
E(Tn ) =

5 Tour dhorizon de quelques processus


Nous venons de donner les bases de deux processus fondamentaux : les chanes de Markov et les processus de Poisson. Il est important de noter que le mecanisme de construction est sensiblement different entre les deux processus. Dans le cas des chanes de Markov, on specifie la dependance entre les variables aleatoires alors que dans le cas des
processus de Poisson, on travaille a` partir de la loi inter-evenement, cest-`a-dire lintervalle de temps entre loccurrence de deux e venements, on parlera dans ce cas de processus de type intervalle. Une autre mani`ere classique de construire un processus est le
point de vue comptage, cest-`a-dire, en general, le nombre doccurrence dun e tat dans
une sequence. Dans tout cette section il est important de garder en tete ces deux notions
dintervalle et de comptage.
Il nest e videmment pas possible de donner une liste exhaustive de tous les processus
mais il nous a semble important de faire un tour dhorizon des principales approches.
Nous commencons par quelques generalisations du processus de Poisson (processus de
naissance, naissance et mort, branchement et file dattente) pour arriver a` la generalisation
la plus globale (renouvellement) puis nous nous interessons a` des generalisations des
chanes de Markov (chanes dordre r, semi-chanes de Markov et chanes de Markov
cachees).
Le but est plus de presenter des probl`emes que de les resoudre. Ceci peut paratre un
peu frustrant mais connatre lexistence dun outil est souvent aussi important que den
matriser le mode demploi. Le lecteur interesse peut se reporter a` la bibliographie pour
un traitement rigoureux et approfondi des processus presentes.

5.1

Processus de naissance
Dans un processus de Poisson, la probabilite dun e venement est independante du nombre
devenements qui se sont dej`a produits. Cette hypoth`ese peut e tre irrealiste. Un exemple
de ce phenom`ene est la reproduction des organismes vivants (do`u le nom du processus) o`u sous certaines conditions la probabilite dune naissance est directement proportionnelle a` la taille de la population a` linstant considere. Un tel processus (qui est une
generalisation des processus poissonnien) est aussi parfois appele processus de Yule.
Prenons lexemple de la division cellulaire.
Soit N (t) le nombre de cellules dans une culture a` la date t. On suppose que chaque
cellule se divise en deux au bout dune duree aleatoire distribuee exponentiellement. On
suppose que les cellules ont toutes la meme probabilite t de se diviser durant un
bar-hen.net

`
TABLE DES MATIERES

23

intervalle de duree t. On reconnat les hypoth`eses initiales du processus de Poisson.


Une fois quune cellule est divisee, on consid`ere quon a affaire a` deux cellules nouvelles
suceptibles de se diviser a` leur tour.
On sinteresse ici a` la naissance de nouveaux individus et non a` leur mort et lon obtient
donc une modelisation croissante de la taille de la population.
En suivant un raisonnement analogue a` celui suivi pour le processus de Poisson on obtient
les e quations de recurrence :
P(N (t + t) = N (t)) = 1 N (t)t + o(t)
P(N (t + t) = N (t) + 1) = N (t)t + o(t)
P(N (t + t) = N (t) + k, k > 1) = o(t)
On retrouve des e quations semblables a` celles obtenues pour un processus poissonnien
mais elles ne sont plus homog`enes dans le temps puisque ces e quations dependent de
leffectif N (t).
En notant
pn (t) = P(N (t) = n)
on peut obtenir une e quation differentielle dont la solution secrit :


n1
pn (t) =
etN0 (1 et )nN0
n N0
on reconnait la loi binomiale negative de param`etre N0 et et :
N (t) N0 N B(N0 , et )
On en deduit :
E(N (t)) = N0 et
cest-`a-dire quavec ce mod`ele la croissance de la population est exponentielle en esperance.
De plus :
V(N (t)) = N0 et (et 1)
do`u le coefficient de variation :
N0 et
1
E(N (t))
t
=p

CV(N (t))1 = p
N0
V(N (t))
N0 et (et 1)
ce qui signifie que la variabilite relative autour de lesperance est faible sauf si la population initiale est particuli`erement petite.
La croissance exponentielle de la population nest e videmment pas toujours realiste. Pour
controler lexpansion on utilise souvent des mod`eles heterog`enes avec une intensite
dependant de leffectif :
= (N )

bar-hen.net

24

Tour dhorizon de quelques processus

On peut aussi introduire une limite superieure M avec des fonctions de freinage de la
forme :


N
(N ) = 1
M
De mani`ere analogue on peut construire un processus de mort. Et en suivant le meme
raisonnement on obtient :
N (t) N0 N B(N0 , et )
On peut remarquer que dans ces deux mod`eles, lesperance est une fonction exponentielle
du temps et donc quune transformation logarithmique la ram`ene a` une fonction lineaire :
processus de naissance :
processus de mort :

log(E(N (t)) = log(N0 ) + t


log(E(N (t)) = log(N0 ) t

On peut donc facilement estimer les param`etres N0 , , par une regression lineaire du
logarithme de leffectif sur le temps.
On note que le point de vue adopte est de type comptage. Il est cependant possible
detudier des param`etres de type intervalle : temps avant la ne` me naissance, temps entre
deux naissance, etc.

5.2

Processus de naissance et mort


Une description realiste du developpement dune population doit e videmment tenir compte
a` la fois des naissances et des morts des individus qui la composent. (Nous sommes encore dans une logique de type comptage).
Un mod`ele naturel consiste a` combiner les deux mod`eles de la section 5.1.
En utilisant le meme raisonnement et les memes notations, on obtient :
pn (t + t) = pn (t) P(aucune naissance ni mort durant [t; t + t])
+pn1 (t) P(une naissance durant [t; t + t])
+pn+1 (t) P(une mort durant [t; t + t])
+o(t)
Cest-`a-dire :
pn (t + t) = pn (t) (1 n( + )t)
+pn1 (t) (n 1)t
+pn+1 (t) (n + 1)t
+o(t)
On en deduit lequation differentielle :
p0n (t) = n( + )pn (t) + (n 1)pn1 (t) + (n + 1)pn+1 (t)

(6)
bar-hen.net

`
TABLE DES MATIERES

25

mais sa resolution est particuli`erement complexe dans le cas general, cest-`a-dire pour
une taille initiale N0 quelconque.
Pour N0 = 1 (cest-`a-dire une population initiale de taille 1), la solution de lequation
differentielle 6 est :
p0 (t) = B(t)
pn (t) = (1 B(t))(1 B(t))(B(t))n1
avec

1 e()t
e()t
Conditionnellement au fait que la population nest pas e teinte a` la date t (probabilite
(1 B(t)), N (t) suit donc une distribution geometrique :
B(t) =

(N (t)|N (t) > 0) G(1 B(t))


On utilise le resultat particulier pour N0 = 1 pour e tudier le comportement dune population deffectif initial N0 quelconque en supposant que levolution de la population est
e quivalente a` levolution de N0 populations deffectif initial 1.

5.3

Processus de branchement
Ces processus sont utilises pour decrire levolution des populations, la croissance (ou la
decroissance) de leur effectifs, les probabilites dextinction, etc.
On consid`ere qu`a la generation 0 on a 1 individu. Cet individu peut avoir des descendants qui constituent la generation 1. Chaque individu peut avoir des descendants qui
constituent la generation 2.
On notera les liens entre les processus de branchement et les processus de naissance et
mort.
Les exemples dapplication de ces processus sont nombreux en physique, en e pidemiologie,
en genealogie ou encore en genetique.
La survivance des noms de famille est un des premiers exemples de ce processus. Sir
Galton (fondateur de leugenisme et cousin de Darwin) posa le probl`eme de lextinction
des noms de famille au cours des generations. Watson fut le premier a` proposer une solution mathematique a` ce probl`eme. Dans ces mod`eles, les seuls descendants consideres
sont les enfants males.
On note Yn leffectif a` la ne` me generation et Xj,n le nombre de descendants du je` me individu
a` la ne` me generation (j = 1, . . . , Yn ).
Par definition, une generation est e gale a` la reunion des descendants de tous les individus
de la generation precedente :
Yn1

Yn = X1,n1 + + XYn1 ,n1 =

Xj,n1

j=1

Il est donc possible de voir un processus de branchement comme la combinaison dun


processus markovien et dun processus cumulant.
bar-hen.net

26

Tour dhorizon de quelques processus

On suppose que les individus se reproduisent independamment les uns des autres et que
le nombre de descendants suit une loi qui ne depend ni de lindividu parent ni de la
generation.
{Xn,j : n 0 et 1 j Yn1 } i.i.d.
Le phenom`ene suit une loi stable au cours du temps et independante des individus. On
note
pk = P(Xn,j = k) = P(X = k)
La loi de X est enti`erement determinee par les pk (qui ne dependent ni de n ni de j).
En general on peut supposer que le nombre de descendants suit une loi classique :
k k
p (1 p)mk 0 k m
X B(m, p) = pk = Cm
k
X P() = pk = e k 0
k!

Le choix de la loi resulte dhypoth`eses sous-jacentes faites sur le mode de reproduction.


Classiquement on recherche la loi de Yn , les probabilites dextinction, le comportement
asymptotique, etc. On peut aussi compliquer un peu le probl`eme en supposant que les
individus parents peuvent avoir des descendants de plusieurs types.

5.4

Renouvellement
La theorie du renouvellement a commence avec letude des pannes et des remplacements
de composants tels les ampoules e lectriques. Ensuite, il est apparu clairement quun
nombre important de probl`emes pouvait se ramener a` ce formalisme.
Supposons que la duree de vie des ampoules soit une variable aleatoire. Une ampoule
neuve est installee au temps initial. Soit X1 la date doccurrence de la premi`ere panne.
On remplace immediatement lampoule. La deuxi`eme panne se produit en X1 + X2 . De
mani`ere generale, la ne` me ampoule brule au temps
Sn =

n
X

Xi

i=1

Si les variables aleatoires Xn sont independantes et identiquement distribuees, on parle


de processus de renouvellement.
Deux points de vue analogues caracterisent le processus de renouvellement. On sinteresse
soit au processus Sn : temps avant la ne` me panne, soit a` N (t) : nombre de pannes dans
lintervalle de temps ]0, t].
Connaissant la loi de T , temps entre deux e venements successifs, on cherche les proprietes de N (t) et Sn .
On reconnait les liens entre le processus de renouvellement et le processus cumulant
aborde a` la section 1.3.
On peut par exemple sinteresser a` lesperance de N (t), cest-`a-dire le nombre attendu
de renouvellements dans lintervalle de temps ]0, t] :

bar-hen.net

`
TABLE DES MATIERES

27

E(N (t)) = M (t)


Cette e quation est appelee la fonction de renouvellement.
Soit Ti la duree (aleatoire) entre levenement i 1 et levenement i. Par exemple T1
represente lintervalle de temps entre linstant 0 et le premier e venement.
La loi du nombre devenements se produisant dans lintervalle ]0, t] se deduit des fonctions de repartition des lois des intervalles de temps entre linstant 0 et le ne` me e venement
par la relation suivante :
P(N (t) = n) = P(N (t) n) P(N (t) n + 1)
= P(T1 + Tn t) P(T1 + Tn + Tn+1 t)
t
t
avec n = sup(T
, . . . , inf(T
)
)
o`u inf(T ) represente lintervalle minimum entre deux intervalles de temps et sup(T )
lintervalle maximum entre deux e venements.
Lequation precedente signifie que si lon a au moins n e venements jusqu`a linstant t
alors linstant o`u se produit le ne` me e venement est inferieur ou e gal a` t.
Letude des processus de renouvellement depasse notre propos mais il est possible de
montrer quune majorite de processus correspond a` des cas particuliers de processus de
renouvellement. Par exemple, un processus de Poisson de param`etre est un processus de
renouvellement dont la loi inter-evenement suit une distribution exponentielle (loi gamma
ou loi dErlang, voir page 20). Dans ce cas la loi de comptage suit une loi de Poisson. Un
autre processus classique est le processus de Bernouilli (exemple 3 de la page 5). Il est
possible de montrer que la loi inter-evenement suit une loi binomiale negative et que la
loi de comptage suit une loi binomiale.

5.5

Files dattente
On sinteresse ici au phenom`ene dattente qui peut e tre ramene de facon generale au
probl`eme suivant : des clients se presentent dans un lieu donne pour obtenir un service.
Exemples :
arrivee de clients a` un distributeur automatique de billets (1 guichet, file dattente infinie) ;
arrivee de voitures a` une station service (s pompes, files dattente potentiellement infinie) ;
appels telephoniques a` un standard (s lignes, pas de file dattente) ;
atterrissages davions sur un aeroport (s pistes, temps dattente limite).
On peut voir un syst`eme de files dattente comme la combinaison de deux processus de
renouvellement (arrivee et service) relie par un mecanisme de passage (les files).
Notations
Pour decrire un tel syst`eme on adopte en general les notations de Kendall :
bar-hen.net

28

Tour dhorizon de quelques processus

F : la loi du processus des arrivees dans le syst`eme ;


G : la loi de la duree des services rendu au(x) guichet(s) ;
s : le nombre de guichets ;
N : la capacite du syst`eme, cest-`a-dire le nombre de clients presents simultanement
dans le syst`eme.
On obtient ainsi une notation generale permettant de classifier les differents phenom`enes
dattente : un syst`eme dattente est designe par le quadruplet :
F/G/s/N
Si on suppose (et on le fait frequemment) que les phenom`enes e tudies verifient la propriete de Markov (cest-`a-dire que linformation sur le futur est enti`erement contenu dans
le present), les lois F et G sont notees M .
M/M/s/N
Quand la capacite du syst`eme est infinie (N = ) on omet le dernier terme et la notation
de Kendall devient simplement :
F/G/s
la longueur maximale de la file est e gale a` la capacite du syst`eme moins le nombre de
guichets :
nmax = N s
On utilise e galement deux autres notations classiques :
: le taux darrivee (par unite de temps).
1
represente donc lintervalle de temps moyen entre deux arrivees dans le syst`eme ;

: le taux de service (par unite de temps).


1
represente donc la duree moyenne dun service.

Probl`emes a` resoudre
Lobjet mathematique central dans letude dun tel probl`eme est le processus stochastique
{Xt : t 0} o`u Xt represente le nombre dindividus presents dans le syst`eme a` linstant
t.
On distingue deux regimes differents du syst`eme : le regime transitoire et le regime
permanent. Dans de nombreux cas, apr`es une phase initiale instable (ouverture des guichets), le syst`eme atteint une phase stable (milieu de journee).
Dans la phase initiale, la loi du nombre dindividus dans le syst`eme depend du temps
(regime transitoire) et elle se stabilise dans la phase stationnaire.
Le regime stationnaire nexiste pas toujours. On ne discutera pas ici des conditions
dexistence de ce regime.
Dans le cas du regime transitoire, la loi du processus est caracterise par les probabilites :
pn (t) = P(Xt = n)
En regime transitoire, ces probabilites dependent e videmment des conditions initiales.
bar-hen.net

`
TABLE DES MATIERES

29

Les calculs en regime transitoire sont souvent tr`es lourds et on se limite souvent a` letude
en regime stationnaire caracterise par les probabilites limites
pn = lim (pn (t)) = pn () = P(X = n)
t

On ne sarretera pas ici aux conditions dexistence de ces limites.


Letude des processus de file dattente permet de connatre des caracteristiques telles que :
la duree moyenne dattente ;
la duree moyenne de sejour dans le syst`eme ;
le nombre moyen dindividus presents dans le syst`eme ;
le taux doccupation des guichets ;
le taux de clients non-servis.
On notera que les deux premi`eres questions sont de type intervalle alors que les trois
derni`eres sont de type comptage
Le syst`eme dattente de base est le syst`eme M/M/1. On a vu que le processus stochastique
verifiant la propriete de Markov est le processus de Poisson. Dans le syst`eme M/M/1, on
suppose donc que
les arrivees se font selon un processus de Poisson P() ;
la duree de service suit une loi exponentielle E()
Nous ne pousserons pas plus en avant letude des files dattente.

5.6

Processus ponctuel
Ces processus sont particuli`erement utiles pour e tudier des probl`emes de repartition spatiale. Ils seront traites dans le chapitre suivant.

5.7

Generalisation dune chane de Markov


Chane de Markov dordre r
On dit quune chane de Markov est dordre r si letat du processus a` linstant n ne
depend que des r e tats precedents :
P(Xn = in |Xn1 = in1 , . . . , X1 = i1 ) = P(Xn = in |Xnr = inr , . . . , Xn1 = in1 )
Comme pour une chane de Markov dordre 1 (cest-`a-dire du type e tudie dans la section 2), la chane est caracterisee par les probabilites initiales et les probabilites de transition.
Cette generalisation est plaisante mais il est important de noter que si la chane de Markov a J e tats possibles, il existe J r+1 probabilites de transition et donc le nombre de
param`etres crot exponentiellement avec la memoire du processus.
Semi-chane de Markov
Dans une semi-chane de Markov, on consid`ere que la transition entre des e tats distincts
correspond a` une chane de Markov. Par contre la probabilite de rester dans un e tat nest
bar-hen.net

30

Tour dhorizon de quelques processus

plus deduite du mod`ele mais est explicitement specifiee par une loi discr`ete doccupation
des e tats.
Pour une chane de Markov Xn la loi doccupation de letat j est donnee par
dj (u) = P (Xn+u+1 6= j, Xn+u = j, . . . , Xn+2 = j|Xn+1 = j, Xn 6= j)
= (j, j)u1 (1 (j, j))
la loi de loccupation de letat j, cest-`a-dire le temps o`u le syst`eme reste a` letat j, est
donc une loi geometrique.
Une semi-chane de Markov a` J e tats est donc definie par les param`etres suivants :
P
1. probabilite initiales : 0 (j)=P(X0 = j) ; j = 1, . . . , J avec j 0 (j) = 1
2. probabilit
es de transition : (i, j)=P(Xn = j|Xn1 = i) avec
P

(i,
j) = 1 i, j = 1, . . . , J
j6=i
(j, j) = 0 j = 1, . . . , J
3. loi doccupation des e tats :
dj (u) = P(Xn+u+1 6= j, Xn+u = j, . . . , Xn+2 = j|Xn+1 = j, Xn 6= j)j = 1, . . . , J
La dependance nest donc plus traduite explicitement dans la definition du mod`ele mais
implicitement dans la definition des lois doccupation des e tats. Les lois doccupation des
e tats sont par exemple des lois discr`etes e lementaires (loi binomiale, Poisson ou negative
binomiale).
On peut interpreter le mecanisme dune semi-chane de Markov comme suit : a` un instant
n donne, on passe de letat i a` letat j selon une loi de transition de letat i puis on reste
dans letat j un temps u qui suit la loi doccupation de letat j. Enfin, on effectue une
nouvelle transition conformement a` la loi de transition de letat j.
Un probl`eme specifique se pose pour traduire la notion detat absorbant. Un e tat absorbant est un e tat dans lequel, une fois rentre, on reste infiniment longtemps. Cette notion
ne peut donc pas se traduire dans une loi doccupation dun e tat.
Il existe une relation forte entre les semi-chanes de Markov et la theorie du renouvellement. Une semi-chane de Markov a` deux e tats peut sinterpreter comme la combinaison de deux processus de renouvellement. La loi doccupation du premier e tat est
une loi inter-evenement traduisant un phenom`ene donne alors que la loi doccupation du
deuxi`eme e tat est une loi inter-evenement traduisant un autre phenom`ene. Dans le cadre
de la theorie du renouvellement, ce type de processus est appele processus de renouvellement alterne.
Processus de Markov caches
Une autre extension possible des chanes de Markov consiste a` faire lhypoth`ese quune
sequence discr`ete nest pas directement obtenue par une chane de Markov mais indirectement par des lois de probabilite attachees aux e tats de la chane de Markov. Si
{Xn : n > 0} est une chane de Markov dordre 1, {Yn : n > 0} est une chane de

bar-hen.net

`
TABLE DES MATIERES

31

Markov cachee dordre 1 si la relation de dependance suivante est verifiee :


P(Xn = in , Yn = jn |X1 = i1 , . . . , Xn1 = in1 , Y1 = j1 , . . . , Yn1 = jn1 )
= P(Xn = in , Yn = jn |Xn1 = in1 )
= P(Xn = in |Xn1 = in1 )P(Yn = jn |Xn1 = in1 )
Les variables aleatoires Yn ne dependent donc que de letat correspondant Xn . Les dependances
structurant le mod`ele sont par consequent uniquement representees au niveau du processus sous-jacent Xn .
Une chane de Markov cachee a` I e tats, homog`ene dans le temps est definie par les
param`etres initiaux :
probabilites initiales
X
0 (i) = P(X0 = i) i = 1, . . . , I et
0 (i) = 1
j

probabilite de transition
n (i, j) = P(Xn = j|Xn1 = i)
P
avec i, j = 1, . . . , I et j 0 (j) = 1
Ceci definit une chane de Markov dordre 1 homog`ene dans le temps. Les I e tats de cette
chane de Markov sous-jacente sont observes a` travers les lois de probabilite suivantes :
P
probabilites dobservation n (a, b) =P(Yn = b|Xn = a) avec a, b = 1, . . . , I et
b n (b) = 1
Dans un processus markovien cache, on suppose que seules les variables aleatoires Yn
sont observables. Cest donc sur ces variables aleatoires quil faut raisonner pour comparer des caracteristiques theoriques a` des caracteristiques observees (meme si il est toujours possible de calculer les lois du mod`ele sous-jacent).
Ces techniques sont tr`es utilisees en reconnaissance de la parole.

References
[1] Cox D.R. (1962) : Renewal Theory. Chapman and Hall. London.
[2] Cox D.R. et Miller H.D. (1965) : The theory of stochastic processes. Chapman and
Hall. London.
[3] Feller W. (1968) : An introduction to probability and its applications. Vol. I 3rd
Edition. Wiley. New-York.
[4] Feller W. (1971) : An introduction to probability and its applications. Vol. II 2nd
Edition. Wiley. New-York.
[5] Gordon P. (1965) :Theorie de chanes de Markov finies et ses applications. Dunod.
Paris.
[6] Guttorp P. (1995) : Stochastic modeling of scientific data. Chapman and Hall. London.
bar-hen.net

32

F E RENCES
RE

[7] Karlin S. et Taylor H. M. (1975) :A first course in stochastic processes. 2nd Edition.
Academic Press. London.
[8] Karlin S. et Taylor H. M. (1981) :A second course in stochastic processes. Academic
Press. London.

bar-hen.net