Vous êtes sur la page 1sur 2

Processus stochastiques markoviens en temps continu Un mod`ele d’´evolution dynamique en temps

continu dans lequel on fait d´ependre l’´evolution future de l’´etat pr´esent et du hasard est un
processus de Markov. On en rencontre dans de nombreux domaines d’applications, comme par
exemple l’´etude des files d’attente. 2.1 Processus de Poisson 2.1.1 Trois propriet´ es de la loi
exponentielle ´ La loi exponentielle est l’ingr´edient de base pour mod´eliser des temps d’attente
d’´ev´enements “impr´evisibles”. Cette partie contient quelques-unes de ses propri´et´es ´el
´ementaires. Soit X une v.a. suivant la loi exponentielle de param`etre λ, not´ee E(λ). Sa densit´e est :
fX(x) = λe−λx11x≥0 . Elle est sans atome, i.e. ∀x,IP(X = x) = 0. Sa fonction de r´epartition vaut FX (x) =
IP(X ≤ x) = (1 − e −λx)11x≥0 , (2.1) son esp´erance et sa variance valent respectivement 1/λ et 1/λ2 .
De l’expression (2.1), on d´eduit qu’`a partir d’une v.a. X de loi exponentielle de param`etre λ, on
obtient une v.a. Y de loi exponentielle de param`etre 1 en posant simplement Y = λX. En pratique,
une v.a. de loi exponentielle repr´esente une dur´ee, typiquement le temps d’attente d’un ´ev
´enement ou une dur´ee de vie. La propri´et´e importante des lois exponentielles est d’ˆetre “sans m
´emoire”. Dans le cas particulier d’un composant ´electronique dont la dur´ee de vie serait mod´elis
´ee par une loi exponentielle, cela signifie que la probabilit´e pour que le composant vive un temps t
est la mˆeme, qu’il soit neuf ou qu’il ait d´ej`a v´ecu un temps s. Cette absence de m´emoire est
caract´eristique des lois exponentielles. Proposition 2.1.1 Une v.a. X `a valeurs dans R+ et de fonction
de r´epartition continue suit une loi exponentielle si et seulement si pour tous r´eels s, t ≥ 0, IP(X > s +
t | X > s) = IP(X > t) . (2.2) 31 Demonstration ´ Si X suit la loi E(λ) alors, d’apr`es (2.1), IP(X > s + t | X >
s) = IP(X > s + t) IP(X > s) = e −λ(s+t) e−λs = e −λt = IP(X > t) . R´eciproquement, en notant g(t) = 1 − FX
(t), l’´equation (2.2) s’´ecrit g(s + t) = g(s)g(t), pour tous r´eels s, t ≥ 0. Un petit travail permet de
montrer que les solutions continues de cette ´equation sont de la forme g(t) = e at, i.e. FX (t) = 1 − e
at. Enfin, le fait que FX (t) tende vers 1 quand t tend vers l’infini force le r´eel a `a ˆetre strictement n
´egatif. La v.a. X suit donc la loi exponentielle de param`etre −a. Proposition 2.1.2 Consid´erons n v.a.
ind´ependantes X1, . . . , Xn de lois respectives E(λ1), . . . , E(λn). Posons Y = min{X1, . . . , Xn}. Alors Y
suit la loi exponentielle de param`etre λ1 + . . . + λn et pour tout indice i = 1, . . . , n, IP(Y = Xi) = λi λ1
+ . . . + λn . Demonstration ´ Pour identifier la loi de Y , le plus simple est de calculer sa fonction de r
´epartition : ∀t ≥ 0, IP(Y > t) = IP(∀i = 1, . . . , n, Xi > t) = Yn i=1 IP(Xi > t) = e −(λ1+...+λn)t . On conclut
en utilisant le fait qu’une fonction de r´epartition caract´erise la loi. L’´ev´enement Y = Xi ´equivaut `a
Xi ≤ Xj , ∀j. De plus, l’ind´ependance entre les v.a. X1, . . . , Xn nous permet d’´ecrire : IP(Y = Xi) = Z
{(x1,...,xn),xi≤xj∀j}   Y 1≤j≤n λje −λjxj 11xj≥0   dx1 . . . dxn = Z ∞ 0 Y j6=i Z ∞ xi λje −λjxjdxj λie
−λixidxi = Z ∞ 0 λie −(λ1+...+λn)xidxi = λi λ1 + . . . + λn . 32 Proposition 2.1.3 La somme de n v.a. ind
´ependantes de loi exponentielle de param`etre λ suit une loi, appal´ee loi Gamma de param`etres n
et λ et not´ee Γ(n, λ), dont la densit´e est donn´ee par : f(x) = λ nx n−1 (n − 1)! e −λx11x≥0 . 2.1.2
Presentation du processus de Poisson ´ Definition 2.1.4 ´ Soit (Xn)n≥1 une suite de v.a. ind
´ependantes et de mˆeme loi, exponentielle de param`etre λ. Posons S0 = 0 et pour tout entier n ≥ 1,
Sn = X1 + . . . + Xn. Pour tout r´eel t ≥ 0, d´efinissons la v.a. Nt , `a valeurs enti`eres, par : Nt = n ⇔ Sn
≤ t < Sn+1 . Le processus stochastique {Nt}t≥0 est appel´e processus de Poisson d’intensite´ λ. Le
processus de Poisson est un mod`ele de comptage d’´ev´enements al´eatoires isol´es dans le temps,
comme des “tops” d’horloge s´epar´es par des dur´ees al´eatoires. Dans ce mod`ele : • Xn est la dur
´ee s´eparant le (n − 1)e top du ne ; • Sn est la date `a laquelle survient le ne top. D’apr`es la
Proposition 2.1.3, la v.a. Sn suit la loi Gamma de param`etres n et λ ; • Nt est le nombre de tops
compt´es entre l’instant 0 et l’instant t : Nt = X n≥1 11Sn≤t .
Suite de variables aléatoires , {x } est un ensemble d'entiers non-négatifs et représente u 1 n .
Processus s e mesure d'une tochasti caractéristique au temps que discret t t X t T T X t ∈ Processus
stochastique décrivant l'évolution d'un système qui est modifié d 2. Processus stochastique Str
discret avec un espace d'é ans le temps. 1 états mutue tats fi llement ucture exclu : ni M + sifs: { } { }
{ } 0 1 0,1, , = état du système au temps : 0,1, , = , , représentation du statut du système dans le
temps.

Suite de variables aléatoires , { } est un ensemble d'entiers non-négatifs et représente u 1 n .


Processus s e mesure d'une tochasti caractéristique au temps que discret t t X t T T X t ∈ Processus
stochastique décrivant l'évolution d'un système qui est modifié d 2. Processus stochastique Str
discret avec un espace d'é ans le temps. 1 états mutue tats fi llement ucture exclu : ni M + sifs: { } { }
{ } 0 1 0,1, , = état du système au temps : 0,1, , = , , représentation du statut du système dans le
temps. http://www-
labs.iro.umontreal.ca/~potvin/Examen_Predoc/Modeles_Stochastiques/2_Chaines_Markov_Discrete
s.pdf

7.3.2 M´ethode des processus stochastiques Il est n´ecessaire de d´efinir avec pr´ecision tous les
´etats possibles dans lesquels le syst`eme peut se trouver. On ´etudie alors le processus (Xt)t≥0, o`u
Xt est l’´etat dans lequel le processus se trouve `a l’instant t. Un certain nombre de ces ´etats (sous-
ensemble EF de E) correspondent au fonctionnement du dispositif, les autres (sous-ensemble ED de
E) correspondent au cas o`u le dispositif est d´efectueux (ne peut pas fonctionner). On a alors D(t) =
k∈EF πk(t). Pour calculer la fiabilit´e, on consid`ere le syst`eme non r´eparable correspondant en
rendant les ´etats de ED absorbants (taux de sortie de ces ´etats rendus nuls). La r´esolution de tels
probl`emes s’effectue comme dans les chapitres pr´ec´edents. Ainsi : → on commence par d
´eterminer le graphe des taux de transition ; → on ´ecrit les ´equations de Kolmogorov : en chaque
´etat k, la variation de flux est ´egale `a la diff´erence ( flux entrant - flux sortant ), c’est-`a-dire : π k(t)
= i=k ai,kπi(t) − j=k ak,jπk(t) (ai,j repr´esentant le taux de transition de i vers j) ; → Le syst`eme diff
´erentiel obtenu est g´en´eralement difficile `a r´esoudre. Pourtant, mˆeme si, pour la disponibilit´e,
on peut parfois se contenter du r´egime stationnaire, il est le plus souventn´ecessaire de connaˆıtre
la fiabilit´e ou la disponibilit´e `a un instant t donn´e. C’est pourquoi, on cherche g´en´eralement `a r
´esoudre le syst`eme `a l’aide des transform´ees de Laplace. En effet, ´etant donnn´e que L(π k)(p) =
pL(πk)(p) − πk(0), le syst`eme diff´erentiel, se transforme en syst`eme lin´eaire, beaucoup plus simple
`a r´esoudre. On obtient les L(πk)(p) sous forme de fractions rationnelles de p, que l’on d´ecompose
en ´el´ements simples, afin de “remonter ” `a πk(t), grˆace `a 1 p − α = L(t → eαt)(p) notamment. La
“technique” ´evoqu´ee ici est d´evelopp´ee dans les exercices correspondant `a ce chapitre

Vous aimerez peut-être aussi