Académique Documents
Professionnel Documents
Culture Documents
2 novembre 2013
Table des matières
1 PROCESSUS ALEATOIRES 2
1.1 CHAINES DE MARKOV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 Matrice associée à une chaine de Markov . . . . . . . . . . . . . . . . . . . . . 3
1.1.2 Propriétés d’une chaine de Markov . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3 Classification des états d’une chaine de Markov . . . . . . . . . . . . . . . . . . 4
1.1.4 Probabilités des états du processus . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.5 Comportement asymptotique d’une chaine de Markov . . . . . . . . . . . . . . 5
1.1.6 Chaine de Markov à temps continu processus de Markov . . . . . . . . . . . . . 6
1.2 PROCESSUS DE POISSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2 Processus de Poisson et loi exponentielle . . . . . . . . . . . . . . . . . . . . . . 8
1.2.3 Somme de deux processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 PROCESSUS DE NAISSANCE ET DE MORT . . . . . . . . . . . . . . . . . . . . . . 10
1.3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2 Exemple processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.3 Calcul des probabilités des états . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1
Chapitre 1
PROCESSUS ALEATOIRES
I CHAINES DE MARKOV
II PROCESSUS DE POISSON
III PROCESSUS DE NAISSANCE ET DE MORT
Définition d’un processus aléatoire On appelle processus aléatoire (ou stochastique) une famille
de variables aléatoires{Xt, t ∈ T }où t est un paramètre parcourant l’ensemble T ; en pratique T = R,
R+ ou N.
Une réalisation d’un processus aléatoire est la valeur de Xt pour t ∈ T ; l’ensemble des valeurs de
Xt forment l’ensemble des états S qui peut être discret ou continu.
Remarque On distingue quatre types de processus stochastiques selon que T et S sont discrets ou
continus, ce sont les processus à temps discret ou continu à valeurs discrètes ou continues.
Trajectoire d’un processus
2
1.1. CHAINES DE MARKOV CHAPITRE 1. PROCESSUS ALEATOIRES
Définition On appelle matrice stochastique, une matrice carrée P = (Pij ) dont les éléments vérifient
r
∀ i, j 0 ≤ Pij ≤ 1 ∀i = 1, ..r
P
Pij = 1.
j=1
r
La matrice est dite bi-stochastique si de plus ∀j = 1, ..r
P
Pij = 1
i=1
Graphe associé à une chaine de Markov A une chaine de Markov on peut associer un graphe
dont les sommets représentent les états et les d’arcs sont les transitions possibles( i.e. Pij > 0)
3
1.1. CHAINES DE MARKOV CHAPITRE 1. PROCESSUS ALEATOIRES
on a P (1) = P
supposons que P (m−1) = P m−1 ; on a
[
(Xn+m = j/Xn = i) = (Xn+m = j, Xn+1 = k/Xn = i)
k∈S
or
d’où
X
P (Xn+m = j/Xn = i) = P (Xn+m = j/Xn+1 = k)P (Xn+1 = k/Xn = i)
k∈S
X (m−1)
= Pkj Pik
k∈S
Les fij (n) sont les probabilités des événements disjoints d’où la probabilité de retour à l’état j en
P
partant de l’état i est fij = fij (n)
Définition On dit que l’état j est transitoire si fjj < 1, persistant ( ou récurrent) si fjj = 1 dans ce
P
cas nous calculons Mj = nfjj (n) le temps moyen de premier retour.
Dans le cas où Mj = ∞ l’état j est dit récurrent nul sinon (i.e Mj < ∞ ), l’état j est dit récurrent
positif n o
La période d’un état j est définie par d = pgcd n ≥ 1 / Pjjn > 0 si n < 1 on pose d = ∞ .
4
1.1. CHAINES DE MARKOV CHAPITRE 1. PROCESSUS ALEATOIRES
Théorème 2 Les états d’une chaine de Markov appartenant à la même classe d’équivalence (d’après
la relation de communication) sont de même nature : ils sont tous soit transitoires, persistants nuls ou
persistants positifs
Théorème 3 Les états d’une chaine de Markov appartenant à une classe de passage sont transitoires,
les états d’une classe finale finie sont persistants positifs
Proposition Soit µ(n) le vecteur stochastique des probabilités dont la k ieme composante est P (Xn =
k). Dans le cas d’une chaine de Markov homogène µ(n + 1) = µ(n)P . pour n = 0, 1, 2... (pour le vérifier
appliquer le théorème des probabilités totales)
Théorème 2 Si la matrice de transition P est telle qu’une au moins de ses puissances n’a que des
termes strictement positifs, alors π(n) −→ π quelque soit la distribution initiale π(0) et P n −→ P ∗
quand n tend vers l’infini.
π est un vecteur de probabilité et P ∗ est une matrice dont toutes les lignes sont identiques au
vecteur limite π. En plus πP ∗ = π.
5
1.1. CHAINES DE MARKOV CHAPITRE 1. PROCESSUS ALEATOIRES
Théorème 3 Si la valeur propre 1 de P est simple (i.e. de multiplicité 1) et si toute autre valeur
propre de P est de module strictement inférieur à 1, alors les conclusions du théorème 2 sont valables.
6
1.2. PROCESSUS DE POISSON CHAPITRE 1. PROCESSUS ALEATOIRES
Définition On dit qu’un processus de comptage est un processus de Poisson homogène s’il satisfait
les 3 conditions suivantes :
1. Le processus N (t) est homogène dans le temps i.e. P (N (t+s)−N (s) = k) = P (N (t) = k) = Pk (t)
la probabilité est indépendante de la position de l’intervalle par rapport à l’axe temporel
2. Le processus (N (t))t est à accroissement indépendant, ce qui signifie que pour tout système
d’intervalles disjoints, les nombres d’événements s’y produisant sont des variables aléatoires
indépendantes en particulier, P (N (t + s) − N (s) = j, N (s) = k) = P (N (t + s) − N (s) =
j).P (N (s) = k) = Pj (t).Pk (s) pour tous s et t positifs.
3. La probabilité que deux événements ou plus se produisent dans un petit intervalle ∆t est
négligeable par rapport à la probabilité qu’il n’ y ait qu’un seul événement ; i.e.
o(∆t) si k ≥ 2
Pk (∆t) = λ∆t + o(∆t) si k = 1
1 − λ∆t + o(∆t) si k = 0
1.2.1 Propriétés
Théorème 1 Si un processus de comptage{N (t), t ≥ 0} satisfait aux conditions 1), 2) et 3) alors
(λt)k −λt
P (N (t) = k) = Pk (t) = e t ≥ 0 et k = 1, 2, ..
k!
par conséquent E(N (t)) = var(N (t)) = λt.
Preuve
D’après le théorème des probabilités totales et en tenant compte des conditions 2) et 3) on a pour
n=1,2,...
n
X
Pn (t + ∆t) = Pn (t)P0 (∆t) + Pn−1 (t)P1 (∆t) + Pn−i (t)Pi (∆t)
i=2
= Pn (t)[1 − λ∆t] + Pn−1 (t).λ∆t + o(∆t).
d’où
Pn (t + ∆t) − Pn (t) o(∆t)
= λ[−Pn (t) + Pn−1 (t)] +
∆t ∆t
quand ∆t −→ 0 on a
Pn0 (t) = λ[−Pn (t) + Pn−1 (t)] (1.1)
De plus
P00 (t) = −λP0 (t) (1.2)
Ce système d’équations différentielles est connu sous le nom d’équation de Kolmogorov
L’équation 1.2 =⇒ P0 (t) = e−λt .
pour la résolution de l’équation 1.1 on introduit les fonctions
Qm (t) = Pm (t).eλt .
En substituant dans 1.1 on a
Q0m (t) = λQm−1 (t) (1.3)
7
1.2. PROCESSUS DE POISSON CHAPITRE 1. PROCESSUS ALEATOIRES
les intervalles sont deux à deux disjoints donc les événements sont indépendants car (N (t))t≥0 est
un processus de Poisson, cette probabilité est donc égale à
P (N (tn+1 ) − N (tn ) = j − in ) i.e que le processus est de Markov
P [T > t + u, T > u]
P [T > t + u/T > u] =
P [T > u]
P [T > t + u]
=
P [T > u]
= P [T > t]
Si T représente la durée de bon fonctionnement d’un appareil, alors cette durée sur [u, t + u]
dépend de la longueur t de cet intervalle et non de sa position
2. P [T < t + ∆t/T > t] est la probabilité de panne entre [t, t + ∆t]
8
1.2. PROCESSUS DE POISSON CHAPITRE 1. PROCESSUS ALEATOIRES
Preuve
P (T2 > t) = P (T2 > t/T1 = s)λe−λs ds or P (T2 > t/T1 = s)=P (N (t + s) − N (s) = 0) = P (N (t) =
R
0) = e−λt
d’où P (T2 > t) = e−λt λe−λs ds par récurrence sur n on obtient le résultat.
R
∞
X
P (NR (t) = k) = P (N (t) = j, NR (t) = k)
j=k
X∞
= P (NR (t) = k/N (t) = j)P (N (t) = j)
j=k
∞
X (λt)j −λt
P (NR (t) = k) = Cjk (1 − p)k pj−k e
j=k
j!
∞
(1 − p)k −λt X pj−k
= e (λt)j
k! j=k
(j − k)!
∞
(λt(1 − p))k −λt X ((p)λt)m
= e
k! m=0
m!
(λt(1 − p))k −λt λpt
= e e
k!
(λt(1 − p))k λ(1−p)t
= e .
k!
9
1.3. PROCESSUS DE NAISSANCE ET DE MORT CHAPITRE 1. PROCESSUS ALEATOIRES
Pn0 (t) = (λn−1 )Pn−1 (t) + (µn+1 )Pn+1 (t) − (µn + λn )Pn (t) (1.4)
10
1.3. PROCESSUS DE NAISSANCE ET DE MORT CHAPITRE 1. PROCESSUS ALEATOIRES
µ 1 P1 − λ 0 P0 = 0 (1.6)
λn−1 Pn−1 + µn+1 Pn+1 − (µn + λn ) = 0 (1.7)
λ0
L’équation 1.6 ⇒ µ1 P1 = λ0 P0 ⇒ P1 = P0
µ1
L’équation 1.7
pour n=1, λ0 P0 + µ2 P2 = (µ1 + λ1 )P1
d’où
(µ1 + λ1 ) λ0
P2 = P1 − P0
µ2 µ2
(µ1 + λ1 ) λ0 λ0
= P0 − P0
µ2 µ1 µ2
λ1 λ0
= P0
µ 2 µ1
De proche en proche, on trouve
λn−1 λn−2... λ1 λ0
Pn = P0 . tel que µ1 , µ2 , ..., µn 6= 0
µn µn−1... µ2 µ1
puisque
∞
X ∞
X
Pn = 1 ⇒ P0 + Pn = 1
n=0 n=1
∞
X λn−1 λn−2... λ1 λ0
= P0 + P0
n=1
µn µn−1... µ2 µ1
∞ Yn
X λi−1
= P0 + P0
n=1 i=1
µi
P∞ Qn λi−1
Dans le cas où la série n=1 i=1 converge
µi
1
P0 = ∞ n λi−1 (1.8)
P Q
1+
n=1 i=1 µi
Théorème
Étant donné un processus de naissance et de mort dont le graphe associé est irréductible (ou
ne possède qu’une classe finale et un nombre fini d’états en dehors de cette classe) ; une condition
nécessaire et suffisante pour que le système tende vers un état stationnaire indépendant des conditions
initiales est que la série
∞ Y
n
X λi−1
(1.9)
n=1 i=1
µi
converge.
11