Vous êtes sur la page 1sur 26

C HA ÎNES DE M ARKOV

B. El Asri

ENSA, Agadir

4 éme année Génie Ind, Inf et EL;

2013-2014.

1/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 1 / 24
P LAN

1 I NTRODUCTION

2 C HA ÎNES DE M ARKOV

3 E XEMPLES

4 A PPLICATIONS

5 E XERCICES

2/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 2 / 24
O UTLINE

1 I NTRODUCTION

2 C HA ÎNES DE M ARKOV

3 E XEMPLES

4 A PPLICATIONS

5 E XERCICES

3/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 3 / 24
I NTRODUCTION .

I Les processus aléatoires servent à modéliser l’état d’un système


dépendant du temps et du hasard.
I Un processus aléatoire est un phénomène dont une partie de
l’évolution temporelle est aléatoire.

E XEMPLE :
le processus de prix dun actif financier.

Les chaı̂nes de Markov

4/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 4 / 24
Un processus stochastique (Xt , t ≤ T ), est une suite de v.a. définies
sur le même espace probabilisé et indicées par le temps t prenant ses
valeurs dans un ensemble T d’indices:

Si T = {0, 1, 2, ...} ou T = {−2, −1, 0, 1, 2, ...} On parle de


processus en temps discret.

Si l’ensemble T ∈ R+ ou T ∈ R On parle de processus en temps


continu

5/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 5 / 24
O UTLINE

1 I NTRODUCTION

2 C HA ÎNES DE M ARKOV

3 E XEMPLES

4 A PPLICATIONS

5 E XERCICES

6/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 6 / 24
D ÉFINITION

D ÉFINITION
Un processus aléatoire est une succession de variables aléatoires
(Xn )n≥0 définies sur un même espace de probabilité (Ω, F, P).

X0 −→ X1 −→ X2 −→ . . . Xn −→ . . .

I L’indice n ∈ N représente le temps.


I Xn v.a à valeurs dans E fini ou dénombrable, appelée des états.
Les états Xn peuvent être:
I Indépendantes entre elles comme des séquences de lancers de
dés;
I ou bien dépendantes.

7/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 7 / 24
D ÉFINITION

D ÉFINITION
Une suite de variables aléatoires (Xn )n∈N définies sur (Ω, F, P) dans
(E, P) est une chaı̂ne de Markov dans E, lorsque pour tout n, la loi de
Xn+1 sachant X0 , X1 , . . . , Xn est la même que la loi de Xn+1 sachant
Xn : ∀x0 , . . . , xn , xn+1 ∈ E

P(Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P(Xn+1 = xn+1 | Xn = xn ).

La loi du futur ne dépend que du présent et non du passé.

8/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 8 / 24
D ÉFINITION
Soit (Xn )n∈N une chaı̂ne de Markov dans E.

Les transitions de probabilités sont données par une collection de


probabilites (Mn (x, .))x∈E telle que:

Mn (x, y ) = P(Xn = y |Xn−1 = x),

Mn (x, y)est la probabilité de passage de x à y:

Mn (x, y) ∈ [0, 1]

X
Mn (x, y) = 1.
y∈E

9/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 9 / 24
D ÉFINITION

la probabilité de suivre le chemin (x0 , x1 , . . . , xn ):

X0 −→ X1 −→ X2 −→ . . . Xn

est le produit de probabilités du long chemin:

P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(X0 = x0 )M1 (x0 , x1 ) . . . Mn (xn−1 , xn )

P(X0 = x0 ) est la loi initiale de la chaı̂ne.

Mi : les probabilités de transitions de l’état xi−1 à xi .

10/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 10 / 24
D ÉFINITION

D ÉFINITION
On note Mp,n avec 0 ≤ p ≤ n, la probabilité conditionnelle Xn par Xp :

Mp,n (x, y) = P(Xn = y | Xp = x)

Mp,p+n (x, y)
P
= Mp+1 (x, xp+1 )Mp+2 (xp+1 , xp+2 ) . . . Mp+n (xp+n−1 , y )
(xp+1 ,...,xn+p−1 )∈E n−1

Mp,p+n (x, y ) = Mp+1 Mp+2 . . . MP+n .


On dit que la chaı̂ne est homogène si ∀n , Mn = M donc Mp,p+n = M n .

11/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 11 / 24
O UTLINE

1 I NTRODUCTION

2 C HA ÎNES DE M ARKOV

3 E XEMPLES

4 A PPLICATIONS

5 E XERCICES

12/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 12 / 24
E XEMPLE 1
 
1−a a
E = {0, 1}, P = .
b 1−b
On trouve:
b + a(1 − a − b)n a − a(1 − a − b)n
 
n 1
P = .
a+b b − b(1 − a − b)n a + b(1 − a − b)n
Par conséquant:
b b
P(Xn = 0) = + (1 − a − b)n (µ(0) − )
a+b a+b
et
a a
P(Xn = 1) = + (1 − a − b)n (µ(1) − )
a+b a+b
Supposons que a et b ne soient ni tous deux égaux à 0 ni tous deux
égaux à 1. Alors :
b a
lim P(Xn = 0) = , lim P(Xn = 1) = .
n→+∞ a+b n→+∞ a+b
13/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 13 / 24
D ÉFINITION

D ÉFINITION
L’état i est dit récurrent (ou persistant) si P(Xt = i|X0 = i) = 1,
pour un certain t ≥ 1.
L’état i est dit transitoire si cette probabilité est strictement
inférieure à 1.
L’état j est accessible de l’état i s’il existe un t tel que
P(Xt = j|Xt−1 = i) > 0.
L’état i communique avec l’état j , noté i → j, si j est accessible de
i.
Les états i et j intercommuniquent, noté i ↔ j, si j est accessible
de i et inversement.

14/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 14 / 24
E XEMPLE 2

Considérons la matrice de tranasition suivante:


1 1
0 0

2 2
 
1 1


2 2 0 0

P=

.

1 1 1 1
4 4 4 4
 
0 0 0 1
Calculer le nombre de classe dans cette matrice?

15/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 15 / 24
O UTLINE

1 I NTRODUCTION

2 C HA ÎNES DE M ARKOV

3 E XEMPLES

4 A PPLICATIONS

5 E XERCICES

16/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 16 / 24
A PPLICATION EN ASSURANCE

Les chaı̂nes de Markov ont des applications en assurance :

I Système de bonus-malus.

I Chaı̂ne de réassurance.

17/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 17 / 24
S YST ÈME BONNUS - MALUS EN ASSURANCE AUTO

A Hong kong il existe 6 classe de tarification de 1 fort bonus à 6 fort


malus.

Si un assuré n’a pas eu de sinistre, il passe de i à max{1, i − 1}.


Si l’assuré à eu au moins un sinistre, il passe de i à 6.
Si p est la probabilité de ne pas avoir de sinistre.

1−p
 
p 0 0 0 0
p
 0 0 0 0 1 − p

0 p 0 0 0 1 − p
P= .
0
 0 p 0 0 1 − p

0 0 0 p 0 1 − p
0 0 0 0 p 1−p

18/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 18 / 24
S YST ÈME BONNUS - MALUS EN ASSURANCE AUTO

A Hong kong il existe 6 classe de tarification de 1 fort bonus à 6 fort


malus.

Si un assuré n’a pas eu de sinistre, il passe de i à max{1, i − 1}.


Si l’assuré à eu au moins un sinistre, il passe de i à 6.
Si p est la probabilité de ne pas avoir de sinistre.

1−p
 
p 0 0 0 0
p
 0 0 0 0 1 − p

0 p 0 0 0 1 − p
P= .
0
 0 p 0 0 1 − p

0 0 0 p 0 1 − p
0 0 0 0 p 1−p

18/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 18 / 24
Si un assuré n’a pas eu de sinistre, il passe de i à max{1, i − 1}.
Si l’assuré à eu k sinistre, il passe de i à min{6, i + k}.
Si le nombre de sinistre suit la loi de poison
k
pk = P(N = k) = e−λ λk! , k ∈ N et pk = p0 + . . . + pk . avoir de
sinistre.

1 − p4
 
p0 p1 p2 p3 p4
p0 0 p1
 p2 p3 1 − p3 

 0 p0 0 p1 p2 1 − p2 
P= .
 0 0 p0
 0 p1 1 − p1 

0 0 0 p0 0 1−p 0
0 0 0 0 p0 1 − p0

19/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 19 / 24
Si un assuré n’a pas eu de sinistre, il passe de i à max{1, i − 1}.
Si l’assuré à eu k sinistre, il passe de i à min{6, i + k}.
Si le nombre de sinistre suit la loi de poison
k
pk = P(N = k) = e−λ λk! , k ∈ N et pk = p0 + . . . + pk . avoir de
sinistre.

1 − p4
 
p0 p1 p2 p3 p4
p0 0 p1
 p2 p3 1 − p3 

 0 p0 0 p1 p2 1 − p2 
P= .
 0 0 p0
 0 p1 1 − p1 

0 0 0 p0 0 1−p 0
0 0 0 0 p0 1 − p0

19/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 19 / 24
O UTLINE

1 I NTRODUCTION

2 C HA ÎNES DE M ARKOV

3 E XEMPLES

4 A PPLICATIONS

5 E XERCICES

20/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 20 / 24
E XERCICES
E XERCICE 1
Correspond à un mouvement aléatoire d’une particule sur les entiers
relatifs, se déplaçant soit d’un pas vers la droite avec probabilté p, soit
d’un pas vers la gauche avec probabilt’e (1 − p)
1 Donner la matrice de transition.
2 Pour une réalisation dynamique de cette chaı̂ne. On se donne
une suite de v.a indépendantes (Un )n≥1 tq: P(Un = 1) = p et
P(Un = −1) = 1 − p:

Xn = Xn−1 + Un
X0 = 0.

Vérifier que l’interprétation dynamique correspond bien à la


donnée d’une marche aléatoire simple dans Z.
3 Montrer que E[Xn ] = n(2p − 1). Conclure.
21/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 21 / 24
E XERCICES

S UITE EXERCICE 1
Vérifier que
P(Xn+m = x + [k − (n − k )]|Xm = x) = Ckn pk (1 − p)n−k . et
∀k ∈ 0, . . . , n, P(Xn+m ∈
/ {2k − n : k = 0, . . . , n}|Xn = x) = 0.
(2k)!
En déduire que P(Xm+2k = 0|Xm = 0) = k!k ! (p(1 − p))k .

22/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 22 / 24
E XERCICES

E XERCICE 2
On considère une population d’individus se developpant de la fa¸con
suivante, chaque individu donne naissance à Nni individus. On
suppose que (Nni )i≥1 sont indépendants du passé
(X − 0, X − 1, . . . , Xn−1 ).
1 Ecrire l’évolution dynamique de cette chaı̂ne.
2 Calculer E[Xn+1 |Xn ] puis E[Xn+1 ].
3 On suppose E[X0 ] 6= 0, conclure.
4 On suppose que chaque individu se dédouble avec proba p ou
disparı̂t avec proba (1 − p). Calculer les probabilités de transition
de cette chaı̂ne: P(Xn+1 = 2y|Xn = x), ∀y ∈ {0, . . . , x} et
P(Xn+1 ∈ 2N + 1|Xn = x), ∀x ∈ N.

23/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 23 / 24
E XERCICES

E XERCICE 3 P ROCESSUS DE RUINE


Le déroulement aléatoire d’un jeu de hasard avec un gain de 1 ou de
perte -1 d’une quantité d’argent, jusqu’au à la ruine −N ou la fortune
N. p est la probabilité du gain .
1 Déterminer les matrices de transition.
On dit que les états N et −N sont absorbants.
2 Partant d’une fortune 0 ≤ x ≤ N ou d’une dette −N ≤ x ≤ 0. On
note T = inf{n ≥ 0, Xn ∈ {−N, N}}: le premier instant où le
joueur se ruine ou empoche la fortune.
Calculer P(T < +∞|X0 = x).
Puis P(XT = N|X0 = x) (ou P(XT = −N|X0 = x)), la probabilité
d’atteindre la fortune (ou la ruine) pour la première fois sachant
que la fortune initiale est x.

24/ 24
B. El Asri (ENSA) Processus Stochastiques. 2013-2014 24 / 24

Vous aimerez peut-être aussi