Vous êtes sur la page 1sur 26

C HA I NES DE M ARKOV

B. El Asri
ENSA, Agadir

Genie 4 eme annee Ind, Inf et EL; 2013-2014.

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

1/ 24 1 / 24

P LAN

I NTRODUCTION C HA I NES DE M ARKOV E XEMPLES A PPLICATIONS E XERCICES

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

2/ 24 2 / 24

O UTLINE

I NTRODUCTION C HA I NES DE M ARKOV E XEMPLES A PPLICATIONS E XERCICES

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

3/ 24 3 / 24

I NTRODUCTION .

` modeliser ` Les processus aleatoires servent a letat dun systeme dependant du temps et du hasard. ` Un processus aleatoire est un phenom ene dont une partie de levolution temporelle est aleatoire. E XEMPLE : le processus de prix dun actif nancier. Les cha nes de Markov

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

4/ 24 4 / 24

Un processus stochastique (Xt , t T ), est une suite de v.a. denies et indicees par le temps t prenant ses sur le meme espace probabilise valeurs dans un ensemble T dindices:

Si T = {0, 1, 2, ...} ou T = {2, 1, 0, 1, 2, ...} On parle de processus en temps discret. Si lensemble T R+ ou T R On parle de processus en temps continu

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

5/ 24 5 / 24

O UTLINE

I NTRODUCTION C HA I NES DE M ARKOV E XEMPLES A PPLICATIONS E XERCICES

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

6/ 24 6 / 24

FINITION DE
FINITION DE
Un processus aleatoire est une succession de variables aleatoires (, F , P ). (Xn )n0 denies sur un meme espace de probabilite X0 X1 X2 . . . Xn . . .

Lindice n N represente le temps. ` valeurs dans E ni ou denombrable, des etats. Xn v.a a appelee Les etats Xn peuvent etre: Independantes entre elles comme des sequences de lancers de des; ou bien dependantes.

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

7/ 24 7 / 24

FINITION DE

FINITION DE
Une suite de variables aleatoires (Xn )nN denies sur (, F , P ) dans (E , P ) est une cha ne de Markov dans E , lorsque pour tout n, la loi de Xn+1 sachant X0 , X1 , . . . , Xn est la meme que la loi de Xn+1 sachant Xn : x0 , . . . , xn , xn+1 E P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ).

La loi du futur ne depend que du present et non du passe.

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

8/ 24 8 / 24

FINITION DE
Soit (Xn )nN une cha ne de Markov dans E . sont donnees par une collection de Les transitions de probabilites probabilites (Mn (x , .))x E telle que: Mn (x , y ) = P (Xn = y |Xn1 = x ), de passage de x a ` y: Mn (x , y )est la probabilite

Mn (x , y ) [0, 1]

Mn (x , y ) = 1.
y E
B. El Asri (ENSA) Processus Stochastiques. 2013-2014

9/ 24 9 / 24

FINITION DE
de suivre le chemin (x0 , x1 , . . . , xn ): la probabilite X0 X1 X2 . . . Xn du long chemin: est le produit de probabilites

P (X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P (X0 = x0 )M1 (x0 , x1 ) . . . Mn (xn1 , xn )

P (X0 = x0 ) est la loi initiale de la cha ne. de transitions de letat ` xi . Mi : les probabilites xi 1 a

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

10/ 24 10 / 24

FINITION DE
FINITION DE
conditionnelle Xn par Xp : On note Mp,n avec 0 p n, la probabilite Mp,n (x , y ) = P (Xn = y | Xp = x )

Mp,p+n (x , y ) =
(xp+1 ,...,xn+p1 )E n1

Mp+1 (x , xp+1 )Mp+2 (xp+1 , xp+2 ) . . . Mp+n (xp+n1 , y ) Mp,p+n (x , y ) = Mp+1 Mp+2 . . . MP +n .

` On dit que la cha ne est homogene si n , Mn = M donc Mp,p+n = M n .

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

11/ 24 11 / 24

O UTLINE

I NTRODUCTION C HA I NES DE M ARKOV E XEMPLES A PPLICATIONS E XERCICES

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

12/ 24 12 / 24

E XEMPLE 1
E = {0, 1}, P = On trouve: Pn = 1 a+b b + a(1 a b)n a a(1 a b)n . b b(1 a b)n a + b(1 a b)n b b + (1 a b)n ((0) ) a+b a+b 1a a . b 1b

Par consequant: P (Xn = 0) = et P (Xn = 1) =

a a + (1 a b)n ((1) ) a+b a+b ` 0 ni tous deux Supposons que a et b ne soient ni tous deux egaux a ` 1. Alors : egaux a
n+

lim P (Xn = 0) =

b , a+b

n+

lim P (Xn = 1) =

a . a+b
2013-2014

B. El Asri (ENSA)

Processus Stochastiques.

13/ 24 13 / 24

FINITION DE

FINITION DE
Letat i est dit recurrent (ou persistant) si P (Xt = i |X0 = i ) = 1, pour un certain t 1. est strictement Letat i est dit transitoire si cette probabilite ` inferieure a 1. Letat j est accessible de letat i sil existe un t tel que P (Xt = j |Xt 1 = i ) > 0. i j , si j est accessible de Letat i communique avec letat j , note i. i j , si j est accessible Les etats i et j intercommuniquent, note de i et inversement.

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

14/ 24 14 / 24

E XEMPLE 2

Considerons la matrice de tranasition suivante: 1


2 1 2 1 2 1 4

0 0

1 2 P= 1 4

0 0 . 1 1 4 4

0 0 0 1 Calculer le nombre de classe dans cette matrice?

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

15/ 24 15 / 24

O UTLINE

I NTRODUCTION C HA I NES DE M ARKOV E XEMPLES A PPLICATIONS E XERCICES

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

16/ 24 16 / 24

A PPLICATION EN ASSURANCE

Les cha nes de Markov ont des applications en assurance :

` Systeme de bonus-malus.

Cha ne de reassurance.

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

17/ 24 17 / 24

` ME BONNUS - MALUS EN ASSURANCE AUTO S YST E


` 6 fort A Hong kong il existe 6 classe de tarication de 1 fort bonus a malus.
na pas eu de sinistre, il passe de i a ` max{1, i 1}. Si un assure a ` eu au moins un sinistre, il passe de i a ` 6. Si lassure de ne pas avoir de sinistre. Si p est la probabilite

p p 0 P= 0 0 0

0 0 p 0 0 0

0 0 0 p 0 0

0 0 0 0 p 0

0 0 0 0 0 p

1p 1 p 1 p . 1 p 1 p 1p

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

18/ 24 18 / 24

` ME BONNUS - MALUS EN ASSURANCE AUTO S YST E


` 6 fort A Hong kong il existe 6 classe de tarication de 1 fort bonus a malus.
na pas eu de sinistre, il passe de i a ` max{1, i 1}. Si un assure a ` eu au moins un sinistre, il passe de i a ` 6. Si lassure de ne pas avoir de sinistre. Si p est la probabilite

p p 0 P= 0 0 0

0 0 p 0 0 0

0 0 0 p 0 0

0 0 0 0 p 0

0 0 0 0 0 p

1p 1 p 1 p . 1 p 1 p 1p

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

18/ 24 18 / 24

na pas eu de sinistre, il passe de i a ` max{1, i 1}. Si un assure a ` eu k sinistre, il passe de i a ` min{6, i + k }. Si lassure Si le nombre de sinistre suit la loi de poison k pk = P (N = k ) = e k ! , k N et p k = p0 + . . . + pk . avoir de sinistre.

p0 p1 p2 p0 0 p1 0 p0 0 P= 0 0 p0 0 0 0 0 0 0

p3 p2 p1 0 p0 0

p4 p3 p2 p1 0 p0

1 p4 1 p3 1 p2 . 1 p1 1p
0

1 p0

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

19/ 24 19 / 24

na pas eu de sinistre, il passe de i a ` max{1, i 1}. Si un assure a ` eu k sinistre, il passe de i a ` min{6, i + k }. Si lassure Si le nombre de sinistre suit la loi de poison k pk = P (N = k ) = e k ! , k N et p k = p0 + . . . + pk . avoir de sinistre.

p0 p1 p2 p0 0 p1 0 p0 0 P= 0 0 p0 0 0 0 0 0 0

p3 p2 p1 0 p0 0

p4 p3 p2 p1 0 p0

1 p4 1 p3 1 p2 . 1 p1 1p
0

1 p0

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

19/ 24 19 / 24

O UTLINE

I NTRODUCTION C HA I NES DE M ARKOV E XEMPLES A PPLICATIONS E XERCICES

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

20/ 24 20 / 24

E XERCICES
E XERCICE 1
` un mouvement aleatoire Correspond a dune particule sur les entiers p, soit relatifs, se deplac ant soit dun pas vers la droite avec probabilte dun pas vers la gauche avec probabilte (1 p)
1 2

Donner la matrice de transition. Pour une realisation dynamique de cette cha ne. On se donne une suite de v.a independantes (Un )n1 tq: P (Un = 1) = p et P (Un = 1) = 1 p: Xn = Xn1 + Un X0 = 0. ` la Verier que linterpretation dynamique correspond bien a dune marche aleatoire donnee simple dans Z.

Montrer que E[Xn ] = n(2p 1). Conclure.


B. El Asri (ENSA) Processus Stochastiques. 2013-2014

21/ 24 21 / 24

E XERCICES

S UITE EXERCICE 1
Verier que n p k (1 p )nk . et P (Xn+m = x + [k (n k )]|Xm = x ) = Ck k 0, . . . , n, P (Xn+m / {2k n : k = 0, . . . , n}|Xn = x ) = 0. En deduire que P (Xm+2k = 0|Xm = 0) =
(2k )! k !k ! (p (1

p))k .

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

22/ 24 22 / 24

E XERCICES
E XERCICE 2
` une population dindividus se developpant de la facon On considere i individus. On ` Nn suivante, chaque individu donne naissance a i) suppose que (Nn du passe i 1 sont independants (X 0, X 1, . . . , Xn1 ). 1 Ecrire levolution dynamique de cette cha ne.
2 3 4

Calculer E[Xn+1 |Xn ] puis E[Xn+1 ]. On suppose E[X0 ] = 0, conclure. On suppose que chaque individu se dedouble avec proba p ou de transition dispar t avec proba (1 p). Calculer les probabilites de cette cha ne: P (Xn+1 = 2y |Xn = x ), y {0, . . . , x } et P (Xn+1 2N + 1|Xn = x ), x N.

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

23/ 24 23 / 24

E XERCICES
E XERCICE 3 P ROCESSUS DE RUINE
Le deroulement aleatoire dun jeu de hasard avec un gain de 1 ou de ` la ruine N ou la fortune perte -1 dune quantite dargent, jusquau a du gain . N . p est la probabilite 1 Determiner les matrices de transition. On dit que les etats N et N sont absorbants.
2

Partant dune fortune 0 x N ou dune dette N x 0. On note T = inf{n 0, Xn {N , N }}: le premier instant ou ` le joueur se ruine ou empoche la fortune. Calculer P (T < +|X0 = x ). Puis P (XT = N |X0 = x ) (ou P (XT = N |X0 = x )), la probabilite ` datteindre la fortune (ou la ruine) pour la premiere fois sachant que la fortune initiale est x .

B. El Asri (ENSA)

Processus Stochastiques.

2013-2014

24/ 24 24 / 24