Académique Documents
Professionnel Documents
Culture Documents
Exemple de la mto
volution de la mto d'un jour l'autre. Souvent la mto un jour donn peut
dpendre de la mto de la veille.
Observations sur les jours t = 0,1,
tats de la mto le jour t :
tat 0: beau
tat 1: pluie.
Dnotons
0
Xt =
1
beau le jour t
pluie le jour t.
Processus stochastique { X t } = { X 0 , X 1 ,}
3. Chanes de Markov
Proprit markovienne est souvent une hypothse souvent faite pour faciliter
l'tude d'un processus stochastique { X t } = { X 0 , X 1 ,} .
Le processus stochastique { X t } = { X 0 , X 1 ,} est une chane de Markov
j | X t = i ).
4. Probabilits de transition
Probabilits de transition entre deux moments conscutifs t et ( t + 1)
pij = P ( X t +1 = j | X t = i ) = P ( X 1 = j | X 0 = i )
i, j {0, , M }
Proprits:
pij 0
i, j {0, , M }
ij
=1
i {0, , M }
j =0
Exemple de la mto:
p00 = P ( X t +1 = 0 | X t = 0 ) = 0.8
p10 = P ( X t +1 = 0 | X t = 1) = 0.6
i, j {0, , M }
beau le jour t
pluie le jour t.
4. Probabilits de transition
Probabilits de transition entre deux moments conscutifs t et ( t + 1)
pij = P ( X t +1 = j | X t = i ) = P ( X 1 = j | X 0 = i )
i, j {0, , M }
Matrice de transitions
tats
[0
0
1
P=
M
p00
p
10
pM 0
p01 p0 M
p11 p1M
pM 1 pMM
Exemple de la mto:
p00 = P ( X t +1 = 0 | X t = 0 ) = 0.8
p10 = P ( X t +1 = 0 | X t = 1) = 0.6
p00 + p01 = 1 p01 = 1 p00 = 1 0.8 = 0.2
p10 + p11 = 1 p11 = 1 p10 = 1 0.6 = 0.4
0.8
P=
0.6
0.2
0.4
Exemple du jeu:
Tant qu'un joueur a de l'argent en main, il joue en misant $1.
Il gagne $1 avec une probabilit de p.
Il perd sa mise ($1) avec une probabilit de (1 p ) .
Le jeux s'arrte lorsque le joueur n'a plus d'argent ou lorqu'il a $3 en main.
tats (somme que le joueur peut avoir en main):
Matrice de transition
tats
0
1
2
3
0
1
(1 p ) 0
P=
0 (1 p )
0
0
2 3]
0 0
p 0
0 p
0 1
0, 1, 2, 3
5. quations de Chapman-Kolmogorov
Probabilits de transition entre les deux moments t et ( t + n )
(incluant n transitions)
pij( n ) = P ( X t + n = j | X t = i ) = P ( X n = j | X 0 = i )
i, j {0, , M }
i, j {0, , M }
k =0
m = 1, 2, , n 1
n = m + 1, m + 2,
i, j {0, , M }
k =0
m = 1, 2, , n 1
n = m + 1, m + 2,
n tapes
( n)
pij
(
p
m tapes ik
m)
pkj( n m )
( n m ) tapes
k
On doit considrer tous les tats k comme intermdiaires.
i, j {0, , M }
i, j {0, , M }
P ( 2) = PP
k =0
( n 1)
i, j {0, , M }
P ( n ) = PP ( n 1) = PP n 1
i, j {0, , M }
P ( n ) = P ( n 1) P = P n 1 P
k =0
( n)
k =0
i, j {0, , M }
Exemple de la mto:
0.8 0.2
P=
0.6 0.4
P
( 3)
( 4)
( 2)
0.6
0.4
0.749
0.251
0.75
0.25
( 6)
0.6
0.4
0.75
0.25
0.75
0.25
P 5 = P 6 = P 7 = P8 =
5
i {0, , M } .
Alors
P ( X n = j ) = P ( X n = j & X 0 = 0) + + P ( X n = j & X 0 = M )
P ( X n = j ) = P ( X n = j | X 0 = 0) P ( X 0 = 0) + + P ( X n = j | X 0 = M ) P ( X 0 = M )
( n)
= p0( nj) P ( X 0 = 0 ) + + pMj
P( X0 = M )
Exemple de la mto:
Supposons que P ( X 0 = 0 ) = 0.3 et P ( X 0 = 1) = 0.7
Quelle est la probabilit qu'il pleuve le jour 3, P ( X 3 = 1) ?
3
P ( X 3 = 1) = p01
P ( X 0 = 0 ) + p113 P ( X 0 = 1)
( 3)
0.752 0.248
=
0.
7
44
0.
25
6
Exemple de la mto:
Les tats 0 et 1 sont accessibles partir des tats 0 et 1 puisque
0.8 0.2
P=
0.
6
0.4
pij > 0
i, j {0,1} .
Exemple du jeu:
L'tat 3 est accessible partir
de l'tat 2 car
p23 = p > 0
(1 p ) 0
P=
0 (1 p )
0
0
0 0
p 0
0 p
0 1
(n)
( n)
( n)
p30
= 0, p31
= 0, p32
=0
n > 0
( n1 + n2 )
pij
et
Exemple de la mto:
Les tats 0 et 1 communiquent
0.8 0.2
P=
0.
6
0.
4
pij > 0
i, j {0,1} .
0
1
(1 p ) 0
P=
0 (1 p )
0
0
2 3]
0 0
p 0
0 p
0 1
Une classe est un sous-ensemble de tous les tats communiquant entre eux.
... the states may be partitioned into one or more separate classes
such that those states that communicate with each other are in the
same class.
H.L.
Une classe est un sous-ensemble de tous les tats communiquant entre eux.
Une chane de Markov est irrductible si elle ne comporte qu'une seule classe.
Exemple de la mto:
Les tats 0 et 1 communiquent
0.8 0.2
P=
0.6 0.4
pij > 0
Exemple du jeux:
Les tats 1 et 2 communiquent
tats
0
1
2
3
2 3]
0
0 0
1
0
p
p
0
(
)
3 classes: {0} , {1, 2} , {3}
P=
0 (1 p ) 0 p
0
0 1
0
0
Etat transient:
i est un tat transient si aprs y avoir accd (upon entering this state),
le processus peut ne plus y revenir:
i est transient j ( i ) accessible de i, mais i n'est pas accessible de j
Exemple du jeux:
tats
0
1
2
3
0
1
(1 p ) 0
P=
0 (1 p )
0
0
2
0
p
0
0
1 3 accessible de 2, mais
2 n'est pas acessible de 3.
Etat rcurrent:
i est un tat rcurrent si aprs y avoir accd, le processus y reviendra:
i est rcurrent i n'est pas transient
A state is said to be rcurrent if, upon entering this state, the process
definitely will return to this state again.
H.L.
Exemple du jeux:
tats
0
1
2
3
2 3]
les tats 0 et 3 sont rcurrents:
0
0 0
1
p
p
1
0
0
(
)
Une chane de Markov est irrductible si elle ne comporte qu'une seul classe.
Etat rcurrent:
i est un tat rcurrent si aprs y avoir accd, le processus y reviendra:
i est rcurrent i n'est pas transient
Tous les tats d'une chane de Markov irrductible sont rcurrents.
Exemple de la mto:
Les tats 0 et 1 communiquent
0.8 0.2
P=
0.6 0.4
pij > 0
i, j {0,1} .
0 et 1 sont rcurrents
Etat absorbant:
i est un tat absorbant si aprs y avoir accd, le processus ne peut en repartir:
i est absorbant pii =1
Exemple du jeux:
tats
0
1
2
3
2 3]
0
0 0
1
0
0 1
0
0
4]
0.2 0.8 0 0
0.5 0.5 0 0
P= 0 0 1 0
0 0 0.3 0.7
1 0 0
0
0
0
0
0
0
Etat transient:
i est un tat transient si aprs y avoir accd, le processus peut ne plus y revenir:
i est transient j ( i ) accessible de i, mais i n'est pas accessible de j
Etat rcurrent:
i est un tat rcurrent si aprs y avoir accd, le processus y reviendra:
i est rcurrent i n'est pas transient
Etat absorbant:
i est un tat absorbant si aprs y avoir accd, le processus
ne peut en repartir:
i est absorbant pii =1
p04 = 0
4 est transient puisque p40 = 1 et
p01 > 0 mais p14 = 0
4]
0.2 0.8 0 0
0.5 0.5 0 0
P= 0 0 1 0
0 0 0.3 0.7
1 0 0
0
0
0
0
0
0
Etat transient:
i est un tat transient si aprs y avoir accd, le processus peut ne plus y revenir:
i est transient j ( i ) accessible de i, mais i n'est pas accessible de j
Etat rcurrent:
i est un tat rcurrent si aprs y avoir accd, le processus y reviendra:
i est rcurrent i n'est pas transient
Etat absorbant:
i est un tat absorbant si aprs y avoir accd, le processus
ne peut en repartir:
i est absorbant pii =1
H.L.
tats
0
1
2
3
0
1
(1 p ) 0
P=
0 (1 p )
0
0
2 1 0
revient 1 au temps 4 p11(4) > 0
2 1 0
revient 1 au temps 6 p11(6) > 0
2 1 0
revient 1 au temps 8 p11(8) > 0
2 1 0
donc d = 2
2 3]
0 0
p 0
0 p
0 1
tats
Exemple du jeux:
Considrons l'tat 1 (joueur possde $1 au dpart)
1 0
0
1
2
3
0
1
(1 p ) 0
P=
0 (1 p )
0
0
2 1 0
revient 1 au temps 4 p11(4) > 0
2 1 0
donc d (i ) = 2
2 1 0
revient 1 au temps 8 p11(8) > 0
2 1 0
2 3]
0 0
p 0
0 p
0 1
d , 2d , 3d ,...
H.L.
et d est la plus grande valeur entire ayant cette proprit.
pour lesquels pii( ) > 0. (Par convention, d ( i ) = 0 si pii( ) = 0 pour tout n 1.)
n
On peut dmontrer que la priode est la mme pour tous les tats d'une classe.
s +1)
>0
i {0, , M } .
Alors
P ( X n = j ) = P ( X n = j | X 0 = 0) P ( X 0 = 0) + + P ( X n = j | X 0 = M ) P ( X 0 = M )
( n)
= p0( nj) P ( X 0 = 0 ) + + pMj
P( X0 = M )
Exemple de la mto:
Supposons que P ( X 0 = 0 ) = 0.3 et P ( X 0 = 1) = 0.7
Quelle est la probabilit qu'il pleuve le jour 3, P ( X 3 = 1) ?
3
P ( X 3 = 1) = p01
P ( X 0 = 0 ) + p113 P ( X 0 = 1)
( 3)
0.752 0.248
=
0.
7
44
0.
25
6
8. Probabilits l'quilibre
Exemple de la mto:
0.8 0.2
P=
0.6 0.4
P
P
( 5)
( 6)
0.75 0.25
=
0.75 0.25
0.8 0.2 0.75 0.25 0.75 0.25
=
=
8. Probabilits l'quilibre
Exemple de la mto:
0.8 0.2
P=
0.6 0.4
P
P
( 5)
( 6)
0.75 0.25
=
0.75 0.25
0.8 0.2 0.75 0.25 0.75 0.25
=
=
Donc en gnral quand il existe une valeur de n assez grande pour que les lignes de
la matrice de transition P ( ) soient identiques, alors la probabilit que le systme se
n
Les probabilits l'quilibre sont des proprits long terme des chanes de Markov
On peut dmontrer que pour toute chane de Markov irrductible (ne comportant
qu'une seule classe) qui est ergotic
lim pijn existe et ne dpend pas de l'tat i
n
De plus
lim pijn = j > 0
n
o les probabilits j
M
j = i pij
i =0
M
j =0
=1
0.75 0.25
5
6
P( ) = P( ) = =
0.75 0.25
( n)
lim p01
= lim p11( n ) = 0.25
n
De plus
lim pijn = j > 0
n
o les probabilits j
M
j = i pij
i =0
M
=1
j =0
j =0
i =0
i =0
j = i pij = i pij
M
De plus
lim pijn = j > 0
n
o les probabilits j
M
j = i pij
i =0
M
=1
j =0
De plus
lim pijn = j > 0
n
o les probabilits j
M
j = i pij
i =0
M
=1
j =0
Exemple de la mto:
0.8 0.2
P=
0.6
0.4
j est une probabilit stationnaire (ne pas confondre avec le fait que les
probabilits de transition sont stationnaires) dans le sens o si la probabilit
initiale d'tre dans l'tat j est donn par j
(P( X
= j ) = j ) , alors la probabilit
Exemple de la mto:
Supposons que P ( X 0 = 0 ) = 0 = 0.75 et P ( X 0 = 1) = 1 = 0.25
Quelle est la probabilit qu'il pleuve le jour 3, P ( X 3 = 1) ?
3
P ( X 3 = 1) = p01
P ( X 0 = 0 ) + p113 P ( X 0 = 1)
= 0.248 0 + 0.256 1
= 0.248 0.75 + 0.256 0.25
= 0.186 + 0.064 = 0.25
( 3)
0.752 0.248
=
0.
7
44
0.
25
6
n 1
i.
1 n
E C ( X t ) .
n t =1
Cot moyen ( long terme) par unit de temps est donn par
1 n
M
lim C ( X t ) = j C ( j )
n n
t =1
j =0
Exemple de la mto:
Nous avons 1 = 0.25 et 0 = 0.75
Considrons une entreprise dont le cot d'exploitation C ( i ) depend de la mto:
beau temps cot est de $25
C ( 0 ) = 25
pluie
C (1) = 100.
C ( j ) = C ( 0 ) + C (1)
j
j =0