Vous êtes sur la page 1sur 3

1.3.

5 Graphe de transition

Le graphe de transition d’une CMTC est un graphe orienté qui représente les états par des
sommets et dont les arcs correspondent aux taux de transition ≠

Reprenons l’exemple précédent

1.3.6 Classification des états

De même que pour une CMTD, on peut établir une classification des états d’une CMTC en
état récurrents et états transitoires. Il est à noter toutefois que la notion de périodicité n’existe
pas dans les CMTC. En effet même si le graphe d’une CMTC est périodique, le fait que l’on
passe dans chaque état un temps exponentielle, donc aléatoire retire au processus stochastique
tout caractère périodique.

Pour déterminer les états transients et récurrents d’une CMTC, nous allons définir d’abord la
notion de CMTD incluse dans une CMTC

 Définition
Une CMTD incluse dans une CMTC de générateur infinitésimal Q, dont les termes ( ≠ )
sont donnés par = est une chaine de Markov à temps discret dont la matrice de
transition a pour éléments
Les probabilités de transition de la chaîne incluse sont données par :

= =

La chaine incluse caractérise les changements d'états de la CMTC sans tenir compte du temps
écoulé.
 Propriété :
Une CMTC est irréductible si et seulement si la CMTD incluse est irréductible
∈ est transient ⇔ ∈ est transient
∈ est récurrent ⇔ ∈ est récurrent

Si E est fini, alors tous les états sont récurrents.


1.3.7 Distribution stationnaire

Soit ( ) le vecteur des probabilités d’état ( )= ( = ), ∈

( )=( ( ), ( ), … )1

Tout vecteur qui vérifie la relation

=0

est appelé distribution stationnaire de la chaîne

Propriété

Si une CMTC fini est irréductible alors le vecteur des probabilités stationnaires
existe et est unique, on peut l’obtenir en résolvant le système d’équations suivant :

=0
=1

Ou ce qui est équivalent à :

⎧ =0 ∈

⎨ =1

⎩ ∈

En régime stationnaire, le flux sortant de j est égal au flux entrant dans j :


= ∈

Ces équations sont appelés équations d’équilibre

Nous pouvons ainsi trouver le vecteur des probabilités stationnaire en résolvant le système
d’équations suivant :

⎧ = ∈

⎨ =1

⎩ ∈

1.3.8 Comportement asymptotique

1
é ( ) = (0)
Supposons qu’une CMTC est irréductible et que = est sa distribution stationnaire

alors , nous avons les résultats suivants :

 lim →∞ ( ) = (cette limite existe toujours et indépendante de la distribution des


probabilités initiales)
 Les représente aussi la proportion du temps que la CMTC passe dans l’état j, sur
une longue période.
 lim →∞ ( ) =

Exemple

Soit la CMTC irréductible, définie sur E={0,1,2} et dont le générateur infinitésimal est le
suivant :

−2 2 0
= 2 −3 1
0 2 −2
1) Déterminer les équations d’équilibre de cette CMTC
2) En déduire la distribution stationnaire π