Définitions

1-

2-

1-

2-

Trouver les classes de communication de la matrice de transition

1
 temps jusqu’à la première visite de l’état i à partir du démarrage de la chaîne :

On a

Remarques

-
-

2
Exercice:

Déterminer la nature des états de cette chaîne

3
 vu

Question: ceci est-il vrai avec toutes les matrices de transition?

Exemple: Voir fichier Maple

Etat ergodique

4
 -

5
Cas particulier: Coût moyen à long terme et par unité de temps

Si représente une fonction de coût, qu'on note souvent C, alors :

- Le cout moyen associé à C pour les n premières périodes est:

- Le coût moyen associé à C (à long terme) par unité de temps est donnée par:

Exercice

dh
dh