Processus stochastique

Un processus stochastique est une suite de variables aléatoires définies sur un

même espace d’état E et sur un espace de temps T.

Les espaces d’état et de temps peuvent être discrets ou continus.

 Variable aléatoire

Une VA est une fonction X définie sur l’ensemble des éventualités Ω (l’ensemble des résultats
possibles) qui transforme les résultats d’une expérience aléatoire en un nombre réel.

Expérience aléatoire

Une expérience aléatoire est une expérience dont on ne connait pas le résultat à
l’avance mais dont on connait déjà l’ensemble des issues possibles.
Loi de probabilité d’une variable aléatoire

Déterminer la loi de probabilité d’une variable aléatoire X c’est préciser :

- L’ensemble des valeurs possibles de la V.A (X)

- Calculer pour chaque xi la probabilité

 Exemple

Analyser la variable aléatoire X qui à chaque résultat associe le nombre de faces (F)
Exemple
Un scénario de comportement du système pendant six jours :
Schéma pour ce scénario :

Schéma pour le scénario prolongé :

Que pouvons-nous conclure de la transition d’un état à l’autre ?

Après deux mois :
33%
La décision de chaque jour
seulement était associée à
l'état actuel de ce jour et pas

67% aux états des jours

précédents.

C'est ce qu'on appelle :

PROPRIETE MARKOVIENNE
90%

10%
Matrice de Markov (Matrice stochastique) :
Exemple :

Propriétés :

• Matrice carrée
• 0 ≤ p(i,j) ≤ 1
• La somme des probabilités dans chaque ligne est 1
Probabilité en n étape :
Matrice de transition en n étape :

Equation de Chapman-Kolmogorov :

Loi de probabilité initiale :