Processus de Markov

En mathématiques, un processus de Markov est un processus

stochastique possédant la propriété de Markov. Dans un tel processus, la prédiction
du futur à partir du présent n'est pas rendue plus précise par des éléments
d'information concernant le passé. Les processus de Markov portent le nom de leur
inventeur, Andreï Markov.
Un processus de Markov en temps discret est une séquence    de variables
aléatoires. L'ensemble de leurs valeurs possibles est appelé l’espace d'états, la
valeur  étant l'état du processus à l'instant  Selon les auteurs, le vocable « chaîne de
Markov » désigne les processus de Markov à temps discret ou uniquement les
processus de Markov à temps discret et à espace d'états discret, c.-à-d. les
processus de Markov à temps discret dont l'espace d'états est fini ou dénombrable.
Si la loi conditionnelle de  sachant le passé, i.e. sachant  est une fonction de  seul,
alors :
où  est un état quelconque du processus. L'identité ci-dessus identifie
la probabilité markovienne.
Andreï Markov a publié les premiers résultats de ces processus en 1906.
Une généralisation à un espace d'états infini dénombrable a été donnée
par Kolmogorov en 1936.
Les processus de Markov sont liés au mouvement brownien et à l'hypothèse
ergodique, deux sujets de physique statistique qui ont été très importants au
début du XX  siècle.
e