Vous êtes sur la page 1sur 3

Processus stochastique Les processus stochastiques (ou alatoires) permettent de modliser des systmes dont le comportement n'est que

partiellement prvisible. La thorie est fonde sur le calcul des probabilits et les statistiques. Les domaines d'application sont trs divers: de nombreuses questions en tlcommunications, la modlisation et la gestion du trafic dans les rseaux de transport et les systmes lectriques, la commande adaptative, le traitement du signal et le filtrage, et plus gnralement la gestion des systmes techniques complexes soumis des perturbation alatoires. Le calcul classique des probabilits concerne des preuves o chaque rsultat possible (ou ralisation) est mesur par un nombre, ce qui conduit la notion de variable alatoire. Un processus stochastique ou processus alatoire ou fonction alatoire reprsente une volution, discrte ou temps continu, d'une variable alatoire. On distingue gnralement les processus en temps discret et en temps continu, valeurs discrtes et valeurs continues. Si l'ensemble T est dnombrable on parle de processus discret ou de srie temporelle, si l'ensemble T est indnombrable on parle de processus continu. La diffrence n'a rien de fondamental: en particulier la stationnarit, constance en fonction du temps des proprits statistiques, se dfinit de la mme faon. Il ne s'agit mme pas d'une diffrence pratique car les calculs sur un processus continu s'effectuent partir de l'chantillonnage d'une ralisation du processus. La diffrence porte plutt sur l'attitude adopte face l'utilisation d'une seule ralisation. Il existe une diffrence un peu plus nette entre les processus valeurs continues et les processus de comptage valeurs discrtes. Les seconds remplacent par des sommes algbriques les intgrales utilises par les premiers. Proprit de Markov En probabilit, un processus stochastique vrifie la proprit de Markov si et seulement si la distribution conditionnelle de probabilit des tats futurs, tant donn les tats passs et l'tat prsent, ne dpend en fait que de l'tat prsent et non pas des tats passs (absence de mmoire). Un processus qui possde cette proprit est appel processus de Markov. Pour de tels processus, la meilleure prvision qu'on puisse faire du futur, connaissant le pass et le prsent, est identique la meilleure prvision qu'on puisse faire du futur, connaissant uniquement le prsent : si on connat le prsent, la connaissance du pass n'apporte pas d'information supplmentaire utile pour la prdiction du futur.
Proprit de Markov faible (temps discret, espace discret).

C'est la proprit caractristique d'une chane de Markov : en gros, la prdiction du futur partir du prsent, La proprit de Markov faible possde plusieurs formes quivalentes qui reviennent toutes constater que la loi conditionnelle de Xn+1 sachant le pass,

Une chane de Markov (Xn )n N est dite homogne (dans le temps) si P(Xn+1 = in+1 |Xn = in ) ne dpend pas de n. La proprit de Markov faible pour les chanes de Markov homognes a une autre forme, beaucoup plus gnrale que la prcdente, mais pourtant quivalente la prcdente.

Proprit de Markov forte


Dans l'nonc gnral de la proprit de Markov faible, l'instant prsent , n, peut-tre remplac par un instant prsent alatoire, pourvu que soit un temps d'arrt :

Chane de Markov
une chane de Markov est de manire gnrale un processus de Markov temps discret ou un processus de Markov temps discret et espace d'tats discret. En mathmatiques, un processus de Markov est un processus stochastique possdant la proprit de Markov : de manire simplifie, la prdiction du futur, sachant le prsent, n'est pas rendue plus prcise par des lments d'information supplmentaires concernant le pass ; toute l'information utile pour la prdiction du futur est contenue dans l'tat prsent du processus. Un processus de Markov temps discret est une squence de variables alatoires valeurs dans lespace des tats, qu'on notera dans la suite. La valeur est l'tat du processus l'instant n, Les applications o l'espace d'tats est fini ou dnombrable sont innombrables : on parle alors de chane de Markov ou de chanes de Markov espace d'tats discret. Les proprits essentielles des processus de Markov gnraux, par exemple les proprits de rcurrence et d'ergodicit, s'noncent ou se dmontrent plus

simplement dans le cas des chanes de Markov espace d'tats discret. Cet article concerne prcisment les chanes de Markov espace d'tats discret. Une squence de variables alatoire X0, X1, . . . est une chane de Markov si,

Lensemble S des valeurs possibles des variables alatoires Xn est quivalent lespace des tats de la chane de Markov associe et les probabilits conditionnelles P(Xn+1 = j|Xn = i) sont appeles probabilits de transition. Pour les chane de Markov avec des probabilits de transition indpendantes du temps, on parle de chane stationnaire et on note ces probabilits : n 1, pij := P(Xn+1 = j|Xn = i). Les chanes de Markov prsentent des proprits ergodiques intressantes. Sur le long terme on peut dsormais parler de la probabilit que la chane soit dans un de ses tats : distribution stationnaire (ou distribution dquilibre) sur les tats de la chane. Notons cette probabilit = (1, 2, . . . , |S|) qui nest autre que la solution du systme dquations : = P

Vous aimerez peut-être aussi