Processus de Markov

M1 LOGISTIQUE ET SUPPLY CHAIN MANAGEMENT 2013/2014

Azouz Menel Bergaoui Malek Gharbi Nour Moumni Sarra Somrani Imn Zhar Fatma

I-

Prsentation des chaines de Markov :

1. Historique : En mathmatiques, un processus de Markov est un processus stochastique possdant la proprit de Markov. Dans un tel processus, la prdiction du futur partir du prsent n'est pas rendue plus prcise par des lments d'information concernant le pass. Les processus de Markov (1906) portent le nom de leur inventeur, Andre Markov (mathmaticien russe2 juin 1856 - 20 juillet 1922). 2. Dfinitions : Une chaine de Markov est une suite de variables alatoires (Xn, n N) qui permet de modliser lvolution dynamique dun systme alatoire : Xn reprsente ltat du systme linstant n. Pour une chane de Markov on fait lhypothse quil y a plusieurs volutions possibles (tats) partir de la situation prsente, chacune delles ayant une certaine probabilit de se raliser. Cest cette incertitude sur lavenir qui est prise en compte par les modles markoviens que lon appelle pour cette raison dynamiques alatoires ou stochastiques. Il existe bien dautres dynamiques alatoires que les chaines de Markov mais celles-ci ont une proprit bien spciale, que lon appelle absence de mmoire (ou simplement proprit de Markov) que nous allons indiquer prsent. Lorsquun systme a plusieurs avenirs possibles partir de son tat prsent, il se pourrait que la probabilit que lun ou lautre de ces avenirs se ralise dpende non seulement de son tat prsent mais aussi de son histoire rcente. (Lvolution future ne dpend du pass quau travers de sa valeur actuelle). Une chaine de Markov est dite irrductible lorsque tous ses tats communiquent, cest--dire lorsque, pour toute paire dtats (xi, xj) la probabilit daller de lun `a lautre est strictement positive. Un tat xi S tel que, lorsque la chaine est issue de ce point, elle y retourne en un temps fini avec une probabilit strictement positive, sappelle un tat rcurrent (sinon ltat est dit transitoire).
2

Lorsquun tat est rcurrent, chaque trajectoire issue de ce point y revient presque certainement une infinit de fois. Par contre, lorsquil est transitoire, chaque trajectoire issue de ce point ny revient presque surement quun nombre fini de fois. Soit X = (Xn, n N) une chaine de Markov de matrice de transition P. On dit que x est un tat absorbant de la chaine X si P(x, x) = 1.

On reprsente une chane de Markov avec une matrice de transition. Chaque range de la matrice correspond un tat et donne la probabilit de passer un autre tat. Une matrice P = (P(x, y), x, y E) est dite matrice stochastique si ses coefficients sont positifs et la somme sur une ligne des coefficients est gale 1 Une matrice de transition se reconnat parce que toutes les valeurs sont entre 0 et 1 inclusivement et que la somme de chaque range est 1. Naturellement, pour avoir une chane de Markov, il faut rpter le nombre de transitions possibles. Une matrice de transition est dite rgulire si elle ne contient aucun zro. Une matrice de transition est dite ergodique si elle permet de passer de nimporte quel tat nimporte quel autre (mais pas ncessairement en une seule tape). Observez que si la matrice de transition na aucun zro, alors, dans une seule tape, il est possible de passer de nimporte quel tat nimporte quel autre. Les applications des chanes de Markov sont trs nombreuses (rseaux, gntique des populations, mathmatiques financires, gestion de stock, algorithmes stochastiques doptimisation, simulation ...). 3. Exemple (chane de Markov deux tats) : On pense quun individu non endett a une possibilit sur 3 de devenir endett. Un individu endett a une possibilit sur 6 de rgler ses dettes. Comme dit prcdemment, on reprsente une chane de Markov avec une matrice de transition. Chaque range de la matrice correspond un tat et donne la probabilit de passer un autre tat.
3

Dans le cas de notre individu endett, la matrice de transition est :

Pour avoir une chane de Markov, il faut rpter le nombre de transitions possibles. Dans notre cas, supposons qu chaque jour qui passe, la matrice de transition sapplique. Si lindividu nest pas endett au dpart, aprs un jour il y aura une probabilit de 1/3 quil soit endett :

Aprs deux jours, il aura autant de possibilits dtre endett que de ne pas ltre :

Et ainsi de suite. On peut se demander ce qui se passera aprs un trs long dlai, disons un an ?

Il suffit alors de savoir calculer les puissances de la matrice de transition. Dans tous les cas qui nous concernent, ces puissances convergent rapidement vers une matrice fixe : cela signifie quaprs avoir calcul 2, 3, 10 ou 20 puissances, la matrice ne change pratiquement plus :

On voit, par ces matrices, quaprs un an, 2 ans ou 10 ans, un individu, quil dbute avec une dette ou sans dette, aura une probabilit de 2/3 dtre endett !

II-

Etude thorique :

Une chaine de Markov est une suite de variables alatoires toutes dfinis sur un mme ensemble. On prend lexemple de cette chaine o 0 et 1 sont deux tats vrai faux, scurit et inscurit. Le systme peut basculer dun tat a lautre avec les probabilit p et q .

Larc qui va de ltat 0 ltat 1 auquel est associe une probabilit p, cest la probabilit de se retrouver ltat 1 au temps n+1 tant donn quau temps prcdent n il t a ltat 0. Cest une probabilit conditionnelle. Le passage de ltat 1 ltat 0 est donn par la probabilit q. La probabilit de rester dans le mme tat 1 est de 1-q. La probabilit de rester dans le mm tat 0 est de 1-p.

Ceci est illustr par les formules suivantes :

La chaine de Markov nous permet de calculer la probabilit de trouver ma chaine dans un certain tat c--d si on arrive a un moment inconnu t et que la chaine tourne, quelle est la probabilit qu ce moment t on est ltat 0. On cherche donc la probabilit Xn+1 =0 au temps n+1 en ignorant la valeur de n. Donc on distingue 2 cas : je me retrouve a ltat 0 au temps n+1 soit je viens de Xn=0 ou Xn=1 au temps n.

Je fais lintersection avec 2 vnements Xn=0 et Xn=1, qui sont disjoint et complmentaire

Je peux reformuler en faisant apparaitre les probabilits conditionnelles. Je remplace par les probabilits dfinit prcdemment .

Et maintenant je me retrouve avec 2 termes ou apparait la probabilit que Xn=0 . On calcule P(Xn+1=0) qui dpend de la probabilit de Xn =0 Et si je rsonne de la mme manire je vais voir que a dpend de P(Xn-1=0) ainsi de suite puis Xn-2 et Xn-3 et finalement je vais drouler cette rcurrence pour faire apparaitre la probabilit que X0 =0

Et lorsquon rassemble les termes la probabilit sexprime en fonction de la probabilit de X0=0 plus une somme gomtrique

on obtient finalement cette expression

III-

Etude empirique : Etude de cas

1. Prsentation du cas : Cadre de la recherche :

La scheresse constitue un flau redoutable pour l'conomie tunisienne fonde essentiellement sur la production agricole pluviale. L'analyse de la rcurrence et de la persistance de ce phnomne par des mthodes scientifiques cherche tablir une estimation des probabilits qui pourrait contribuer la planification de stratgies de mobilisation et de gestion des ressources en eau. La Tunisie se situe dans une zone de transition entre la zone tempre et la zone subtropicale. De par cette position, elle subit alternativement les influences des perturbations tempres, d'une part, et les influences sahariennes qui avancent plus ou moins profondment l'intrieur du pays, d'autre part. Elle possde galement deux faades maritimes : l'une septentrionale et l'autre orientale. Les perturbations de nord-ouest et les situations de retour d'est constituent la principale source de pluie. Par ailleurs, l'conomie du pays, fonde sur l'agriculture, reste tributaire de la pluviomtrie. Pour cela, des ouvrages hydrauliques ont t amnags afin de lutter contre la scheresse. Mais, si la scheresse perdure deux ou trois annes successives, les autorits doivent faire face cette ventualit en planifiant les priorits de satisfaction des demandes en eau (eau potable, eau domestique, industrie, irrigation, etc.) et en adaptant la capacit des rservoirs de stockage de l'eau. Or, la frquence relative d'un vnement comme la scheresse annuelle peut tre tudie en termes de probabilit. Pour dcrire la persistance de la scheresse, nous allons appliquer la mthode des chanes de Markov des donnes pluviomtriques annuelles.

Nous voulons donc, par cette tude, tablir une estimation des probabilits d'avoir des annes sches successives. Cette estimation peut servir la planification et la gestion des ressources en eau. Donnes et mthodes

L'information pluviomtrique utilise pour cette tude provient de la Direction gnrale des ressources en eau, principal gestionnaire de rseau et de fichiers pluviomtriques en Tunisie. Elle se compose de donnes pluviomtriques annuelles (les annes disponibles pour les mmes stations s'tendent de 1909 1996) relatives 22 postes pluviomtriques rpartis sur l'ensemble du territoire tunisien (soit 1 936 annes-stations). Nous avons rduit ces valeurs 528 valeurs rgionales en groupant les stations par grande rgion naturelle (figure 1).

. Fig.1. Isohytes moyennes annuelles - Principales stations pluviomtriques des grandes rgions naturelles de Tunisie.

Les postes pluviomtriques retenus pour l'analyse sont des stations principales du rseau national dont le suivi est trs rgulier et la rpartition spatiale assez proportionne. Ils ont t slectionns pour la fiabilit de leurs donnes, la longueur de leur srie et leur reprsentativit spatiale. L'laboration d'une moyenne arithmtique rgionale permet d'attnuer les disparits, de modrer les particularits de chaque station et de rduire la masse de donnes afin de prsenter une estimation globale et synthtique de la pluviomtrie dont l'impact sur la vie agricole n'est pas ponctuel mais rgional. Dfinition de la scheresse : La scheresse se dfinit par un dficit des disponibilits en eau par rapport une situation considre comme normale pour une priode donne et une rgion dtermine. En ralit, il existe diffrents types de scheresse : la scheresse climatologique essentiellement lie au dficit pluviomtrique la scheresse agronomique qui fait appel au dficit de la rserve hydrique du sol et l'tat d'avancement de la vgtation la scheresse hydrologique ou hydrogologique qui se manifeste par des tiages anormaux et un abaissement prononc des nappes C'est la scheresse climatologique qui nous semble dterminer les autres types de scheresse. La rduction des prcipitations se rpercute ncessairement sur le milieu environnant. La scheresse est une dcroissance des disponibilits en eau pour une poque particulire et sur une rgion particulire . phmre, la scheresse peut affecter un mois, une saison ou une anne. Elle devient redoutable quand elle persiste deux ou trois annes successives. C'est pour cela que nous avons choisi d'axer notre tude sur la persistance de la scheresse l'chelle annuelle. En l'absence d'indicateur officiel de la scheresse, nous avons adopt comme mthode de dfinition des annes sches, et aprs plusieurs essais au moyen de diffrents indices, la mthode de l'analyse frquentielle. Cette mthode, indpendante des valeurs centrales (moyennes ou mdianes), est fonde sur un classement des valeurs des plus faibles vers les plus fortes, des annes les plus sches aux annes les plus humides, les annes du milieu tant considres comme annes normales. Une rpartition quasiment quitable attribue 35 % des valeurs aux annes extrmes (sches ou humides) et 30 % aux annes normales. La distinction des classes se prsente ainsi :
10

les annes dont la frquence est infrieure 0,35 correspondent aux annes sches (parmi lesquelles on peut distinguer les annes trs sches, de frquence infrieure 0,15)

les annes dont la frquence est comprise entre 0,35 et 0,65 sont considres comme annes normales

les annes dont la frquence dpasse 0,65 correspondent aux annes humides (celles dont la frquence est suprieure 0,85 sont considres comme des annes trs humides)

La mthode est simple et nous l'avons simplifie davantage en ne considrant que les annes sches de frquence infrieure 0,35 et les annes non sches pour le reste des annes. 2. Application du processus de Markov : Le processus de Markov exprimera des probabilits conditionnelles de passage de l'tat de la veille (anne prcdente) l'tat de l'anne en cours. L'tat de l'anne k ne dpend que de l'tat k-1 pour le processus de Markov d'ordre 1. Il dpend des tats k-1 et k-2 pour le processus de Markov d'ordre 2. Une anne peut tre caractrise du point de vue pluviomtrique par deux tats : un tat 0 : prsence de la scheresse (sche ou trs sche) ; i = 0 un tat 1 : absence de la scheresse (normale, humide, trs humide) ; i = 1

Dans ce qui suit, nous prsentons dans un premier temps la chaine de Markov dordre 1 applique notre cas puis nous prsentons la chaine de Markov dordre 2 : Chaine de Markov dordre 1 : Etat de lan k Etat de lan k-1 0 1 0 A00 A10
Tableau 1: Processus de Markov d'ordre 1

1 A01 A11

11

La probabilit marginale scrit sous la forme :

Pour chaque rgion, la quantit de pluie est suivie pour 90 ans. Les donnes sont collectes dans le graphe qui suit :

La matrice de Markov d'ordre 1 est dtermine partir de ce qui prcde en donnant plus d'importance aux coefficients A00, A01, A10. L'application nous donne les rsultats regroups dans ce tableau

12

Rgions Nord-Ouest Nord-est Centre-Ouest Centre-est Sud-ouest Sud-est

A00 40% 23% 37% 33% 30% 23%

A01 60% 77% 63% 67% 70% 77%

A10 31% 40% 33% 35% 36% 40%

A11 69% 60% 67% 65% 64% 60%

Tableau 2: Processus d'ordre 1 pour chaque rgion

Rsultats & Interprtations :

la suite de l'application de l'hypothse d'un processus de Markov d'ordre 1, nous constatons que, pour l'ensemble du pays et quelle que soit l'anne de dpart (sche ou non sche), la probabilit d'avoir une anne sche l'anne suivante est partout plus faible que celle d'avoir une anne non sche , c'est--dire normale ou humide. Les probabilits oscillent entre 23 et 40 %.

On remarque galement que le Nord-Est et le Sud-Est se comportent de la mme faon et prsentent les mmes valeurs de probabilit, valeurs relativement les plus faibles en cas d'anne de dbut sche et les plus fortes en cas d'anne de dbut non sche .

l'chelle rgionale, les probabilits se prsentent ainsi : * Si une anne est sche, la probabilit pour qu'elle soit suivie d'une anne sche est plus importante au nord qu'au sud. * Si une anne n'est pas sche, la probabilit d'avoir une anne sche l'anne suivante est plus faible au nord qu'au sud et l'ouest qu' l'est. Cette probabilit augmente en allant du nord vers le sud. l'est, le Sahel se distingue par une probabilit plus faible qu'au nord-est et qu'au sud-est. * l'ouest, la probabilit d'avoir deux annes successives sches diminue progressivement du nord vers le sud. Rciproquement, si une anne est sche, la probabilit pour qu'elle soit suivie d'une anne non sche est plus importante au sud qu'au nord.

13

* l'est, la probabilit d'avoir deux annes successives sches est beaucoup plus faible qu' l'ouest et le Centre a une probabilit plus forte que le Nord-Est et le Sud-Est. Enfin, la probabilit d'avoir deux annes sches successives est la plus forte au Nord-Ouest, que la partie orientale du pays a des probabilits plus faibles que la partie occidentale et que le Nord-Est et le Sud-Est prsentent les mmes probabilits plus faibles que celles du Sahel. La proximit des sources d'humidit nous semble fournir une explication vraisemblable cet tat de fait, mais elle n'est pas suffisante tant donn que le Sahel est galement expos la mer.

Chaine de Markov dordre 2

Dans ce cas, l'tat de l'anne k dpend de l'tat de l'anne k-1 et de l'tat de l'anne k-2. La matrice de passage de la chane de Markov d'ordre 2 s'crit comme indiqu dans le Tableau o Bijk reprsente la probabilit conditionnelle d'obtenir un doublet de classe (j, k) succdant un doublet de classe (i, j) avec :

Apparaissions de certains zros, contrairement l'ordre 1, cause de l'impossibilit de certaines successions de doublets. Etat au jour k1 et k-2 00 01 10 11 00 B000 0 B100 0 01 B001 0 B101 0 Etat au jour k-1 et k 10 0 B010 0 B110 11 0 B011 0 B111

Tableau 3: Le processus de Markov dordre 2

Application : Pour chaque rgion, la matrice de Markov d'ordre 2 a t calcule en sintressant essentiellement aux annes sches successives (B000, B001, B100 et B101) : S-S-S (trois annes sches successives),

14

S-S-NS (deux annes sches successives), NS-S-S (deux annes sches successives), NS-S-NS (une anne sche isole).

L'application de l'hypothse des chanes de Markov donne les probabilits indiques dans le tableau ci dessous. Rgions Nord-Ouest Nord-Est Centre-Ouest Centre-Est Sud-Ouest Sud-Est S-S-S 43% 43% 45% 40% 11% 14% SS-NS 57% 57% 55% 60% 89% 86% NS-S-S 39% 17% 32% 30% 38% 26% NS-S-NS 61% 83% 68% 70% 62% 74%

Tableau 4: Processus de Markov dordre 2 pour chaque rgion

Rsultats & Interprtations : Comme pour l'ordre 1, ce que lon constate la suite de l'application de l'hypothse d'un processus de Markov d'ordre 2, cest que la probabilit d'avoir l'anne suivante une anne sche est partout plus faible que celle d'avoir une anne non sche (Les probabilits oscillent entre 11 et 45 %). Ceci est vrai pour l'ensemble du pays et quelle que soit la composition de la squence. l'chelle rgionale, les conclusions suivantes ont pu tre dgages : Si deux annes successives sont sches, la probabilit d'avoir une troisime anne sche est importante au nord et au centre o elle varie de 40 45 %. Par contre, cette probabilit est trs faible au sud o elle ne dpasse pas les 14 %. Dune manire rciproque, la probabilit d'avoir deux annes sches successives suivies d'une anne non sche est importante au Sud : elle dpasse les 85 %. En revanche, elle est moins importante au nord et au centre o elle varie de 55 60 %. La probabilit d'avoir deux annes sches successives faisant suite une anne non sche , est plus importante l'ouest qu' l'est : l'ouest, elle varie de 32 39 % alors que, l'est, elle varie de 17 30 %.

15

Rciproquement, la probabilit d'avoir une anne sche isole au milieu de deux annes non sches est plus importante l'est qu' l'ouest : l'est, elle varie de 70 83 % tandis que, l'ouest, elle varie de 61 68 %.

Ainsi, on peut dire que le Sud (Est et Ouest) est la rgion qui risque le moins la persistance de la scheresse. Le Centre-Ouest est, par contre, la rgion la plus menace par la succession de trois annes sches. Pour ce qui est de la probabilit d'avoir deux annes sches la suite d'une anne non sche, la rpartition des probabilits ressemble celle relative deux annes sches successives (processus de Markov d'ordre 1) indpendamment de l'anne qui prcde, on note : Une opposition trs nette entre l'Ouest (P= 39% pour le Nord Ouest) et l'Est (P=17% pour le Nord Est) Probabilit au Sahel (P = 32%) est plus importante que celle au Sud-Est (P =26%).

Conclusion: Les chanes de Markov sont un outil mathmatique issu des probabilits dont leur utilisation na pas cess daugmenter depuis son apparition et ce pour les avantages quelles prsentent. En fait, la structure mathmatique des chaines de Markov extrmement simple et qui est indpendantes de ltat initial du processus suffit gnrer une trs grande varit de comportements. Cest pour cela que les chaines de Markov trouvent des applications dans des domaines pluridisciplinaire comme, par exemple, la biologie pour modliser les relations entre symboles successifs d'une mme squence (de nuclotides par exemple), en allant au del du modle polynomial, la physique en particulier dans la physique statistique, la sociologie, la mtorologie, lintelligence artificielle, la recherche oprationnelle et les sciences de lingnieur, o elles donnent des rponses qualitatives aussi bien que quantitatives aux problmes poss. Outre leur cadre thorique solide, les chaines de Markov ont lavantage de permettre une modlisation explicite des donnes. La matrice de transition de la chaine de Markov est gnralement obtenue partir des donnes historiques. Nous pouvons donc constater que la chaine de Markov peut autant tre

16

utilise dans un contexte de probabilit historique (raliste) que dans un contexte plus thorique. Par ailleurs, une explosion combinatoire du nombre dtats susceptible dtre occups par le systme dont on souhaite de modliser le comportement peut rendre difficile lutilisation des modles markoviens. Ceci prsente un inconvnient dans lutilisation de processus de Markov.

17