Vous êtes sur la page 1sur 25

Yongwe

Jean-Luc

Travail dInitiative Personnel Encadr :


Chaines de Markov et protocole de gestion des
communications radios par satellite relais.
(Systme ALOHA)
(Sous la tutelle de Madame Anne Perrut)

Semestre dAutomne 2011

1
Table des matires
I. Introduction...3

Loi binomiale.3

Loi de Poisson .4

Probabilit conditionnelle .4

Loi gomtrique5

Formule de probabilit totale ou formule de bayes..5

II. Chane de Markov6

III. Application des chaines de Markov14

2
I. Introduction
Avant de commencer expliquer ce que sont les chaines de Markov, nous allons introduire des outils
tels que la loi binomiale et la loi de Poisson, mais aussi des notions telles que probabilit
conditionnelle, loi gomtrique et la formule des probabilits totales seront introduites pour une
meilleure comprhension ; et nous donnerons en fin du document un exemple dapplication des
chaines de Markov avec le systme ALOHA.

La loi binomiale
Une preuve de Bernoulli est une exprience o la russite et lchec sont les seules issues
possibles.

Considrons une exprience alatoire (cest--dire une exprience dont on ne peut prvoir le
rsultat) deux issues possibles ; notons la probabilit de russite et la probabilit dchec.

Rptons fois cette preuve de Bernoulli o les ralisations sont indpendants les unes des
autres.

Posons une variable alatoire comme tant gale au nombre de succs ; on dira alors que suit la
loi binomiale de paramtres et

1. Dfinition
Soit , et une variable alatoire. On dit que suit la loi binomiale de paramtres
et , not B( ) lorsque :

Exemple de calcul utilisant la loi binomiale (simulation sous R)

Considrons un texte contenant 20000 mots et dans lequel chaque mot une probabilit de 1/10000
dtre mal crit.

Selon la loi binomiale, on aura alors une probabilit de trouver 2 mots comportant des fautes dans
ce texte qui slvera :

> dbinom (2, 20000,1/10000)

[1] 0.2706841

3
Loi de Poisson
La loi de Poisson sutilise lorsquon tudie un phnomne rare dans des conditions spcifiques.

Par exemple le nombre de fautes de frappes dun cours de mathmatiques (vnement


extrmement rare)

1. Dfinitions et proprits
Soit un rel strictement positif et une variable alatoire. On dit que suit la loi de Poisson de
paramtre et on note lorsque :

En fait la loi de Poisson est un cas limite de la loi binomiale lorsque

O .

(Do lquivalence entre la loi binomiale et la loi de Poisson pour des nombres trs grand)

Exemple de calcul utilisant la loi de Poisson (simulation sous R)

En considrant le mme exemple que plus haut mais cette fois le calcul tant fait selon la loi de
Poisson on obtient :

> dpois(2,2)

[1] 0.2706706

Il est visible que dpois(2,2) ~dbinom(2,20000,1/10000)

Probabilit conditionnelle
Soit , A, , un espace de probabilit et un vnement de probabilit strictement
positif. La probabilit conditionnelle de sachant (ou par rapport ) est dfinie
conditionnellement par la formule :

Probabilit de ou ( probabilit de est ralis).

On appellera probabilit conditionnelle lapplication

=0

-
4
Cest l une notion trs intressante lors de ltude de phnomnes se droulant dans le temps et
faisant intervenir le hasard chaque tape.

Loi gomtrique
Etant donne une preuve de Bernoulli dont la probabilit de russite est et dchec et quon
renouvelle jusqu la premire russite, nous noterons la variable alatoire donnant le rang de
cette russite.

Les valeurs de sont les entiers 1, 2,3. La probabilit que est alors pour

Formule de probabilits totales ou formule de Bayes


Soit { une partition de

( en vnements

tels que

Alors pour tout vnement :

Si on se ramne un exemple concret cela donne :

Soit un panier de 3 boules rouges et 4 boules vertes.

Nommons A lvnement je pioche une boule rouge et B je repioche une boule rouge sans
remise de la prcdente, alors lvnement de piocher une boule rouge au bout des deux tirages
devient :

(O est la probabilit de lvnement tir une boule non rouge autrement dit une boule verte)

Donc = =

La probabilit de jai tir une boule rouge au bout des deux tirages est de

5
II. Chaine de Markov
De faon intuitive, une chaine de Markov se dfinit classiquement comme tant une suite de
variables pour laquelle la meilleure prdiction que lon puisse faire ltape est la mme
lorsque lon se limite la connaissance de la valeur ltape que si lon connaissait toutes les
valeurs aux tapes prcdentes.

1. Dfinition
Soit E un ensemble fini dentiers naturels, et P .

Une chaine de Markov homogne (mcanisme de transition invariant au cours du temps) valeurs
dans E est une suite de variables alatoires dfinies sur un espace de probabilit valeurs
dans E et qui a la proprit suivante :

Soit une suite de variables alatoires ; quel que soit n,

Autrement dit pour tout entier n et pour tout (n+2)-uplet de points de E.

Il est remarquable de voir que les nombres sont reprsentables par


une matrice carre, appel matrice de transition de la chaine.

De fait ltude dune chaine de Markov se ramne alors parfois un problme dalgbre linaire.

2. Graphe dune chaine de Markov


La matrice de transition dune de Markov peut tre reprsente par un graphe orient (i.e. les arcs
entre les sommets ont un sens) dont les sommets sont les tats de la chaine.

Les arcs relient les sommets associs aux tats et si la probabilit de transition de est positive
cest--dire .

Le graphe est appel graphe reprsentatif ou graphe de transition , de la chaine de Markov.

6
Exemple : Quelquun qui visite un muse en partant de la pice centrale, en se dplaant au hasard.

(Schmatisation de la situation)

2
4

1
1
1

3 5

(Graphe reprsentatif)

1/3
2 4
1/3

1/3 1/4 1/3 1/4

1/3 1/3 1/3 1/3


1

1/3 1/4

1/4 1/3

1/3

3 5

7
La matrice de transition se transcrit alors : (utilisation du Logiciel R)

> vec1=c(0,1/4,1/4,1/4,1/4)

> vec2=c(1/3,0,1/3,1/3,0)

> vec3=c(1/3,1/3,0,0,1/3)

> vec4=c(1/3,1/3,0,0,1/3)

> vec5=c(1/3,0,1/3,1/3,0)

> a=matrix(c(vec1,vec2,vec3,vec4,vec5),nrow=5,byrow=T)

>a

[,1] [,2] [,3] [,4] [,5]

[1,] 0.0000000 0.2500000 0.2500000 0.2500000 0.2500000

[2,] 0.3333333 0.0000000 0.3333333 0.3333333 0.0000000

[3,] 0.3333333 0.3333333 0.0000000 0.0000000 0.3333333

[4,] 0.3333333 0.3333333 0.0000000 0.0000000 0.3333333

[5,] 0.3333333 0.0000000 0.3333333 0.3333333 0.0000000

On appelle matrice Markovienne une matrice carre dont chaque lment est un rel compris entre
0 et 1 et dont la somme des lments de chaque ligne vaut 1.

3. Probabilit de transition et matrices de transition


Pour une chaine de Markov homogne.

Soit S un ensemble fini S dentiers naturels

et

( est un espace dtats).

Traduction : la probabilit dans la matrice de transition , est gale la probabilit conditionnelle


que le systme se retrouve dans ltat ltape suivante sachant quil se trouve actuellement dans
ltat .

Si la chaine possde tats, les probabilits prcdentes peuvent tre ranges dans une matrice de
transition de taille dont les lignes et colonnes sont indexs par les
lments de

8
Proprit :

Soit une matrice markovienne de taille , alors toute puissance , de est


une matrice Markovienne.

Preuve :

Le rsultat est vrai pour ,

On a = , :=

et . Pour pour tout et

Pour tout

4. Classification des tats


4.1. Classification et rduction des graphes.
Soit une matrice de transition dune chaine de Markov et le graphe reprsentatif de . Ltat
est accessible depuis sil existe un chemin de .

Proprit :

Ltat est accessible de ltat si et seulement si il existe

Les tats et communiquent sils sont accessibles lun partir de lautre.

Proprit :

Les tats et communiquent (cest- dire quil est possible de passer de ltat ltat ) si et
seulement si il existe et tels que et .

La relation communiquer () est une relation dquivalence.

9
{

La relation communiquent est une relation dquivalence dont les classes correspondent aux
composantes fortement connexes de . Les tats communiquent si et seulement sils
appartiennent la mme composante fortement connexe.

On appelle classes de la chaine les classes dquivalence induites par la relation () sur lespace
de probabilits.

4.2. Classes
-Une classe est rcurrente si elle correspond un sommet sans successeur dans le graphe des
composantes connexes. Les tats dune classe rcurrente sont rcurrents.

-Les tats dune classe transitoire sont transitoires.

-Une classe rcurrente compose dun seul tat est absorbante.

Proprit :

Ltat est dit absorbant si et seulement ) .Une chaine de


Markov est dite irrductible si elle ne compte quune seule classe, elle est dite rductible dans le cas
contraire.

Proprit :

-Une chaine de Markov est irrductible si et seulement si son graphe reprsentatif est fortement
connexe : tous ses tats communiquent.

4.3. Priode
La priode de l'tat d'une chaine de Markov est gale au plus grand commun diviseur de tous les
pour lesquels .
L'tat est priodique lorsque et apriodique lorsque

Proprit :

Si >0 alors ltat est apriodique.

On peut aussi donc voir que tout tat dune classe a la mme priode que les autres. La priode
tant une proprit de classe on parlera de classes priodiques (resp. apriodiques) et de chaines de
Markov irrductibles priodiques (resp. apriodiques)

Pour illustrer notre propos, voici un exemple :

Considrons le graphe ci-dessous

10
1

4
5

Il apparait trs clairement que les classes de communication sont :

{1, 2,3} classe transitoire

{4,5} classe rcurrente

{6} classe rcurrente

Dterminons donc sa priode ; pour ltat transitoire {1,2,3}, pour aller de 1 1 on a le chemin
1->2->3->1, qui est de longueur 3 le chemin 1->3->1 qui est de longueur 2 ,etc.

Ces deux seuls chemins suffisent pour trouver la priode de ltat 1

Pareil pour 2,3et 6 (o le chemin de 6 6 est de longueur 1 constamment).

Vrifions cela pour les tats 4 et 5 chemin 4->5->4 et 5->4->5 donc

Les tats 4 et 5 sont de priode 2.

Ainsi la classe transitoire {1, 2,3} et la classe rcurrente {6} sont apriodiques tandis que la classe
rcurrente {4,5} est priodique.
11
5. Distribution initiale et comportement transitoire.

5.1. Distribution initiale


La distribution des tats dune chaine de Markov aprs transitions est note . Cette distribution
est un vecteur de probabilits contenant la loi de la variable ,

La distribution initiale est .

Si ltat initiale est connu avec certitude et est gal , on a simplement et =0

5.2. Comportement transitoire


Soit la matrice de transition dune chaine de Markov et la distribution de son tat initial.

= et =

Par rcurrence.

Preuve :

On a pour tout

La chaine tant homogne, on obtient immdiatement le premier rsultat

Pour dmontrer le second rsultat il suffit de rsoudre lquation de rcurrence prcdente par
substitution.

12
6. Comportement asymptotique des chaines irrductibles
Objectifs et comportement asymptotique

Ltude du comportement long terme dune chaine de Markov cherche rpondre des questions
aussi diverses que

-la distribution converge-t-elle, lorsque ?

-si la distribution converge lorsque , quelle est la limite et cette limite est-elle
indpendante de la distribution initiale ?

-si ltat est persistant, quel est la proportion du temps pass dans cet tat et quel est le nombre
moyen de transitions entre deux visites successives de cet tat?

-si ltat est transitoire, quel est le nombre moyen de visites de cet tat ?

7. Distribution invariante
Une distribution est dite invariante ou stationnaire si .

Proprit : Une chaine de Markov possde toujours au moins une distribution invariante.

Une chaine de Markov possde autant de distributions invariantes linairement indpendantes que
la multiplicit de la valeur propre 1 de sa matrice de transition.

La distribution des tats dune chaine de Markov converge vers une distribution (invariante)
indpendante de la distribution initiale si et seulement si la suite des puissances de la matrice de
transition de la chaine converge vers une matrice (stochastique) dont toutes les lignes sont
gales entre elles. De plus, si tel est le cas, chaque ligne de est gale

Preuve :

La condition est ncessaire car si, indpendamment de ,

Il suffit de considrer successivement les distributions initiales

Pour obtenir

*= = = = .

Ainsi existe et toutes ses lignes sont gales , la condition est suffisante.

13
Si existe et si =

= =

Et la limite de existe.

De plus

= = =

et est indpendante de et identique nimporte quelle ligne de .

Dans le cas o

= ,

On parlera de distribution asymptotique invariante.

8. Comportement asymptotique des chaines irrductibles et


apriodiques
Soit la matrice de transition dune chaine irrductible et apriodique. Les proprits suivantes sont
vrifies :

-La matrice tend vers une matrice stochastique lorsque tend vers linfini.

-Les lignes de sont toutes gales entre elles.

- >0 pour tout

-Pour toute distribution initiale

- est la solution unique du systme.

- est gal nimporte quelle ligne de la matrice

- , =

O est lesprance du nombre de transitions entre deux visistes successives de ltat Pour
suffisamment grand, on a et est la probabilit que la chaine se trouve dans ltat

14
III. Applications des chaines de Markov
Modlisation du systme ALOHA

1. Prsentation
Pour des raisons conomiques et de complexit des rseaux, on dut trouver une alternative aux
rseaux cbles reliant des ordinateurs un nombre croissant de terminaux se trouvant des
distances de plus en plus en grandes, dans les annes 70.

Cette alternative fut trouve dans les communications radios via un satellite relais.

L encore un autre problme se prsente :

Loptimisation de lutilisation dun mme canal par plusieurs utilisateurs distincts dont la
transmission des donnes se fait par paquets dinformations de longueurs fixes ; ce qui peut
occasionner des interfrences nuisibles lorsque des utilisateurs envoient des paquets dinformations
simultanment.

Cest en se basant sur laccs alatoire des paquets non transmis pour cause de conflits que lon
tudie le systme ALOHA pour un grand nombre de terminaux (ex : consoles).

2. Fonctionnement du systme ALOHA discrtis


En supposant tous les paquets de taille constante, on peut dcouper le temps de rfrence (temps
canal) par tranches gales la dure dun paquet dans le canal de 10-6 secondes.

Les transmissions ne sont permises quau dbut dune tranche.

Chaque fois que 2 paquets ou plus sont mis simultanment, ils interfrent et sont perdus.

Ils doivent donc tre rmis de faon alatoire, et il faut limiter les dbordements de buffer (espaces
mmoires-tampons o sont stocks provisoirement les paquets)

3. Modle mathmatique : ALOHA non stabilis


Soient M le nombre dusagers non dpendants un instant t (suppos entier par discrtisation),

tout usager a deux tats possibles :

-Actif : Emission dun paquet avec une loi de Bernoulli de paramtre ( : taux dmission). Le
paquet est directement envoy.

-Bloqu : A dj mis et le paquet a t bloqu, rmission chaque instant suivant une loi de
Bernoulli de paramtre (constant), caractrise la politique de rmission (tirage alatoire de
rgulation).

Le dblocage se fait un par un du fait que le canal ne transporte quun seul message la fois.

Soit le nombre de terminaux bloqus linstant . Le processus caractrisant ltat du systme


est une chaine de Markov et selon les diffrents cas possibles on obtient les probabilits suivantes :
15
Pour la matrice de transition llment sera donc de faon gnrale :

Probabilit que terminaux soient bloqus si terminaux le sont dj

Diffrents cas :

La probabilit de voir 2 terminaux ou plus bloqus en moins est nulle car le dblocage se fait
un par un.

=0

Parmi les terminaux bloqus 1 seul rmet.

B(1,p)=

Parmi les terminaux non bloqus aucun nmet

B(0,)=

La probabilit quil y ait un terminal bloqu en moins si aucun des terminaux non bloqus na
mis.

Parmi les terminaux bloqus aucun ne rmet

B(0,p)=

Parmi les terminaux non bloqus 1 seul met

B(1,)=

Ou

Tous rmettent sauf un des terminaux bloqus

1-B(1,p)=

Aucun des terminaux non bloqus nmet

B(0,)=

16
Aucun des terminaux bloqus ne rmet si un seul des terminaux non bloqus met ou ils
rmettent tous sauf un parmi les terminaux bloqus si aucun des terminaux non bloqus nmet.

Les terminaux bloqus rmettent tous

1-B(0, i)=

Un seul des terminaux non bloqus met.

B(1,)=

La probabilit quun seul des terminaux non bloqus met si aucun des terminaux bloqus ne
rmet

Parmi les M-i terminaux non bloqus seuls rmettent

B(j-i, M-i) =

La probabilit que les terminaux non bloqus mettent et quil y ait terminaux ou plus qui
se rajoutent ceux qui sont bloqus ltape .

Cette chaine de Markov est rcurrente et elle finit par se stabiliser aux alentours de ( grand) : la
plupart des terminaux sont bloqus.

Le fait que soit grand cela nous amne considrer le modle infini dans lequel et
tel que fini ; ainsi les probabilits de transition deviennent

La probabilit de voir terminaux ou plus non bloqus parmi les qui le sont actuellement est
nulle

Parmi les terminaux bloqus 1 seul rmet.

B(1,p)=

Parmi les terminaux non bloqus aucun nmet

17
La probabilit davoir un terminal bloqu en moins si aucun des terminaux non bloqus na
mis.

Parmi les terminaux bloqus aucun ne rmet.

B(0,p)=

Parmi les terminaux non bloqus 1 seul met.

Parmi les terminaux bloqus au moins 1 rmet.

1- B(1,p)=

Aucun des terminaux non bloqus nmet

La probabilit quaucun des terminaux bloqus nmet tandis quun des terminaux non bloqu
met ou quil y en ait au moins un qui rmet si aucun des terminaux non bloqu na mis.

Parmi les terminaux non bloqus 1 seul met.

Parmi les terminaux bloqus au moins 1 rmet

1-B(1,p)=

La probabilit quun des terminaux non bloqus met si au moins un des terminaux bloqus a
mis.

La probabilit quil y ait terminaux ou plus de bloqus ltape lorsque seuls les terminaux
non bloqus ont mis.

18
On Remarque donc quil sagit l dun flux dmissions Poissonnien de paramtre . (Ce qui est
logique puisque lon traite le mme problme aux limites). Dans ce cas la chaine de Markov est
transiente pour tout donc ne stabilise jamais et le nombre de terminaux bloqus tend vers
linfini.

Ltude du comportement transitoire nous intressera dautant plus que le temps mis pour un over
flow (dpassement de capacit) dpend de la valeur des paramtres.

Suivant les paramtres le systme met en vidence deux valeurs et qui sont des points
dquilibre dfinis par lquation , la premire est une valeur
autour de laquelle le systme se stabilise longtemps quant la dernire cest celle atteinte avant que
le systme nimplose le canal sature.

Le temps de fonctionnement du systme est le temps moyen datteinte de qui peut


permettre de mesurer la stabilit du systme.

0 n0 nc

19
Remerciements
Tous mes remerciements Madame Anne Perrut qui a bien voulu me consacrer de son temps et
maider travers mes recherches, et qui ma gracieusement propos de mintresser dun peu plus
prs au comportement du systme ALOHA en certaines conditions.

20
Index
Variable alatoire :

Une variable alatoire est une fonction valeurs relles infinies ou finies, et dfinie sur un espace
dpreuves . Si cette fonction ne prend que des valeurs finies, on dit de que cest une variable
alatoire.

Espace dpreuves :

Suite finie ou infinie de nombres ou une fonction. Cest en gnral un objet mathmatique qui
possde une interprtation physique.

Espace de probabilits :

Un espace de probabilit , A, , est un triplet o est un ensemble, A, une tribu de parties


de et une probabilit sur A,, i.e. une fonction sigma-additive telle que = A,.

Tribu :

Soit un ensemble. On appelle tribu sur , un ensemble de parties de X qui vrifie :

A, nest pas vide.

A, est stable par son complmentaire.

A, est stable par union dnombrable.

Graphe connexe :

Un graphe est dit connexe lorsque deux sommets quelconques sont toujours les extrmits dune
chaine de ce graphe.

Chaine :

Une chaine est une suit e de sommets.

21
Code de simulation de lapplication des chaines de Markov :

#Remplissage de la matrice de transition avec des valeurs suivant les lois de Poisson ou/et loi
#binomiale selon les diffrents cas de rmission par rapport aux nombres de terminaux bloqus :

#pour trs grand (nombre dutilisateurs) ; Emission dun paquet avec une loi de Bernoulli de
paramtre Le paquet est directement envoy.

#A dj mis et le paquet a t bloqu, rmission chaque instant suivant une loi de Bernoulli de
#paramtre (constant).

# pij=Prob(N(t+1)=j|N(t)=i)

remplissage<-function(M,sigma,p)

{matrix=(0,ncol=M, nrow=M);

for (i in 0:M)

{for (j in 0:M)

{ if (j == i-1)

{ matrice[i+1,j+1]=dbinom(1,i,p)*dbinom(0,M-i,sigma); }

else if (j == i)

{matrice[i+1,j+1]=dbinom(0,i,p)*dbinom(1,M-i,sigma)+(1-dbinom(1,i,p))*dbinom(0,M-i,sigma); }

else if (j == i+1)

{matrice[i+1,j+1]=dbinom(1,M-i,sigma)*(1-dbinom(0,i,p)); }

else (j >= i+2)

{matrice[i+1,j+1]=dbinom(j-i, M-i, sigma);}

}} return(matrice)}

22
#pour M trs grand

# pij=Prob(N(t+1)=j|N(t)=i)

#pour M trs grand ( et tel que

remplissage2<-function(M, sigma, p)

{a=M*sigma;

matrix=(0, ncol=M+1, nrow=M+1);

for (i in 0:M)

{for (j in 0:M)

{ if (j == i-1)

{matrice[i+1,j+1]=dbinom(1,i,p)*dpois(0,a);}

else if (j == i)

{matrice[i+1,j+1]=dbinom(0,i,p)*dpois(1,a)+(1-dbinom(1,i,p))*dpois(0,a);}

else if (j==i+1)

{matrice[i+1,j+1]=dpois(1,a)*(1-dbinom(0,i,p));}

else if (j >= i+2)

{matrice[i+1,j+1]=dpois(j-i,a);}

}}return(matrice)}

nextstage<-function(matrice,n)

{x0=0;#0 serveurs bloqus

x=rep(0,n);

x[1]=x0;

for(k in 1:(n-1))

{x[k+1]=sample(0 :M, prob=matrice[x[k]+1,],1);

#loi de x[k+1] x[k]-ime ligne de la matrice de transition.

}return(x)}

23
Voici une illustration du modle obtenu partir des fonctions prcdemment dfinies.

En prenant M=100, sigma=0.01, p=0.0027 ;

En observant le comportement de la courbe, on remarque que notre systme tend se stabiliser


autour de la valeur 4 parce que bien que atteignant dautres valeurs infrieurs 10, elle revient trs
souvent cette premire valeur ; il est tout aussi remarquable de voir que le systme explose au-
del de la valeur 10.

Ainsi on peut donc en conclure que notre valeur de stabilisation et notre valeur de
saturation selon nos paramtres spcifiquement choisis.

24
25