INFO416 : Processus & Files d’attente

Travaux Dirigés — Chaînes de Markov

Exercice 1 : Matrice de transition

On suppose qu’une sentinelle monte la garde au sommet d’un camp carré, muni de 4
tours, de la manière suivante : elle commence au hasard par l’une des tours, puis au bout
de 5 minutes tire à PILE ou FACE, et va à la 1ère tour à gauche (si PILE) ou à la 1ère
tour à droite (si FACE).

Soit Xn le numéro de la tour choisie comme n−ième poste de garde, n = 0, 1, . . .. Montrer

que {Xn }n≥0 est une chaîne de Markov. Quelle est la matrice de transition ?

Exercice 2 : Un contre-exemple
La propriété de Markov ne dit pas que le présent et le futur sont indépendants étant
donné une information quelconque sur le présent. Trouvez un exemple simple de chaîne
de Markov homogène (CMH) {Xn }n≥0 avec un espace d’état E = {1, 2, 3, 4, 5, 6} tel que

P (X2 = 6 | X1 ∈ {3, 4}, X0 = 2) 6= P (X2 = 6 | X1 ∈ {3, 4}).

Exercice 3 : Codage alternatif

Dans certains systèmes de communication numérique, une suite de 0 et de 1 (symboles
d’entrée) est codée en une suite de 0, +1 et −1 (symboles de sortie) de la manière suivante.
Un symbole d’entrée 0 est codé en 0, tandis qu’un symbole d’entrée 1 est codé en −1 ou
+1. Le choix entre −1 et +1 est fait de telle sorte que les −1 et les +1 alternent. Le
premier 1 est codé en +1. Par exemple la suite de symboles d’entrée 011101 devient
0, +1, −1, +1, 0, −1.
1. Trouvez un automate avec 4 états +1, −1, 0+ et 0− , pour lequel la suite des états
visités, à part l’état initial fixé à 0+ , est, lorsque 0+ et 0− sont remplacés par 0,
exactement la suite de sortie.
2. On suppose que la suite d’entrée {Zn }n≥1 est iid, avec 0 et 1 équiprobables. La suite
des états de l’automate est alors une CMH dont on demande de calculer la matrice
de transition P et ses itérées Pn , et la distribution stationnaire π.
3. Notons {Yn }n≥0 la suite de symboles de sortie (prenant les valeurs 0,-1, +1). Montrez
que Yn = f (Xn ) pour une function f à identifier, et calculez limn→∞ (E[Yn Yn+k ] −
E[Yn ]E[Yn+k ]) pour tout k ≥ 0.

Exercice 4 : Recherche d’un motif

Considérons le tableau de a et de b de la figure A ci-dessous où une lettre dans une position
donnée est choisie au hasard et équiprobablement dans l’ensemble {a, b}, indépendamment
des autres lettres. On veut calculer la fréquence empirique asymptotique du motif de la
figure B, sans compter les chevauchements. Par exemple, avec la suite de la figure A, on
compte 2 occurences du motif ; la troisième est ignorée car elle chevauche la deuxième
(Figure C).

Trouvez un automate qui lit successivement les colonnes à deux lettres de gauche à droite,
et qui possède un état privilégié ∗ avec la propriété suivante : l’automate entre ou reste
dans l’état ∗ si et seulement si il vient de découvrir un motif qui ne chevauche pas un autre
précédemment découvert. Quelle est la fréquence empirique asymptotique du motif ?

Exercice 5 : Publicité et parts de marché

Trois produits de consommation courante : p1 , p2 , p3 sont en concurrence sur le marché.
Au 15 janvier une enquête réalisée sur un échantillon représentatif de consommateurs a
donné le résultat suivant : 30% des personnes interrogées ont déclaré consommer p1 , 50%
ont déclaré consommer p2 et 20% ont déclaré consommer p3 .

Les fabricants du produit p1 lancent une campagne de publicité qui dure 15 jours afin
de tenter d’accroître leur part de marché. Une enquête réalisée le 31 janvier sur le même
échantillon donne :
– parmi les clients de p1 (au 15 janvier), 50% continuent d’acheter p1 , 40% achètent
p2 et 10% p3 .
– parmi les clients de p2 (au 15 janvier), 70% continuent d’acheter p2 , 30% achètent
p1 .
– parmi les clients de p3 (au 15 janvier), 80% continuent d’acheter p3 , 20% achètent
p1 .
1. Déterminer l’état du marché au 31 janvier.
2. Quel serait cet état au bout d’une seconde campagne de publicité de 15 jours ? (en
admettant que l’enquête du 15 février donne des résultats identiques à celle du 31
janvier).
3. Y a-t-il une limite à l’état du marché au bout d’un grand nombre de campagnes de
publicité ? On admettra que les résultats des enquêtes sont toujours les mêmes.
Exercice 6 : CdM régulière (fortement ergodique)
Montrer que la matrice d’une chaîne de Markov :

0, 2 0, 2 0, 3 0, 3
 
 0 0, 1 0, 8 0, 1 
P= 
0, 1 0 0, 2 0, 7
 
 
0, 6 0, 2 0, 1 0, 1

élevée à la puissance n, tend vers :

457 220 458 533

 

1  457 220 458 533 

P∗ =  
1668  457 220 458 533
 

457 220 458 533
Sans calculer explicitement Pn : tracer d’abord le graphe G associé puis montrer que
G est fortement connexe et que la chaîne est apériodique.

Exercice 7 : Sous-chaînes de Markov

Etant donné la matrice d’une chaîne de Markov :

0 1 2 3 4
 
0 0, 2 0 0, 4 0 0, 4
1 0 0, 3 0 0, 7 0 
 
 
P = 2
 0, 6 0 0, 2 0 0, 2 

3
 0 0, 5 0 0, 5 0 
4 0, 4 0 0, 2 0 0, 4
Etudier la limite de la puissance nème de P lorsque n tend vers l’infini sans calculer
explicitement Pn , en vous aidant du graphe associé.

Exercice 8 : Etats transitoires, périodiques. Ergodicité

Soit la matrice d’une chaîne de Markov :

0 1 2 3 4
 
0 0, 2 0 0 0, 8 0
1 0, 1 0, 2 0, 3 0, 3 0, 1 
 
 
P = 2  0, 2 0, 1 0, 5
 0, 1 0, 1 

3 0, 4 0 0 0, 6 0  
4 0, 2 0, 1 0, 2 0, 1 0, 4
Tracer le graphe et déterminer la classe des états transitoires et celle des états pério-
diques.
On demande d’étudier le comportement de Pn lorsque n augmente indéfiniment.

Exercice 9 : Chaîne périodique

On donne la matrice stochastique ci-dessous et l’on demande d’examiner ce qui se passe
lorsqu’on l’élève à la puissance n. (Tracer d’abord le graphe).
 En particulier, existe-t-il une limite pour Pn lorsque n tend vers l’infini ?

0 1 2 3 4
 
0 0 0, 4 0, 6 0 0
1 0, 8 0 0 0, 2 0 
 
 
P = 2 0, 9 0 0 0, 1 0  
3 0 0, 2 0, 5 0 0, 3 

4 0, 3 0 0 0, 7 0

Exercice 10 : Périodicité d’ordre 3

Soit la chaîne de Markov donnée par le graphe ci-dessous.

1. Ecrire la matrice des probabilités de transition P et montrer que :

 
an an−1 an+1
n
P =  an+1 an an−1 


an−1 an+1 an
où
1 2πn
(1 + 2 cos
an = )
3 3
Expliciter Pn selon que n = 3k, 3k + 1 ou 3k + 2.
2. Soit π (0) = (1, 0, 0), calculer π (n) selon que n = 3k ou n = 3k + 1 ou n = 3k + 2, où
k est un entier positif ou nul.
3. Que peut-on dire de π (∞) lorsque π (0) = ( 31 , 13 , 31 ) ?

Problème 1 : Qualité d’un canal de transmission

On considère un canal qui transmet de façon continue, des bits d’information. Mais ce
canal peut être affecté par des perturbations qui altèrent les bits transmis. Les erreurs
se produisent en général par groupes, c’est-à-dire que lorsqu’un bit est altéré par une
perturbation, la probabilité que le bit suivant soit aussi altéré est importante. Plus préci-
sément, supposons qu’à un certain moment le dernier bit transmis ait été correct : le bit
suivant sera alors transmis correctement avec la probabilité p0 et altéré avec la probabilité
q0 (p0 + q0 = 1). Supposons maintenant que l’avant dernier bit transmis était correct et
que le dernier bit transmis est faux : le bit suivant sera transmis correctement avec la
probabilité p1 et altéré avec la probabilité q1 (p1 + q1 = 1) ; ainsi de suite. Si depuis le
dernier bit transmis correctement, k bits erronés ont été transmis, la probabilité que le
bit suivant soit correct est pk et qu’il soit faux, qk (pk + qk = 1) où 0 ≤ k ≤ N .
Lorsque N bits consécutifs sont erronés depuis le dernier transmis correctement, la
probabilité que le suivant soit correct et comme plus haut pN ; mais si le bit suivant est
faux (probabilité qN ) une réinitialisation fait que tout se passera ensuite comme si l’on
venait de transmettre un bit faux après un bit exact.
1. Modéliser ce canal à l’aide d’une chaîne de Markov comportant N + 1 états, E0 , E1 ,
. . ., Ek , . . . , EN . Dans l’état Ek , depuis le dernier bit transmis correctement k bits
erronés ont été transmis.
Tracer le graphe des transitions entre états lors de la transmissiond’un bit, et le
valuer.
A quel arc correspond la réinitialisation ? A cet arc près, dans quel problème clas-
sique avez-vous rencontré des graphes de ce type ?
2. Pour N = 3, sachant que p0 = 0, 95, p1 = 0, 20, p2 = 0, 15, p3 = 0, 10 :
– Donner la matrice P des probabilités de transition pour une transmission.
– En supposant qu’initialement un bit ait été transmis correctement, donner le
vecteur π (0) des probabilités d’états. Calculer la probabilité pour que les deux
suivants soient faux, à l’aide de P, π (0) , π (1) et π (2) .
3. – La chaîne précédente admet-elle un régime permanent, au bout d’un grand nombre
de transmissions de bits, indépendant de l’état initial ? (Justifier en détail votre
réponse.)
– Si oui, calculer numériquement les probabilités πk∗ (0 ≤ k ≤ 3) de chaque état en
régime permanent (supprimer la première équation qui est redondante ; exprimer
les πk∗ en fonction de π1∗ .
– En déduire la probabilité pour qu’une transmission de bit prise au hasard en
régime permanent soit correcte. Que pensez-vous de la qualité de ce canal ?

Problème 2 : Etude du canal binaire

1. Considérons un système appelé en théorie de la transmission : canal binaire, qui
envoie des bits sur une ligne de transmission. Une mesure a permis de déterminer
que la probabilité pour qu’un bit soit reçu correctement, sachant que le précédent
avait été reçu correcetement, est p11 et que la probabilité pour qu’un bit soit reçu
correctement sachant que le précédent était erroné est p21 .

On peut considérer que ce système évolue entre deux états :

E1 : le dernier bit a été transmis correctement ;
E2 : le dernier bit a été transmis de façon erronée.
1.1. Décrire l’évolution de ce système par le graphe de transition d’une chaîne
de Markov. Définir la matrice M des probabilités de transition et écrire les
équations de Chapmann-Kolmogorov.
1.2. Calculer les valeurs des probabilités p∗1 et p∗2 des états E1 et E2 en régime per-
manent. En déduire M ∗ = limn→∞ M n .

Application numérique : p11 = 0.9 et p21 = 0.7.

2. On appelle capacité du canal la fonction :

C(p∗1 , p∗2 ) = 1 + p∗1 log2 p∗1 + p∗2 log2 p∗2

C traduit la quantité d’information qui peut être transmise par le canal en fonction
du taux d’erreur.
 Trouver le minimum de C et les valeurs de p∗1 et p∗2 correspondantes. En déduire les
valeurs de p11 et de p21 correspondantes. Interpréter ces résultats.

d 1
On remarque que : dx
[log2 x] = xLog2
.
3. Pour diminuer les effets des défauts de transmission, on décide de transmettre après
chaque bit un bit identique (”redondance temporelle”). On essaye de représenter
l’évolution du système par une chaîne à 5 états :
E1 : Le premier bit est transmis correctement, le second n’est pas encore transmis.
E2 : Le premier bit est transmis de façon erronée, le second n’est pas encore trans-
mis.
E3 : Les deux bits ont été transmis de façon correcte.
E4 : Un bit a été transmis de façon correcte, l’autre de façon erronée.
E6 : Les deux bits ont été transmis de façon erronée.
3.1. Expliquer pourquoi il est impossible de définir des probabilités de transmission
avec de tels états.
3.2. Pour pallier les inconvénients précédents, on dédouble l’état E4 , en posant :
E4 : Le premier bit a été transmis de feçon correcte, le second de façon erronée.
E5 : Le premier bit a été transmis de façon erronée, le second de façon correcte.
Après avoir renuméroté les états, tracer le graphe valué associé à la chaîne de
Markov.

Montrer alors que l’espace d’états se partitionne en deux classes : C1 et C2

telles que le système passe lors d’une transition d’un état de C1 à un état de
C2 puis, lors de la transition suivante, d’un état de C2 à un état de C1 (le
graphe obtenu est un graphe biparti).

La limite limn→∞ M n existe-t-elle ?

La solution de P ∗ .M = P ∗ , i p∗i = 1 constitue-t-elle la distribution des pro-

P

babilités en régime permanent ? Résoudre ce système pour les valeurs p11 = 0.9
et p21 = 0.7.
3.3. En assimilant les fréquences p∗i trouvées précédemment à des probabilités, cal-
culer alors pour tout état Ei de C1 :
( )
Le système est dans |Le système est dans
p∗i = P rob
l’état Ei |un état de C1

Faire de même pour les états de C2 . Les valeurs ainsi trouvées sont effecti-
vement des probabilités stationnaires d’une chaîne de Markov (admis ici, ceci
sera prouvé plus loin).

En déduire les probabilités :

– de transmettre une information correctement (deux bits corrects) ;
– d’avoir une erreur détectée (un bit correct, un bit erroné) ;
– de ne pas détecter une erreur (deux bits erronés).
3.4. Supposons qu’à l’instant n, une transmission de deux bits commence. Les états
possibles du système sont au nombre de quatre :
(
Lors de la transmission précédente, les deux bits
E3 =
ont été transmis correctement ;

 Lors de la transmission précédente, le premier bit

E4 = a été transmis de façon correcte, le second de
façon erronée ;




 Lors de la transmission précédente, le premier bit

E5 = a été transmis de façon erronée et le second de
façon correcte ;



(
Lors de la transmission précédente, les deux bits
E6 =
ont été transmis de façon erronée ;
A l’instant n + 2, le système retourne dans un des quatre états précédents.

Déduire par simple inspection du graphe de la chaîne étudiée en 3.2, que les probabi-
lités de transition de Ei vers Ej en deux étapes avec i et j ∈ {3, 4, 5, 6}, constituent
une chaîne de Markov apériodique dont on donnera le graphe valué.