Vous êtes sur la page 1sur 25

1.

Dans les âges sombres, Harvard, Dartmouth et Yale n'admettaient que des étudiants de sexe
masculin. Supposons qu'à ce moment-là, 80 pour cent des fils d'hommes de Harvard sont allés à
Harvard et le reste est allé à Yale, 40 pour cent des fils d'hommes de Yale sont allés à Yale, et le reste
s'est réparti également entre Harvard et Dartmouth; et des fils des hommes de Dartmouth, 70 pour
cent sont allés à Dartmouth, 20 pour cent à Harvard et 10 pour cent à Yale.

(i) Trouvez la probabilité que le petit-fils d'un homme de Harvard soit allé à Harvard.
(ii) Modifiez ce qui précède en supposant que le fils d'un homme de Harvard allait toujours à
Harvard. Encore une fois, trouvez la probabilité que le petit-fils d'un homme de Harvard soit
allé à Harvard.

Solution.

Nous formons d'abord une chaîne de Markov avec l'espace d'états S = {H, D, Y} et la matrice de
probabilité de transition suivante:

P .

Notez que les colonnes et les lignes sont ordonnées: d'abord H, puis D, puis Y. Rappel: la ijème entrée
de la matrice Pn donne la probabilité que la chaîne de Markov commençant à l'état i soit dans l'état j
après n étapes. Ainsi, la probabilité que le petit-fils d'un homme de Harvard soit allé à Harvard est
l'élément supérieur gauche de la matrice

P .

Il est égal à 0,7 = 0,82 + 0,2 × 0,3 et, bien entendu, il n'est pas nécessaire de calculer tous les
éléments de P2 pour répondre à cette question.

Si tous les fils d'hommes de Harvard allaient à Harvard, cela donnerait la matrice suivante pour la
nouvelle chaîne de Markov avec le même ensemble d'états:

L'élément supérieur gauche de P2 est 1, ce qui n'est pas surprenant, car les descendants des hommes
de Harvard n'entrent que dans cette institution.
2.

Envisagez une expérience d'accouplement de lapins. On observe l'évolution d'un particulier

gène qui apparaît sous deux types, G ou g. Un lapin a une paire de gènes, soit GG (dominant), Gg
(hybride - l'ordre n'est pas pertinent, donc gG est le même que Gg) ou gg (récessif). En accouplant
deux lapins, la progéniture hérite d'un gène de chacun de ses parents avec une probabilité égale.
Ainsi, si nous accouplons une dominante (GG) avec un hybride (Gg), la progéniture est dominante
avec une probabilité 1/2 ou hybride avec une probabilité 1/2.

Commencez avec un lapin de caractère donné (GG, Gg ou gg) et accouplez-le avec un hybride. La
progéniture produite est à nouveau accouplée avec un hybride, et le processus est répété sur
plusieurs générations, toujours en s'accouplant avec un hybride.

(i) Notez les probabilités de transition de la chaîne de Markov ainsi définie.

(ii) Supposons que nous commençons avec un lapin hybride. Soit µn la distribution de probabilité du
caractère du lapin de la n-ième génération. En d'autres termes, µn (GG), µn (Gg), µn (gg) sont les
probabilités que le lapin de n-ième génération soit GG, Gg ou gg, respectivement. Calculez µ1, µ2, µ3.
Pouvez-vous faire la même chose pour µn pour le n général?

Solution.

(i) L'ensemble des états est S = {GG, Gg, gg} avec les probabilités de transition suivantes:

Nous pouvons réécrire la matrice de transition sous la forme suivante:

P .

(iii) Les éléments de la deuxième ligne de la matrice Pn nous donneront les probabilités pour un
hybride de donner des espèces dominantes, hybrides ou récessives en (n - 1) ème
génération dans cette expérience, respectivement (lire cette ligne de gauche à droite ). Nous
trouvons d'abord

P
de sorte que µi (GG) = 0,25, µi (Gg) = 0,5, µi (gg) = 0,25, i = 1,2,3.
En fait, les probabilités sont les mêmes pour n'importe quel i ∈ N.Si vous avez obtenu ce
résultat avant 1858 lorsque Gregor Mendel a commencé à élever des pois de jardin dans son
jardin monastique et a analysé la progéniture de ces accouplements, vous seriez
probablement très célèbre car il ressemble vraiment à une loi! C'est ce que Mendel a
découvert en croisant des mono-hybrides.
Dans un cadre plus général, cette loi est connue sous le nom de loi de Hardy-Weinberg.
Comme exercice, montrez que

Essayer!

Une certaine machine à calculer n'utilise que les chiffres 0 et 1. Elle est censée transmettre
l'un de ces chiffres en plusieurs étapes. Cependant, à chaque étape, il y a une probabilité p
que le chiffre qui entre dans cette étape soit changé à sa sortie et une probabilité q = 1 - p
que ce ne soit pas le cas. Formez une chaîne de Markov pour représenter le processus de
transmission en prenant comme états les chiffres 0 et 1. Quelle est la matrice des
probabilités de transition?
Maintenant, dessinez un arbre et attribuez des probabilités en supposant que le processus
commence à l'état 0 et passe par deux étapes de transmission. Quelle est la probabilité que
la machine, après deux étapes, produise le chiffre 0 (c'est-à-dire le chiffre correct)?
Solution. En prenant comme états les chiffres 0 et 1, nous identifions la chaîne de Markov
suivante (en spécifiant les états et les probabilités de transition):

où p + q = 1. Ainsi, la matrice de transition est la suivante:


P.
Il est clair que la probabilité que la machine produise 0 si elle commence par 0 est p2 + q2.

Supposons que la profession d’un homme puisse être qualifiée de professionnel, d’ouvrier
qualifié ou d’ouvrier non qualifié. Supposons que, parmi les fils d'hommes professionnels, 80
pour cent sont des professionnels, 10 pour cent sont des ouvriers qualifiés et 10 pour cent
sont des ouvriers non qualifiés. Dans le cas des fils d'ouvriers qualifiés, 60 pour cent sont des
ouvriers qualifiés, 20 pour cent sont des professionnels et 20 pour cent sont non qualifiés.
Enfin, dans le cas des ouvriers non qualifiés, 50 pour cent des fils sont des ouvriers non
qualifiés et 25 pour cent chacun appartiennent aux deux autres catégories. Supposons que
chaque homme a au moins un fils et forme une chaîne de Markov en suivant la profession
d'un fils choisi au hasard d'une famille donnée sur plusieurs générations. Mettre en place la
matrice des probabilités de transition. Trouvez la probabilité qu'un petit-fils d'un ouvrier non
qualifié choisi au hasard soit un homme de métier. Solution. La chaîne de Markov dans cet
exercice a les états d'ensemble suivants
S = {professionnel, qualifié, non qualifié}
avec les probabilités de transition suivantes:

Professionnel qualifié non qualifié


Professionnel .8 .1 .1
Qualifié .2 .6 .2
Non qualifié .25 .25 .5

de sorte que la matrice de transition pour cette chaîne soit

P
avec

et donc la probabilité qu'un petit-fils choisi au hasard d'un ouvrier non qualifié soit un
professionnel est de 0,375.

J'ai 4 parapluies, certains à la maison, certains au bureau. Je continue de me déplacer entre


la maison et le bureau. Je prends un parapluie avec moi seulement s'il pleut. S'il ne pleut
pas, je laisse le parapluie derrière moi (à la maison ou au bureau). Il peut arriver que tous les
parapluies soient au même endroit, je suis à l'autre, il commence à pleuvoir et doit partir,
alors je me mouille.
1. Si la probabilité de pluie est p, quelle est la probabilité que je me mouille?
2. Les estimations actuelles montrent que p = 0,6 à Édimbourg. Combien de parapluies dois-
je avoir pour que, si je suis la stratégie ci-dessus, la probabilité que je me mouille soit
inférieure à 0,1?
Solution.
Pour résoudre le problème, considérons une chaîne de Markov prenant des valeurs dans
l'ensemble S = {i: i = 0,1,2,3,4}, où i représente le nombre de parapluies à l'endroit où je suis
actuellement (domicile ou Bureau). Si i = 1 et qu'il pleut alors je prends le parapluie, je passe
à l'autre endroit, où il y a déjà 3 parapluies, et, y compris celui que j'apporte, j'ai 4 parapluies
suivants. Ainsi,
p1,4 = p,

car p est la probabilité de pluie. Si i = 1 mais qu'il ne pleut pas alors je ne prends pas le
parapluie, je vais à l'autre endroit et je trouve 3 parapluies. Ainsi,

p1,3 = 1 − p ≡ q.

En continuant de la même manière, je forme une chaîne de Markov avec le schéma suivant:

q p
p
0 1 q 2 3 4
p
p q

Mais cela n'a pas l'air très joli. Alors, nous allons le redessiner:

0 4 1 3 2

Trouvons la distribution stationnaire. En assimilant les flux, nous avons:

π(2) = π(3) = π(1) = π(4) π(0) =


π(4)q.

Egalemrnt

En exprimant toutes les probabilités en termes de π (4) et en insérant dans cette dernière
équation, on trouve

π(4)q + 4π(4) = 1,

Ou

Je me mouille à chaque fois que je me trouve dans l'état 0 et qu'il pleut. La chance que je
sois en état
0 est π (0). La chance qu'il pleuve est p. D'où

Avec p = 0,6, soit q = 0,4, on a


P (HUMIDE) ≈ 0,0545,
moins de 6%. C'est bien.
Si je veux que la chance soit inférieure à 1%, alors, clairement, j'ai besoin de plus de
parapluies. Alors, supposons que j'ai besoin de N parapluies. Configurez la chaîne de Markov
comme ci-dessus. Il est clair que

En insérant) nous trouvons

1 q
π( N )= = π( N − 1)= ··· = π(1) π(0)=
q+ N , q+ N,

et donc

pq
P(WET) = .
q+N

Nous voulons P (WET) = 1/100, ou q + N> 100pq, ou


N> 100pq - q = 100 × 0,4 × 0,6 - 0,4 = 23,6.
Donc, pour réduire le risque d’être mouillé de 6% à moins de 1%, j’ai besoin de 24 parapluies
au lieu de 4. C’est trop. Je préfère me mouiller.

6.

Supposons que ξ0, ξ1, ξ2, ... sont des variables aléatoires indépendantes avec une fonction
de probabilité commune f (k) = P (ξ0 = k) où k appartient, par exemple, aux nombres entiers.
Soit S = {1, ..., N}. Soit X0 une autre variable aléatoire, indépendante de la suite (ξn), prenant
des valeurs dans S et soit f: S × Z → S une certaine fonction. Définissez de nouvelles variables
aléatoires X1, X2, ...
par
Xn + 1 = f (Xn, ξn), n = 0,1,2 ...
(i) Montrer que les Xn forment une chaîne de Markov.
(ii) Trouvez ses probabilités de transition.
Solution. (i) Fixez un temps n ≥ 1. Supposons que vous sachiez que Xn = x. Le but est de
montrer que PAST = (X0, ..., Xn − 1) est indépendant de FUTURE = (Xn + 1, Xn + 2, ...). Les
variables du PAST sont des fonctions de
X0, ξ1, ..., ξn − 2.
Les variables du FUTUR sont des fonctions de
x, ξn, ξn + 1, ...
Mais X0, ξ1, ..., ξn − 2 sont indépendants de ξn, ξn + 1, .... Par conséquent, le PASSÉ et le
FUTUR sont indépendants.
(ii)

P(Xn+1 = y|Xn = x) = P(f(Xn,ξn) = y|Xn = x)

= P(f(x,ξn) = y|Xn = x)

= P(f(x,ξn) = y)
= P(f(x,ξ0) = y) = P(ξ0 ∈ Ax,y),

Ax,y := {ξ : f(x,ξ) = y}.

7.
Discutez des propriétés topologiques des graphiques des chaînes de Markov suivantes:

Solution. Dessinez le diagramme de transition pour chaque cas.


(a) Irréductible? OUI car il existe un chemin entre chaque état et n'importe quel autre état.
Apériodique? OUI car les temps n pour lesquels 0 sont 1,2,3,4,5, ... et leur pgcd est 1.
(b) Irréductible? OUI car il existe un chemin entre chaque état et n'importe quel autre état.
Apériodique? OUI car les temps n pour lesquels 0 sont 1,2,3,4,5, ... et leur pgcd est 1.
(c) Irréductible? NON car à partir de l'état 2, il reste à 2 pour toujours. Cependant, on peut
vérifier que tous les états ont la période 1, simplement parce que pi, i> 0 pour tout i = 1,2,3.
(d) Irréductible? OUI car il existe un chemin entre chaque état et n'importe quel autre état.
Apériodique? NON car les temps n pour lesquels 0 sont 2,4,6, ... et leur pgcd est
2.
(e) Irréductible? OUI car il existe un chemin entre chaque état et n'importe quel autre état.
Apériodique? OUI car les temps n pour lesquels 0 sont 1,2,3,4,5, ... et leur pgcd est 1.

8.

Considérez la tournée du chevalier sur un échiquier: un chevalier sélectionne l'une des


positions suivantes au hasard, indépendamment du passé.
(i) Pourquoi ce processus est-il une chaîne de Markov?
(ii) Qu'est-ce que l'espace d'états?
(iii) Est-il irréductible? Est-ce apériodique?
(iv) Trouvez la distribution stationnaire. Donnez-en une interprétation: qu'est-ce que cela
signifie, physiquement?
(v) Quels sont les états les plus probables à l'état d'équilibre? Quels sont les moins
probables?
Solution. (i) Une partie du problème consiste à le mettre en place correctement en termes
mathématiques. Quand on dit que le «chevalier sélectionne une des positions suivantes au
hasard indépendamment du passé» on veut dire que la prochaine position Xn + 1 est
fonction de la position courante Xn et d'un choix aléatoire ξn d'un voisin. Le problème se
présente donc sous la même forme que celui ci-dessus. Donc (Xn) est une chaîne de Markov.
(ii) L'espace d'état est l'ensemble des carrés de l'échiquier. Il y a 8 × 8 = 64 carrés. Nous
pouvons les étiqueter par une paire d'entiers. Par conséquent, l'espace d'états est

S = {(i1,i2) : 1 ≤ i1 ≤ 8, 1 ≤ i2 ≤ 8} = {1,2,3,4,5,6,7,8} × {1,2,3,4,5,6,7,8}.

(iii) La meilleure façon de voir s'il est irréductible est de prendre un chevalier et de le
déplacer sur un échiquier. Vous réaliserez en effet que vous pouvez trouver un chemin qui
mène le chevalier de n'importe quelle case à n'importe quelle autre case. Par conséquent,
chaque état communique avec tous les autres états, c'est-à-dire qu'il est irréductible.
Pour voir quelle est la période, recherchez la période pour un état spécifique, par exemple à
partir de (1,1). Vous pouvez voir que, si vous démarrez le chevalier à partir de (1,1), vous ne
pouvez le ramener à (1,1) qu'en nombre pair d'étapes. La période est donc 2. La réponse est
donc que la chaîne n'est pas apériodique.
(iv) Vous n'avez aucune chance de résoudre un ensemble de 64 équations avec 64
inconnues, sauf si vous faites une supposition éclairée. Premièrement, il y a beaucoup de
symétrie. Ainsi, les carrés (états) symétriques par rapport au centre de l'échiquier doivent
avoir la probabilité sous la distribution stationnaire. Ainsi, par exemple, les états (1,1), (8,1),
(1,8), (8,8) ont la même probabilité. Etc. Deuxièmement, vous devez comprendre que (1,1)
doit être moins probable qu'un carré plus proche du centre, par ex. (4,4). La raison en est
que (1,1) a moins d'états suivants (exactement 2) que (4,4) (qui a 8 états suivants).
Supposons donc que si x = (i1, i2), alors π (x) est proportionnel au nombre N (x) des états
suivants possibles du carré x: π (x) = CN (x).
Mais il faut MONTRER que ce choix est correct. Disons que y est un VOISIN de x si y est un
état suivant possible de x (s'il est possible de déplacer le chevalier de x vers y en une seule
étape). Il faut donc montrer qu'un tel π satisfait les équations d'équilibre:

π(x) = Xπ(y)py,x.

y∈S

De manière équivalente, en annulant C des deux côtés, on se demande si

N(x) = XN(y)py,x

y∈S

qui est vrai. Mais la somme de droite est nulle sauf si x est un VOISIN de y:

N(x) = X N(y)py,x

y∈S: x voisin de y

Mais la règle du mouvement est de choisir l'un des voisins avec une probabilité égale:

, si x est un voisin de y
y,x
0, autrement.
Ce qui signifie que l'équation précédente devient

N(x) = XX 1

y∈S: x neighbour ofneighbour of y

= X 1,

y∈S: y neighbour of x

où dans la dernière égalité nous avons utilisé le fait évident que x est un voisin de y si et
seulement si y est un voisin de x (symétrie de la relation) et donc la dernière somme est
égale, en effet, N (x). Donc, notre supposition est correcte!
Par conséquent, tout ce que nous avons à faire est de compter les voisins de chaque carré x.
Nous y voilà:

2 3 4 4 4 4 3 2
3 4 6 6 6 6 4 3
4 6 8 8 8 8 6 4
4 6 8 8 8 8 6 4
4 6 8 8 8 8 6 4
4 6 8 8 8 8 6 4
3 4 6 6 6 6 4 3
2 3 4 4 4 4 3 2
Signification de π. Si nous commençons par

2 × 4 + 3 × 8 + 4 × 20 + 6 × 16 + 8 × 16 = 336.

So C = 1/336, and π(1,1) = 2/336, π(1,2) = 3/336, π(1,3) = 4/336, ..., π(4,4) = 8/336, ..., etc.

Signification de π. Si nous commençons par

P (X0 = x) = π (x),
alors, pour tous les instants n ≥ 1, x ∈ S,

P (Xn = x) = π (x), x ∈ S.

(v) Les coins du coin sont les moins probables: 2/336. Les 16 intermédiaires sont les plus

probables:

8/336.

9.

Considérons une chaîne de Markov avec deux états 1,2. Supposons que p1,2 = a, p2,1 = b.

Pour quelles valeurs de a et b obtenons-nous une chaîne de Markov absorbante?

Solution. L'un d'eux (ou les deux) doit être égal à zéro. Parce que, s'ils sont tous les deux

positifs, la chaîne continuera à se déplacer entre 1 et 2 pour toujours.

10.
Smith est en prison et a 3 dollars; il peut sortir sous caution s'il a 8 dollars. Un garde accepte
de faire une série de paris avec lui. Si Smith parie un dollar, il gagne un dollar avec une
probabilité de 0,4 et perd un dollar avec une probabilité de 0,6. Trouvez la probabilité qu'il
gagne 8 dollars avant de perdre tout son argent si (a) il mise 1 dollar à chaque fois (stratégie
timide). (b) il mise, à chaque fois, autant que possible mais pas plus que nécessaire pour
porter sa fortune à 8 dollars (stratégie audacieuse). (c) Quelle stratégie donne à Smith les
meilleures chances de sortir de prison?
Solution. (a) La chaîne de Markov (Xn, n = 0,1, ...) représentant l’évolution de la monnaie de
Smith a un diagramme
0.6 0.6 0.6 0.6 0.6 0.6 0.6 0.6

0 1 2 3 4 5 6 7 8
0.4 0.4 0.4 0.4 0.4 0.4 0.4 0.4

Soit ϕ (i) la probabilité que la chaîne atteigne l'état 8 avant d'atteindre l'état 0, à partir de
l'état i. En d'autres termes, si Sj est le premier n ≥ 0 tel que Xn = j,

ϕ (i) = Pi (S8 <S0) = P (S8 <S0 | X0 = i).

En utilisant l'analyse de première étape (c'est-à-dire la propriété de Markov au temps n = 1),


nous avons
ϕ (i) = 0,4ϕ (i + 1) + 0,6ϕ (i - 1), i = 1,2,3,4,5,6,7
ϕ (0) = 0
ϕ (8) = 1.
Nous résolvons ce système d'équations linéaires et trouvons

ϕ = (ϕ (1), ϕ (2), ϕ (3), ϕ (4), ϕ (5), ϕ (6), ϕ (7))


= (0,0203, 0,0508, 0,0964, 0,1649, 0,2677, 0,4219, 0,6531, 1).

Par exemple, la probabilité que la chaîne atteigne l'état 8 avant d'atteindre l'état 0, à partir
de l'état 3, est la troisième composante de ce vecteur et est égale à 0,0964. Notez que ϕ (i)
augmente en i, ce qui était attendu.

(b) Maintenant, la chaîne est

0.6 0.4
0.4
1
1 0 1 2 3 4 5 6 7 8

0.6
0.6
0.4

et les équations sont:


ϕ (3) = 0,4ϕ (6) ϕ (6)
= 0,4ϕ (8) + 0,6ϕ (4) ϕ (4)
= 0,4ϕ (8) ϕ (0)
= 0 ϕ (8)
= 1.
Nous résolvons et trouvons ϕ (3) = 0,256, ϕ (4) = 0,4, ϕ (6) = 0,64.
(c) En comparant les troisièmes composantes du vecteur ϕ, nous constatons que la stratégie
audacieuse donne à Smith une meilleure chance de sortir de prison.

11.

Une chaîne de Markov avec un espace d'états {1,2,3} a une matrice de probabilité de
transition

Montrez que l'état 3 est absorbant et, à partir de l'état 1, trouvez le temps attendu jusqu'à
ce que l'absorption se produise.
Solution. Soit ψ (i) le temps attendu pour atteindre l'état 3 à partir de l'état i, où i ∈ {1,2,3}.
Nous avons

ψ(3) = 0
1 1
ψ(2) = 1 + ψ(2) + ψ(3)
2 2
ψ(1)= 1 +1/3 ψ(1)+1/3ψ(2)
+1/3ψ(3).

Nous résolvons et trouvons

ψ(3) = 0, ψ(2) = 2, ψ(1) = 5/2.


12.
Une pièce équitable est lancée à plusieurs reprises et indépendamment. Trouvez le nombre attendu
de lancers jusqu'à ce que le modèle HTH apparaisse.

Solution.

Appelez HTH notre cible. Considérons une chaîne qui commence à partir d'un état appelé rien ∅ et
est finalement absorbée à HTH. Si nous lançons d'abord H, nous passons à l'état H car c'est la
première lettre de notre cible. Si nous lançons un T, nous revenons à ∅ après avoir dépensé 1 unité
de temps. Etant dans l'état H, soit nous passons à un nouvel état HT si nous rapprochons T et nous
sommes 1 pas plus près de la cible ou, si nous ramenons H, nous retournons à H: nous avons dépensé
1 unité de temps, mais le nouveau H peut être le début d'une cible. Dans l'état HT, nous passons à
HTH et nous avons terminé ou, si T se produit, nous passons à ∅. Le diagramme de transition est

Renommez respectivement les états ∅, H, HT, HTH en 0,1,2,3. Soit ψ (i) le nombre de pas attendu
pour atteindre HTH à partir de i. Nous avons

ψ(2) = 1 +1/2 ψ(0)

ψ(1) = 1 +1/2 ψ(1) + 1/2ψ(2)

ψ(0) = 1 + 1/2ψ(0) + 1/2ψ(1).

Nous résolvons et trouvons ψ (0) = 10.

13.

Considérons une chaîne de Markov avec des états S = {0, ..., N} et des probabilités de transition pi, i +
1 = p, pi, i − 1 = q, pour 1 ≤ i ≤ N - 1, où p + q = 1, 0 <p <1; supposons p0,1 = 1,

pN, N − 1 = 1.

1. Dessinez le graphique (= diagramme de transition).

2. La chaîne de Markov est-elle irréductible?

3. Est-ce apériodique?
4. Quelle est la période de la chaîne? 5. Trouvez la distribution stationnaire. Solution. 1. Le
diagramme de transition est:

P p p p

0 1 2 i−1 i N−1 N
q p p
q q q q

. Oui, il est possible de passer de n'importe quel état à n'importe quel autre état.

3. Oui, car p0,0> 0.

4. Un.

5. Nous écrivons des équations d'équilibre en égalisant les flux:

π (i) q = π (i - 1) p,

11 tant que 1 ≤ i ≤ N. Par conséquent

Puisque

nous trouvons

qui donne

tant que p = 6 q. Donc, si p = 6 q,

Si p = q = 1/2, alors

Et donc
, pour tout i.
Ainsi, dans ce cas, π (i) est la distribution uniforme sur l'ensemble des états.

14.

A. Supposons qu'une expérience a m résultats également probables. Montrer que le nombre


attendu d'essais indépendants avant la première occurrence de k occurrences consécutives
de l'un de ces résultats est

mk − 1
.
m−1

Astuce: Formez une chaîne de Markov absorbante avec les états 1, 2, ..., k avec l'état i représentant
la longueur de la course actuelle. Le temps attendu jusqu'à ce qu'une course de k soit 1 de plus que
le temps prévu jusqu'à ce que l'absorption de la chaîne démarre à l'état 1.

B. On a constaté que, dans le développement décimal de π = 3,14159 ..., en commençant par le 24


658 601e chiffre, il y a une série de neuf 7. Que diriez-vous de votre résultat sur le nombre attendu
de chiffres nécessaires pour trouver une telle course si les chiffres sont produits de manière
aléatoire?

Solution.
A. Soit les résultats a, b, c, ... (m d'entre eux au total). Supposons que a soit le résultat souhaitable.
Nous avons mis en place une chaîne comme suit. Ses états sont

Ou, plus simplement, 0,1,2, ..., m. L’état k signifie que vous êtes actuellement à la fin d’une série de k
a. Si vous voyez un a supplémentaire (avec probabilité 1 / m), vous passez à l'état k + 1. Sinon, vous
passez à ∅. Soit ψ (k) le nombre de pas attendu jusqu'à ce que l'état m soit atteint, à partir de l'état
k: ψ (k): = EkSm.

Nous voulons trouver ψ (0). Nous avons


ψ (k) = 1 + (1 - 1 / m) ψ (0) + (1 / m) ψ (k + 1).

En résolvant ces problèmes, nous trouvons

B. Donc, pour obtenir 10 six consécutifs en lançant un dé, vous avez besoin de plus de 12 millions de
lancers sur la moyenne (12 093 235 lancers pour être exact).

C. Ils ne sont pas aléatoires. S'ils l'étaient, nous nous attendons à devoir choisir (109 - 1) / 9 chiffres
avant de voir neuf sept consécutifs. Cela représente environ 100 millions de chiffres. La position
réelle (24 millions de chiffres) est un quart de celle attendue.
15.

Un rat traverse le labyrinthe illustré ci-dessous. À chaque pas, il quitte la pièce dans laquelle il se
trouve en choisissant au hasard l'une des portes de la pièce.

(a) Donner la matrice de transition P pour cette chaîne de Markov. (b) Montrer qu'il est irréductible
mais pas apériodique. (c) Trouvez la distribution stationnaire (d) Supposons maintenant qu'un
morceau de cheddar mûr soit placé sur un piège mortel dans la salle 5. La souris commence dans la
salle 1. Trouvez le nombre de pas escompté avant d'atteindre la salle 5 pour la première fois, à partir
de la salle 1. (e) Trouvez l'heure prévue pour retourner dans la salle 1.

Solution

a) La matrice de transition P pour cette chaîne de Markov est la suivante:

(b) La chaîne est irréductible, car il est possible de passer de n'importe quel état à n'importe quel
autre état. Cependant, ce n'est pas apériodique, car pour tout n pair sera nul et pour tout n impair
sera également nul (pourquoi?). Cela signifie qu'il n'y a pas de puissance de P qui aurait toutes ses
entrées strictement positives.

(c) La distribution stationnaire est


Vous devez effectuer les calculs et vérifier que cela est correct.

(d) Nous trouvons à partir de π que le temps moyen de récurrence (c'est-à-dire le temps attendu de
retour) pour la pièce 1 est 1 / π (1) = 12.

(e) Soit (i) = E (nombre de pas pour atteindre l'état 5 | X0 = i).

On a ψ (5) = 0 ψ (6) = 1 + (1/2) ψ (5) + (1/2) ψ (4) ψ (4) = 1 + (1/2) ψ (6) + (1/2) ψ (3) ψ (3) = 1 + (1/4)
ψ (1) + (1/4) ψ (2) + (1/4) ψ (4) + (1 / 4) ψ (5) ψ (1) = 1 + ψ (3) ψ (2) = 1 + ψ (3).

Nous résolvons et trouvons ψ (1) = 7.

16.

Montrer que si P est la matrice de transition d'une chaîne irréductible avec un nombre fini d'états,
alors Q: = (1/2) (I + P) est la matrice de transition d'une chaîne irréductible et apériodique. (Notez
que je représente la matrice d'identité, c'est-à-dire la matrice qui a 1 partout sur sa diagonale et 0
partout ailleurs.)

Montrer que P et (1/2) (I + P) ont les mêmes distributions stationnaires. Discutez, physiquement, de
la façon dont les deux chaînes sont liées.

Solution.
Soit pij les entrées de P. Alors les entrées qij de Q sont

Si i =6 j,

Le graphique de la nouvelle chaîne a plus de flèches que l'original. Par conséquent, il est également
irréductible. Mais la nouvelle chaîne a également des boucles automatiques pour chaque i car qii> 0
pour tout i. C'est donc apériodique.

Soit π une distribution stationnaire pour P. Alors

πP = π.

Il faut montrer que πQ = π.

Mais

La signification physique de la nouvelle chaîne est qu'elle représente un ralentissement de la chaîne


d'origine. En effet, toutes les probabilités de sortie ont été divisées par deux, tandis que la
probabilité de rester dans le même état a été augmentée. La chaîne effectue les mêmes transitions
que l'original mais reste plus longtemps à chaque état.

17.
Deux joueurs, A et B, jouent le jeu des centimes correspondants: à chaque fois n, chaque joueur a un
sou et doit secrètement tourner le sou en pile ou face. Les joueurs révèlent alors leurs choix
simultanément. Si les centimes correspondent (les deux faces ou les deux queues), le joueur A
remporte le centime. Si les centimes ne correspondent pas (une face et une pile), le joueur B
remporte le centime. Supposons que les joueurs aient entre eux un total de 5 centimes. Si à tout
moment un joueur a tous les centimes, pour continuer le jeu, il en redonne un à l'autre joueur et le
jeu continuera. (a) Montrez que ce jeu peut être formulé comme une chaîne de Markov. (b) La
chaîne est-elle régulière (irréductible + apériodique?) (c) Si le joueur A commence avec 3 centimes et
le joueur B avec 2, quelle est la probabilité que A perde ses centimes en premier?

Solution

(a) Le problème est simple: la probabilité que deux centimes correspondent est de 1/2. La
probabilité qu'ils ne correspondent pas est de 1/2. Soit x le nombre de centimes que possède A.
Ensuite, avec une probabilité 1/2, il aura ensuite x + 1 centimes ou avec une probabilité 1/2, il aura
ensuite x -1 centimes. L'exception est lorsque x = 0, auquel cas, il obtient, gratuitement, un sou de B
et il a ensuite 1 centime. De plus, si x = 5, il donne un sou à B et il en a ensuite 4. Ainsi:

1 1/2 1/2 1/2 1/2

0 1 2 3 4 5

1/2 1/2 1/2 1/2 1

b) La chaîne est clairement irréductible. Mais la période est de 2. Elle n'est donc pas régulière.
(c) Pour ce faire, modifiez la chaîne et arrêtez-la dès que l'un des joueurs perd ses centimes.
Après tout, nous ne sommes PAS intéressés par le comportement de la chaîne après cette
période. La modification est une chaîne absorbante:

1/2 1/2 1/2 1/2

0 1 2 3 4 5
1

1/2 1/2 1/2 1/2 1

On veut alors calculer la probabilité absorbante ϕ01 (3) où


ϕ01 (i) = Pi (frapper 0 avant 1).

Écrivez ϕ (i) = ϕ01 (i), par souci de concision, et appliquez l'analyse de première étape:
ϕ (0) = 1

ϕ (1) = 1/2ϕ (0) +1/2 ϕ (1)

ϕ (2) =1/2 ϕ (1) + 1/2ϕ (2)

ϕ (3) =1/2 ϕ (2) + 1/2ϕ (3)

ϕ (4) = 1/2ϕ (3) + 1/2ϕ (4)


ϕ (5) = 0.

Six équations avec six inconnues. Résolvez et trouvez: ϕ (3) = 2/5.

Sinon, observez, à partir du théorème de Thales 6, que ϕ doit être une ligne droite:

ϕ (x) = ax + b.

De ϕ (0) = 1, ϕ (5) = 0, on trouve a = −1/5, b = 1, c'est-à-dire

ϕ (i) ≡ 1 - (i / 5),

qui est en accord avec ce qui précède.

18.

le processus se déplace sur les nombres entiers 1, 2, 3, 4 et 5. Il commence à 1 et, à chaque fois
step, se déplace vers un entier supérieur à sa position actuelle, se déplaçant avec une probabilité
égale vers chacun des nombres entiers plus grands restants. L'état cinq est un état absorbant.
Trouver le nombre d'étapes prévu pour atteindre l'état cinq.
Solution.

Une chaîne de Markov est définie et sa matrice de probabilité de transition est la suivante:

Nous appliquons l'analyse de première étape pour la fonction

ψ(i) := EiS5, 1 ≤ i ≤ 5,

Le théorème de Thales dit (prouvé autour du 6 an 600 avant


notre ère) dit que si les lignes L, L ′ sont parallèles alors

où S5 = inf {n ≥ 0: Xn = 5}. L'une des équations est ψ (5) = 0


(évidemment). Un autre est

C'est à vous d'écrire les équations restantes et de les résoudre pour trouver
19.

Généraliser l'exercice précédent, en remplaçant 5 par un entier positif général n. Trouvez le nombre
d'étapes prévu pour atteindre l'état n, en partant de l'état 1. Testez votre conjecture pour plusieurs
valeurs différentes de n. Pouvez-vous conjecturer une estimation du nombre prévu d'étapes pour
atteindre l'état n, pour un grand n?

Solution. La réponse ici est

On reconnaît ici la série harmonique:

pour n grand, dans le sens où la différence des deux côtés converge vers une constante. Alors,
E1Sn ≈ logn,

quand n est grand.


20.

Un joueur joue un jeu dans lequel à chaque jeu il gagne un dollar avec une probabilité p et perd un
dollar avec une probabilité q = 1 - p. Le problème de la ruine du joueur est le problème de trouver
ϕ (x): = la probabilité de gagner un montant b avant de tout perdre, en commençant
par l'état x = Px (Sb <S0).
1. Montrer que ce problème peut être considéré comme une chaîne de Markov absorbante avec des
états 0,1,2, ..., b, avec des états absorbants 0 et b.

2. Notez les équations satisfaites par ϕ (x). 3. Si p = q = 1/2, montrez que ϕ (x) = x / b.
4. Si p = 6 q, montrez que

Solution.

1. Si la fortune actuelle est x, la prochaine fortune sera soit x + 1 soit x − 1, avec une probabilité
p ou 1, respectivement, tant que x n'est pas b ou x n'est pas 0. Nous supposons
l'indépendance entre les jeux, donc la prochaine fortune ne dépendra pas des précédentes;
d'où la propriété Markov. Si la fortune atteint 0, le joueur doit arrêter de jouer. Donc 0 est
absorbant. S'il atteint b, le joueur a atteint la cible et le jeu s'arrête à nouveau. Ainsi, 0 et T
sont tous deux des états absorbants. Le diagramme de transition est:

p p p p p
0 1 2 x−1 x x+1 T−2 T−1 T

q q q q q

2. Les équations sont:


ϕ (0) = 0 ϕ (b) = 1

ϕ (x) = pϕ (x + 1) + qϕ (x - 1), x = 1,2, ..., b - 1.

3. Si p = q = 1/2, nous avons

Cela signifie que le point (x, ϕ (x)) dans le plan est au milieu du segment avec les extrémités (x - 1, ϕ
(x - 1)), (x + 1, ϕ (x + 1)) . Le graphe de la fonction ϕ (x) doit donc être sur une ligne droite (théorème
de Thales):

wx+1
wx
wx−1

x−1 x x+1

En d'autres termes,

ϕ (x) = Ax + B.

On détermine les constantes A, B à partir de ϕ (0) = 0, ϕ (b) = 1. Ainsi, ϕ (x) = x / b.

4. Si p = 6 q, alors cette belle propriété linéaire ne tient pas. Cependant, si nous substituons la
fonction donnée aux équations, nous voyons qu'elles sont satisfaites.

21.

Considérons la chaîne de Markov avec la matrice de transition

(a) Montrer que c'est irréductible et apériodique.

(b) Le processus est démarré à l'état 1; trouver la probabilité qu'il soit dans l'état 3 après deux
étapes.
(c) Trouvez la matrice qui est la limite de Pn comme n → ∞.

Solution
1/6

1/2 1/4 1

3/4
1/3

(a) Dessinez le diagramme de transition et observez qu'il existe un chemin entre chaque état et
n'importe quel autre état. Par conséquent, il est irréductible. Considérons maintenant un état, disons
l'état i = 1 et les instants n auxquels 0. Ces instants sont 1,2,3,4,5, ... et leur pgcd est 1. Par
conséquent, il est apériodique. La chaîne est donc régulière.

(b)

(c) La limite existe parce que la chaîne est régulière. Il est donné par

où π = (π (1), π (2), π (3)) est la distribution stationnaire qui est trouvée en résolvant les équations
d'équilibre

πP = π,
ensemble avec

π (1) + π (2) + π (3) = 1.

Les équations d'équilibre sont équivalentes à

π (1) 1/6+ π (1) 1/3= π (2)3/4

π (3) = π (2)1/4 + π (1)1/6.

Résoudre les 3 dernières équations avec 3 inconnues que nous trouvons

D'où
22.

Montrer qu'une chaîne de Markov avec une matrice de transition

a plus d'une distribution stationnaire. Trouvez la matrice vers laquelle converge Pn, comme n → ∞,
et vérifiez qu'il ne s'agit pas d'une matrice dont toutes les lignes sont identiques. Vous devriez
travailler cet exercice par des méthodes directes, sans faire appel à la théorie limitative générale des
chaînes de Markov - voir les notes de cours.

Solution. Le diagramme de transition est:

1/4
1

1/2

1/4

Écris les équations d'équilibre πP = π:

ou

π (1) · 1 + π (2) · (1/4) + π (3) · 0 = π (1) (1)

π (1) · 0 + π (2) · (1/2) + π (3) · 0 = π (2) (2)


π (1) · 0 + π (2) · (1/4) + π (3) · 1 = π (3), (3)

avec la condition de normalisation Pπ (i) = 1, c'est-à-dire


π (1) + π (2) + π (3) = 1. (4)

et résoudre pour π (1), π (2), π (3). L'équation (1) donne

π (2) = 0.

L'équation (2) donne π (2) = π (2),

c'est-à-dire qu'il est inutile. L'équation (3) donne

π (3) = π (3),

encore une fois, évidemment vrai. L'équation (4) donne

π (1) + π (3) = 1.
Par conséquent, les équations (1) - (4) sont ÉQUIVALENTES À:

π (2) = 0, π (1) + π (3) = 1.


Par conséquent, nous pouvons fixer π (1) à N'IMPORTE QUELLE valeur que nous aimons entre 0 et 1,
disons π (1) ≡ p, puis soit π (3) = 1 − p. Il n'y a donc pas qu'une seule distribution stationnaire, mais
une infinité. Pour chaque valeur de p ∈ [0,1], tout π de la forme

est une distribution stationnaire.

Pour trouver la limite de Pn comme n → ∞, nous calculons les entrées de la matrice Pn. Notez que
l'entrée (i, j) de Pn est égale à

Si i = 1 nous avons

P1 (Xn = 1) = 1, P1 (Xn = 2) = 0, P1 (Xn = 3) = 0,

parce que l'état 1 est absorbant. De même, l'état 3 est absorbant:

P3 (Xn = 1) = 0, P3 (Xn = 2) = 0, P3 (Xn = 3) = 1.

On connaît donc les première et troisième lignes de Pn:

Nous calculons maintenant les entrées manquantes de la deuxième ligne par de simples
observations, basées sur le fait que la chaîne, commencée à l'état 2, restera à 2 pendant un certain
temps, puis la quittera et passera à 1 ou 3:

P2 (Xn = 2) = P2 (la chaîne est restée à l'état 2 pendant n étapes consécutives) = (1/2) n.

Par conséquent,

Puisque 0.5n → 0 comme n → ∞, on a

P.
23.

Lancez un dé juste à plusieurs reprises. Soit Sn le total des résultats du nième tirage au sort. Montrez
qu'il existe une valeur limite pour la proportion des n premières valeurs de Sn qui sont divisibles par
7, et calculez la valeur de cette limite.

Astuce: La limite souhaitée est une distribution stationnaire pour une chaîne de Markov appropriée
avec 7 états.

Solution.

Un entier k ≥ 1 est divisible par 7 s'il laisse le reste 0 lorsqu'il est divisé par

7. Lorsque nous divisons un entier k ≥ 1 par 7, les restes possibles sont

0,1,2,3,4,5,6.

Soit X1, X2, ... les résultats d'un lancer de dé juste. Ce sont i.i.d. variables aléatoires uniformément
réparties dans {1,2,3,4,5,6}. On nous demande de considérer la somme

Sn = X1 + ··· + Xn.

Clairement, Sn est un entier. Nous nous intéressons au reste de Sn lorsqu'il est divisé par 7. Appelez
cela Rn. Alors:

Rn: = le reste de la division de Sn par 7.

Notez que les variables aléatoires R1, R2, R3, ... forment une chaîne de Markov car si nous
connaissons la valeur de Rn, tout ce que nous avons à faire pour trouver la prochaine valeur Rn + 1
est d'ajouter Xn à Rn, diviser par 7 , et prenez le reste de cette division, comme dans l'arithmétique
primaire:

Rn + 1 = le reste de la division de Rn + Xn par 7.


Nous devons trouver les probabilités de transition

pi, j: = P (Rn + 1 = j | Rn = i)

= P (le reste de la division de i + Xn par 7 est égal à j)

pour cette chaîne de Markov, pour tout i, j ∈ {0,1,2,3,4,5,6}. Mais Xn prend des valeurs dans
{1,2,3,4,5,6} avec des probabilités égales 1/6. Si à un i nous ajoutons un x choisi parmi {1,2,3,4,5,6}
puis divisons par 7 nous allons obtenir n'importe quel j dans {0,1,2,3,4,5,6 }. Par conséquent,

pi, j = 1/6, pour tout i et tout j ∈ {0,1,2,3,4,5,6}.


On nous demande de considérer la proportion des n premières valeurs de Sn divisibles par 7, à savoir
la quantité

Cette quantité a une limite de la loi forte des grands nombres pour les chaînes de Markov et la limite
est la distribution stationnaire à l'état 0:
Par conséquent, nous devons calculer π pour la chaîne de Markov (Rn). C'est très simple. A partir de
la symétrie, tous les états i doivent avoir le même π (i). Par conséquent

π (i) = 1/7, i = 0,1,2,3,4,5,6.

D'où

P lim X1(Rk = 0) = 1/7! = 1. n 1


n→∞ n
k=1

En d'autres termes, si vous lancez un dé juste 10000 fois, alors environ 1667 fois n vous aviez une
somme Sn qui était divisible par 7, et cela est vrai avec une probabilité très proche de 1

Vous aimerez peut-être aussi