Simulation Monte-Carlo

Par chaines de Markov

Introduction
 La méthode de Monte-Carlo a vu son essor à partir de la n de la seconde guerre mondiale, essentiellement
dans le cadre du projet americain "Manhattan" concernant le développement de l'arme nucléaire. Cette
époque correspond également à la construction des premiers "ordinateurs". Ce projet étant été classé "secret
défense", il est dicile de savoir exactement qui parmi ses pionniers : Von Neumann, Ulam, Metropolis a
proposé le nom de "MonteCarlo". Quoi qu'il en soit, ce terme fait référence aux jeux de hasard : la capitale
de la principauté de Monaco. Le terme méthode de Monte-Carlo désigne une famille de méthodes
algorithmiques visant à calculer une valeur numérique approchée en utilisant des procédés aléatoires, c'est-à-
dire des techniques probabilistes. D'un point de vue purement mathématique, une méthode de Monte-Carlo
peut servir au calcul d'intégrales (simples ou multiples) et à la résolution d'équations aux dérivées partielles,
de systèmes linéaires et de problèmes d'optimisation. D'une manière plus globale, elle permet d'avancer
toutes les possibilités liées à une observation, en quantiant le risque associé (ou l'incertitude statistique).
Pratiquement, ces techniques sont couramment utilisées dans divers domaines (physique,
ingénierie,finance..).
 Le problème traité est donc le calcul de R h(x)d π(x), où π est une loi de probabilité et h est une fonction
donnée. Il existe des cas où on ne peut pas simuler π par les méthodes précédentes de simulation, la
méthode de Monte Carlo par chaîne de Markov pour résoudre de tels problèmes "plus finis" .
Explication générale
 Les méthodes de Monte Carlo en chaîne de Markov créent des échantillons à partir d'une variable aléatoire continue
, avec une densité de probabilité proportionnelle à une fonction connue. Ces échantillons peuvent être utilisés pour
évaluer une intégrale sur cette variable, comme sa valeur attendue ou sa variance .
 Pratiquement, un ensemble de chaînes se développe généralement à partir d'un ensemble de points arbitrairement

choisis et suffisamment éloignés les uns des autres. Ces chaînes sont des processus stochastiques de «marcheurs» qui
se déplacent au hasard selon un algorithme qui recherche des endroits avec une contribution raisonnablement élevée
à l'intégrale pour passer au suivant, leur attribuant des probabilités plus élevées.
Les méthodes de marche aléatoire de Monte Carlo sont une sorte de simulation aléatoire ou méthode de Monte Carlo
. Cependant, alors que les échantillons aléatoires de l'intégrande utilisés dans une intégration classique de
Monte Carlo sont statistiquement indépendants , ceux utilisés dans MCMC sont autocorrélés . Les corrélations
d'échantillons introduisent la nécessité d'utiliser le théorème central limite de la chaîne de Markov lors de
l'estimation de l'erreur des valeurs moyennes.
Méthode de Monte-Carlo par
Chaînes de Markov.
 L'objectif est toujours de calculer I = R h(x)d π(x), où π est une loi de probabilité. Dans la section
précédente, on a estimé I
 ∑ h (Xk)
 où X1, ..., Xn est un échantillon de variables aléatoires indépendantes de même loi π. le problème est
dans la simulation d'un échantillon i.i.d de la loi π, car elle n'est pas toujours explicitable .
 La méthode de Monte-Carlo par chaîne de Markov donne une estimation de I égale à ;
 ∑ h (Xk)
 où X1, ..., Xn des états successifs d'une chaîne de Markov. Avant d'aller à la justification de la méthode,
on passe par quelques rappels sur les chaînes de Markov.
Rappel sur les chaines de markov
 matrice de transition P sur espace d’états fini ou dénombrable E .
 (Xn )n∈ IN : chaîne de Markov d’état initial x et de matrice de transition P .
 Une mesure π sur E est un vecteur dont tous les termes sont positifs. Elle est invariante si;
 πP = π.
 Une probabilité π est une mesure telle que ; ∑ π(X) = 1.
 Une probabilité π est réversible si ;
 ∀(x, y) ∈ E^2 , πy P(y, x) = πx P(x, y).
 Alors elle est invariante.
 On dit qu'une suite de variables aléatoires (Xn)n∈N, à valeurs dans (E,P(E)) est défnie sur un espace
probabilisé (Ω, A, P), est une chaîne de Markov si
 ∀i, j ∈ S, P(Xn+1 = j|Xn = i) = P(X1 = j|X0 = i)
 k
Théoreme Ergodique

 Soit P une matrice de transition irréductible. On suppose qu’il existe une probabilité invariante π.
 Alors :
 π est l’unique probabilité invariante et π(x) > 0 pour tout x ∈ E
 Tous les états sont récurrents (chaîne dite récurrence positive)
 Pour tout état x ∈ E et toute fonction f : E → R telle que ;
 ∑E | f(x) |π(x) < +∞.
Principe de la méthode
 Pour calculer une intégrale par rapport à π,
 remplacer la simulation d’une suite de v.a. i.i.d. de loi π par celle d’une chaîne de
Markov irréductible de probabilité invariante π,
 puis la loi forte des grands nombres par le théorème ergodique
Algorithme de Hastings-Metropolis
Proprieté
1. Cet algorithme accepte systÈmatiquement les simulations xt telle que le rapport de vraisemblance
2. so soit supérieur à la valeur précédente.

3. l’algorithme de Metropolis-Hastings ne fait intervenir que les rapports et

donc Il est semblable à la méthode d’acceptation-rejet (indÈpendant de la constante de normalisation)
4. Les derniers points de l’étape 2 de l’algorithme peuvent se traduire:
Si ; on accepte xt , , on accepte xt ,
Sinon on l’accepte quand méme avec probabilité
 Metropolis-Hastings – Cas indépendant
 L’algorithme de Metropolis-Hastings peut étre présenté comme une généralisation de l’algorithme
d’acceptation-rejet, tel que la loi instrumentale q est indépendante de Øt : Dans ce cas q(xt | Øt ) sera noté
g(Øt ), par analogie. Et l’algorithme s’Ècrit ;
Metropolis-Hastings - Marche aléatoire
 Une autre version de l’algorithme de Metropolis-Hastings utilise des propositions basées sur des pas de
marche aléatoire. En prend en compte la valeur précédemment générée pour simuler la suivante, la loi
instrumentale q(xt |Øt ) sera ainsi Ècrit g(x -Ø), c’est-à-dire que xt peut s’écrire Øt + e, tel que e Ètant une
perturbation aléatoire de g, indépendante de Øt , ainsi la chaine de Markov générée associée à q est une
marche aléatoire. L’algorithme s’écrit;
 Remarque ; Remarque ; Remarque ; Remarque ; Remarque ; Remarque Remarque ; 1 Si la loi de
prposition propsition q est symétrique
alr ;

◦
◦
Algorithme déchantillonnage de Gibbs
 La formulation générale de l’algorithme d’échantillonnage de Gibbs pour une
loi jointe π(Ø1; :::; Øp), de lois conditionnelles complétes π 1; :::; πp est
exposée comme suit à l’algorithme d’échantillonnage de Gibbs
 Proposition

1. Le taux d’acceptation de l’échantillonnage de Gibbs est uniformément égale à 1. Toutes les valeurs
simulées sont acceptés
2. L’utilisation de l’échantillonage de Gibbs entraine des limitations fortes sur le choix des paramétres des
lois instrumentales et suppose une connaissance préalable de certaines propriétés probabilistes ou
analytiques de .
3. 3. L’échantillonnage de Gibbs est nécessairement multidimensionnel, meme si certaines composantes
du vecteur simulé sont artifcielles du point de vue du probléme inférentiel correspondant .
4. L’échantillonnage de Gibbs ne fonctionne pas lorsque le nombre de paramétre est une variable .
convergence des méthodes MCMC
 Sous des conditions relativement générales, les chaines produites par les algorithmes MCMC sont ergodiques, ces résultats sont
cependant insufisants lorsqu’on considére la mise en úuvre des méthodes MCMC, puisqu’ils ne fournissent pas directement des
moyens de controle de la chaine produite (dans le sens díune régle d’arret permettant d’assurer que le nombre d’itérations est
sufisant) L’objectif de cette section est de proposer es outils qui permettent de répondre à :
 - A partir de quel moment pouvons-nous amener que l’échantillon ( X(t) ) sont distribuées selon la loi cible?
 - Combien d’échantillons sont nécessaires pour obtenir une estimation précise de (X(t) )?
 Pour cela plusieurs méthodes sont élaborées, et parmi ces méthodes on cite :.

1. Méthodes de comparaison inter-intra chaines

2. Méthodes non paramétrique

3. Méthodes graphiques
Dificultés des méthodes MCMC
 Les méthodes MCMC présentent des dificultés importantes à savoir :

 Le choix de la loi instrumentale

 La convergence : cíest-à-dire l’atteinte de l’équilibre de la chaine de Markov peut Ítre trËs lente, surtout
lorsque π(Ø|y) est dificile ‡ approximer par une densité de transition q facilement simulable.
 Par ailleurs, méme si il y a la convergence, détecter ‘le temps de chauffe est loin d’étre Èvident.
 MCMC est couteuse en temps de calcul.