Vous êtes sur la page 1sur 82

Mthodes de Simulations

Emmanuel Flachaire
Mars 2003.

Universit Paris I Panthon-Sorbonne

iii

Ces notes de cours sont destines aux tudiants de DEA de l'cole doctorale ETAPE de l'Universit Paris I Panthon-Sorbonne. Elles ont t labores en grande parties partir des rfrences suivantes : 1. Le nouveau manuel de Russell Davidson et James G. MacKinnon, intitul

Theory and Methods, publi chez Oxford University Press.


intitul

Econometric

2. Le manuel d'un niveau plus avanc, de Russell Davidson et James G. MacKinnon,

Estimation and Inference in Econometrics, publi chez Oxford University Press,

dont certains chapitres traduits en franais sont disponibles l'adresse suivante

http://russell.cnrs-mrs.fr/EIE.
3. L'article

"Les mthodes du bootstrap dans les modles de rgression",


2000
dans le numro

que j'ai crit et

qui est paru en 4. L'article

142

de la revue

conomie et Prvision.

"Proprits en chantillon ni des tests robustes l'htroscdasticit de forme inconnue", que j'ai crit et qui devrait paratre dans un prochain numro de la revue
Annales d'conomie et de Statistique.

iv

Table des matires


1 Fondements
1.1 1.2 1.3 1.4 Dnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Test exact . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Test asymptotique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1
1 4 6 9

Performances numriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2 Les Mthodes de Monte Carlo


2.1 2.2 2.3 2.4 2.5 2.6 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gnrateurs de nombres alatoires . . . . . . . . . . . . . . . . . . . . . . . . Mise en uvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Prsentation des rsultats Application I . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13
13 17 20 29 33 36

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Application II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 Les Mthodes du Bootstrap


3.1 3.2 3.3 3.4 3.5 3.6 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49
49 50 54 60 62 63

Mise en uvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Les intervalles de conance . . . . . . . . . . . . . . . . . . . . . . . . . . . . Application I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Application II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Chapitre 1 Fondements
Le rle de l'conomtrie est de concilier la thorie conomique, les mthodes statistiques et les donnes observes. Initialement utilise pour estimer les modles de la thorie conomique sans remettre en cause leurs fondements, la nature de l'conomtrie a profondment t transforme depuis une trentaine d'annes. L'inadquation des rsultats avec la prdiction conomique et la ncessit de prendre en compte les dernires avances en conomie ont rorient l'conomtrie vers la recherche de la meilleure spcication d'un modle. Le cot de la mauvaise spcication d'un modle est le risque accru de conclusions errones. Outre des techniques d'estimation de modles moins restrictifs, la recherche de la bonne spcication d'un modle a conduit au dveloppement croissant des tests de spcication. L'accent principal, portant au pralable sur l'estimation, s'est dplac vers l'infrence statistique :

les trois rgles d'or de l'conomtrie sont : tester, tester et tester

(Hendry 1980).

La abilit des statistiques de test employes a alors pris une place prpondrante dans la qualit de l'analyse conomtrique. Lorsqu'on souhaite faire de l'infrence, c'est--dire tester une hypothse, il est ncessaire de calculer une statistique de test et de connatre sa loi de probabilit : ceci permet de calculer un seuil critique ou une

P -value

et d'accepter ou non

l'hypothse pose. Cependant, la distribution de probabilit d'une statistique de test est la plupart du temps inconnue et on utilise des approximations de celle-ci. Une voie de recherche primordiale en conomtrie est la recherche d'une approximation prcise et able de la loi d'une statistique de test. Dans ce cours, les Mthodes de Simulations et les Mthodes du Bootstrap seront tudies, pour rpondre cette problmatique.

1.1 Dnitions
Dans cette section, quelques dnitions et concepts fondamentaux sont introduits. Une hypothse de base de l'conomtre est que le mcanisme qui a gnr les donnes peut tre reprsent mathmatiquement par un mcanisme stochastique, appel

gnrateur de donnes,

processus

ou DGP. Cette hypothse est ncessaire pour pouvoir tablir le lien

1. Fondements

entre la thorie conomique et les donnes. Lors d'une tude empirique, l'conomtre dtermine un

modle de rgression, not M, qui est form de paramtres et lois de probabilits inconnus. Un tel modle est un ensemble de DGP, not , et on dit que le modle est bien
des paramtres et lois de probabilits xs, de telle sorte que l'on puisse gnrer des donnes simules sur ordinateur partir d'un ensemble de donnes observes. L'aspect essentiel du DGP est qu'il n'est pas dni moins que l'on ait susamment d'information : les valeurs des paramtres sont connues ainsi que les lois de probabilits. On peut associer chaque DGP du modle un ensemble de valeurs des

spci s'il contient le vrai processus qui a gnr les donnes (0 ). Un DGP est dni par

paramtres.

Pour qu'un DGP soit caract-

ris compltement, ces valeurs de paramtres peuvent parfois sure, sinon il est galement ncessaire de connatre d'autres valeurs de paramtres ou des lois de probabilits. Considrons par exemple le modle de rgression linaire standard

M:
o

y = X + u n
observations,

E(u|X) = 0, X

E(uu |X) = 2 I

(1.1)

est un vecteur de

une fonction linaire qui dtermine la valeur

y conditionnellement aux vecteurs de paramtres et un ensemble de variables explicatives X . I est la matrice identit et u le vecteur des alas qui suivent une distribution de probabilit inconnue, d'esprance nulle et de variance conditionnelle aux explicatives X 2 gale . Les explicatives X sont supposes exognes : les lments de la matrice X sont indpendants du processus stochastique qui gnre les alas u. On peut mme supposer que X est alatoire : le processus stochastique qui gnre X est indpendant du processus stochastique qui gnre u. Ce modle est un ensemble de DGP de la variable dpendante y , de paramtres et . Le vrai processus qui a gnr les donnes est spci par des valeurs
moyenne de xes des paramtres et des lois inconnues du modle,

0 :
Les valeurs de

y = X0 + u, F

2 u F (0, 0 I)

(1.2)

2 0 , 0

et la loi des alas

sont inconnues en pratique. l'aide de mthodes

d'estimation, on estime ces paramtres, et l'aide de tests, on cherche selectionner un DGP aussi proche que possible de

0 .

On spcie un DGP pour toutes valeurs donnes de

ces paramtres et de la loi des alas. Par exemple, on pourrait considrer le DGP suivant,

1 :

y = X + u,
et

u N (0, I) 1,
et

(1.3)

o les paramtres inconnus du modle

sont gaux

F,

la loi inconnue des alas

du modle, est la loi Normale. Tout autre choix dnit un nouveau DGP. Une

statistique de test est une fonction des donnes, c'est par construction une variable

dpend des donnes

alatoire. Clairement, une statistique de test DGP sous-jacent

et sa loi dpend du

y.

L'infrence statistique consiste, au moyen de statistique de tests,

se rapprocher le plus possible du vrai DGP statistique de test

0 .

De manire gnrale, on construit une

qui teste une hypothse nulle

H0 ,

contre une hypothse alternative

1.1. Dnitions

H1 .

La statistique de test

est une variable alatoire qui peut prendre n'importe quelle

valeur relle. Par consquent, aucune valeur n'est a priori compltement incompatible avec l'hypothse nulle. Pour trancher, on dnit au pralable une

rgle de dcision qui conduit rejeter l'hypothse nulle si la valeur de la statistique appartient une rgion de rejet,
H0 .
consistant rejetter l'hypothse nulle alors qu'elle est vraie. Cette

cette dernire tant dtermine partir de la distribution de la statistique de test sous

Le choix d'une rgion de rejet conduit dterminer l'avance une probabilit de faire une

Erreur de Type I, test

probabilit est, par construction, la probabilit tombe dans la rgion de rejet. Un

sous l'hypothse nulle

que la valeur de

est souvent dnit par la combinaison d'une statistique de test avec une rgle

de dcision. La probabilit d'erreur de Type I est aussi appele le note

niveau d'un test, souvent


0
et

Comme toute probabilit,

prend des valeurs comprises entre

1.

Les valeurs

les plus frquemment utilises en pratique sont type I de l'ordre de comme tant gal Soit

.05

et

.01

: on considre alors une erreur de

5% ou 1%. De manire complmentaire, le niveau de conance est dnit 1 : on considre alors un niveau de conance de 95% ou 99%.
sous l'hypothse nulle.

Un

test unilatral consiste dnir la rgion de rejet comme l'ensemble des valeurs de suprieures un seuil critique c, o G0 (c) = 1 . La rgion de non-rejet est l'ensemble des valeurs de infrieures ou gales c. Un test bilatral consiste dnir la rgion de
non-rejet comme l'ensemble des valeurs de

G0

la distribution de probabilit de la statistique de test

c et c si la loi est symtrique, o G0 (c) = 1 /2. La rgion de rejet est l'ensemble des valeurs de plus extrmes que c et c. Plutt que de calculer les seuils critiques, on prfre souvent travailler avec les P values des statistiques. La P -value est la probabilit, si la statistique de test est rellement
comprises entre distribue comme elle devrait l'tre sous l'hypothse nulle, d'observer une ralisation de la statistique de test plus extrme que celle obtenue dans l'chantillon d'origine

: (1.4)

p( ) P0 ( ) = 1 G0 ( )
Si le test est unilatral : on rejette

1 , pour p( ) < . Si le test est bilatral et symtrique : on rejette H0 avec le niveau de conance 1 /2, lorsque p(| |) < . On dnit galement une P -value comme la plus grande valeur de qui ne permet H0
avec le niveau de conance pas de rejeter l'hypothse nulle. Cette approche apporte beaucoup plus d'information : elle permet de connatre instantanment pour quelles valeurs de nulle. Pour qu'un test soit utile en pratique, il doit tre capable de discriminer entre l'hypothse nulle et l'hypothse alternative. Par consquent, l'erreur de type I, ou niveau du test, n'est pas le seul lment considrer. Il faut encore que si l'hypothse nulle n'est pas vraie, le test conduise rejetter l'hypothse teste autant que possible. La probabilit qu'un test rejette l'hypothse nulle est appele la

on rejette ou non l'hypothse

puissance d'un test. Entre deux tests aussi ables l'un que l'autre, celui qui a la plus grande puissance devrait tre prfr en pratique. L'Erreur de Type II est gal 1 moins la puissance du test, elle mesure le fait de ne pas rejetter une

1. Fondements

hypothse nulle fausse. Il n'est pas dicile de voir que la puissance dpend de l'ampleur de l'inexactitude de l'hypothse teste et de la prcision du modle. Elle sera d'autant plus grande que cette ampleur est importante ou que le modle est prcis. Il s'ensuit que la puissance augmente avec le nombre d'observations .

1.2 Test exact


Lorsque la distribution de la statistique de test

est connue, le test est dit

exact. Dans

ce cas, la probabilit de faire une erreur de type I, appel aussi le niveau du test, peut tre calcule

exactement

partir de cette distribution. Cependant, cette situation est rare en

pratique et elle peut tre envisage seulement pour quelques cas spciques. Le cas le plus important est celui des tests des restrictions linaires sur les paramtres d'un modle de rgression linaire Normal. Dans un premier temps, nous considrerons un test simple de restriction linaire dans un modle de rgression linaire,

Y = X1 1 + X2 2 + ,
o

N (0, s2 I)

(1.5) un vecteur d'une

est un vecteur,

X1

une matrice avec

k 1 variables explicatives et X2

seule variable explicative. Le thorme de Frisch-Waugh-Lovell nous dit que l'estimateur OLS du paramtre

et les rsidus seront les mmes que ceux du modle

M1 Y = M1 X2 2 + u,
o

(1.6)

M1 = I X1 (X1 X1 )1 X1 est la matrice qui projette sur l'espace orthogonal l'espace engendr par X2 . En posant y = M1 Y , x = M1 X2 et = 2 , on peut recrire le modle prcdent en un modle de rgression simple du vecteur y sur le vecteur x comme suit, y = x + u, u N (0, 2 I)
(1.7)

Tout test de restriction linaire simple sur le parametre un test de restriction linaire simple sur le paramtre

2 dans le modle (1.5) correspond dans le modle (1.7). Nous consi-

drerons dans la suite la modle (1.7). En appliquant les formules de l'estimation par OLS dans ce dernier modle, sous l'hypothse que ce modle est correctement spci et que le 2 vrai DGP qui a gnr les donnes est caractris par les paramtres inconnues de et 2 respectivement gaux des valeurs xes 0 et 0 , on a

= (x x)1 x y,

E() = 0

et

2 V () = 0 (x x)1

(1.8)

Puisque les alas du modle sont supposs suivre la loi Normale, sous l'hypothse nulle

1 Avec

l'augmentation du nombre d'observations, les cart-types diminuent : le modle est plus prcis.

1.2. Test exact

H0 : = 0 ,

la loi de l'estimateur des paramtres est galement la loi Normale,

2 N (0 , 0 (x x)1 )
An de tester l'hypothse que le paramtre soustraire

(1.9) le test

est gal

0 ,

de Student consiste donc

et diviser par son cart-type : on centre et on rduit

,
(1.10)

=
On a ainsi une statistique de test

0 N (0, 1) 0 (x x)1/2

et on connait sa loi, on peut tablir une rgle de dcision

pour un niveau de conance donn et eectuer un test. Toutefois, la statistique ne peut 2 tre calcule que sous l'hypothse irraliste que 0 est connu. Dans le cas o la variance des 2 alas est inconnu, on remplace 0 par son estimateur des OLS,

2 =

(y x ) (y x ) 2 (n k) nk

(1.11)

On obtient alors une statistique qui suit une loi de Student, cette loi tant par dnition le rapport d'une variable alatoire suivant une loi Normale sur la racine d'une variable alatoire suivant une loi de Chi-Deux,

t=
o

0 T (n k) (x x)1/2 t
de Student.

(1.12)

V () = 2 (x x)1 .

Cette statistique est appele statistique

Si maintenant on considre un test conjoint, de plusieurs restrictions linaires, on peut considrer le modle (1.5) avec

X2 une matrice avec r variables explicatives plutt que comme

un vecteur une seule variable. En suivant le mme raisonnement, on se ramne un modle linaire de la forme suivante,

y = X + u,
o

u N (0, 2 I)

(1.13)

est une matrice de

r variables explicatives, le test portant sur le vecteur r de paramtres

inconnus

. En appliquant les formules de l'estimation par OLS dans ce dernier modle, sous

l'hypothse que ce modle est correctement spci et que le vrai DGP qui a gnr les 2 donnes est caractris par les paramtres inconnues de et respectivement gaux des 2 valeurs xes 0 et 0 , on a

= (X X)1 X y,

E() = 0

et

V () = 2 (X X)1

(1.14)

Puisque les alas du modle sont supposs suivre la loi Normale, on a

2 N (0 , 0 (X X)1 )

(1.15)

1. Fondements

An de tester l'hypothse que le vecteur de paramtre une statistique qui prend une valeur relle,

soit gal au vecteur

0 , on construit

( 0 ) V ()1 ( 0 ) 2 (r)
Si on remplace

(1.16)

2 0

par son estimateur

2,

qui suit une loi de Chi-Deux

nk

degrs de

libert, on obtient une statistique qui suit une loi de Fisher, cette loi tant par dnition le rapport de deux variables alatoires suivant des lois de Chi-Deux.

( 0 ) V ()1 ( 0 ) F (r, n k)
Cette statistique est communment appele statistique peut se rcrire en terme de sommes de carr de rsidus.

(1.17)

de Fisher. On dmontre qu'elle

1.3 Test asymptotique


Lorsque la distribution de la statistique de test

est inconnue et qu'on utilise la distri-

bution asymptotique comme approximation de celle-ci, le test est dit

asymptotique. Dans

la section prcdente, les tests de Student et de Fisher sont exacts car leurs distributions peuvent tre calcules analytiquement. En fait, tout repose sur l'hypothse de Normalit du terme d'erreur qui a t faite. Cette hypothse est trs forte et peut tre rarement pose en pratique. Si on relache cette hypothse, on peut toujours calculer ces statistiques de tests mais leurs distributions ne sont plus les lois de Student ou de Fisher. Les vraies distributions ne peuvent pas tre calcules analytiquement et on utilise alors une approximation de ces lois. La thorie asymptotique permet de calculer les distributions asymptotiques, c'est dire les distribution de probabilit limites lorsque la taille de l'chantillon tend vers l'inni. Ces distributions asymptotiques sont trs souvent utilises en pratique comme approximations des vraies distributions inconnues des statistiques de test. Il existe deux rsultats fondamentaux de la thorie asymptotique qui permettent de d'obtenir la majorit des rsultats qui nous intresse, la Loi de Grands Nombres et le Thoreme Central Limite.

Loi des Grands Nombres, ou LLN.


La loi des grands nombres s'avre utile pour dmontrer la convergence d'un estimateur ou d'une statistique de test. Elle peut s'appliquer n'importe quelle quantit qui s'crit comme une moyenne de

variables alatoires, c'est dire

1/n

fois leur somme, tel que

1 x= n

xt
t=1

(1.18)

1.3. Test asymptotique

o les

xt

sont des variables alatoires indpendantes, chacune ayant une variance nie borne

et toutes ayant une mme moyenne vers l'inni.

Alors, la LLN dit que

tend vers

lorsque

tend

Il dcoule de cette loi un grand nombre de rsultats. L'un deux, particulirement intressant, appel aussi Thorme Fondamental de Statistique, concerne la fonction de distribution

EDF, d'un chantillon alatoire. Si on suppose X une variable alatoire qui a pour fonction de rpartition, ou CDF, la loi F (X) et qu'un chantillon de taille n compos
empirique, ou d'lments

xt ,

o chaque

xt

est suppos tre une ralisation indpendante de

X.

Alors, la

distribution empirique de cet chantillon est reprsent par la distribution discrte qui associe chaque lment

xt

une masse de probabilit gale

1/n, pour tout t = 1, . . . , n. L'EDF

est la fonction de distribution de la distribution empirique, pouvant s'crire

1 F (x) n
o

I(xt x)
t=1

(1.19)

Thorme Fondamental de Statistique


deux valeurs,

I(.)

est la fonction indicatrice, prenant la valeur

si son argument est vrai et

sinon. Le

dit que la fonction de distribution empirique,

ou EDF, est un estimateur convergent de la fonction de rpartition, ou CDF, de la variable alatoire X. Cela est relativement simple dmontrer. Sachant que

I(.) ne peut prendre que

ou

1,

son esprance est gale (1.20) (1.21)

E [I(xt x)] = 0 . Pr [I(xt x) = 0] + 1 . Pr [I(xt x) = 1] = Pr [I(xt x) = 1] = Pr [xt x] = F (x).


partir du moment o les les termes en

xt sont mutuellement indpendant et suivent la mme distribution,

I(.)

sont indpendants et suivent la mme distribution. Par consquent, (1.19)

est une moyenne de

variables alatoires indpendantes de moyenne nie et la LLN peut

s'appliquer cette quantit. L'aspect essentiel de cette loi est qu'un lment alatoire, ou plus exactement une moyenne d'lment alatoire, peut tre trait comme un lment non-alatoire asymptotiquement. Elle va s'avrer essentielle pour tablir la convergence d'un estimateur.

Thorme Central Limite, ou CLT.


Le Thorme Central Limite s'avre essentiel pour dterminer la distribution asymptotique d'un estimateur ou d'une statistique de test. Elle nous dit que, dans de nombreux cas,

1/ n fois la somme de variables alatoires centres suit approximativement une loi Normale lorsque n est grand.
Si on suppose que les variables alatoires quement distribues, de moyenne

et de

xt , t = 1, . . . , n, sont indpendantes et identi2 variance . Alors, le Thorme Central Limite de

1. Fondements

Linderberg-Lvy dit que la quantit

1 n

t=1

xt

as

N (0, 1)

(1.22)

suit asymptotiquement la loi Normale centre rduite. Cela signie que, lorsque l'inni, la variable alatoire multiplicatif

tend vers une variable alatoire qui suit la

n tend vers N (0, 1). Le terme

est essentiel ici, si on l'enlve on aurait obtenu par la LLN une variable

alatoire avec une plim gale

et non une variable alatoire avec une loi limite Normale.

Test Asymptotique
On peut maintenant montrer que les tests

et

de la section prcdente restent valides

asymptotiquement sous des conditions moins fortes sur le modle. Pour un test simple de restriction linaire, on considre le mme modle de rgression que dans la section prcdente, en relachant l'hypothse de Normalit des alas. On suppose que la loi des alas est inconnue et les alas sont indpendants et identiquement distribus, ou IID,

y = x + u,
Sous l'hypothse nulle

u IID (0, 2 I) t
de Student peut s'crire

(1.23)

H0 : = 0 , 0 V () =

la statistique

t=

n1/2 (x x)1 x u n1/2 x u = n1/2 (x x)1/2 (n1 x x)1/2

(1.24)

La loi des grands nombres, ou LLN, peut tre applique l'estimateur de la variance des 2 alas, , car cette dernire s'crit comme une moyenne de variables alatoires, les variables alatoires tant les carrs des rsidus. On montre ainsi que c'est un estimateur convergent 2 de 0 lorsque n tend vers l'inni. Par consquent, le test t de Student est asymptotiquement quivalent

n1/2 x u 0 (n1 x x)1/2


Il est maintenant facile de calculer la distribution asymptotique de

(1.25)

t,

si on suppose que les

rgresseurs sont exognes. Dans ce cas, le seul lment alatoire dans (1.25) est u. Le num1/2 rateur est donc gal n fois une somme pondres des ut , chaque ut tant d'esprance nulle et de variance nie. Par consquent, on peut appliquer le CLT et montrer que ce numrateur, et donc la statistique centre rduite,

t,

sont asymptotiquement distribus selon la loi Normale

t
statistique

as

N (0, 1) r
restrictions linaires,

(1.26)

De mme, on peut montrer que pour un test conjoint de

fois la

de Fisher est distribue asymptotiquement, sous l'hypothse nulle, selon une loi

1.4. Performances numriques

as 2 degrs de liberts, rF (r). Par dnition 1/r fois une variable alatoire 2 qui suit une distribution (r) est distribu selon une F (r, ), on en dduit donc que la
de Chi-Deux

statistique

suit une loi de Fisher

as

F (r, n k)

(1.27)

Les rsultat de la section prcdente sont valide asymptotiquement, lorsque relache l'hypothse de Normalit des alas dans le modle de rgression.

n ,

si on

1.4 Performances numriques


Les rsultats de la section prcdente montrent que mme si on ne connait pas la vraie loi d'une statistique de test, on peut utiliser la loi asymptotique comme approximation de la vraie loi. Pour une statistique

t de

Student, on peut ainsi calculer une

P -value

partir de la

loi de Student ou de la loi Normale. Pour une statistique

de Fisher, on peut calculer une

P -value partir de la loi de Fisher, ou de la loi de Chi-Deux en multipliant la statistique par r. Quelle que soit la distribution utilise, la P -value (1.4) est alors approxime et les tests
bass dessus ne sont plus exacts en chantillon ni : ce sont des loi utilise pour calculer un seuil critique ou une On distingue alors :

P -value

est

tests approximatifs. La appele alors loi nominale.

niveau rel : c'est la probabilit de rejeter l'hypothse nulle alors qu'elle est vraie, appele aussi la probabilit de rejet et nomme RP , ou Erreur de type I. le niveau nominal : c'est la probabilit de rejeter l'hypothse nulle alors qu'elle est

le vraie, calcule partir de la loi nominale : c'est le

choisi par l'conomtre.

On montre que si la loi nominale est la vraie loi de la statistique,

F0 ,

le niveau rel et le

niveau nominal sont les mme, autrement dit on montre que la probabilit de rejet gale au niveau nominal

RP

est

En eet, on rejette

H0

si la

P -value

est infrieure un niveau

nominal x par l'conomtre

p( ) < ,

et donc, (1.28) (1.29) (1.30) (1.31)

RP = P0 (p( ) < ) = P0 (1 F0 ( ) < )


1 = P0 (F0 ( ) > 1 ) = P0 ( > F0 (1 ))

= 1 P0 ( =

1 F0 (1

)) = 1

1 F0 (F0 (1

))

Dans la pratique, la loi nominale n'est souvent qu'une approximation de la vraie loi. Si par exemple, on prend pour loi nominale la loi asymptotique,

Fas ,

on a : (1.32)

1 RP = 1 F0 (Fas (1 ))

10

1. Fondements

qui est dirent de

d'autant plus que la loi asymptotique

Fas
:

n'est pas une bonne ap-

proximation de la vraie loi On dnit l'

F0 .

Les tests peuvent alors tre compltement fausss.

erreur de la probabilit de rejet, note ERP


ERP = RP

(1.33)

C'est une mesure de la

distorsion du niveau des tests : la dirence entre le niveau rel

et le niveau nominal. On dit aussi que la statistique de test est : -

parfaitement able, si ERP = 0. sur-rejette l'hypothse nulle, si ERP > 0. sous-rejette l'hypothse nulle, si ERP < 0.

Dans la plupart des cas, mais certainement pas dans tous, la qualit de l'approximation est correcte. Les tests sont alors ables et l'Erreur de Type I est proche de

ERP 0.

Nanmoins, dans certains cas, on peut penser que la loi asymptotique n'est pas une bonne approximation de la vraie loi et donc, les tests peuvent tre peu ables. Cela devrait dpendre de beaucoup de choses, dont la taille de l'chantillon, la distribution des alas, du nombre de rgresseurs et de leurs proprits et de la relation entre les rgresseurs et les alas. Pour tudier le comportement en chantillon ni des statistiques de test, on utilise des mthodes de simulations stochastiques, en mettant prot la grande capacit de calcul des ordinateurs. Les

Mthodes de Monte Carlo sont certainement les techniques de simulations les plus rpandues et, ce sont celles que nous utiliserons pour tudier les performances numriques des dirents tests. Pour qu'une statistique soit performante, on doit avoir dans un premier temps un test able : on entend par l que la distorsion de son niveau est ngligeable,

ERP 0. Pour des tests dont le niveau est correct, la statistique la plus performante

est celle qui a la plus forte alors qu'elle est fausse

puissance : c'est la probabilit de rejeter une hypothse nulle,

Dans la pratique, on utilise en gnral la loi asymptotique comme approximation de la vraie loi. Mais lorsqu'on travaille en chantillon ni, la loi asymptotique est une bonne image de la vraie loi de la statistique seulement si le nombre de donnes est susamment important, sinon les tests peuvent tre fausss. Une approche alternative se dveloppe de nos jours partir des

Mthodes du bootstrap. Le premier avantage de ces mthodes est

qu'elles permettent d'approximer la loi d'une statistique, mme lorsque sa loi asymptotique est impossible dterminer par des dveloppements analytiques. Cela permet de faire des tests qu'il n'tait pas possible de faire avec certaines statistiques, comme par exemple avec le mode d'une distribution. Une autre des caractristiques majeures de ces mthodes est qu'elles permettent d'obtenir une meilleure

approximation de la vraie loi

de la statistique que

celle donne par la loi asymptotique. La abilit des tests en est accrue, notamment pour des chantillons dont le nombre d'observation n'est pas susamment grand. Ces progrs ont des consquences profondes en sciences car le gain de prcision apport par le bootstrap peut

1.4. Performances numriques

11

avoir d'importants eets sur les conclusions scientiques, qui s'appuient sur des valuations statistiques des vraies valeurs. Dans ce cours, nous exposerons dans un premier temps les Mthodes de Monte Carlo, puis nous tudierons en dtails les Mthodes du Bootstrap.

12

1. Fondements

Chapitre 2 Les Mthodes de Monte Carlo


2.1 Introduction
La plupart des mthodes d'estimation et de test d'hypothse ont des proprits statistiques connues seulement asymptotiquement. Ceci est vrai pour les modles non linaires de tous types, pour les modles d'quations simultanes linaires, et mme pour le modle de rgression linaire univari ds que nous relchons l'hypothse forte de rgresseurs xes ou l'hypothse encore plus forte d'alas normalement et identiquement distribus. Ainsi, dans la pratique, la thorie exacte en chantillon ni est rarement valable pour interprter des estimations ou des statistiques de test. Malheureusement, moins que la taille de l'chantillon ne soit eectivement trs grande, il est trs dicile de savoir si la thorie asymptotique est susamment prcise pour nous permettre d'interprter nos rsultats en toute conance. Il existe fondamentalement deux manires de grer cette situation. La premire est d'aner les approximations asymptotiques en additionnant des termes d'ordre infrieur par rap1/2 port la taille de l'chantillon, n, termes qui sont typiquement O(n ) ou O(n1 ). On fait rfrence ces approximations plus ranes en tant qu'

ni ou dveloppements asymptotiques. C'est l'tude des proprits des estimateurs des

approximations en chantillon

modles d'quations simultanes et des modles dynamiques linaires univaris qui a permis de dcrire le plus largement l'approche des dveloppements asymptotiques. Cette approche peut, dans certains cas, fournir des claircissements utiles sur le comportement des estimateurs et des statistiques de test. Malheureusement, elle implique souvent des lments mathmatiques soit plus avancs soit plus pnibles que ne le souhaiteraient la plupart des conomtres. Cette mthode ne s'applique parfois qu'aux modles relativement simples, et tend produire des rsultats compliqus et trs diciles interprter, en partie parce qu'ils dpendent souvent de paramtres inconnus. De plus, ces rsultats ne sont eux-mmes que de simples approximations ; mme s'ils sont gnralement meilleurs que les approximations asymptotiques, ils peuvent ne pas tre susamment prcis. De faon idale, on voudrait pouvoir utiliser automatiquement les dveloppements asymptotiques, comme composante

13

14

2. Les Mthodes de Monte Carlo

des applications de logiciels d'conomtrie, an d'obtenir des intervalles de conance et des tests d'hypothses plus prcis que ceux asymptotiques. Malheureusement, cette situation idale est peu frquente. Deux synthses utiles des mthodes bases sur des dveloppements asymptotiques sont Phillips (1983) et Rothenberg(1984). Une synthse quelque peu critique de la littrature est Taylor (1983). La seconde approche, que nous exposons dans ce chapitre, consiste examiner les proprits en chantillon ni des estimateurs et des statistiques de test en utilisant les

Monte Carlo. Le terme Monte Carlo

expriences

est employ dans de nombreuses disciplines et fait

rfrence aux procdures o les quantits d'intrt sont approximes en gnrant de nombreuses ralisations alatoires d'un processus stochastiques quelconque et en calculant une moyenne quelconque de leurs valeurs. Puisque cela est pratiquement impossible faire sans un ordinateur puissant, la littrature sur les

mthodes Monte Carlo

est assez rcente.

L'approche des dveloppements asymptotiques ncessite une quantit de travail hautement quali trs importante. Par contraste, l'approche Monte Carlo conomise du travail quali en consommant un temps de calcul sur ordinateur important. Dans les applications conomtriques des mthodes Monte Carlo, les grandeurs d'intrt sont gnralement des aspects varis des distributions des estimateurs et des statistiques de test, tels la moyenne et l'erreur quadratique moyenne d'un estimateur, le niveau d'une statistique de test sous l'hypothse nulle, ou la puissance d'une statistique de test sous une hypothse alternative quelconque. Cependant, la plus grande part de la littrature portant sur les mthodes Monte Carlo ne concerne pas spciquement la statistique ou l'conomtrie mais galement les mthodes d'approximation des intgrales multiples ou des systmes non linaires de simulation. Des rfrences classiques telles que Hammersley et Handscomb (1964), Rubinstein (1981), Kalos et Whitlock (1986), Ripley (1987), et Lewis et Orav (1989) contiennent beaucoup d'lments utiles. Bien que les mthodes Monte Carlo soient souvent considres comme une alternative l'approche des dveloppements asymptotiques, les deux approches doivent tre plus justement considres comme complmentaires. Tout comme les expriences Monte Carlo peuvent tre utilises pour valider des approximations asymptotiques, elles peuvent galement tre utilises pour valider des approximations bases sur des dveloppements asymptotiques. De plus, il existe de nombreuses situations o des dveloppements asymptotiques peuvent s'utiliser pour analyser des cas spciques simples, tout en portant son attention sur des problmes qui ncessitent un examen pour des cas plus gnraux l'aide d'expriences Monte Carlo. Cependant, puisque les dveloppements asymptotiques dpassent l'objectif de ce cours, nous ne dtaillerons pas davantage les manires de les utiliser conjointement aux mthodes Monte Carlo. Un article qui utilise typiquement les mthodes Monte Carlo en statistique ou en conomtrie prsente des rsultats partir de plusieurs (peut-tre nombreuses) expriences Monte Carlo relies. Chaque exprience implique plusieurs lments que le chercheur doit spcier. Tout d'abord, il doit y avoir un modle conomtrique, et un ensemble d'estimateurs ou de

2.1. Introduction

15

statistiques de test associ au modle. L'objet des expriences est d'examiner les proprits en chantillon ni de ces estimateurs ou statistiques de test. Ensuite, il doit y avoir un processus gnrateur de donnes (DGP), qui est habituellement, mais pas toujours, un cas particulier du modle. Le DGP doit tre spci compltement. Ceci signie que s'il y a des variables exognes, elles ou leurs distributions doivent tre spcies, comme doivent l'tre les distributions de n'importe quel ala. Considrons le modle de rgression linaire simple

yt = 1 + 2 Xt + ut
Dire que l'on

(2.1)

simule
yt

ce modle revient dire que l'on gnre des observations de la va-

riable alatoire

d'aprs l'quation (2.1). Pour ce faire, une des premires choses xer est

le nombre d'observations de l'chantillon

n.

Pour des valeurs xes des paramtres et des

variables de cette quation, on peut alors gnrer chaque lment valuant l'quation (2.1) Si les rgresseurs

yt ,

pour

t = 1, . . . , n,

en

fois.

Xt

sont supposs exognes, il sut de les prendre tel quel. S'ils sont

dnis au pralable par un autre modle, on pourrait utiliser les donnes simules fournies par cet autre modle. Hormis les rgresseurs, il faut connatre les valeurs de

et

2 ,

qui en

pratique sont des paramtres inconnus. Dans le cadre des simulations, et non d'une tude empirique, on peut utiliser des valeurs de ces paramtres suggres par la thorie conomique ou obtenues partir d'une estimation du modle. Il est clair que les rsultats de la simulation dpendra prcisment du choix de ces paramtres. Finalement, le terme d'erreur

ut

ne peut pas tre pris tel quel ou x : on le traite

alors comme un lment alatoire. Il faut alors avoir recours un ordinateur pour gnrer des nombres alatoires et utiliser un programme appel

toires.

gnrateur de nombres ala-

En ralit, les nombres gnrs par un ordinateur ne sont pas du tout alatoires

proprement parl. En eet, un ordinateur est un outil parfaitement dterministe et les squences gnres peuvent tre reproduites l'identique plusieurs fois. C'est pourquoi on parle parfois de nombres

pseudo-alatoires. Nanmoins, dans le cadre de simulations, les

nombres gnres par un ordinateur ont toutes les proprites des nombres alatoires dont nous avons besoin, c'est pourquoi on parlera quand mme de nombres alatoires plutt que pseudo-alatoires. L'aspect essentiel ici est qu'il faut spcier la distribution de probabilit du terme d'erreur, le gnrateur de nombres alatoires permettant de gnrer des mutuellement indpendants partir de cette loi. La spcication du modle ncssaire la mise en uvre d'une simulation peut tre ainsi spare en deux parties : une premire

tirages

spcication stochastique.

spcication dterministe et une deuxime

Dans le modle (2.1), la spcication dterministe concerne

les rgrsseurs et les paramtres de la fonction de rgression. La spcication stochastique, ou encore alatoire, concerne la distribution de probabilit des alas et le fait que les alas soient des tirages indpendants et identiquement distribus (IID) selon cette distribution. Pour simuler la variable dpendante

yt ,

on procde alors comme suit :

16

2. Les Mthodes de Monte Carlo


Fixer la taille de l'chantillon

n; 1
et

Choisir les valeurs des paramtres Dterminer les

2 ; Xt ,
soient des valeurs observes

valeurs successives des rgresseurs

(exognes) ou simules au pralable ; valuer les

valeurs successives de la fonction de rgression

1 + 2 Xt ,

pour

t = 1, . . . , n ;
Choisir la distribution de probabilit des alas, si ncessaire spcier sa moyenne et sa variance ; Utiliser un gnrateur de nombres alatoires pour gnrer indpendantes des alas Calculer les

valeurs mutuellement

ut ; yt
en additionant les

valeurs successives de la variable dpendante

valeurs de la fonction de rgression aux valeurs des alas ; Les

n valeurs yt , pour t = 1, . . . , n, de la variable dpendante ainsi gnres sont les rsultats

de la simulation, ce sont les

valeurs simules de la variable dpendante.

L'intrt d'une telle opration est que, si le modle simul est correctement spci et rete les vrai processus qui a gnr les donnes, la simulation eectue reproduit ce qui se passe dans le monde rel de manire dle et prcise, car on utilise un mchanisme qui gnre les donnes de la mme faon que celui qui opre dans le monde rel. Chaque exprience se compose d'un nombre quelconque de terons

rptitions,

que nous no-

N.

Chaque rptition implique de gnrer un seul ensemble de donnes partir du

DGP, et de calculer des estimateurs ou statistiques de test d'intrt. Typiquement, le nombre de rptitions est trs grand (N = 5000, 10.000 ou plus sont des choix frquents), mais il peut parfois tre plus petit, par exemple 50, si l'estimation prend beaucoup de temps et des rsultats prcis ne sont pas ncessaires. Aprs que dispose de

rptitions ont t opres, on

observations sur chacun des estimateurs ou statistiques de test d'intrt, et

cet chantillon gnr peut tre soumis l'analyse statistique pour calculer les estimations des quantits d'intrt. Les rsultats de l'exprience Monte Carlo sont ainsi eux-mmes des estimations, et sont par consquent associs une erreur exprimentale. Cependant, nous pouvons minimiser cette erreur de faon acceptable en concevant avec soin l'exprience et en utilisant un nombre susamment grand de rptitions. Dans la suite de ce chapitre, nous discutons des caractristiques importantes des expriences Monte Carlo en conomtrie. La plupart des expriences Monte Carlo ncessitent un grand nombre de variables pseudo-alatoires, c'est--dire de nombres qui semblent tre des tirages d'une distribution de probabilit spcie quelconque. Dans la premire section, nous discutons brivement de la faon de gnrer ces nombres sur ordinateur. Dans la deuxime section, nous aborderons d'autres aspects de conception d'un ensemble d'expriences Monte Carlo. Enn, dans la dernire section, nous exposerons des mthodes qui permettent de prsenter les rsultats obtenus.

2.2. Gnrateurs de nombres alatoires

17

2.2 Gnrateurs de nombres alatoires


Un gnrateur de nombres alatoires, ou RNG, est un programme qui gnre des nombres pseudo-alatoires partir d'un ordinateur. La plupart de ces programmes gnrent des tirages d'une distribution Uniforme,

U (0, 1),

qui peuvent ensuite tre transforms en des variables

alatoires issues d'autres distributions, voir Press et al. (1986). Mme s'il existe un grand nombre d'algorithmes de RNG permettant de gnrer des nombres alatoires partir de la loi Uniforme, le plus frquemment utilis est le

congruentiel multiplicatif,
i =
o

gnrateur
(2.2)

zi , m

zi = zi1 [mod m],

i = 1, 2, . . . ,

est le

ime

nombre alatoire gnr,

que l'on divise le terme qui prcde avec un entier positif

z0 en gnral trs grand, appel seed. On le multiplie par une entier positif pour obtenir z1 , le reste de la division par m. Ensuite, z1 est divis par m pour produire un nombre compris entre 1/m et (m 1)/m. Pour gnrer le nombre suivant, on rpte l'opration en remplaant z0 par z1 , etc. . .. Pour un gnrateur donn, dnit pour des valeurs de et m donnes, la squence de nombres alatoires dpend entirement du
point de dpart, ou

zi est un entier positif. La notation [mod m] signie par m et on retient le reste. Ce gnrateur dmarre

seed. Si on fournit un mme gnrateur un mme seed, on obtient la

et

mme squence de nombres alatoires. Le choix des paramtres

est crucial, il peut conduire des gnrateurs trs

mauvais ou au contraire trs performants. Si ces paramtres sont mal choisies, la squence de nombres alatoires va se reproduire l'identique aprs seulement un petit nombre d'tapes, et les nombres ainsi gnrs feront aparatre une dpendence inadquate. Si ces paramtres sont bien choisies, la squence se reproduit l'identique un trs grand nombre d'tapes. Considrons par exemple un gnrateur congruentiel multiplicatif avec un mauvais choix de paramtres suivante :

= 2

et

m = 7, 2 7 ;

si le point de dpart

z0 4 7

est x

1,

on obtient la squence

4 7

1 7

2 7

1 7

... 1
et

(2.3)

Pour tout point de dpart prenant une valeur entire comprise entre

6,

on obtient

une squence qui se rpte aprs seulement trois nombres. Tout au mieux, on peut esprer obtenir tous les nombres de la forme contenant tous ces nombres peut Lorsque

i/7, pour i = 1, . . . , 6. On peut vrier qu'une squence tre obtenue avec = 3 ou = 5. m

et

sont correctement choisis, le RNG devrait gnrer une squence de

nombres distincts, aprs quoi on retrouve une valeur identique au point de dpart et la squence se rpte. La valeur de

est souvent prise comme tant le plus grand nombre

entier pouvant tre reprsent sur un ordinateur particulier. Par exemple, sur un ordinateur 32 32 bits, m est souvent pris gal 2 1 o lgrement moins, et est choisi trs grand mais

18

2. Les Mthodes de Monte Carlo


m. Avec ce choix, on devrait pouvoir gnrer plus de deux billions1

lgrement infrieur

de

nombres alatoires avant qu'une squence ne se rpte.

Loi Normale
Pour gnrer des nombres alatoires issus de la loi Normale, une approche largement utilis est la mthode de Box-Muller. Elle utilise le fait que si indpendants de

et

sont deux tirages

U (0, 1),

alors et

u1 = (2 log 1 )1/2 cos (22 )

u2 = (2 log 1 )1/2 sin (22 )

N (0, 1). Le problme majeur de cette mthode est qu'elle repose sur l'hypothse d'indpendance de 1 et 2 . Pour pallier ce problme, on peut utiliser deux gnrateurs avec des valeurs direntes de m pour 1 et 2 . Cela a pour eet d'augmenter le longueur de la squence du gnrateur puisque les paires 1 et 2 vont apparatre diremments chaque fois que la squence de nombres
sont deux tirages indpendants issus d'une loi Normale centre rduite, uniformes rapparatra. partir du moment o on peut gnrer des nombres alatoires issus d'une loi

N (0, 1),

on peut gnrer des autres alatoires issus d'autres lois lies la loi Normale. Supposons que

v 1 , v2 , . . .

soient des tirages indpendants de la loi

N (0, 1),

on a : (2.4)

Loi Normale Loi du Chi-Deux Loi de Fisher


ui =

ui = + vi
k

N (, 2 ) 2 (k)

ui =
j=1 k1 j=1

2 vj

(2.5)

2 vj / k1 2 vj / k 2

k1 +k2 j=k1 +1

F (k1 , k2 )

(2.6)

Loi de Student

ui = (
k+1 j=2

v1
2 vj )/ k 1/2

T (k)

(2.7)

Loi Lognormale Loi de Cauchy Loi Normale Multivarie

ui = exp(vi ) ui = vi /vi+1

(0, 1)
Cauchy

(2.8) (2.9)

u = + v,
1 Un
billion correspond

avec

109 .

N (, )

(2.10)

1012

alors qu'un milliard correspond

2.2. Gnrateurs de nombres alatoires

19

est un vecteur de

composantes ayant pour lment type alors que

galement des

k -vecteurs ;

et

sont des matrices

vi , i = 1, . . . , k ; u k k.

et

sont

Mthode de Transformation
nombres issus d'une loi Uniforme,

ou Transformation Method

partir du moment o un gnrateur de nombres alatoires est capable de gnrer des

U (0, 1), il est facile de gnrer des nombres alatoires issus

d'une autre distribution. Une technique gnralement utilise est la Mthode de Transformation, base sur le fait que l'ordonne d'une fonction de rpartition prend n'importe quelle valeur comprise entre

et

est distribu selon une loi

1. De ce U (0, 1), =

fait, pour tout

distribu selon une loi

F (u), = F (u)

uF

U (0, 1)

= F (u)

(2.11)

Cela signie que, pour tout , on peut inverser la fonction de rpartition an d'avoir u = F 1 (). An d'avoir une squence de nombres ui distribus selon la loi F , on gnre une 1 squence de nombres i distribus selon la loi U (0, 1), puis on utilise la transformation F () pour chacune de ces ralisations. On peut donner quelques exemples :

La Loi Exponentielle
F (x) = 1 exp(x) pour tout x 0 et > 0, et donc on obtient F 1 () = (log(1 ))/. On peut remplacer 1 par , puisqu'ils suivent la mme distribution, et
Elle s'crit gnrer le nombre alatoire

ui = ( log i )/

(2.12)

La Loi de Weibull
x 0 et > 0, et donc on obtient F 1 () = ((log(1 ))1/ . On peut remplacer 1 par , puisqu'ils suivent la mme distribution, et
Elle s'crit

F (x) = 1 exp(x )

pour tout

gnrer le nombre alatoire

ui = ( log i )1/
tition et sur la possibilit de calculer son inverse.

(2.13)

Cette mthode repose sur la connaissance de la forme paramtrique de la fonction de rpar-

Mthode de Rejet ou Rejection Method


Si on ne connat pas la fonction de rpartition mais plutt la fonction de densit, on peut utiliser la Mthode de Rejet. Dans sa forme la plus simple, cette mthode consiste dnir dans un premier temps un domaine ni contenant la fonction de densit, soit par exemple l'intervalle

[, ]

en abscisse et

le maximum de la fonction de densit

[0, h] en ordonn, o h est au moins aussi grand que f (u). Dans un second temps, on tire un nombres 1

20

2. Les Mthodes de Monte Carlo

partir de la loi Uniforme regarde si le couple obtenu

U (, ), puis un second 2 partir (1 , 2 ) appartient la densit, u i = 1


si

de la loi

U (0, h).

Enn, on

2 < f (1 ) 1
et

(2.14)

sinon, on rejette la proposition

et on retire deux nouveaux nombres

2 . Cette version

de la mthode de rejet peu s'avrer peu ecace s'il faut un grand nombre de retirages de

(1 , 2 )

pour obtenir une ralisation

ui .

Pour diminuer le nombre de rejets, on peut choisir

un domaine qui englobe la fonction de densit et qui soit trs proche de cette dernire. Si un tel domaine peut tre reprsent par une fonction de densit de forme connue, l'ecacit de la mthode peut tre largement amliore.

2.3 Mise en uvre


La mise en uvre d'une exprience de Monte Carlo ainsi que la prsentation des rsultats, de faon claire et instructive, ne sont pas du tout facile raliser. Chaque exprience ncessite la dnition et la construction d'un modle et le choix d'un ensemble d'estimateurs ou de statistiques qui font l'objet de l'tude. Il faut alors spcier compltement un processus gnrateur de donnes, ou DGP : un choix de paramtres mais aussi de distributions sont ncessaires. Le choix des rgresseurs doit tre galement eectu, sachant que les rsultats de l'tude Monte Carlo dpendent cruciallement de tous ces choix. Le choix idal d'un DGP serait un processus qui reproduise autant que possible un mcanisme qui gnre les donnes dans le monde rel.

Nombre de rptitions
Dans une exprience Monte Carlo, on gnre un nombre de

rptitions N . Chaque rpliN


ralisa-

cation consiste gnrer un chantillon de donnes partir duquel on calcule une ralisation d'un estimateur ou d'une statistique de test. Aprs

rptitions, on dispose de

tions de l'estimateur ou de la statistique d'intrt. Cet ensemble de ralisations forme alors la distribution empirique de l'estimateur ou de la statistique, partir de laquelle on peut calculer une quantit spcique, comme par exemple un biais, un intervalle de conance, un seuil critique ou une

P -value.

Il est important de constater que les rsultats d'une ex-

prience Monte Carlo sont des estimateurs, sujet des erreurs exprimentales. La prcision sera d'autant plus grande que la variance de la quantit calcule sera rduite. Par exemple, supposons que la quantit d'intrt soit le calcul de la probabilit de rejeter l'hypothse nulle alors qu'elle est vraie, ou niveau rel d'un test, not nominal de

p,

pour un niveau

0.05.

Pour ce faire, on calcule une ralisation de la statistique de test pour

chaque rplication, qui conduit ou non rejeter l'hypothse nulle. Cela revient considrer

variables de Bernouilli indpendantes. Si pour

rptitions on obtient

rejets, un

2.3. Mise en uvre


2

21

estimateur simple de p est donn par R/N . La variance de cet estimateur est donn par N 1 p(1p) et peut tre estim par R(N R)/N 3 . On peut maintenant utiliser cette variance pour contrler le nombre de rptitions. Considrons, par exemple, une prcision telle que la longueur de l'intervalle de conance plus grande que

95%

autour de la valeur estime de

ne soit pas

0.01.

Alors, en utilisant l'approximation de la Binomiale par la Normale, la

longueur de l'intervalle de conance doit tre gale encore

2 1.96 = 3.92

fois l'cart-type, ou

3.92
Si on suppose que donne

p (1 p) N

1/2

= 0.01

(2.15)

est gal

0.05,

le niveau nominal choisi, la rsolution de cette quation

N 7.299.

Un choix raisonnable du nombre de rptitions serait alors

N = 8.000.

Pour une prcision moins ne, de l'ordre de alors

0.02, on peut faire moins de rptitions, on aurait

N 1.825.

Dans la pratique, le choix du nombre de rptitions dpend de la puissance de calcul de l'ordinateur dont on dispose et de la statistique tudie. Il est clair que les rsultats seront prcis, d'autant plus que ce nombre est grand. Des valeurs de

de l'ordre de

10.000, 50.000,

100.000,

ou mme plus, sont des choix courants. Si le calcul de l'estimateur ou de la statis-

tique prend beaucoup de temps de calcul, on peut utiliser des techniques de rduction de la variance, appeles

Control and Antithetic Variates,

voir par exemple Davidson et MacKin-

non (1993) pour une prsentation de ces mthodes. Les puissances de calcul actuelles des ordinateurs permettant souvent d'utiliser un trs grand nombre de rptitions, ces mthodes ne seront pas prsents ici.

Choix des paramtres


Dans la mise en uvre d'une exprience Monte Carlo, le choix des paramtres dans la dnition du DGP n'est pas du tout vident. En eet, les rsultats d'une telle exprience peuvent tre invariants par rapport certains paramtres ou encore trs sensibles par rapport d'autres. D'un cot, quand il y a une raison de s'attendre ce que les rsultats soient

sensibles
n

certains aspects du DGP, il est important de mener des expriences dans lesquelles ces aspects varient dans toute la gamme des aspects intressants. Ces aspects du DGP qu'il faut faire varier doivent ncessairement tre dirents selon les cas. La taille d'chantillon

sera typiquement l'un d'eux, parce qu'il est presque toujours intressant de voir avec quelle rapidit les proprits en chantillon ni des quantits examines approchent leurs limites asymptotiques (connues). Une exception cela est le cas o le but de l'exprience Monte Carlo est de dtailler les proprits d'un ensemble particulier d'estimateurs ou de statistiques de test pour un ensemble de donnes particulier, de telle sorte que l'exprience est utilise

2 Soit

R=

N i=1

Xi une variable de Bernouilli, gale 1 avec la probabilit p ou 0 avec la probabilit 1p, la variable Xi suit une loi Binomiale de paramtre p et on a E(R) = N p et V (R) = N p(1 p).

22

2. Les Mthodes de Monte Carlo

comme complment d'une partie d'un travail empirique. Par contraste avec cette situation, jusqu' prsent la plupart des expriences Monte Carlo ont t conues pour dtailler les proprits gnrales de certaines procdures statistiques, et il est dicile d'imposer n'importe quelle sorte de gnralit quand tous les rsultats sont relatifs une seule taille d'chantillon. En gnral, les aspects du DGP auxquels les rsultats sont sensibles ont lieu au cas par cas et dpendent de l'exprience mise en uvre. D'un autre cot, il est intressant de noter les

invariances an de mieux comprendre la


t

porte des rsultats, ainsi que ce qui aecte, ou n'aecte pas le comportement des estimateurs ou statistiques tudie. Par exemple, beaucoup de statistique de test sont invariantes par rapport la variance du terme d'erreur. Considrons par exemple la cas d'une statistique de student qui teste

=0

dans le modle de rgression

y = X + z + u

(2.16)

Le throrme de Frisch-Waugh-Lovell nous permet de calculer une telle statistique de test, en considrant le problme partir du modle

MX y = MX z + MX u
o

(2.17)

MX = I X(X X)1 X

. partir de ce modle, on a

= (z MX z)1 z MX y,
Sous l'hypothse nulle

V () = 2 (z MX z)1 M X y = MX u ,

et

2 =

y M[X,z] y nk

(2.18)

= 0,

on a

et donc la statistique s'crit

t=
o

V ()1/2

z MX u (u M[X,z] u/(n k))1/2 (z MX z)1/2 k


le nombre de rgresseurs,

(2.19)

sont les ma trices de projection orthogonales sur les sous-espaces complmentaires respectifs S (X) et S (X, z). Il est clair que la statistique t est invariante par rapport la variance du terme d'erreur : si on multiplie

est le nombre d'observations,

MX

et

M[X,z]

par une constante positive, la statistique

reste inchange. Dans

ce cas, le choix de la variance des alas dans une exprience Monte Carlo a peu d'importance et peut tre x n'importe quel niveau. Il n'aura pas d'impact sur les rsultats. Si on suspecte qu'un estimateur ou une statistique est invariante par rapport un paramtre, on peut plus gnralement le vrier avec une exprience simple Monte Carlo. On conduit deux expriences, avec une seule rplication pour chacune, avec des choix de paramtres distincts mais avec le mme ensemble de nombres alatoires. Si les deux expriences fournissent les mme valeurs numriques de l'estimateur ou de la statistique tudie, on peut conclure l'invariance par rapport aux paramtres distincts dans les deux expriences. Breusch (1980) discute d'un certain nombre d'autres rsultats d'invariance pour des mo-

2.3. Mise en uvre

23

dles de rgression linaire ; en prenant en compte de tels rsultats, on peut simplier dans de nombreux cas la conception des expriences Monte Carlo.

Choix des rgresseurs


La manire dont les rgresseurs

devraient tre traits dans les expriences Monte Carlo

n'est pas vraiment claire. Une approche consiste gnrer les

d'une certaine manire.

Lorsque l'exprience traite des donnes en coupe transversale, il est plus pratique de les gnrer partir des distributions indpendantes des lois uniforme, normale ou lognormale, alors que lorsque l'exprience traite des donnes chronologiques, il est pratique de les gnrer partir de processus varis simples de srie temporelles tels que AR(1), MA(1), et ARMA(1 ; 1), alas normaux. On peut soit gnrer un nouvel ensemble de soit gnrer un seul ensemble de

pour chaque rptition

utilis dans toutes les rptitions. La dernire mthode

est moins coteuse et se justie si les

sont supposs xes dans les chantillons rpts,

mais elle peut conduire des rsultats qui dpendent des caractristiques particulires de l'ensemble des

gnr.

Une autre possibilit consiste utiliser de vritables donnes conomiques pour les Si ces donnes sont choisies avec soin, cette approche peut garantir que les

X.

sont en fait

typiquement celles qui apparaissent dans les modles conomtriques. Cependant, cela pose le problme de la variation de la taille d'chantillon. Si l'on utilise soit des donnes authentiques 1 soit un seul ensemble de donnes gnres, la matrice n X X variera avec la taille de

n. Ceci peut rendre la distinction des eets des variations de n des eets des 1 variations de n X X dicile. Une solution ce problme est de slectionner, ou de gnrer, un seul ensemble de X pour un chantillon de taille m et de rpter ensuite ceux-ci autant de fois que ncessaire pour crer les X pour les chantillons de tailles plus grandes. Ceci ncessite que n = cm, o c est un entier. Des choix vidents pour m sont 50 et 100 ; n pourrait ensuite tre un entier quelconque multiple de 50 ou de 100. Naturellement, le problme avec
l'chantillon cette approche est que comme beaucoup de rptitions sont excutes, tous les rsultats dpendront du choix de l'ensemble initial des

X. X
ne sera pas d'une grande impor-

Dans de nombreux cas, la manire de choisir les

tance. Cependant, il existe des cas pour lesquels elle peut avoir un impact substantiel sur les rsultats. Par exemple, Chesher et Peters (1994) ont montr que si les rgresseurs sont distribus symtriquement par rapport leurs mdianes, ces estimateurs auront des proprits particulires qui ne sont pas valables en gnral. Puisque les rgresseurs utiliss dans les expriences Monte Carlo pourraient bien tre symtriquement distribus, il existe un risque que les rsultats de telles expriences puissent tre srieusement trompeurs. Les exemples prcdents devraient faciliter la comprhension de deux lments. Tout d'abord, la manire dont les

sont gnrs peut compter. En second lieu, une bonne comprhension thorique

d'un problme peut rendre les expriences Monte Carlo plus informatives et empcher des conclusions errones qui peuvent provenir d'aspects apparemment mineurs de la conception

24

2. Les Mthodes de Monte Carlo

exprimentale.

tude des performances d'un test


Une statistique de test peut tre utilis en pratique seulement si elle est able. Par consquent, l'tude du comportement en chantillon ni d'une statistique de test

consiste

dans un premier temps tudier la abilit de cette statistique, qui se traduit par l'absence d'une an

distortion du niveau. Ensuite, si on dispose de plusieurs statistiques de tests ables, de tester la mme hypothse nulle, l'tude de la puissance permet de slectionner la

statistique la plus performante pour la pratique.

Niveau
Dans le contexte

pratique o le vrai DGP n'est pas connue, on ne connait pas la vraie loi nominale. On utilise souvent la loi asymptotique
c,
pour un niveau

loi de la statistique et on utilise une approximation de celle-ci. La loi utilise comme approximation de la vraie loi est appele la

Fas

comme loi nominale, partir de laquelle on calcule un seuil critique

nominal

donn,

= 1 Fas (c).
La comparaison de la ralisation de la statistique de test d'origine, avec le seuil critique Dans le contexte d'une statistique

(2.20)

calcule partir des donnes

permet de rejetter ou non l'hypothse pose. on connait le vrai DGP et donc la vraie loi de la

simulation
RP ,

F0 .

On peut donc calculer excatement l'Erreur de Type I, appel aussi niveau partir de cette distribution :

rel ou probabilit de rejet

RP = 1 F0 (c)
La dirence entre le niveau nominal et le niveau rel est appele la ou encore l'

(2.21)

erreur de la probabilit de rejet,

distorsion du niveau,
(2.22)

ERP = RP

Il est clair que si la loi nominale, donn ici par la loi asymptotique, est gale la vraie loi de la statistique, le niveau nominal et le niveau rel sont gaux et le test est parfaitement able,

ERP = 0.

Si, par contre, la loi nominale n'est pas une bonne image de la vraie loi, la

distorsion du niveau peut tre signicativement dirente de zro, Une exprience Monte Carlo consiste gnrer la base d'un 

ERP = 0. ,
sur

ralisations de cette statistique

vrai

DGP dnit au pralable dans l'exprience. On note ces ralisations

i ,

i = 1, . . . , N . L'ensemble de ces ralisations dnissent la fonction de distribution empirique,

2.3. Mise en uvre

25

ou

EDF, de la statistique

F (x) =
o

1 N

I(i x)
i=1

(2.23)

I(.) est la fonction indicatrice, gale 1 si son argument est vrai et 0 sinon. Par consquent, F (x) est juste la proportion des N ralisations de la statistique ayant une valeur simule infrieure ou gale x. C'est donc une fonction en escaliers, dont la hauteur de chaque escalier est gal 1/N et la largeur est gal la dirence entre deux ralisations successives
ordonnes par ordre croissant. De plus, la loi des grands nombres, ou LLN, permet de montrer que l'EDF converge vers la vraie loi, lorsque

N .

L'EDF de l'ensemble des valeurs simules de la statistique peut donc tre utilis comme approximation de la vraie loi de la statistique, la prcision de l'approximation dpendant du nombre de rptitions de l'exprience Monte Carlo. On utilise cette distribution empirique comme reprsentation de la vraie loi de la statistique. La probabilit de rejet peut donc tre calcule simplement partir de l'EDF,

RP = 1 F (c)
Ce n'est rien d'autre que la proportion de valeurs simules de la statistique de test grande que le seuil critique

(2.24)

plus

obtenue partir de la loi nominale :

1 RP = N

I(i > c)
i=1

(2.25)

On prfre souvent travailler avec des

P -values

plutt qu'avec des seuils critiques. En

pratique, si on utilise la loi asymptotique comme loi nominale et si statistique avec les donnes d'origine, la

est la ralisation de la

P -value

asymptotique est gale (2.26)

p( ) = Pas ( > ) = 1 Fas ( )


et on rejette le test si la valeur de la

P -value

est infrieure au niveau nominal

Dans le

cadre d'une simulation, on connat la vraie loi et on peut calculer exactement la probabilit de rejet, ou erreur de Type I, voir la section 1.4 pour plus de dtails,

1 RP = P0 (p( ) < ) = 1 F0 (Fas (1 ))

(2.27)

Il est clair que si la loi nominale est gale la vraie loi, il n'y a pas de distorsion de niveau et le test est parfaitement able (RP Carlo, on obtient

realisations

= et ERP = 0). Dans la cadre d'une exprience Montede la statistique i , pour i = 1, . . . , N partir desquelles

26

2. Les Mthodes de Monte Carlo

on peut calculer

N P -values

simules :

pi = Pas ( > i ) = 1 Fas (i )


La fonction de distribution empirique

(2.28)

F,

ou EDF, de l'ensemble de ces valeurs,

1 F (x) = N
est une approximation de la vraie loi de la de rptitions empirique,

I(pi x)
i=1

(2.29)

P -value p( ), d'autant plus prcise que le nombre

est grand. On calcule la probabilit de rejet sur la base de cette distribution

RP = P0 (p( ) < ) = F ()
Ce n'est rien d'autre que la proportion de valeurs simules de gale au niveau nominal

(2.30)

P -values, pi ,

plus petite ou

RP =

1 N

I(pi )
i=1

(2.31)

Finalement, on constate que l'tude de la abilit d'une statistique de test partir d'une exprience Monte Carlo est trs simple mettre en uvre. partir du moment o on dispose de

valeurs simules d'une statistique de test

i ,

ou d'une

P -value pi ,
N

la probabilit de

rejet est gale :

1 RP = N

I(i > c)
i=1

ou

1 RP = N

I(pi )
i=1

(2.32)

Il sut donc de compter la proportion de valeurs simules de la statistique suprieure un seuil critique

c,

ou le nombre de valeurs simules de la

P -value

infrieure au niveau nominal

Une mesure de la abilit de la statistique de test est ensuite donne par l'erreur de la

probabilit de rejet :

ERP = RP

(2.33)

Si on obtient une valeur gale zro, le test est parfaitement able, sinon le test peut tre fauss. Si la valeur obtenue est positive (ngative), le test sur-rejette (sous-rejette) l'hypothse nulle alors qu'elle est vraie.

Puissance
L'tude de la abilit d'un test consiste tudier la prsence ou non d'une distorsion du niveau : cela revient vrier que le niveau nominal choisi par l'conomtre correspond bien la vraie probabilit de rejetter l'hypothse nulle alors qu'elle est vraie (Erreur de Type I ou niveau rel). Si par exemple on xe un niveau nominal

0.05 et que le test est able, cela

2.3. Mise en uvre

27

signie que l'erreur que l'on accepte de faire si l'hypothse teste est vraie est bien de l'ordre de

5%,

si le test n'est pas able cette erreur n'est pas contrle et elle peut tre largement

dirente de

5%.

Pour qu'un test soit utilisable en pratique, la premire condition est qu'il

soit able en chantillon ni. Toutefois, pour qu'un test soit performant en pratique, la condition de abilit n'est pas susante. L'hypothse teste peut tre vraie, mais elle peut tout aussi bien tre fausse. Dans le cas o cette hypothse n'est pas vrie, un test est performant s'il rejette cette hypothse. L'tude de la puissance concerne prcisement le comportement de la statistique de test lorsque l'hypothse nulle n'est pas vrie : c'est la probabilit de rejetter cette hypothse lorsque cette hypothse n'est pas vrie. L'tude de la puissance permet de comparer les performances en chantillons ni de plusieurs statistiques de test. Si on compare plusieurs statistiques de tests ables, qui testent la mme hypothse nulle, la statistique la plus performante est celle dont la puissance est la plus forte. Une exprience Monte Carlo consiste gnrer

ralisations d'une statistique

sur la

base d'un DGP qui ne ne respecte pas l'hypothse nulle mais qui est spci sous l'hypothse alternative. Soient ralisations des

l'ensemble des ralisations de cette statistique et

pi

l'ensemble des

P -values, pour i = 1, . . . , N . L'EDF forme par l'ensemble de ces ralisations 1 F = N


N

I(pi x)
i=1

(2.34)

est une estimation convergente de la distribution de la Pour un niveau nominal verie est donn par

P -value

sous l'hypothse alternative.

, la probabilit F (), ou encore

de rejetter l'hypothse nulle alors qu'elle n'est pas

1 P ower = N

I(pi )
i=1

(2.35)

Il sut de compter la proportion de valeurs simules infrieure au niveau choisi

tude du biais d'un estimateur


Dans le cas o un estimateur n'est pas sans biais, une exprience Monte Carlo peut s'avrer utile pour mesurer l'ampleur de ce biais dans des cadres bien prcis. Elle peut galement tre utile lorsqu'on souhaite comparer les biais entre deux estimateurs. Soit un estimateur

dont la vraie valeur est

0 ,

le biais d'un tel estimateur est gal (2.36)

B() = E( 0 )
Une exprience Monte Carlo consiste gnrer base d'un 

ralisations de cet estimateur, sur la

vrai

DGP dnit au pralable dans l'exprience. On note ces ralisations

i ,

28

2. Les Mthodes de Monte Carlo

i = 1, . . . , N . L'ensemble de ces ralisations dnissent la fonction de distribution empirique, ou EDF, de l'estimateur : N 1 F (x) = I(i x) (2.37) N i=1
o

I(.)

est la fonction indicatrice, gale

si son argument est vrai et

sinon. On utilise

cette distribution empirique comme approximation de la vraie loi de l'estimateur : on estime son esprance par la moyenne des

valeurs simules

i ,

le biais est estim par

1 B() = N

(i 0 )
i=1

(2.38)

Si maintenant on compare les biais entre deux estimateurs la vraie valeur est

et d'un mme paramtre, dont

0 ,

la dirence entre les deux biais est gale :

B() B() = E ( 0 ) ( 0 ) = E( )
et peut tre estime simplement par

(2.39)

1 B() B() = N
o

(i i )
i=1

(2.40)

et

i ,

pour

i = 1, . . . , N ,

sont

ralisations des deux estimateurs respectifs.

On peut remarquer que le nombre de rptitions

sera moins important pour estimer,

avec un mme niveau de prcision, une dirence de biais entre deux estimateurs, plutt que le biais d'un unique estimateur. En eet, la variance de la dirence de biais entre deux estimateurs (2.40) est gale :

1 1 2 V () + V () Cov(, ) N N N
Elle est plus petite que la variance d'un unique estimateur, signicativement positif. Les deux estimateurs positive, partir du moment o

(2.41)

B()

ou

B(),

si

Cov(, )

est

et

seront fortement corrls de manire

et

sont gnres avec le mme ensemble de nombres

alatoires, c'est dire avec un mme gnrateur de nombres alatoires et un mme point de dpart (seed). Mais, c'est de cette manire que l'exprience Monte Carlo devrait tre mise en uvre.

Lorsqu'on s'intresse l'ecacit d'un estimateur, il ne faut pas forcment se restreindre l'tude d'estimateurs sans biais. En eet, il peut trs bien y avoir des estimateurs lgrement biaiss, de variance beaucoup plus petite que des estimateurs sans biais. Un critre qui tiend compte de ce double eet est l'erreur quadratique moyenne, ou

mean squared error,

note

2.4. Prsentation des rsultats

29

MSE, qui est la dirence entre la variance et le biais lev au carr :

2
MSE ()

= V () + B()

(2.42)

L'estimateur dont la MSE est la plus petite est considr comme le plus ecace.

2.4 Prsentation des rsultats


Un dernier aspect dlicat d'une exprience Monte Carlo concerne la prsentation des rsultats. L'objectif tant de prsenter les principaux rsultats des experiences sans accabler le lecteur de dtails peu importants. L'approche classique consiste reporter dans des tableaux les estimations du biais d'un estimateur, ou de la probabilit de rejet d'une statistique de test pour les niveaux nominaux

= 0.01, 0.05

et

0.10.

Cette approche a au moins deux serieux dsavantages. Le premier est

que les rsultats portent seulement sur quelques points de la distribution en chantillon ni de la statistique de test, pour

= 0.01, 0.05, 0.10.

Le second est que la lecture d'un tableau

avec beaucoup de chires n'est pas forcment facile et demande souvent un eort important. De plus, il est important de prsenter des rsultats faciles comparer. Par exemple, si on s'intresse l'erreur quadratique moyenne (MSE) entre plusieurs estimateurs, il vaut mieux prsenter des ratios, relatifs un cas de rfrence, plutt que prsenter les rsultats obtenus pour chaque estimateur pris un un. Une autre faon de prsenter les rsultats est d'estimer une surface de rponse, o les rsultats de chaque exprience sont traits comme une seule observation, et un modle de rgression ajuste les quantits d'intrt la taille d'chantillon et aux autres aspects du DGP qui varient selon l'exprience. De faon idale, les estimations de la surface de rponse rsument les rsultats des expriences et fournissent une manire plus compacte et plus rapidement comprhensible de prsenter les rsultats qu'une suite de tableaux ne le ferait. Le principal problme de cette approche repose sur la bonne spcication de la surface de rponse, qui est une dicult majeure de son application en pratique. Pour une prsentation dtaille de cette approche, voir Hendry (1984) ou Davidson et MacKinnon (1993). L'approche graphique est souvent beaucoup plus simple lire que les tableaux. Pour des expriences portant sur le biais ou l'erreur quadratique moyenne (MSE) d'un estimateur, on peut reprsenter sur un mme graphique les rsultats obtenus de ces quantits pour plusieurs paramtres, par rapport direntes valeurs d'un ou plusieurs paramtres du DGP, comme par exemple la taille de l'chantillon. Il faut dcider ce que l'on met en abscisse et en ordonne, puis les dirents cas reprsents sur le mme graphique, de manire obtenir un graphique facile lire. Plutt que de reprsenter le biais ou la MSE, on pourrait aussi reprsenter la fonction de distribution empirique de ces quantits, ou une estimation (par noyaux) de sa fonction de densit.

30

2. Les Mthodes de Monte Carlo

Pour l'tude du niveau et de la puissance d'un test, Davidson et MacKinnon (1998) ont proposs plusieurs reprsentations graphiques utiles : les tras de des carts de

P -values

et les tras

P -values

pour le niveau, et les courbes niveau-puissance pour la puissance.

L'ensemble de ces graphes sont bass sur la fonction de distribution empirique, ou EDF, des

P -values d'une statistique de test, forme par l'ensemble 1, . . . , N , obtenues partir d'une exprience Monte Carlo, F () =
o

des

P -values

simules

pi , i =

1 N

I(pi )
i=1

(2.43)

I(pi )

est une fonction indicatrice gale

si son argument est vrai,

sinon. Une

manire simple de reprsenter la fonction de distribution empirique consiste l'valuer pour tous les points de l'chantillon,

= p 1 , p2 , . . . , p N .
Mais, lorsque

(2.44)

est grand, il est prfrable de l'valuer seulement sur

points choisis

l'avance qui reprsentent correctement l'intervalle de bons rsultats graphiques est

(0, 1).

Un choix de ces points qui donne

= 0.002, 0.004, . . . , 0.01, 0.02, . . . , 0.99, 0.992, . . . , 0.998

(m = 107)

Un autre choix, qui peut donner des rsultats sensiblement meilleurs, est

= 0.001, 0.002, . . . , 0.010, 0.015, . . . , 0.990, 0.991, . . . , 0.999


Pour faire une reprsentation graphique de l'EDF, il sut de tracer les valeurs prises par

(m = 215)

F () en ordonnes contre

en abscisses. En pratique, on fait comme suit :

1. on ordonne l'ensemble des valeurs prises par

pi ,

que l'on stocke dans le vecteur

2. le calcul de

F ()

se fait en construisant le vecteur

y = 1/m, 2/m, . . . , (m 1)/m, 1. y


en

La reprsentation graphique de l'EDF se fait trs simplement en tracant les valeurs de ordonne contre les valeurs prises par est value en tous les points,

en abscisse. Si la fonction de distribution empirique

m = N.

Il est plus conventionnel de travailler avec l'EDF d'une statistique de test, plutt que d'une

P -value.

Toutefois, comme le soulignent Davidson et MacKinnon (1998), le principal

avantage d'un graphique bas sur l'EDF d'une

P -value

est qu'il ne dpend pas de la dis-

tribution de la statistique sous l'hypothse nulle. De ce fait, il est toujours contenu dans l'intervalle (0,1) et la comparaison entre des statistiques de tests qui n'ont pas la mme distribution sous l'hypothse nulle peut se faire directement.

2.4. Prsentation des rsultats

31

Tra des P -values ou P -value plots


Le graphique le plus simple consiste reprsenter en ordonne

F ()

et

en abscisse, (2.45)

RP = F ()

par rapport

Ce type de graphique consiste reprsenter la probabilit de rejet (erreur de type I ou niveau rel) en fonction du niveau nominal, voir (2.31). Pour une abscisse gale

= 0.05, l'ordonne

donnera la valeur de la probabilit de rejet, habituellement donne dans un tableau. Sur ce graphique, les valeurs des probabilit de rejet sont donnes pour un grand nombre de niveaux nominaux

. P -value
devrait tre la loi Uniforme

Ce type de graphique est trs simple interprter. D'aprs (1.31), si la loi nominale est la vraie loi, la loi de la Autrement dit, si le test 0 est parfaitement able, la courbe obtenue sera proche de la ligne 45 . Si cette courbe est 0 au-dessus de la ligne 45 , le test sur-rejette l'hypothse nulle alors qu'elle est vraie, si elle est au-dessous de cette ligne le test sous-rejette l'hypothse nulle.

U (0, 1).

Tra des carts de P -values ou P -value discrepancy plots


Pour des statistiques de tests qui se comporte raisonnablement bien, il est prfrable de reprsenter en ordonne

F ()

et en abscisse

ERP = F ()

par rapport

(2.46)

Ce type de graphique consiste reprsenter l'erreur de la probabilit de rejet, ou distorsion du niveau, en fonction du niveau nominal, voir (2.33). Il permet de visualiser plus prcisement 0 un test qui se comporte bien, proche de l'axe 45 sur un tra de P -value. Toutefois, une partie de l'information qu'il reprsente est l'erreur exprimentale et il peut tre parfois plus dlicat d'interprter un tra des carts de

P -values

plutt qu'un simple tra de

P -values.

L'interprtation de ce type de graphique est galement trs simple. Si le trac est audessus de l'axe horizontal, le test sur-rejette pour le niveau nominal

donn par l'axe des

abscisses. Si le trac est au-dessous de l'axe horizontal, le test sous-rejette. Si la courbe concide avec l'axe des abscisses, la distorsion du niveau est nulle et le test est parfaitement able.

Fonction de niveau
On peut galement xer le niveau nominal (

= 0.05

ou

0.01)

et reprsenter graphique-

ment la probabilit de rejet (en ordonne) obtenue pour direntes valeurs d'un paramtre

32

2. Les Mthodes de Monte Carlo

du DGP (en abscisse),

RP = F ( = 0.05)

par rapport

(2.47)

Plusieurs expriences Monte Carlo sont alors ncessaires, correpondants des DGP dirents ayant des valeurs distinctes d'un paramtre

. Typiquement, ce paramtre peut tre la taille

de l'chantillon, ou tout autre paramtre pour lequel les rsultats d'une exprience Monte Carlo sont sensibles.

Courbe Niveau-Puissance ou Size-Power curves


Une courbe Niveau-Puissance reprsente la puissance en ordonne contre le niveau rel en abscisse. Il faut faire attention bien utiliser le niveau rel, et non pas le niveau nominal, en abscisse pour pouvoir comparer les puissances entre dirents tests. On parle alors de puissance corrige du niveau (nominal). La manire la plus simple de faire ce type de reprsentation consiste faire le graphe de l'EDF de l'hypothse nulle nulle

P -values issues d'un DGP qui ne respecte pas


issues d'un DGP qui respecte l'hypothse

F ()

contre l'EDF de

P -values

F (), P ower = F ()
par rapport

RP = F ()

(2.48)

Pour faire ce type de graphique, il faut donc eectuer deux expriences qui utilisent le mme ensemble de nombres alatoires. La manire de choisir le DGP qui ne respecte pas l'hypothse nulle n'est pas simple, car dirents choix peuvent donner des rsultats dirents. Il est souvent prfrable d'utiliser deux DGP, l'un qui respecte l'hypothse nulle l'autre pas, aussi proche que possible l'un de l'autre.

Fonction Puissance
Comme pour la fonction de Niveau, on peut xer le niveau rel et reprsenter graphiquement la puissance (en ordonne) obtenue pour direntes valeurs d'un paramtre du DGP (en abscisse).

P ower = F

F () = 0.05

par rapport

(2.49)

Pour pouvoir comparer les puissances de direntes statistiques de test, il est indispensable de comparer les niveaux de puissances niveau rel identique. Faire une telle comparaison niveau nominal identique n'a pas de sens, moins que les tests soient exacts et qu'il n'y ait aucune distorsion de niveau. Plusieurs expriences Monte Carlo sont alors ncessaires, correpondants des DGP dirents ayant des valeurs distinctes d'un paramtre

Typique-

ment, ce paramtre peut tre la valeur du paramtre test, prenant des valeurs de plus en plus loignes de la valeur qu'il prend sous l'hypothse nulle.

2.5. Application I

33

Parmi les graphiques exposs pour prsenter les rsultats d'une exprience Monte Carlo, le type de graphique utiliser dpendra essentiellement des aspects des rsultats que l'on souhaite mettre en vidence.

2.5 Application I
L'une des plus simple utilisation des mthodes de Monte Carlo consiste vrier des rsultats de la thorie asymptotique. Considrons le modle de rgression linaire simple

y = X + u,

u IID (0, 2 I)

(2.50)

Supposer que ce modle est correctement spci signie que le vrai processus qui gnr les donnes observes appartient ce modle, il est caractris par le DGP

y = X0 + u,
o

2 u G (0, 0 )

(2.51) la loi des alas. D'aprs la

et

2 0

sont des valeurs inconnues des paramtres et

thorie asymptotique, si les rgresseurs sont exognes ou prdtermins par un processus compltement indpendant de ce modle, et si les alas sont indpendants et identiquement distribus suivant une distribution quelconque

G,

alors l'estimateur par moindres carrs

ordinaires des paramtres est le meilleur estimateur sans biais et il est asymptotiquement distribu selon une loi Normale,

Si la loi des alas

as

2 N 0 , 0 (X X)1

(2.52)

G est la loi Normale, ce rsultat est exact. Mais si la loi des alas n'est pas

la loi Normale, ce rsultat est asymptotique et il n'est a priori pas vident de savoir pour quelles tailles d'chantillons la vraie loi de cet estimateur est proche de sa loi limite Normale. Dans cette application, nous vrions la validit de ce rsultat lorsque la distribution des alas n'est pas du tout distribu selon la loi Normale. Nous considrons que distribution des alas est la distribution de Rademacher, qui prend deux valeurs,

G:

u=

+1 1 0

avec la probabilit avec la probabilit

1/2 1/2. 1.

(2.53)

L'esprance de cette loi est gale

et sa variance est gale

Une telle exprience nous

permet, dans un contexte dnit au pralable, d'avoir une bonne reprsentation de la vraie loi de l'estimateur

Par consquent, elle nous indiquera si pour une petite taille d'chantillon

n,

la loi Normale est une bonne image de la vraie loi.

34

2. Les Mthodes de Monte Carlo

Description du Modle
Nous nous limitons au cas le plus simple, celui d'un modle de rgression linaire avec une seule variable explicative. Le vrai DGP est dnit comme suit :

y = x + u,
Cela revient considrer

u G(0, 1)

(2.54)

2 0 = 1 et 0 = 1 dans (2.51) et une matrice des rgresseurs compose d'une seule variable X = x. La distribution asymptotique de l'estimateur OLS des 1 paramtres est la loi Normale d'esprance 1 et de variance (x x) ,

as

N 1, (x x)1 x

(2.55) sont dnis au pralable par un

Plutt que d'utiliser des donnes relles, les rgresseurs

processus indpendant : ce sont des tirages indpendants issus d'une loi Lognormale (trs dirente de la loi Normale). Ils sont gnrs tout au dbut de l'exprience et sont identiques pour toutes les

rptitions de l'exprience Monte Carlo.

Pour gnrer des nombres alatoires indpendants distribus selon la distribution prend les valeurs

qui

1 et 1 avec la mme probabilit 1/2, on utilise des tirages issues d'une loi Uniforme U (0, 1). Soient un tirage indpendant de U (0, 1), round(x) une fonction dont le rsultat est l'entier le plus proche de x, int(x) la fonction qui retient la partie entire de x, u = 2 round() 1
ou

u = int(2 ) 1 G,

(2.56)

sont alors deux tirages identiques issus de la loi

gnrs respectivement par les fonctions

round

et

int.

On peut utiliser indirement l'une ou l'autre fonction.

L'algorithme utilis est le suivant : 1. On dnit la taille de l'chantillon

n = 10, le nombre de rptitions N = 10.000, les vraies valeurs des paramtres 0 = 0 = 1 et on gnre les rgresseurs log(x) N (0, 1). n n
alas

2. On gnre

ut , t = 1, . . . , n,

partir de la distribution des alas choisie au

pralable : la distribution de Rademacher 3. On gnre

G. yt , t = 1, . . . , n,
partir du vrai DGP

valeurs de la variable dpendante

dnit au pralable :

y t = x t + ut . (yt , xt ), y = x + u
par

4. Pour l'chantillon simul

on estime le modle de rgression 1 OLS et on sauve l'estimateur des paramtres j = (x x) x y .

5. On rpte

fois les tapes

des paramtres

j ,

pour

2, 3 et 4 de manire obtenir N j = 1, . . . , N .

ralisations de l'estimateur

La fonction de distribution empirique, ou EDF, des N ralisations de l'estimateur des N 1 paramtres F (x) = N j=1 I(j x), est une approximation de la vraie loi de l'estimateur

d'autant plus prcise que

est grand.

2.5. Application I

35

Rsultats exprimentaux
La loi asymptotique sera une bonne image de la vraie loi, dans le cadre dnit dans l'exprience prcdente, si la loi Normale est une bonne approximation de la fonction de distribution empirique :

N 1, (x x)1

(2.57)

Une manire adquate de reprsenter les rsultats consiste donc tracer sur un mme graphique la loi Normale avec l'EDF de l'estimateur des paramtres. Nous avons vu que le graphe de l'EDF consiste simplement tracer le vecteur des valeurs

z1

en ordonne contre

ordonnes dans l'ordre croissant, et

z2 en abscisse, o z1 z2 = 1/N, 2/N, . . . , 1.

est

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.4

Loi Asym Vraie Loi

0.6

0.8

1.2

1.4

1.6

Fig. 2.1  Loi asymptotique et vraie loi de

pour

n = 10

La gure 2.1 reprsente le trac de la loi asymptotique et de la vraie loi. Il est clair que l'approximation donne par la loi asymptotique est de bonne qualit, alors que dans notre modle la loi des alas trs dirente de la loi Normale et la taille de l'chantillon et trs petite, avec seulement

10

observations.

L'estimateur OLS des paramtres est suppos sans bais, on peut galement vrier ce rsultat partir de notre exprience. Tout d'abord, d'aprs le graphique, il est raisonnable de penser que le biais de l'estimateur est quasiment nul car l'approximation est de trs bonne qualit et elle est centre autour de la valeur

1.

Nanmoins, on peut estimer ce biais

quantitativement par l'cart entre la moyenne des ralisations et la vraie valeur,

B() = 0

1 = N

j
j=1

(2.58)

36

2. Les Mthodes de Monte Carlo

La variance de cette quantit fournit une information sur la prcision de cet estimateur du biais. Pour obtenir ces quantits, il sut d'estimer par OLS le vecteur des ralisations sur le vecteur constant : l'estimateur des paramtres donne la moyenne des ralisations

et

l'cart-type associ donne l'cart-type de cet estimateur et donc du biais. Dans notre exemple, pour

N = 10.000,

on obtient :

= 1.000551

et

= 0.002117.

Il est clair que l'estimation

du biais et sa prcision dpend du nombre de rptitions : pour un nombre plus petit de

= 0.995031 et = 0.006782, qui est moins prcis. Nanmoins, dans les deux cas, un test t de Student qui teste la nullit biais, t = ( 1)/ , conduit un non-rejet (t = 0.26 et t = 0.73) de cette hypothse. On vrie bien que le biais de l'estimateur est nul : l'estimateur est donc bien un estimateur sans biais.
rptitions,

N = 1.000,

on obtient

2.6 Application II
Dans cette application, nous tudions les performances numriques des tests robustes l'htroscdasticit de forme inconnue. Soit le modle de rgression linaire suivant :

yt = Xt + ut
o

E(ut ) = 0,
une ligne

2 E(u2 ) = t t

(2.59)

yt

est une variable dpendante,

Xt

1k

de la matrice des rgresseurs supposs

exognes,

et

sont le paramtres inconnus et la variance des alas ;

ut

est un ala. Si

les alas sont htroscdastiques, l'infrence sur les paramtres de la rgression linaire doit tre eectue avec prcaution. En eet, dans ce cadre, l'estimateur OLS de la matrice de covariance est en gnral biais est non-convergent. De ce fait, les tests bass dessus ne sont plus valides. Eicker (1963) et White (1980) ont propos un estimateur robuste l'htroscdasticit de forme inconnue, ou HCCME (

Heteroskedasticity Consistent Covariance Matrix Estimator),


(X X)1 X X(X X)1

qui permet de faire de l'infrence asymptotiquement valide sur les paramtres : (2.60)

o la matrice diagonale

de taille

n n,

a pour lment type

a2 u 2 , t t

ut

est le rsidu

OLS. MacKinnon et White (1985) considrent plusieurs formes direntes du HCCME et montrent qu'en chantillon ni les tests bass dessus peuvent tre trs peu ables, mme lorsqu'on dispose d'un nombre important de donnes. Chesher and Jewitt (1987) montrent que ce problme est li la structure des rgresseurs, notamment la prsence d'observations inuentes ou fort eets de levier, voir le chapitre I du livre de Davidson et MacKinnon (1993) pour plus de dtails. Nous appellons la forme simple du HCCME, telle qu'elle a t propose par Eicker (1963) et White (1980),

HC0 ,

et les formes alternatives proposes par

2.6. Application II

37

MacKinnon et White (1985),

HC1 , HC2 n nk tme

et

HC3

HC0 : at = 1
o

HC1 : at =
est le

HC2 : at =

1 1 ht

HC3 : at =

1 1 ht

ht Xt (X X)1 Xt

lment de la matrice de projection orthogonale sur

l'espace engendr par les colonnes de

X.

MacKinnon et White (1985) et Chesher et Jewitt

(1987) montrent qu'en terme de distorsion du niveau, son tour moins performant que

HC0

est moins performant que

HC1 ,

HC2

et

HC3 .

L'une de ces deux dernires versions n'est pas

meilleure que l'autre dans tous les cas, mme si un certain nombre d'expriences Monte Carlo.

HC3

s'est montre plus performante dans

Dans cette application, nous allons essayer de retrouver les rsultats de MacKinnon et White (1985) en eectuant une exprience Monte Carlo. Tout d'abord, nous allons spcier un DGP, en faisant un choix des paramtres et distributions inconnus du modle. Puis nous prsenterons les rsultats l'aide des mthodes graphiques.

Description du modle
Dans cette tude, nous nous intressons aux proprits en chantillon ni des statistiques de tests bases sur le HCCME dans le cadre d'un modle de rgression linaire. Un modle de rgression htroscdastique peut se recrire comme suit,

yt = x1t 1 + X2t 2 + t t

t IID(0, 1)
2 t .

(2.61) Le nombre

o les rgresseurs sont exognes et les alas sont indpendants de variance d'observations est compose de

et les rgresseurs sont dcomposs un vecteur

x1

et une matrice

X2

k1

variables. La quantit qui fait l'objet de l'tude est la statistique

base

sur le HCCME, qui teste l'hypothse nulle

1 = 10 . Le thorme de Frisch-Waugh-Lovell montre que l'estimateur OLS des paramtres 1 et les rsidus du modle (2.61) sont les 1 mmes que ceux du modle M2 y = M2 x1 1 + M2 u, o M2 = I X2 (X2 X2 ) X2 et u est un vecteur de rsidu dont un lment type est ut = t t . On peut dduire de ce modle, 1 = (x1 M2 x1 )1 x1 M2 y = 10 + (x1 M2 x1 )1 x1 M2 u
L'estimateur HCCME de (2.62)

peut tre obtenue en appliquant la formule (2.60) ce modle, (2.63)

V (1 ) = (x1 M2 x1 )1 x1 M2 M2 x1 (x1 M2 x1 )1
o

2 2 2 2 diag (a1 u1 , . . . , an un ) et

l'hypothse nulle

1 =

est le rsidu de l'estimation du modle. On peut tester 10 avec la statistique de test = (1 10 )/V (1 )1/2 , qui suit

ut

asymptotiquement une loi

N (0, 1).

Nous avons vu qu'il est important de savoir dans

quelle mesure les rsultats d'une exprience Monte Carlo sont sensibles certains choix de

38

2. Les Mthodes de Monte Carlo

paramtres. Pour ce faire, on tudie les invariances et les fortes sensibilit de la statistique par rapport aux paramtres du modle.

Invariances
Pour pouvoir tudier les invariances de la statistique, il faut exprimer cette dernire en fonction des lments dterministes et stochastiques du modle de rgression. Sous l'hypo1 thse nulle on a : M2 y = M2 u et u = M1 M2 y = M1 M2 u o M1 = I x1 (x1 x1 ) x1 . On peut 2 2 2 2 donc recrire = diag (a1 M1 M2 u1 , . . . , an M1 M2 un ) et la statistique de test comme suit,

x 1 M2 u (x1 M2 M2 x1 )1/2

(2.64)

Une premire remarque importante est que l'expression de la statistique fonction de

n'est pas une

2 , cette statistique est donc invariante par rapport n'importe quel choix de ce 10 ,
si la statistique est evalue en cette valeur,

paramtre dans la dnition du DGP de l'exprience Monte Carlo. Par ailleurs, on constate que quel que soit le choix de la valeur teste la statistique

est invariante. On peut galement montrer que

est invariante par rapport

l'chelle des variances des alas : si on multiplie par un facteur constant r les variances 1/2 des alas, r apparait au numrateur et au dnominateur de l'expression de et donc se simplie. Avec le mme raisonnement, on montre que la statistique est invariante par rapport l'chelle des rgresseurs. Finalement, les rsultats de l'exprience Monte Carlo seront indpendants des choix de

1 ,

2 ,

de l'chelle des variances des alas et de l'chelle des rgresseurs.

Sensibilits
Tout d'abord, les rsultats exprimentaux devraient tre sensibles taille de l'chantillon

n,

plusieurs expriences seront donc menes avec des choix dirents de

n.

Par ailleurs, le

choix du nombre de rgresseurs

dans le modle peut galement tre inuent. Enn, les

invariances observes conduisent penser que les rsultats seront galement sensibles au choix de la forme de l'htroscdsaticit et au choix des rgresseurs. Le choix de la forme de l'htroscdasticit est largement discutable. Toutefois, il est important de noter que l'htroscdasticit est vraiment gnante seulement si elle est une fonction des rgresseurs du modle. En eet, on peut la dcomposer en deux termes, l'un 2 2 constant l'autre pas : t = s + t . Dans ce cas, l'lment de la ligne i et de la colonne j de 2 2 la matrice X X dans l'expression du HCCME, o = diag(1 , . . . , n ) est gal

n 2 t Xti Xtj = t=1

s2 Xti Xtj +
t=1 t=1

t Xti Xtj

(2.65)

Si la forme de l'htroscdasticit ne dpend pas des rgresseurs, de leurs carrs et de leurs

2.6. Application II

39

produits croiss, le vecteur

= (1 , . . . , n ) tend tre orthogonal aux vecteurs de la matrice X X et donc, le dernier terme de l'expression de droite tend vers 0 lorsque la taille de 2 l'chantillon tend vers l'inni. Dans ce cas, on montre que X X = s X X et nalement,
la matrice de covariance peut tre estimer de manire convergente par son estimateur OLS. Cela montre que si l'htroscdasticit dpend des rgresseurs, les tests doivent tre bass sur le HCCME, sinon l'estimation OLS reste valide, ce n'est que l'ecacit des tests qui se trouve aects. Cela montre que le choix de la forme de l'htroscdasticit dans l'exprience doit tre une fonction des rgresseurs, pour quelle soit vraiment gnante. Mais la fonction en elle mme peut tre dnie de nombreuses manire direntes. Plusieurs exemples ont t utiliss dans la littrature : -

t t t t

= 1 si x1t < 0, t = 2 sinon : fonction en escalier (MacKinnon et White = (x1t + 3)/2 : fonction linaire croissante (Cragg 1983). = |x1t | : fonction symtrique (Horowitz 1997). = ex1t /2 , la loi exponentielle peut elle aussi tre trs perturbatrice.

1985).

Une exprience pralable avec plusieurs choix distincts de la forme de l'htroscdasticit peut permettre de slectionner une fonction particulire. Les rsultats d'une telle exprience montrent que la fonction symtrique parat tre la plus gnante : elle fait apparaitre la plus forte distorsion du niveau. C'est donc la fonction retenue dans la suite de l'tude. Dans de nombreux cas, la manire de choisir les

Xt

ne sera pas d'une grande importance.

Cependant, il existe des cas pour lesquels elle peut avoir un impact substantiel sur les rsultats. Par exemple, MacKinnon et White (1985) ont utilis les expriences Monte Carlo pour examiner la performance en chantillon ni de dirents estimateurs des matrices de covariance robustes l'htroscdasticit. Ils ont utilis de vritables donnes conomiques pour les

50

observations sur

Xt ,

rptant ces

50

observations autant que

ncessaire pour chaque taille d'chantillon. Comme Chesher et Jewitt (1987) l'ont montr plus tard, la performance des estimateurs dpend crucialement des ht , c'est--dire des 1 lments diagonaux de la matrice PX = X(X X) X ; ils sont d'autant plus performants que les

ht

sont bien homognes, sans valeurs extrmes. Quand la matrice

est gnre

comme l'ont fait MacKinnon et White, avec un taux proportionnel

1/c

(et ensuite

n = 50c, tous les ht doivent aussi 1/n). Ainsi MacKinnon

approcher zro et White taient

assurs de trouver une amlioration rapide des rsultats au fur et mesure que la taille de l'chantillon augmentait. Par contraste, Cragg (1983), en ralisant des expriences Monte Carlo sur un problme connexe, a gnr les

Xt

de faon alatoire partir de la

distribution lognormale. Cette distribution possde une longue queue de droite et gnre ainsi de temps autres des valeurs leves pour quelques valeurs relativement grandes de

Xt . 1/n.

Celles-ci produisent des

ht ,

et il en rsulte que les valeurs les plus grandes de Ainsi, comme l'analyse

ht

tendent vers zro un taux beaucoup plus faible que

de Chesher-Jewitt l'aurait prdit, Cragg a trouv que la performance en chantillon ni n'a t amliore que trs lgrement quand la taille de l'chantillon avait augment. Par consquent, les rsultats de l'exprience ne devraient pas tre tellement sensibles

40

2. Les Mthodes de Monte Carlo

la taille de l'chantillon, mais plutt la structure des rgresseurs et la forme des

ht .

Dans la suite de l'tude, on gnre les rgresseurs partir d'une loi Lognormale an que la structure des rgresseurs fasse aparatre une ou plusieurs observations fort eet de levier.

Modle
Les discussions prcdentes conduisent considrer le modle de rgression linaire suivant

yt = 0 + 1 x1t + 2 x2t + t t
o les vraies valeurs des paramtres sont

(2.66)

0 = 1 = 2 = 0, t = |x1t | et t est un bruit blanc Normal N (0, 1). On choisit la taille d'chantillon n = 100, le nombre de rptitions est N = 10.000 et les rgresseurs sont gnrs au pralable partir d'une loi Lognormale3 de
manire ce qu'ils contiennent une ou plusieurs observations fort eet de levier, ils restent identiques pour toutes les rptitions de l'experience. L'hypothse teste est de la statistique de test base sur le HCCME,

1 = 0

partir

= x1 M2 y/(x1 M2 M2 x1 )1/2 = diag (a2 u2 , . . . , a2 u2 ), avec at correspondant une n n 1 1 HC2 et HC3 , et ut est le rsidu issu d'une estimation OLS
o des transformations du modle.

(2.67)

HC0 , HC1 ,

Des dveloppements asymptotiques, les expansions d'Edgeworth, montrent que la distorsion de niveau, ou ERP, d'un test uni-latral converge vers zro plus lentement que celle d'un test bi-latral, lorsque la taille de l'chantillon tend vers l'inni, voir Hall (1992). Plutt que d'tudier les performances numriques d'un test bi-latral, nous prfrons donc l'tude d'un test uni-latral : on utilise le carr de la statistique

et on calcule un seuil critique ou une

P -value

partir de la loi de Fisher.

L'algorithme utilis est le suivant : 1. On dnit la taille de l'chantillon et les vraies valeurs 2 des paramtres. On gnre les rgresseurs, puis la variance des alas t .

n,

le nombre de rptitions

2. On gnre

n alas t , t = 1, . . . , n, partir de la loi N (0, 1), puis n valeurs de la variable dpendante yt , t = 1, . . . , n, partir du vrai DGP dnit au pralable : yt = t t . (yt , x1t , x2t ), on rgresse y sur la constante, x1 et x2 par OLS, 1/2 et une P -value puis on calcule la statistique de test j = x1 M2 y /(x1 M2 M2 x1 ) 2 asymptotique pj = 1 F (j ) sur la base de la loi F de Fisher. pj ,
pour

3. Pour l'chantillon simul

4. On rpte

N fois les tapes 2 j = 1, . . . , N .

et

de manire obtenir

ralisations de la

P -value

3 Soit

un tirage de la loi

N (0, 1), x = exp()

est un tirage de la loi Lognormale, car

log(x) N (0, 1).

2.6. Application II

41

La fonction de distribution empirique, ou EDF, des

ralisations de la

P -value
(2.68)

F (x) = N 1
j=1
est une approximation de la vraie loi de cette

I(pj x)

P -value, d'autant plus prcise que N

est grand.

Rsultats exprimentaux
Dans un premier temps, nous prsentons les rsultats de l'tude de la distorsion du niveau des direntes versions des tests robustes lhe'troscdasticit de forme inconnue. Dans un deuxime temps, nous prsentons les rsultats de l'tude de la puissance de ces tests.

Niveau
, la probabilit de rejet, appele aussi Erreur de type I ou niveau rel, est donn par RP = F (). Si le test est parfaitement able, on devrait avoir RP = . On peut reprsenter graphiquement RP, par rapport pour dirents choix de : c'est le tra des P -values, donn par la gure 2.2.
Pour un niveau nominal donn

0.8

0.6

0.4 OLS HC0 HC1 HC2 HC3 0 0.2 0.4


Fig. 2.2  Tra des

0.2

0 0.6 0.8 1

P -values

Dans ce graphique, on reprsente les rsultats d'une mme exprience pour les tests bass sur les direntes versions du HCCME, avec les transformations L'ordonne de ce graphique est la probabilit de rejet

HC0 HC1 HC2

RP

et l'abscisse le niveau

HC3. nominal .
et

42

2. Les Mthodes de Monte Carlo


450 .

Pour un test parfaitement able, sa courbe devrait se confondre avec la ligne

Il est 0 clair d'aprs ce graphique que dans tous les cas les courbes sont au dessus de la ligne de 45 et donc les tests ne sont pas parfaitement ables. Nous avons galement rajouter les rsultats d'un test bas sur l'estimation

OLS HC0

non-convergente OLS de la matrice de covariance : la courbe


450
et le test n'est absolument pas able. Les

est vraiment trs loigne de la ligne de

rsultats obtenus pour les tests bass sur le HCCME sont quelque peu meilleurs. La courbe est peine visible, elle est lgrement au dessus de la courbe

au dessus de la courbe

HC2,

elle mme au dessus de la courbe

HC3.

HC1,

qui a sont tour est

La comparaison de ces

courbes montrent que, dans le cadre dnit par l'exprience, les performances numriques sont trs direntes suivant la version du HCCME utilis, elles peuvent tre classes comme suit :

HC3

HC2

HC1

HC0

On retrouve ici les rsultats exprimentaux de MacKinnon et White (1985). Pour avoir une ide plus prcise de la abilit de ces tests, on peut faire un tra des carts de

P -value,

qui reprsente en ordonne l'erreur de la probabilit de rejet

ERP = RP

et en abscisse le niveau nominal

donn par la gure 2.3. Ce graphique est reprsent sur

0.18 0.16 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0 0 0.1 0.2 0.3 0.4 0.5 HC0 HC1 HC2 HC3

Fig. 2.3  Tra des carts de

P -values

l'intervalle

[0, 0.5]

plutt que sur l'intervalle

[0, 1]

parce qu'en pratique, ce sont plutt les

valeurs faibles des niveaux nominaux qui sont utiliss (

= 0.05

ou

0.01).

Nanmoins, on

ne se limite pas deux valeurs prcises car une reprsentation sur l'intervalle

[0, 0.5]

donne

une indication de la qualit de l'approximation de la vraie loi dans son ensemble. Si on se limite une ou deux valeur de

on pourrait trouver de trs bons rsultats (ERP

0)

par pur hasard, alors que l'ERP est trs dirente de

en prenant d'autres valeurs

2.6. Application II

43

proches de

D'aprs ce graphique, si on xe l'abscisse

= 0.05,

on constate que l'ERP

est approximativement gale version

0.12

pour un test robuste l'htroscdasticit bas sur la

5%, en ralit l'erreur que l'on fait si l'hypothse nulle est vraie (RP = ERP + ) est de l'ordre de 17% : le test n'est donc pas able. Par contre, un test bas sur la transformation HC3 du HCCME amliore les rsultats : ERP 0.04 et donc RP 0.09, l'erreur rellement faite est de l'ordre de 9%. La abilit du test bas sur la version HC3 est meilleure, mais elle n'est pas
du HCCME. Cela signie que lorsqu'on pense faire une erreur de encore trs bonne, malgr la taille de l'chantillon relativement importante. Chesher et Jewitt (1987) ont montr que la mauvaise qualit de ces tests est lie la structure des rgresseurs et la prsence ou non d'observations forts eets de levier. Dans notre exprience, nous avons introduit de telles observations en gnrant les rgresseurs partir d'une loi Lognormale. Pour vrier si les rsultats sont meilleurs lorsque l'eet de levier est moins important, nous conduisons plusieurs expriences o les rgresseurs sont gnrs de manire direntes : soit un tirage de la loi N (0, 1), une ralisation des rgresseurs x1 ou x2 est donn par la formule . Il est clair que pour = exp(1), les rgresseurs seront gnrs selon la loi Lognormale et l'eet de levier sera important. Par contre, pour rgresseurs prennent comme unique valeur

HC0

=1

les

et les donnes sont parfaitement homognes.

Ce dernier cas n'est pas applicable car les trois rgresseurs sont alors des vecteurs constants et le modle ne serait pas identiable. Par contre, des valeurs raisonnables de

suprieures

permettent de contrler l'eet de levier : il sera d'autant plus faible que la valeur de

sera proche de on choisit

1 et d'autant plus fort que la valeur de = 1.1, 1.2, . . . , 2.6, exp(1), 2.8, 2.9, . . . , 3.5.
0.2 HC0 HC1 HC2 HC3

sera grande. Dans nos expriences,

0.15

0.1

0.05

-0.05 1 1.5 2 2.5 3 3.5

Fig. 2.4  Fonction de niveau : ERP lorsque l'eet de levier varie (

= 0.05) = 0.05

La gure 2.4 reprsente une fonction de niveau : pour un niveau nominal donn

44

2. Les Mthodes de Monte Carlo

on trace les ERP en ordonne contre direntes valeurs de

en abscisse, pour direntes

statistiques de tests. On remarque que l'ERP augmente fortement avec les valeurs de

, c'est

dire lorsque l'eet de levier est de plus en plus fort. Cela conrme les rsultats de Chesher et Jewitt (1987). Les rsultats des expriences sont trs sensibles au choix des rgresseurs et les tests ne sont pas ables en prsence d'observations fort eet de levier. La discussion sur le choix des rgresseurs suggre mme qu'ils sont plus sensibles la structure des rgresseurs qu' la taille de l'chantillon. Pour vrier cette hypothse, on refait la mme exprience pour des rgresseurs homognes, tirs de la loi

N (0, 1)

et une taille d'chantillon trs faible

n = 20.

On obtient les ERP suivantes,

ERPHC0 = 0.023,

ERPHC1 = 0.018, HC3

ERPHC2 = 0.014,

ERPHC3 = 0.007

On constate que l'ERP de la version

du HCCME est beaucoup plus plus faible (0.007)

que si on considre un grand nombre de donnes des fort eets de levier : pour

n = 100

mais o les rgresseurs exhibent

= 3.5,

l'ERP est gale plus de

0.06

d'aprs la gure 2.4.

Cela conrme le fait que la abilit de ces tests robustes l'htroscdasticit sont beaucoup plus sensibles la structure des rgresseurs qu' la taille de l'chantillon.

Puissance
L'tude de la puissance revient considrer la probabilit de rejetter l'hypothse nulle lorsque celle ci n'est pas vrie. Elle consiste donc spcier un nouveau DGP, qui ne respecte pas l'hypothse nulle, mais construit sous l'hypothse alternative. L'exprience Monte Carlo consiste alors utiliser l'algorithme suivant : 1. On dnit la taille de l'chantillon et les vraies valeurs 2 des paramtres. On gnre les rgresseurs, puis la variance des alas t .

n,

le nombre de rptitions

2. On gnre 3. On gnre

n n

alas

t , t = 1, . . . , n,

partir de la loi

N (0, 1).
partir du vrai DGP

valeurs de la variable dpendante

yt , t = 1, . . . , n,

dnit au pralable :

yt = t t . On regresse y sur la constante, x1 et x2 par OLS, puis 1/2 2 on calcule la statistique de test j = 1 /[V (1 )] et une P -value pj = 1 F (j ) sur la base de la loi F de Fisher. n valeurs de la variable dpendante yt , t = 1, . . . , n, partir d'un DGP pour lequel 1 = 0 : yt = 1 x1t + t t . On regresse y sur la constante, x1 et x2 par OLS, 1/2 2 puis on calcule la statistique de test j = 1 /[V (1 )] et une P -value pj = 1 F (j ) sur la base de la loi F de Fisher. N
fois les tapes sous l'hypothse nulle, et

4. On gnre

5. On rpte

2, 3 et 4 de manire obtenir N ralisations de la P -value pj N ralisations de la P -value pj sous l'hypothse alternative. N


ralisations de ces

Les fonctions de distribution empiriques, ou EDF, des

P -value
(2.69)

F1 (x) = N

1 j=1

I(pj x)

et

F2 (x) = N

1 j=1

I(pj x)

2.6. Application II

45

sont des estimateurs convergents respectivement de la vraie loi de la nulle, et de la loi de la que

P -value sous l'hypothse

P -value

si l'hypothse nulle n'est pas vrie, d'autant plus prcises

est grand.

Dans notre cadre exprimental, la statistique de test sous l'hypothse alternative

peut

tre calcule sans avoir besoin de simuler un nouvel chantillon sous un DGP qui ne respecte pas l'hypothse nulle. En eet, on dmontre que

j = (1 + 1 )/[V (1 )]1/2
Ce rsultat

(2.70)

permet de simplier largement l'algorithme, en remplacant l'tape 4 par un

calcul direct de la statistique

. On peut mme calculer direntes ralisations de cette

statistique pour plusieurs valeurs de

direntes de

0.

La gure 2.5 montre la fonction puissance en ordonne, pour direntes versions HCCME des tests robustes (HC0

HC1 HC2 et HC3), en fonction de direntes valeurs du paramtre 1 = 3, 2.9, . . . , 0.1, 0, 0, 1, . . . , 2.9, 3 en abscisse, pour un niveau rel donn RP = 0.05
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -3 -2 -1 0 1 2 3 GLS HC0,HC1 HC2 HC3

Fig. 2.5  Fonction puissance pour un niveau rel

RP = 0.05

= 3.5. Il est clair que la puissance augmente lorsque la valeur du paramtre 1 s'loigne de 0. Par contre, lorsque 1 = 0, la puissance est quivalente la probabilit de rejet et elle est gale 0.05. Le test le plus puissant rejeterait l'hypothse nulle avec certitude pour toute valeur de 1 dirente de 0, sur ce type de graphique, sa courbe prendrait alors la forme avec le pied du segment vertical en 0.05 et le segment horizontal en
et un fort eet de levier

4y

= x1 1 + y

et donc, on a

plus, les variances estimes sont

1 = (x1 M2 x1 )1 x1 M2 y = 1 + (x1 M2 x1 )1 x1 M2 y = 1 + 1 . De les mmes car les rsidus sont les mme u = Mx1 M2 y = Mx1 M2 y = u .

46

2. Les Mthodes de Monte Carlo

1.0.

D'aprs cette gure, on constate une lgre dirence de puissance entre les direntes

versions : les puissances de

HC0

et

HC1

sont identiques et lgrement superieures celle de

HC2 ,

elle mme lgrement suprieure celle de

HC3 .

Pour comparaison, on trace la puissance obtenue avec une procdure de test base sur une estimation par Moindres Carrs Gnraliss, ou Moindres Carrs Pondrs

GLS.

Cette

mthode peut tre mise en uvre si on a une ide de la forme de l'htroscdasticit. Elle consiste estimer par OLS la variable dpendante et les rgresseurs diviss par la racine de x2 , qui explique l'htroscdasticit. Dans notre cadre, elle fournit la meilleure estimation 1 sans biais qu'il est possible d'obtenir en pratique. Il est clair, d'aprs la gure 2.5, que la puissance du test GLS est trs largement suprieure celles des tests HCCME. La perte de puissance constate par l'utilisation d'un test robuste est considrable. La gure 2.6 reprsente une courbe niveau-puissance pour une valeur de

1 = 1.

La

puissance est reprsente en ordonne et la probabilit de rejet, ou niveau rel, en abscisse. Sur ce type de graphique, le test le plus puissant a la courbe la plus leve. Le choix de

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 GLS HC0,HC1 HC2 HC3

Fig. 2.6  Courbe niveau-puissance,

1 = 1

est choisi de telle manire que les courbes sont visible sur le graphique : un choix trop 0 proche de l'hypothse nulle 0 donnerait des courbes proches de la ligne 45 , un choix trop loign donnerait des courbes prenant la forme segment horizontal en

avec un segment vertical en

et un

1.

nouveau, on distingue une courbe de

HC0

et

trs lgrement suprieure

HC2 ,

elle mme trs lgrement suprieure

HC1 identique et HC3 . Nanmoins,

ces dirences sont mineures compares la puissance d'un test GLS, celui-ci tant tellement plus performant que les test robustes, que sa courbe prend la forme en sur le graphique.

et n'est pas visible

2.6. Application II

47

Finalement, on s'intresse l'cart de puissance constate entre un test ecace bas sur l'estimation GLS, et un test robuste bas sur le HCCME. On se demande si la large perte de puissance observe pour le test robuste est due la prsence d'un fort eet de levier. Pour cela, on refait des expriences en diminuant l'impact de l'eet de levier, en rduisant la valeur de

La gure 2.7 reprsente la dirence de puissance entre les tests

GLS

et

HC0.

0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.5 1 1.5 2 2.5 3 k=1.1 k=1.5 k=2.0 k=2.5 k=3.0 k=3.5

Fig. 2.7  Dirence de puissance entre les tests

GLS

et

HC0, 1 [0; 3]

Les direntes courbes du graphique correspondent des niveaux dirents d'eet de levier

= 1.1, 1.5, 2, 2.5, 3, 3.5. Pour = 3.5, la courbe correpond la dirence GLS et la courbe HC0 de la gure 2.5, sur le support [0, 3]. On constate que
levier est fort.

entre la courbe la dirence de

puissance entre un test robuste et un test ecace est d'autant plus grande que l'eet de

Conclusion
La porte des rsultats dpend des choix faits dans la conception de l'exprience Monte Carlo. Nanmoins, plusieurs indications utiles peuvent tre dgages de cette tude. Les tests robustes l'htroscdasticit de forme inconnue sont trs utilises dans les tudes empiriques. En gnral, c'est la version

HC0

du HCCME qui est utilise pour construire

une statistique de test. L'tude des performances numriques de ces tests, sur la base d'expriences Monte Carlo, fournit les rsultats suivants :

Niveau : les tests bass sur la version HC0

du HCCME peuvent ne pas tre du tout

able en chantillon ni, mme si la taille de l'chantillon est grande. Nos rsultats

48

2. Les Mthodes de Monte Carlo

suggrent d'utiliser plutt la version

HC3

du HCCME, qui amliore trs largement les

performances numriques. Toutefois, mme cette dernire version peut faire apparatre une distorsion du niveau non-ngligeable en prsence d'observations forts eets de levier.

Puissance :

les dirences de puissance sont mineures entre les direntes versions

du HCCME, mme si l'utilisation de la version perte de puissance compare la version

HC3

laisse apparatre une lgre

HC0 .

Par contre, la perte de puissance

est considrable par rapport un test bas sur une estimation par Moindre Carrs Gnralis.

Ces rsultats mettent en vidence plusieurs inconvnients des tests robustes l'htroscdasticit : ils peuvent s'avrer peu ables en chantillon ni et peu ecaces. Il faut donc tre prudent dans l'utilisation de ces tests en pratique. Nanmoins, nous verrons qu' l'aide des mthodes du bootstrap, il est possible d'amliorer considrablement la abilit de ces tests en chantillon ni.

Chapitre 3 Les Mthodes du Bootstrap


3.1 Introduction
La qualit de l'analyse conomtrique dpend en tout tat de cause de la abilit des statistiques de tests employes. Lorsqu'on souhaite faire de l'infrence, c'est--dire tester une hypothse, il est ncessaire de calculer une statistique de test et d'en connatre la loi de probabilit : on peut alors calculer un seuil critique ou une

P -value

et accepter ou non

l'hypothse pose. Malheureusement, la distribution de probabilit d'une statistique de test est la plupart du temps inconnue, moins de faire des hypothses fortes et dicilement vriables sur le modle. La thorie asymptotique joue alors un rle dterminant puisqu'elle permet de relcher ces hypothses : les dveloppements asymptotiques au premier ordre dterminent la distribution de probabilit de la statistique lorsque la taille de l'chantillon est inniment grande, appele loi asymptotique. En pratique, le nombre de donnes est ni et on utilise en gnral la loi asymptotique comme approximation de la vraie loi inconnue. Toutefois, pour que la loi asymptotique soit une bonne image de la vraie loi de la statistique il faut que le nombre de donnes soit susamment important, sinon les tests peuvent tre fausss. Une des caractristiques majeure des mthodes du bootstrap est qu'elles permettent trs souvent d'obtenir une meilleure approximation de la vraie loi de la statistique que celle donne par la loi asymptotique. La abilit des tests en est accrue, notamment pour des chantillons dont le nombre d'observations n'est pas trs grand. Ces progrs ont des consquences profondes en sciences car le gain de prcision apport par le bootstrap peut avoir d'importants eets sur les conclusions scientiques, qui s'appuient sur des valuations statistiques de la vrit. Les applications du bootstrap sont diverses et varies, en conomtrie leur apport principal concerne l'amlioration de l'infrence dans les modles de rgression, comme le souligne le survey de Horowitz (1997). L'article d'Efron (1979) a t un vnement majeur en statistique, il a introduit les mthodes du bootstrap, d'importants travaux ont par la suite vu le jour de sorte qu'aujourd'hui les applications du bootstrap sont nombreuses. Il existe de nombreux surveys sur le sujet

49

50

3. Les Mthodes du Bootstrap

dans la littrature statistique, ainsi que plusieurs ouvrages dont ceux d'Efron et Tibshirani (1993), Shao et Tu (1995), Barbe et Bertail (1995) ou encore Davison et Hinkley (1997). Ce n'est que plus rcemment que les conomtres se sont intresss ces techniques, on peut se rfrer l'article de Horowitz (1994) qui applique le bootstrap aux tests de la matrice d'information. L'une des particularits du bootstrap est qu'il en existe de nombreuses mises en uvre, qui dpendent troitement du contexte tudi. L'exprience de sa pratique et les nombreux rsultats des simulations sur ses proprits en chantillon ni montrent qu'

gnral

en

le bootstrap donne des rsultats raisonnables et ables, mais qu'une utilisation in-

adquate peut avoir des consquences dramatiques. Quelques exemples o le bootstrap ne fonctionne pas ont galement t signals dans la littrature, c'est par exemple le cas pour les

U -statistiques

dgnres et avec l'estimateur de la borne

de la loi uniforme

U (0, ),

voir par exemple Bickel et Freedman (1981). Dans le contexte des modles de rgression classiques et pour les statistiques usuelles en conomtrie, le bootstrap peut amliorer considrablement la qualit de l'infrence, notamment en petit chantillon. Il faut toutefois rester attentif lors de son utilisation. Dans ce chapitre, nous exposerons une mthodologie gnrale du bootstrap adopter dans le contexte des modles de rgression, an d'amliorer la abilit des statistiques de test. Nous utilisons la rgression linaire pour simplier la prsentation, les rsultats restant valables dans le cadre des rgressions non-linaires, robustes ou non-paramtriques. Nous prsentons tout d'abord son principe dans le contexte des modles de rgression, puis ses conditions d'applications. Nous passons ensuite en revue ses direntes mises en oeuvre en pratique pour divers cadres d'analyse courants en conomtrie : alas

i.i.d. - alas htrosc-

dastiques - sries temporelles - modles sur-identis. Ensuite, nous exposons l'utilisation du bootstrap pour construire des intervalles de conance et comparons cette approche celle des tests d'hypothses. Finalement. Finalement, nous illustrons l'utilisation et les avantages du bootstrap travers quelques applications utiles.

3.2 Principe
Le principe du bootstrap peut tre dnit comme suit,

Dans les modles de rgression, le principe du bootstrap consiste spcier un DGP, nomm DGP bootstrap, en remplaant les paramtres et distributions de probabilits inconnus dans le modle, par des estimations empiriques de ces derniers. La distribution de probabilit de la statistique de test sous ce DGP articiel est appele loi bootstrap. On calcule un test bootstrap ou une P -value bootstrap en utilisant la loi bootstrap pour loi nominale.
L'ide est que si le DGP bootstrap est susamment proche du vrai, les donnes gnres par celui-ci seront similaires celles qui auraient t gnres par le vrai DGP. Une

P -value

3.2. Principe

51

obtenue avec la loi bootstrap devrait alors tre trs proche de celle qui aurait t calcule avec la vraie loi de la statistique, de telle sorte que l'infrence est able. On aimerait calculer la loi bootstrap partir de dveloppements analytiques pour en obtenir une expression exacte. Malheureusement, c'est la plupart du temps impossible. On a alors recours des simulations pour en obtenir une approximation. Plaons-nous dans le cadre d'un modle de rgression, o un DGP est compltement spci pour des valeurs xes de ses paramtres inconnus et pour une loi de probabilit des alas donne. Si on considre par exemple le modle linaire simple,

y = X + u,
o

E(u|X) = 0,

E(uu |X) = 2 I

(3.1)

y est un vecteur de n observations, X une matrice nk de rgresseurs exognes, c'est dire indpendants du terme d'erreur, et u un vecteur alatoire dont les composantes sont les alas d'esprance nulle et de covariance proportionnelle la matrice identit I . Les paramtres 2 2 inconnus du modle sont le k -vecteur et le scalaire . Soient = (, ) et la statistique d'intrt, dont la distribution de probabilit F est inconnue. La loi bootstrap F peut tre
approxime par simulations partir de l'algorithme suivant : 1. On calcule des estimateurs

des paramtres inconnus et

alas et on calcule une ralisation de la statistique de 2. On construit le DGP bootstrap

G de test . y

la loi de probabilit des

et on gnre des donnes

. Sur la base des donnes

simules, appeles chantillon bootstrap, on calcule une ralisation de la statistique bootstrap

3. On rpte l'tape prcdente bootstrap

B1

fois an d'obtenir

ralisations de la statistique

La fonction de distribution empirique forme par ces B 1 tions est une approximation de la loi bootstrap : F (x) = B i=1 I(i

{i }i=1...B .

B ralisax).

I(.) est la fonction indicatrice qui prend les valeurs 1 si son argument est vrai et 0 autrement. Suivant l'information que l'on possde sur la loi de probabilit des alas G, on distingue deux
mthodes direntes,

le bootstrap

paramtrique
G(),
on

de dimension ni le bootstrap

G appartient une famille paramtrique connue et utilise G = G() o est un estimateur convergent de .
: si : on utilise la fonction de distribution empirique

non-paramtrique

(EDF) des rsidus centrs comme estimateur convergent de

G.

Tel que nous l'avons dni, on distingue dans le bootstrap deux types d'approximations. L'

approximation thorique

: c'est la dirence entre la loi bootstrap et la vraie

loi, elle provient de l'utilisation d'un DGP bootstrap qui est dirent du vrai DGP inconnu. L'essentiel des travaux thoriques sur le bootstrap porte sur la dtermination des taux de convergence de la loi bootstrap vers la vraie loi, lorsque la statistique n'est pas un pivot exact. L'

approximation exprimentale apparat lorsque la loi bootstrap ne peut pas tre

52

3. Les Mthodes du Bootstrap

calcule analytiquement. Cette approximation est compltement indpendante de la premire et elle provient du nombre ni de simulations que l'on fait. Utiliser un nombre ni de simulations n'est pas sans consquences : Hall (1986) montre que les intervalles de conance bootstrap tendent tre trop longs et Jckel (1986) montre qu'il y a une perte de puissance des tests. Par ailleurs, Davidson et MacKinnon (2000) montrent que le nombre de simulations

(B + 1) soit un entier, o est le niveau nominal, pour supprimer tout biais ventuel de l'estimation bootstrap d'un seuil critique ou d'une P -value.
bootstrap doit tre choisi tel que Ils prsentent galement une procdure de test prliminaire qui permet de minimiser la perte de puissance. On peut maintenant distinguer clairement l'infrence statistique asymptotique et l'infrence statistique bootstrap. Dans la premire approche, on utilise des dveloppements mathmatiques, tels que les dveloppements de Taylor, pour dterminer analytiquement la loi limite de la statistique lorsque la taille de l'chantillon est inniment grande. l'oppos, dans l'approche par bootstrap, on construit un processus empirique et on fait appel la trs grande capacit de calcul des ordinateurs pour approximer par simulations la loi de la statistique. C'est la raison pour laquelle on considre souvent que le bootstrap est une mthode de calcul intensif sur ordinateur. Des dveloppements thoriques sur les vitesses de convergence (Hall 1992, Davidson et MacKinnon 1999) et des tudes sur les proprits en chantillon ni (Horowitz 1997) montrent qu'en gnral, l'infrence bootstrap est plus performante que l'infrence asymptotique, elle apporte parfois un gain de abilit considrable. L'une des particularits du bootstrap est qu'il en existe de nombreuses mises en uvre, qui dpendent troitement du contexte tudi. L'exprience de sa pratique et les nombreux rsultats des simulations sur ses proprits en chantillon ni montrent qu'en gnral le bootstrap donne des rsultats raisonnables et ables, mais qu'une utilisation inadquate peut avoir des consquences dramatiques. Il faut donc rester prudent quant sa mise en uvre. Il parat alors indispensable qu'une mthodologie rigoureuse s'impose pour exploiter au mieux les potentialits de ces mthodes.

Validit
Pour que le bootstrap soit valide, il faut que la loi bootstrap converge faiblement, en probabilit, vers la vraie loi. Pour comparer deux distributions, la distance de Mallows (1972) est une mtrique qui permet de montrer que la distance entre la loi bootstrap et la vraie loi converge vers zro lorsque le nombre d'observations tend vers l'inni. Cette technique est la plus couramment utilise dans la littrature statistique pour dmontrer la validit asymptotique du bootstrap, voir parmi d'autres Bickel et Freedman (1981) et Freedman (1981). Dans notre optique, nous utilisons principalement le bootstrap dans le but d'obtenir une meilleure approximation de la vraie loi d'une statistique que celle donne par la loi asymptotique. La connaissance de la loi asymptotique permet de dmontrer la validit du bootstrap de manire plus classique : pour une statistique d'intrt asymptotique

dont on connat la loi

Fas ,

il sut de montrer partir du DGP bootstrap que la loi asymptotique

3.2. Principe

53

de la statistique bootstrap

est gale

Fas .

On peut le faire en utilisant la Loi des Grands

Nombres (LLN) et le Thorme Central Limite (CLT) de la mme faon qu'on le fait pour dterminer la loi asymptotique de la statistique

Prcision
Une fois la convergence tablie, il reste savoir si le bootstrap fonctionne correctement dans la pratique. Pour bien comprendre quand et pourquoi le bootstrap fonctionne bien en pratique, il est important de bien dnir les notions fondamentales de pivot et de pivot asymptotique. Une statistique de test est un

pivot

par rapport un modle

si sa distribution de

probabilit est la mme pour tout DGP du modle pour une taille d'chantillon donne, autrement dit si elle est invariante par rapport aux caractristiques inconnues du modle (les paramtres et la loi des alas dans notre exemple). Une statistique est un

totique par rapport au modle M si sa loi asymptotique est la mme pour tout DGP du
modle. Cette notion est essentielle car en conomtrie, la plupart des statistiques de tests sont des pivots ou des pivots asymptotiques. Considrons par exemple un modle de rgression linaire avec des rgresseurs exognes. Pour une loi connue des alas, une statistique qui ne dpend que des rgresseurs et des rsidus est un pivot. En eet, les rsidus sont issus d'une projection orthogonale des alas sur l'espace engendr par les rgresseurs. Dans ce cas, la loi de la statistique est uniquement fonction des rgresseurs et de la loi des alas. Elle est invariante par rapport tout le reste. Par ailleurs, les statistiques qui suivent (asymptotiquement) les lois de Student, de Fisher, du Chi-deux ou encore la loi Normale centre rduite, sont des pivots (asymptotiques). Il est clair que si la statistique est un pivot exact, la loi bootstrap sera gale la vraie loi et l'approximation thorique sera inexistante. En eet, dans ce cadre, quel que soit le choix des paramtres inconnus du modle, la distribution tant insensible ces choix, le rsultat sera le mme. Lorsque cette loi est approxime par des simulations, Hall (1994), Dufour et Kiviet (1998) prfrent parler de

pivot asymp-

tests Monte Carlo plutt que de tests Bootstrap car la

littrature sur ce sujet, Dwass (1957), Barnard (1963) et Birnbaum (1974), prcde largement celle sur le bootstrap, Efron (1979). En pratique, dans la majorit des cas la statistique n'est pas un pivot exact, il faut alors dterminer dans quelle mesure la loi bootstrap est une bonne approximation de la vraie loi de la statistique. Pour cela on tudie les vitesses de convergences et, cette n, les techniques de dveloppement d'Edgeworth (1896, 1905) ou les ingalits de type BerryEsseen (qui sont des versions sophistiques de dveloppements de Taylor) sont utilises. Les rsultats obtenus montrent que trs souvent, la loi bootstrap converge plus vite vers la vraie loi, par rapport la loi asymptotique. Ce rsultat est fondamental et permet de dire qu'en gnral, l'approximation de la vraie loi donne par la loi bootstrap est de meilleure qualit que celle donne par la loi asymptotique. Il conduit favoriser l'utilisation du bootstrap

54

3. Les Mthodes du Bootstrap

en pratique, lorsqu'on a de bonnes raisons de penser que la loi asymptotique n'est pas une bonne approximation de la vraie loi de la statistique de test. Les dveloppements thoriques montrent que si la statistique est un pivot asymptotique, l'erreur de la probabilit de rejet d'un test bootstrap (distorsion du niveau) converge plus rapidement vers zro que celle d'un test asymptotique. Pour une taille d'chantillon

n, l'erreur 1/2 de la probabilit de rejet d'un test bas sur sa loi asymptotique est, en gnral d'ordre n 1 pour un test uni-latral, et d'ordre n pour un test bi-latral. Beran (1988) montre que 1/2 l'utilisation du bootstrap permet de rduire cet ordre d'un facteur n , si la statistique
est un

pivot asymptotique et si les paramtres et distributions du DGP bootstrap sont des estimateurs convergents des paramtres et distributions inconnus du modle. Dans
certains cas particuliers, cet ordre peut tre rduit d'un facteur

n1

voir mme plus ; pour

une discussion dtaille sur les amliorations asymptotiques du bootstrap, base sur les dveloppements d'Edgeworth, voir Hall (1992). Davidson et MacKinnon (1999) montrent qu'une amlioration asymptotique supplmen1/2 taire, en gnral d'ordre n , peut tre obtenue si la statistique qui fait l'objet du bootstrap est asymptotiquement indpendante des composantes alatoires du DGP bootstrap. Ils montrent qu'une telle indpendance est satisfaite dans le cadre du bootstrap paramtrique si le DGP bootstrap est construit avec les

paramtres estims sous le modle contraint,

c'est--dire le modle qui tient compte de l'hypothse nulle ; et qu'elle peut tre galement obtenue assez facilement dans le cadre du bootstrap non-paramtrique. Ce rsultat justie de manire thorique l'ide de prfrer construire le DGP bootstrap sous l'hypothse nulle, qui remonte Beran (1986b) ou encore Beran et Srivastava (1985). La prise en compte de ces amliorations successives indique que dans de nombreuses circonstances l'amlioration asymptotique des tests bootstrap par rapport aux tests asymp1 totiques sera d'ordre n . Ces rsultats ne sont qu'asymptotique, aussi ils ne permettent pas d'armer qu'en chantillon de petite taille, l'infrence bootstrap sera forcment plus able que celle des tests asymptotiques si la statistique est un pivot asymptotique. Nanmoins, si en chantillon ni le comportement de la statistique est cette statistique est

quasiment indpendante des composantes alatoires du DGP bootstrap,

proche de celui d'un pivot exact et si

il ne fait aucun doute que les tests bootstrap seront beaucoup plus ables. Dans la littrature, de nombreux travaux tudient l'aide de simulations le comportement en chantillon ni de direntes statistiques : les rsultats exprimentaux montrent que si la statistique est un pivot asymptotique le bootstrap corrige trs souvent la distorsion du niveau des tests bass sur la loi asymptotique, voir parmi d'autres Horowitz (1997).

3.3 Mise en uvre


La mise en uvre du bootstrap dpend du contexte considr. Dans cette section, nous prsentons son implmentation dans dirents cadres d'analyse couramment rencontrs en

3.3. Mise en uvre

55

conomtrie : pour un modle de rgression avec des alas

i.i.d.,

htroscdastiques, non-

indpendants et dans les modles sur-identis. Le modle de rgression linaire est utilis dans un but pdagogique. Les rsultats se gnralisent aux rgressions non-linaires, robustes ou non-paramtriques, voir par exemple Huet et Jolivet (1989) et Huet, Jolivet, et Messan (1990).

Alas

i.i.d.

Considrons le modle de rgression linaire suivant,

yt = Xt + Zt + ut
o

ut G(0, 2 ) Xt
est la

(3.2) ligne d'une matrice

yt

est l'observation

de la variable dpendante,

tme

nk

t d'un vecteur de donnes indpendantes. Les paramtres inconnues sont le k -vecteur et le scalaire ; ut reprsente les alas supposs indpendants du modle, dont la distribution de probabilit G est d'esprance nulle et de 2 variance . Considrons par exemple l'hypothse nulle H0 : = 0 et la statistique de
de variables indpendantes, et est l'observation student

Zt

= ( 0 )/S()
o

(3.3)

est l'estimateur des moindres carrs ordinaires (OLS) du paramtre

et

S() son cart-

type estim. Cette statistique suit asymptotiquement la loi Normale centre rduite : elle est donc un pivot asymptotique. Si le nombre de donnes n'est pas susamment important et si la loi

est inconnue ou si les rgresseurs contiennent un retard de la variable dpendante, on

peut justier l'utilisation du bootstrap pour amliorer la abilit de l'infrence statistique : la loi bootstrap devrait tre une meilleure approximation de la vraie loi de la statistique que la loi asymptotique

N (0, 1)

ou la loi de Student.

La mise en uvre du bootstrap consiste construire un DGP bootstrap, qui gnre des donnes qui ressemblent le plus possible aux donnes relles. Pour spcier le DGP bootstrap, il faut trouver des estimations convergentes des paramtres inconnus du modle et, dans le contexte du bootstrap non-paramtrique, une estimation convergente de la loi des alas.

Les paramtres du modle

: on pourrait utiliser n'importe quel estimateur convergent

des paramtres. Toutefois, pour bncier de l'amlioration asymptotique de Davidson et MacKinnon (1999), il faut que la statistique de test soit asymptotiquement indpendante du processus gnrateur de donnes bootstrap. Cette hypothse est respecte si le DGP bootstrap est construit avec les estimateurs des paramtres du modle qui respecte l'hypothse nulle, appel modle contraint. Cela se justie par le fait que dans de trs nombreux cas, les paramtres estims sous l'hypothse nulle des statistiques qui testent

H0

sont asymptotiquement indpendants

H0 .

Dans le cadre des tests classiques bass sur une estimation

par maximum de vraisemblance, Davidson et MacKinnon (1987) en font une dmonstration dtaille, qui peut tre tendue aux estimations de type NLS, GMM et autres.

56

3. Les Mthodes du Bootstrap


La loi des alas

: si la loi

est connue un ensemble de paramtres prs, il sut

d'obtenir des estimateurs convergents de ces paramtres, on utilise alors le bootstrap paramtrique. Si la loi

est inconnue, on utilise la fonction de distribution empirique (EDF)

des rsidus centrs, qui est une estimation convergente de la loi des alas, c'est le bootstrap non-paramtrique. Cette loi

G est appele loi de rchantillonnage car, pour gnrer les don-

nes bootstrap, on eectue des tirages alatoires dans cette fonction. En gnral, on ne peut pas utiliser l'EDF des rsidus non-centrs : pour que le bootstrap soit valide ils doivent tre centrs, de sorte que la loi de rchantillonnage soit d'esprance nulle. Si ce n'est pas le cas, la loi bootstrap tend vers une loi dont le premier moment n'est pas le mme que celui de la loi asymptotique : la distance entre la loi bootstrap et la vraie loi ne converge pas vers zro. Notons que pour un modle de rgression linaire estim par moindres carrs ordinaires avec la constante pris comme rgresseur, les rsidus sont par construction centrs et cette transformation n'est pas ncessaire. D'autre part, une amlioration marginale, portant sur le second moment de la loi de rchantillonnage peut tre obtenue. Elle consiste restandardiser les rsidus, de telle sorte que la variance de la fonction de rchantillonnage soit si possible un estimateur sans biais de la variance des alas du modle. On sait que pour un modle de rgression linaire avec des alas E(u u) = 2 (n k), o

i.i.d., la variance des rsidus tend sous estimer la variance


k
est le nombre de rgresseurs. On peut corriger ce biais

des alas :

en multipliant les rsidus centrs par la racine carre de n/(n k), on obtient les rsidus (1) 2 2 restandardiss ut . Une autre solution consiste utiliser le fait que E(ut ) = (1 ht ), avec ht = Vt (V V )1 Vt et V = [X, Z]. On utilise alors les rsidus restandardiss et centrs :

(2) ut

ut 1 = 1/2 (1 ht ) n

s=1

us (1 hs )1/2 ut

(3.4)

On divise

ut

par un facteur proportionnel la racine de sa variance. Les rsidus

n'ont

pas la mme variance, il y a une htroscdasticit articielle. Les rsidus restandardiss ont tous la mme variance, et sont recentrs. Pour conserver le gain de prcision de Davidson et MacKinnon (1999) dans le cadre du bootstrap non-paramtrique, la statistique de test doit tre non seulement asymptotiquement indpendante des paramtres du modle, mais galement de la fonction de rechantillonnage la fonction de distribution empirique

G.

Les auteurs montrent que si on utilise

des rsidus, du modle contraint ou non-contraint,

on vrie cette proprit. Seules des expriences Monte-Carlo montrent que l'utilisation des rsidus du modle contraint plutt que ceux du modle non-contraint, apporte un gain de prcision trs sensible, voir van Giersbergen et Kiviet (1994), Li et Maddala (1993) et Nankervis et Savin (1994).

Le

bootstrap classique, ou naf, non-paramtrique se base donc sur le processus gnyt = Xt + Zt 0 + ut ut EDF(ut )
(i)
(3.5)

rateur de donnes bootstrap :

3.3. Mise en uvre

57

un tirage indpendant avec (i) remise dans les rsidus du modle contraint restandardiss et centrs ut , o i = 1, 2. La loi bootstrap est la loi de la statistique de test,

est l'estimateur des paramtres du modle contraint et

ut

= ( 0 )/S( )
o

(3.6)

est l'estimateur OLS de

et

S( )

l'estimateur de son cart-type. On peut obtenir

par simulation, l'aide de l'algorithme prsent en dbut de chapitre, une approximation de la loi bootstrap.

Alas htroscdastiques
Si les alas du modle sont htroscdastiques et qu'on ne peut pas obtenir des estimations convergentes des variances des alas, la mthode du bootstrap classique n'est plus valable. La forme de l'htroscdasticit pouvant tre fonction des rgresseurs, on ne peut pas retirer les rsidus indpendamment des rgresseurs. Il existe deux mthodes direntes pour contourner cette dicult. Le

bootstrap par paires

propos par Freedman (1981) consiste gnrer un chan-

tillon bootstrap en retirant de faon indpendante et avec remise directement dans le couple rgressande/rgresseurs, plutt qu' partir des rsidus. Si on considre le modle (3.2), on gnre un chantillon bootstrap en eectuant des tirages du couple

(yt , Xt ) directement dans

les donnes d'origine formes par la matrice des observations de la variable dpendante et des rgresseurs

(y, X).

Le principal inconvnient de cette mthode est qu'elle n'est pas valide si

les rgresseurs contiennent des retards de la variable dpendante, c'est dire pour la plupart des modles dynamiques. Par ailleurs, la condition d'indpendance des rgresseurs et des alas dans l'chantillon bootstrap n'est plus respecte puisque les rgresseurs sont tirs en mme temps que la variable dpendante, les performances numriques sont aectes, voir Horowitz (1997). Flachaire (1999) propose une nouvelle implmentation du bootstrap par paires avec de meilleures proprits numriques. Son principe consiste construire un DGP bootstrap de telle sorte qu'il respecte l'hypothse nulle :

yt = Xt + Zt 0 + ut
Soient

(3.7)

l'estimateur OLS des paramtres du modle contraint et

ut

les rsidus du mo-

dle non-contraint, les lments

(Xt , Zt , ut )

sont issus d'un tirage indpendant partir de

(X, Z, u). On gnre ensuite yt trap (yt , Xt , Zt ). Toutefois, le


alas reste toujours prsent. Le

partir du DGP prcdent, pour former l'chantillon bootsproblme de la perte d'indpendance des rgresseurs et des

wild bootstrap

a t introduit par l'article de Wu (1986) qui est discut entre

autres par Beran (1986a). Par rapport au bootstrap par paires, cette mthode a l'avantage d'tre valide pour les modles dynamiques et de conserver l'hypothse d'indpendance des

58

3. Les Mthodes du Bootstrap

rgresseurs et des alas dans l'chantillon bootstrap. Si on considre toujours le modle (3.2) 2 2 mais avec des alas htroscdastiques : E(ut |Xt , Zt ) = t , le DGP wild bootstrap est

yt = Xt + Zt 0 + ut t
o

(2)

t G(0, 1) ut
(2)

(3.8) les rsidus du modle

est l'estimateur des paramtres du modle contraint et

contraint restandardiss et centrs, dcrits en (3.4). Pour que le bootstrap soit valide, il faut que le rchantillonnage de

s'eectue partir d'une fonction de distribution quelconque

d'esprance nulle et de variance l'unit. La loi Normale centre rduite est donc approprie. Mais si on impose galement au troisime moment de la loi

d'tre gal

1,

Liu (1988)

G sont possibles, dont la loi bi-atomique t = ( 5 1)/2 avec la probabilit ( 5+1)/(2 5) et t = ( 5+1)/2 avec la probabilit 1( 5+1)/(2 5).
trique. Plusieurs constructions de Davidson et Flachaire (2001) dmontrent que la loi bi-atomique symtrique

montre qu'un gain de prcision est obtenu dans la cas o la loi des alas du modle est asym-

G:

t =

+1 1

avec la probabilit avec la probabilit

1/2 1/2. G

(3.9)

donne des performances toujours suprieures aux autres choix de rature, les rsultats peuvent tre exacts dans certains cas prcis.

proposs dans la litt-

Sries temporelles
Dans le cadre des sries temporelles stationnaires, si les donnes sont dpendantes dans le temps, on ne peut pas les retirer de faon indpendante. Le rchantillonnage doit tenir compte de ce caractre dpendant dans le processus gnrateur de donnes. Le

bootstrap rcursif est utilis si le modle est paramtrique, avec une structure i.i.d.
yt
est gnre par

sous-jacente, tel un modle ARMA. Supposons par exemple qu'une srie le modle ARMA(p,q ) suivant,

yt + 1 yt1 + . . . + p ytp = ut + 1 ut1 + . . . + p utq


que l'on peut rcrire

(3.10)

A(L, ) yt = B(L, ) ut , o A et B sont des fonctions connues, L l'oprateur de retards, et des vecteurs de paramtres, et ut une variable alatoire indpendante
et identiquement distribue. Un chantillon bootstrap peut tre gnr rcursivement par le DGP suivant,

A(L, ) yt = B(L, ) ut
o

(3.11)

et

sont des estimateurs convergents de

et

du modle contraint,

ut

est tir de faon

indpendante et avec remise dans une fonction de rchantillonnage qui estime de faon empirique la loi des alas, voir la section (3.3). Pour viter les problmes au bord, l'initialisation la plus pratique et parfois la seule faisable consiste conditionner l'chantillon bootstrap par

3.3. Mise en uvre

59

rapport aux premires donnes observes. Par exemple, pour le modle autorgressif d'ordre un, ou AR(1) :

yt = yt1 + ut ,

on aurait puis

y1 = y0 + u1 ,

y2 = y1 + u2 y0 .

etc . . . ,

(3.12)

L'chantillon bootstrap est conditionn par l'observation

Concernant l'tude de la prci-

sion du bootstrap, on peut se rfrer Freedman (1984) ou Bose (1988). Le

bootstrap par blocs

est une gnralisation de la mthode du bootstrap pour les

sries stationnaires, lorsqu'on n'a aucune information sur la forme de la dpendance des donnes. Le principe consiste regrouper les rsidus centrs dans des blocs de longueur

an de capter du mieux possible la dpendance existante. Le rchantillonnage se fait en tirant de manire indpendante et avec remise ces blocs. Il existe deux manires direntes de construire des blocs. La premire, dveloppe par Carlstein (1986), consiste tirer des blocs disjoints qui sont composs d'observations ne pouvant pas appartenir un autre bloc. La seconde dveloppe par Knsch (1989), le

trap,

bootstrap MBB

ou 

Moving Block Boots-

consiste tirer des blocs non-disjoints. L'inconvnient principal de ces techniques est

qu'elles gnrent des donnes qui n'ont pas la mme structure de dpendance que les donnes d'origine. La construction de blocs indpendants laisse supposer que les donnes sont indpendantes aprs un certain nombre de retards. Dans certaines circonstances les performances numriques peuvent alors tre mauvaises, celles-ci tant sensibles au choix de l . Ces techniques continuent de faire l'objet d'un grand nombre de travaux dans la littrature. Concernant les modles non-stationnaires, il faut prendre de grandes prcautions car le bootstrap ne fonctionne pas toujours, voir Basawa, Mallik, McCormick, et Taylor (1989). Dans le cadre d'un test de racine unitaire, le DGP bootstrap doit ncessairement imposer la racine unitaire, c'est dire respecter l'hypothse nulle, sinon il n'est pas valide, voir Basawa et al. (1991a, 1991b), Li et Maddala (1996), van Giersbergen (1998) ou encore Bertail (1994) dans la littrature franaise. Plus que pour bncier de l'amlioration asymptotique de Davidson et MacKinnon (1999), cette condition est indispensable pour la validit asymptotique du test bootstrap de racine unitaire. Pour plus de dtails concernant le bootstrap dans les modles dynamiques, on peut se rfrer au survey de Li et Maddala (1996) et la thse de van Giersbergen (1998), qui considrent galement les modles de cointgration.

Modle sur-identi et autres cas


L'estimation par variables instrumentales repose entre autres sur l'hypothse d'absence de corrlation entre les instruments et les alas : instruments et

E(W u) = 0, o W
puisque

est la matrice

nl

des

le vecteur des alas. Dans le cadre du bootstrap classique, cette hypothse

n'est pas respecte :

E(W u ) = W u = K ,

est nul seulement si le nombre

d'instruments est gal au nombre de rgresseurs

l = k.

Si le modle est sur-identi, il faut

60

3. Les Mthodes du Bootstrap

donc modier l'implmentation du bootstrap de manire ce que le DGP bootstrap respecte cette hypothse. Freedman (1984) est le premier traiter ce problme dans le cadre d'une estimation 2SLS et Freedman et Peters (1984a, 1984b) proposent une illustration de ces techniques. Dans le cadre d'une estimation par variables instrumentales (IV), la solution la plus simple consiste projeter orthogonalement et retenir le complment de cette projection : alas du DGP bootstrap

u sur MW u,

l'espace engendr par les instruments 1 o MW = I W (W W ) W . Les

sont retirs dans les rsidus restandardiss et centrs

MW u.

De manire gnrale, presque tous les types de modles conomtriques ont une version approprie du bootstrap : les modles de rgression avec des alas htroscdastiques et/ou autocorrls, les modles de rgression sans lien apparent, les modles avec des retards de la variable dpendante, les modles donnes de panel, les modles quations simultanes, les logit, probit, tobit et autres modles variable dpendante limite, les estimateurs robustes, les modles de survie, les estimations semi-paramtriques voire non-paramtriques, les tests de racine unitaire et les modles de cointgration. Pour plus d'informations, les articles de Jeong et Maddala (1993) et Vinod (1993) font le point sur l'ensemble de ces applications.

3.4 Les intervalles de conance


Il existe une relation duale entre les intervalles de conance et les tests d'hypothses : un intervalle de conance avec un niveau de conance

contient l'ensemble des valeurs des

paramtres qui ne rejettent pas l'hypothse nulle au niveau nominal

Dans cette section,

nous prsentons la construction des intervalles de conance bootstrap, puis nous montrons que la dualit avec les tests d'hypothse n'est plus vrie lorsqu'on utilise le bootstrap.

Le bootstrap
Par construction, un intervalle de conance bi-latral est un intervalle dans lequel la vraie valeur

du paramtre d'intrt se trouve

modles de rgression, on calcule un

S()

de son cart-type et une valeur

100(1 2)% de fois. Dans le contexte des estimateur du paramtre d'intrt, un estimateur critique c issue en gnral de la loi de Student, on

construit habituellement l'intervalle de conance comme suit :

c S() ;
Cet intervalle de conance est

+ c S()

(3.13)

exact

dans le cas particulier o le modle de rgression est

linaire avec des rgresseurs exognes et des alas Normaux : la quantit

( 0 )/S()

suit

alors la loi de Student. Dans tous les autres cas, c'est un intervalle de conance

approxim.

On utilise le bootstrap pour amliorer la qualit de l'approximation. La mthode du bootstrap la plus simple et la plus performante est la

mthode percentile-t. Son principe

consiste calculer les seuils critiques, non pas partir de la loi de Student, mais partir

3.4. Les intervalles de conance


= ( )/S( ),

61

de la loi bootstrap de la quantit

qui est un pivot asymptotique. On

construit alors l'intervalle de conance :

c1 S() ;
o

+ c S() 100(1 )
et

(3.14)

c1

et

sont respectivement les percentiles

100

de la loi bootstrap. Cet

intervalle tient compte d'une possible asymtrie de la distribution de probabilit. Une mthode alternative la mthode percentile-t est celle propose par Efron (1987), appele

Bias Corrected accelerated condence intervals,

ou

BCa .

Cependant, sa mise en

oeuvre est plus complexe que la mthode percentile-t sans qu'elle soit pour autant plus performante. Elle peut tre utile lorsqu'il n'est pas possible d'avoir une standardisation adquate de la quantit

, pour un expos dtaill et la comparaison de ces direntes

mthodes voir Hall (1992).

Relation duale
La construction des intervalles de conance bootstrap avec la mthode percentile-t est trs proche de l'utilisation du bootstrap dans le cadre des tests d'hypothses. Toutefois, nous allons montrer que la relation duale entre les deux approches n'est en gnral plus vrie lorsqu'on utilise le bootstrap. Considrons le modle de rgression non-linaire :

y = x(, ) + u
o

u G(0, 2 )

(3.15)

x(, ) une fonction de rgression qui dtermine la valeur moyenne de y conditionnellement , et un ensemble de rgresseurs exognes Z ; u est un vecteur n composantes supposes i.i.d., suivant une distribution G inconnue centre et de 2 variance nie .
est la variable dpendante et

L'approche en terme des tests d'hypothse


l'estimateur du paramtre le suivant :

: soit l'hypothse nulle

estime le modle (3.15) et on calcule la statistique de test

H0 : = 0 , on = ( 0 )/S(), o est

et

S()

l'estimateur de son cart-type. Le DGP bootstrap est

y = x(, 0 ) + u
o

u EDF(ut ) ut
(2)

(2)

(3.16)

est l'estimateur du modle contraint et

les rsidus restandardiss et centrs du

modle contraint, voir (3.4). On approxime par simulations la loi de la statistique bootstrap

= (0 0 )/S(0 )
o

(3.17)

est l'estimateur bootstrap de

et

S(0 )

un estimateur de son cart-type. : on estime le modle (3.15) et on

L'approche en terme des intervalles de conance

62

3. Les Mthodes du Bootstrap

construit le DGP bootstrap comme suit,

y = x(, ) + u
o

u EDF(ut )
(2)

(2)

(3.18) les rsidus restandardiss

et sont les estimateurs du modle non-contraint (3.15) et ut

et centrs du modle non-contraint, voir (3.4). On approxime par simulations la loi de la quantit bootstrap

= ( )/S( )
o

(3.19)

est l'estimateur bootstrap de

et

S( )

un estimateur de son cart-type.

Dans l'approche en terme des intervalles de conance, la statistique d'intrt

n'est pas

asymptotiquement indpendante du DGP bootstrap car ce dernier ne respecte pas l'hypothse nulle, on peut donc s'attendre ne pas bncier du gain de prcision de Davidson et MacKinnon (1999) qui est garantie dans l'approche en terme des tests d'hypothse. Cela n'a pas d'impact dans le cadre d'un modle de rgression linaire statique lorsque la statistique de test ne dpend que des rgresseurs et des rsidus mais, partir du moment o le modle est dynamique et/ou non-linaire, la dualit entre les deux approches n'est plus vrie, les rsultats exprimentaux de van Giersbergen (1998) le conrment.

3.5 Application I
Dans cette section, nous illustrons l'utilisation du bootstrap dans la pratique, travers un exemple numrique. Le modle utilis concerne la demande d'lectricit tel que le considre Berndt(1990, exercice 3, p. 339). Les donnes qu'il utilise dcrivent la consommation rsidentielle d'lectricit de

42

villes de Grande-Bretagne une date donne, elles sont dis-

ponibles dans la disquette fournie avec son manuel. Il s'agit donc d'un modle statique avec des donnes individuelles. Le modle de rgression sur lequel on travaille est le suivant,

KW Ht = 0 + 1 IN Ct + 2 (1/M C6t ) + 3 GAS6t + 4 CAPt + ut


o

(3.20)

KW H

est la consommation domestique d'lectricit par client dans chaque ville,

IN C

le

revenu moyen des consommateurs, ginal du gaz, et

M C6 le cot marginal de l'lectricit, GAS6 le cot mar-

CAP

la capacit de production d'lectricit. L'estimation de cette rgression

linaire peut tre eectue par la mthode des moindres carrs ordinaires si on suppose que les alas

ut

sont indpendants et identiquement distribus. On rcrit le modle (3.20) de

manire simplie,

Yt = Xt + ut
o

(3.21) ligne de la matrice

Yt = KW Ht , Xt = (1, IN Ct , 1/M C6t , GAS6t , CAPt ) est une qui regroupe l'ensemble des rgresseurs, et = (0 , 1 , 2 , 3 , 4 ).
plus petite taille, o seules les

n5

Pour mettre en valeur les

avantages du bootstrap, nous choisissons dans un premier temps d'utiliser un chantillon de

31

premires donnes sont utilises.

3.6. Application II

63

Berndt (1990, p. 340) considre que la variance de la consommation domestique d'lec2 tricit pourrait tre une fonction du nombre de consommateurs par villes : /CU STt . Une manire de tester cette hypothse d'htroscdasticit des alas, propose par White (1980), consiste rgresser les rsidus du modle de dpart levs au carr sur la constante et les variables susceptibles d'expliquer l'htroscdasticit, puis tester l'aide d'une statistique de Fisher la nullit des paramtres associs aux explicatives autres que la constante. Dans notre exemple le test se construit en estimant le modle (3.21) par OLS, puis en rgressant 2 les rsidus au carr sur la constante et la variable inuente : ut = 0 + 1 (1/CU STt ) + t ,

t est un bruit blanc. Le student associ 1 teste notre hypothse et on peut calculer une P -value de cette statistique leve au carre et base sur la loi de Fisher. Le calcul de la P -value bootstrap consiste en les tapes qui suivent :
o 1. Estimer par OLS le modle (3.21) de manire obtenir les paramtres estims rsidus

et les

u, puis calculer les rsidus restandardiss et centrs partir de la formule (3.4). Estimer par OLS les rsidus au carr sur la constante et 1/CU ST de manire obtenir une ralisation de la statistique qui teste H0 : 1 = 0.
2. Gnrer un chantillon bootstrap partir du DGP bootstrap

Yt = Xt + ut

ut

est

un tirage alatoire dans les rsidus restandardiss et centrs. partir de cet chantillon calculer une nouvelle ralisation de la statistique

comme dcrit prcdemment.

3. Rpter l'tape prcdente un grand nombre de fois de manire obtenir bootstrap est la La pour

statistiques

j , j = 1, . . . , B . Le nombre de fois o j
bootstrap.

est plus grand que

, divis par B ,

P -value

P -value obtenue avec la loi de Fisher est Pf = 0.072 et avec la loi bootstrap Pb = 0.036, B = 9999. Pour un seuil de conance 5% les conclusions sont opposes : avec la loi n = 42
on trouve

asymptotique on ne peut pas rejeter l'hypothse nulle alors qu'avec la loi bootstrap on la rejette. Si on refait l'exprience avec toutes les donnes

Pf = 0.0004

et

Pb = 0.0023 et dans les deux cas on rejette l'hypothse nulle. Comme la thorie le suggre, il semble plus ecace d'utiliser la P -value bootstrap qui tend plus rapidement vers les bonnes
conclusions statistiques.

3.6 Application II
Nous avons vu dans l'application II du chapitre prcdent que les tests robustes l'htroscdasticit de forme inconnue n'ont pas de bonnes proprits en chantilon ni. D'une part, une distorsion du niveau signicative apparait en prsence d'observations fort eet de levier. D'autre part, une perte de puissance trs importante est observe par rapport un test ecace, bas sur les Moindres Carrs Gnraliss, qui estime correctement la forme de l'htroscdasticit. Ces rsultats sont bass sur l'tude de tests asymptotique, c'est dire qui utilisent la loi asymptotique comme approximation de la vraie loi inconnue de la

64

3. Les Mthodes du Bootstrap

statistique. La distorsion du niveau provient du fait que la loi asymptotique n'est pas forcment une bonne image de la loi asymptotique en chantillon ni. Les mthodes du bootstrap permettent d'obtenir une nouvelle approximation de la vraie loi, nomme loi bootstrap, qui est souvent de meilleure qualit que la loi asymptotique. Elles devraient donc permettre d'amliorer la qualit de ces tests robustes en chantillon ni. Dans cette application, nous tudions les performances numriques des tests bootstrap robustes l'htroscdasticit, en comparaison avec les tests asymptotiques. Pour ce faire, nous utilisons une exprience Monte Carlo identique celle de l'application II du chapitre prcdent, dans laquelle on rajoute le calcul des tests bootstrap. On reprend le mme modle,

yt = 0 + 1 x1t + 2 x2t + t t
o

t N (0, 1) H0 : 1 = 0

(3.22) avec la statistique (3.23)

0 = 1 = 2 = 0

et

t = |x1t |.

On teste l'hypothse nulle

= x1 M2 y/(x1 M2 M2 x1 )1/2 = diag (a2 u2 , . . . , a2 u2 ), avec at correspondant une des n n 1 1 HC2 et HC3 et ut est le rsidu de l'estimation OLS du modle
o transformations de rgression.

HC0 , HC1 ,

Test bootstrap
En prsence d'htroscdasticit de forme inconnue dans le modle, les mthodes du bootstrap appropries sont le bootstrap par paires et le wild bootstrap. Des expriences Monte Carlo montrent que le wild bootstrap donne de meilleurs rsultats que le bootstrap par paires (Horowitz 1997, Davidson et Flachaire 2001). Aussi, nous nous limitons dans cette tude aux tests bootstrap bass sur la mthode du wild bootstrap. Si on dispose d'un chantillon de donnes, le calcul d'un test bootstrap se fait en considrant le DGP wild bootstrap suivant,

y t = at u t t
o

(3.24)

est un tirage indpendant de la loi de Rademacher, prenant les valeurs

avec une

mme probabilit

1/2.

Pour un chantillon donn de taille

n,

le calcul d'un test bootstrap

se fait l'aide de l'algorithme suivant : 1. Pour un chantillon d'origine donn, on estime le modle de rgression (3.22), on obtient les rsidus 2. On gnre

u, n

puis on calcule une ralisation alas bootstrap

de la statistique de test (3.23).

partir de la loi de Rademacher, puis on gnre

valeurs de la variable dpendante partir du DGP bootstrap 3. partir de l'chantillon bootstrap obtenu sion (3.22), puis on calcule une ralisation 4. On rpte

y t = at u t t .
le modle de rgrestest (3.23).

(y , x1 , x2 ), on estime j de la statistique de B

fois les tapes 2 et 3 de manire obtenir

ralisations bootstrap de la

statistique de test :

j ,

avec

j = 1, . . . , B .

3.6. Application II

65

La fonction de distribution empirique, ou EDF, de ces ralisations est une approximation de la loi bootstrap, d'autant plus prcise que le nombre de rptitions bootstrap

est grand.

On utilise cette distribution comme loi nominale, la place de la loi asymptotique, partir de laquelle on calcule une

P -value

bootstrap :

p = 1 Fboot ( ) = B 1
j=1
Cette

I(j > )

(3.25)

P -value correspond simplement la proportion des ralisations bootstrap de la statisP -value


bootstrap partir du moment o on

tique suprieure la valeur de la statistique obtenue partir des donnes d'origine. Cet algorithme permet de calculer une

dispose d'un chantillon. Dans un contexte pratique, sur la base d'un chantillon de donnes observes, on pourrait donc calculer avec cet algorithme une telle

P -value.

Algorithme Monte Carlo


Dans un contexte d'tude des performances numriques l'aide d'expriences Monte Carlo, cet algorithme est utilis pour calculer simul donn et donc, il sera utilis

une P -value

bootstrap pour

un

chantillon

fois si on souhaite obtenir

N P -value bootstrap. Pour

l'tude de la distorsion du niveau, on reprend donc l'algorithme de l'exprience Monte Carlo, dans lequel l'algorithme bootstrap est inclu lorsqu'on dispose d'un chantillon simul : 1. On dnit la taille de l'chantillon et les vraies valeurs 2 des paramtres. On gnre les rgresseurs, puis la variance des alas t .

n,

le nombre de rptitions

2. On gnre dnit au

n alas t , puis n valeurs de la variable dpendante yt , partir du vrai DGP pralable : yt = t t .

3. Pour l'chantillon simul (yt , x1t , x2t ), on estime le modle (3.22), puis on calcule une ralisation i de la statistique de test (3.23). On calcule une P -value bootstrap :
(a) On gnre un chantillon bootstrap on calcule une ralisation

(yt , x1t , x2t ), partir du DGP bootstrap, puis B B,


ralisations bootstrap

de la statistique de test (3.23).

(b) On rpte l'tape prcdente

fois de manire obtenir

j , P -value

pour

k = 1, . . . , B , pi

de la statistique de test (3.23) pour

Le nombre de fois o bootstrap

j > i ,

j = 1, . . . , B ,

divis par

donne la valeur de la

4. On rpte bootstrap

N pi ,

fois les tapes pour

2 et 3 i = 1, . . . , N .

de manire obtenir

ralisations de la

P -value

P -value bootstrap est une approximation de la vraie loi de cette P -value, d'autant plus prcise que N est grand. On peut utiliser cette distribution pour faire un tra des P -values ou des carts de P -values.
La fonction de distribution empirique, ou EDF, des ralisations de la

66

3. Les Mthodes du Bootstrap

Niveau
Dans cette tude, on refait cette exprience pour dirents choix des rgresseurs, de manire controler l'eet de levier (voir application II, chapitre prcdent), avec

n = 100

N = 10.000

et

B = 999.

Les rsultats de ces direntes expriences nous permettent de

reprsenter dans la gure 3.1 une fonction de niveau : pour un niveau nominal donn

= 0.05,

on trace les ERP en ordonne de plusieurs statistiques de tests, contre direntes valeurs du paramtre

en abscisse, pour qui l'eet de levier est d'autant plus grand que sa valeur

est grande. Les courbes reprsentent respectivement les ERP des tests asymptotiques avec

0.2

0.15

0.1

0.05

HC0 HC1 HC2 HC3 BHC0 BHC2 BHC3

-0.05 1 1.5 2 2.5 3 3.5

Fig. 3.1  Fonction de niveau : ERP lorsque l'eet de levier

varie

les direntes transformations

HC0, HC1, HC2


P -value

et

HC3,

celles-ci sont strictement identiques

celles de la gure 2.4. En plus, on reprsente les ERP des tests bootstrap correspondants

BHC0, BHC2 j > i , il

et

BHC3.

Le calcul de la

bootstrap tant dnie comme la proportion de

est clair que la transformation

HC1 , HC1

correspondant une multiplication de la

statistique par un facteur constant, n'aura aucun impact. Par consquent, les tests bootstrap correspondant aux transformations

HC0

et

sont identiques. La courbe de

donc pas reprsente, elle est identique celle de

BHC0.

BHC1

n'est

HC1 HC2 HC3) est signicative lorsque l'eet de levier de levier est important, et une grande
dirence apparat suivant la version du HCCME utilise : la distorsion du niveau la plus faible correspond la version tests bootstrap

Il est clair d'aprs la gure 3.1 que la distorsion du niveau des tests asymptotiques (HC0

HC3 du HCCME. (BHC0 BHC2 BHC3) est trs faible,

Par contre, la distorsion du niveau des proche de l'axe des abscisse, et il n'y a

pas de dirence nette entre les trois versions utilises. Ces rsultats montrent que les tests

3.6. Application II

67

bootstrap sont beaucoup plus ables en chantillon ni, en prsence ou non de forts eets de levier.

Puissance
partir du moment ou on dispose de plusieurs tests ables en chantillon ni, il est intressant d'tudier leur puissance, an d'ventuellement privilgier un test plutt qu'un autre. L'tude de la puissance se fait avec le mme algorithme que pour les tests asymptotiques (voir application II, chapitre prcdent), en calculant une

P -value

bootstrap comme dcrit

prcdement. Dans l'exprience Monte Carlo utilise dans l'tude des tests asymptotiques, on rajoute le calcul des

P -values

bootstrap an d'obtenir des rsultats comparables sur la

base des tests bootstrap plutt qu'asymptotique. La gure 3.2 montre la fonction puissance des tests bootstrap en ordonne (BHC0

1 = 3, 2.9, . . . , 0, . . . , 2.9, 3 fort eet de levier = 3.5.

en

BHC2 BHC3) en fonction de divers choix du paramtres abscisse, avec un niveau rel donn RP = 0.05 et un trs

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -3 -2 -1 0 1 2


et

GLS BHC0 BHC2 BHC3 3

Fig. 3.2  Fonction puissance,

RP = 0.05

= 3.5

En plus, on reprsente les rsultats d'un test asymptotique ecace, bas sur une estimation par moindres Carrs Gnraliss, c'est dire, en supposant que la forme de l'htroscdasticit est connue et peut tre estime de faon convergente (GLS). La puissance augmente lorsque la valeur du paramtre lorsque

s'loigne de

0,

sa valeur dans le vrai DGP. Par contre,

1 = 0,

la puissance est gale

0.05,

la probabilit de rejet.

D'aprs la gure 3.2, la puissance du test bootstrap avec la version est lgrement suprieure celle de la version

HC0

du HCCME

HC2 ,

elle mme lgrement suprieure celle

68

3. Les Mthodes du Bootstrap

de la version

HC3 .

Ce rsultat suggre qu'un test bootstrap avec la version

HC0

est trs

lgrement plus performant que le mme test avec la version

HC3

ou

HC2 .

Toutefois, on

remarque galement que ces dirences sont mineures compares la perte de puissance observe par rapport un test asymptotique GLS. Finalement, il est intressant d'tudier la dirence de puissance obtenue par l'utilisation d'un test bootstrap plutt qu'un test asymptotique. Une premire remarque est que la puissance d'un test bootstrap dpend du nombre de rptitions bootstrap

B.

Le fait d'ef-

fectuer un nombre ni de rptitions bootstrap introduit une erreur exprimentale dans le calcul du test qui devrait conduire une perte de puissance. Toutefois, ce bruit exprimental peut tre rduit en augmentant le nombre de rptitions. Des expriences montrent que pour un nombre de rptitions bootstrap

suprieur 999, la perte de puissance est

en gnral ngligeable et n'est pas du tout un problme pour

B = 9.999

(voir Davidson et

MacKinnon 2003, chap.4). Une deuxime remarque est que Davidson et MacKinnon (2002) montrent que la dirence entre la puissance d'un test bootstrap et d'un test asymptotique est faible si la puissance est corrige par le niveau. La gure 3.3 montre la fonction puis-

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -3 -2 -1 0 1 2 3 GLS HC0 BHC0

Fig. 3.3  Fonction puissance pour un niveau rel

RP = 0.05

sance du test asymptotique (HC0) et du test bootstrap (BHC0) bass sur la version HCCME. D'aprs ce graphique, lorsque la valeur de

HC0

du

s'loigne de l'hypothse nulle, le test

bootstrap rejette d'abord plus vite l'hypothse nulle, alors qu'elle est fausse, par rapport au test asymptotique. Mais lorsque

est susament loin de

0,

c'est l'inverse qui se produit, le

test asymptotique devient plus puissant que le test bootstrap. Malgr tout, on constate que les puissances des deux tests sont comparables, en comparaison avec la puissance du test asymptotique

GLS.

3.6. Application II

69

Rsidus non-contraints vs. contraints


La manire habituelle d'estimer une matrice de covariance robuste l'htroscdasticit 1 1 (HCCME) est de construire la matrice (X X) (X X) , o est une matrice diagonale dont l'lment type est une transformation du rsidu issu de l'estimation du modle noncontraint, appel rsidu non-contraint

ut ,

lev au carr : (3.26)

= diag (a2 u2 , a2 u2 , . . . , a2 u2 ) 1 1 2 2 n n
o

at

est la transformation

HC0 , HC1 , HC2

ou

HC3 .

Si l'hypothse nulle est vraie, une

meilleure estimation de l'ala sera donne par le rsidu issu de l'estimation du modle sur lequel on impose l'hypothse nulle, appel rsidu contraint

ut .

Il serait alors plus judicieux

d'estimer une matrice de covariance robuste l'htroscdasticit (HCCME) partir de (X X)1 (X X)1 , o est une matrice diagonale dont l'lment type est une transformation du rsidu contraint lev au carr :

= diag (a2 u2 , a2 u2 , . . . , a2 u2 ) 1 1 2 2 n n

(3.27)

Davidson et Flachaire (2001) montrent qu'un terme supplmentaire est introduit dans les dveloppements d'Edgeworth d'un test bas sur le HCCME, si on utilise les rsidus non contraints plutt que les rsidus non-contraints. Autrement dit, la distorsion du niveau devrait tre plus faible avec un test bas sur les rsidus contraints plutt que non-contraints. Toutefois, les expriences Monte Carlo ne montrent pas que la dirence entre les deux est vraiment signicative, mme si quelques une montrent que l'utilisation des rsidus contraints plutt non-contraints apporte un gain de prcision trs sensible, voir van Giersbergen et Kiviet (1994), Li et Maddala (1993) et Nankervis et Savin (1994). La gure 3.4 reprsente la mme fonction de niveau que la gure 3.1 sauf que les tests sont bass sur les direntes versions du HCCME avec les rsidus contraints plutt que noncontraints. D'aprs ce graphique, la distorsion du niveau des tests bootstrap est faible : elle augmente lgrement pour les versions celle de la version

HC0 et HC2 lorsque l'eet de levier est fort, par contre

HC3 reste toujours quasiment nulle. D'un autre ct, la distorsion des tests

asymptotiques est lgrement plus importante que celle des test bootstrap, elle est surtout largement plus faible que celle des tests asymptotiques bass sur les rsidus non-contraints de la gure 3.1, et il n'y a pas de dirence importante entre les diverses transformations du HCCME. Ces rsultats montrent qu'un test bootstrap, bas sur la version

HC3

du HCCME

et sur les rsidus contraints, est parfaitement able en chantillon ni, mme en prsence de trs fort eet de levier. Lorsqu'on tudie la puissance, l'hypothse nulle n'est pas vrie. Cela a conduit certains auteurs avancer l'argument suivant : l'utilisation de rsidus contraints devrait conduire une perte de puissance par rapport l'utilisation de rsidus non-contraints (van Giersbergen et Kiviet 2002), car les rsidus contraints ne peuvent pas tre considrs comme une meilleure

70

3. Les Mthodes du Bootstrap

0.2 HC0c HC1c HC2c HC3c BHC0c BHC2c BHC3c

0.15

0.1

0.05


1 1.5 2 2.5 3 3.5

-0.05

Fig. 3.4  Fonction de niveau : ERP lorsque l'eet de levier

varie (

= 0.05)

estimation des alas si

H0

n'est pas vraie. Nanmoins, les rsultats de simulations ne valident

pas forcment cet argument (MacKinnon 2002). Il est donc intressant d'tudier la puissance des tests bass sur les rsidus contraints et de la comparer celle des tests bass sur les rsidus non-contraints. La gure 3.5 montre la fonction puissance des tests bootstrap bass sur les rsidus contraints, dans une exprience identique celle qui conduit la gure 3.2 o l'eet de levier est trs fort

= 3.5.

D'aprs ce graphique, la dirence de puissance entre les di-

rentes versions du HCCME est trs faible : la version

HC3

du HCCME montre une puissance

trs lgrement suprieure celle des autres. nouveau, la comparaison avec la puissance d'un test asymptotique ecace

GLS montre que la puissance est largement plus faible avec un

test robuste l'htroscdasticit. Mais le plus intressant est la comparaison de la gure 3.2 (rsidus non-contraints) avec la gure 3.5 (rsidus contraints) : on constate un large gain de puissance pour test bootstrap bas sur le rsidus contraints plutt que non-contraints. La gure 3.6 reprsente la puissance des tests asymptotique bass sur la version HCCME et sur les rsidus non-contraints ou contraints (respectivement et la puissance de tests bootstrap correspondants (BHC3nc,

BHC3c). Si on compare les tests bootstrap et asymptotique, respectivement HC3nc contre BHC3nc puis HC3c contre BHC3c, on
constate que la dirence de puissance n'est pas trs leve. Par contre, si on compare les tests bass sur les rsidus non-contraints et contraints, respectivement

HC3 du HC3nc et HC3c),

BHC3nc

contre

BHC3c,

HC3nc contre HC3c puis

on constate un large gain de puissance dans l'utilisation des rsidus

contraints. Ce graphique montre qu'un test bas sur les rsidus contraints est largement plus puissant qu'un test bas sur les rsidus non-contraints, nanmoins la puissance reste

3.6. Application II

71

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -3 -2 -1 0 1 2 3 GLS BHC0 BHC2 BHC3

Fig. 3.5  Fonction puissance pour un niveau rel

RP = 0.05

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -3 -2 -1 0 1 2 3 GLS HC3nc BHC3nc HC3c BHC3c

Fig. 3.6  Fonction puissance pour un niveau rel

RP = 0.05

72

3. Les Mthodes du Bootstrap


GLS.

beaucoup plus faible que celle d'un test asymptotique ecace

Il faut noter que ces carts signicatifs de puissance et de niveaux sont dues la prsence d'un fort eet de levier : si on refait les mme expriences avec un eet de levier plus faible, les dirences de niveau et de puissance sont beaucoup plus faibles (voir les gures 2.4 et 2.7). Rappellons que si l'eet de levier est trs faible, les tests asymptotiques bass sur les direntes versions du HCCME sont quivalents et ables, leur puissance tant proche de celle d'un test GLS.

Conclusion
Ces rsultats montrent que les mthodes du bootstrap permettent d'avoir des tests robustes l'htroscdasticit de forme inconnue ables, mme dans des cas extrmes ou l'effet de levier est trs important. L'tude de la puissance montre que l'utilisation des rsidus contraints dans l'estimation de la matrice de covariance robuste et dans le DGP bootstrap permet un large gain de puissance compare l'utilisation habituelle des rsidus non contraints. Toutefois, il reste un cart de puissance signicatif entre un test robuste bas sur le HCCME et un test ecace bas sur une estimation GLS. Cela montre qu'il reste toujours un arbitrage avoir en pratique entre robustesse et ecacit : un test bootstrap robuste (HCCME) est able mais peu puissant en chantillon ni, alors qu'un test asymptotique ecace (GLS) est beaucoup plus performant mais il n'est pas robuste une mauvaise spcication de l'htroscdasticit.

Rfrences
Barbe, P. et P. Bertail (1995).

The Weighted Bootstrap. New York : Springer-Verlag.

Barnard, G. A. (1963).  Discussion on M. S. Bartlett, the spectral analysis of point processes.

Journal of the Royal Statistical Society B , 25, 294.


order autoregressive processes. 10151026.

Basawa, I. V., A. K. Mallik, W. P. McCormick, J. H. Reeves, et R. L. Taylor (1991a).  Bootstrapping test of signicance and sequential bootstrap estimation for unstable rst

Communications in Statistics-Theory and Methods, 20,

Basawa, I. V., A. K. Mallik, W. P. McCormick, J. H. Reeves, et R. L. Taylor (1991b).  Bootstrapping unstable rst order autoregressive processes. 10981101.

Annals of Statistics, 19,

Basawa, I. V., A. K. Mallik, W. P. McCormick, et R. L. Taylor (1989).  Bootstrapping explosive autoregressive processes.

Annals of Statistics, 17, 14791486.

Beran, R. (1986a). Discussion of  Jackknife bootstrap and other resampling methods in

Annals of Statistics, 14, 12951298. Beran, R. (1986b).  Simulating power functions. Annals of Statistics , 14, 151173.
regression analysis by C.F.J. Wu.

Beran, R. (1988).  Prepivoting test statistics : a bootstrap view of asymptotic renements.

Journal of the American Statistical Association, 83, 687697.


covariance matrix.

Annals of Statistics, 13, 95115. Berndt, E. R. (1990). The Practice of Econometrics : Classic and Contemporary. Addison
Wesley. Bertail, P. (1994).  Un test bootstrap dans un modle AR(1).

Beran, R. et Srivastava (1985).  Bootstrap tests and condence regions for functions of a

Statistique , 36, 5779.

Annales d'conomie et de Annals

Bickel, P. J. et D. A. Freedman (1981).  Some asymptotic theory for the bootstrap.

of Statistics, 9, 11961217.

Birnbaum, Z. W. (1974).  Computers and unconventionnal test-statistics. In

Biometry, pp. 441458. F. Proschan and R. J. Sering (eds). Philadelphia : SIAM. Bose, A. (1988).  Edgeworth correction by bootstrap in autoregressions. Annals of Statistics, 16, 17091722.
73

Reliability and

74

RFRENCES of Econometrics, 13, 32740. Journal

Breusch, T. S. (1980).  Useful invariance results from generalized regression models.

Carlstein, E. (1986).  The use of subseries methods for estimating the variance of a general statistic from a stationary time series.

Annals of Statistics, 14, 11711179.

Chesher, A. et I. Jewitt (1987).  The bias of a heteroskedasticity consistent covariance matrix estimator.

Econometrica, 55, 12171222. Econometrica, 51, 75163.

Chesher, A. et S. Peters (1994).  Symmetry, regression design, and sampling distributions.

Econometric Theory , 10, 11629.


nown form.

Cragg, J. G. (1983).  More ecient estimation in the presence of heteroskedasticity of unk-

Davidson, R. et E. Flachaire (2001).  The wild bootstrap, tamed at last. working paper IER#1000, Queen's University.

Econometrica, 55, 130529. Davidson, R. et J. G. MacKinnon (1993). Estimation and Inference in Econometrics. New
statistics. York : Oxford University Press. Davidson, R. et J. G. MacKinnon (1998).  Graphical methods for investigating the size and power of hypothesis tests.

Davidson, R. et J. G. MacKinnon (1987).  Implicit altenatives and the local power of test

The Manchester School, 66, 126.

Davidson, R. et J. G. MacKinnon (1999).  The size distortion of bootstrap tests.

tric Theory , 15, 361376.

EconomeEco-

Davidson, R. et J. G. MacKinnon (2000).  Bootstrap tests : How many bootstraps ?.

nometric Reviews, 19, 5568.

Davidson, R. et J. G. MacKinnon (2002).  The power of bootstrap and asymptotic tests. unpublished paper, revised November. Davidson, R. et J. G. MacKinnon (2003). Oxford University Press. Davison, A. C. et D. V. Hinkley (1997). bridge : Cambridge University Press. Dufour, J. M. et J. F. Kiviet (1998).  Exact inference methods for rst-order autoregressive distributed lag models.

Econometric Theory and Methods. New York :

Bootstrap Methods and their Application. CamAnnals of

Econometrica, 66, 79104.

Dwass, M. (1957).  Modied randomization tests for non-parametric hypotheses.

Mathematical Statistics, 28, 181187.

Edgeworth, F. Y. (1896).  The asymmetrical probability curve. 9099.

Philos. Mag., 5th Ser., 41,

Edgeworth, F. Y. (1905).  The law of error.

Proc. Cambridge Philos. Soc., 20, 3665. Efron, B. (1979).  Bootstrap methods : another look at the jacknife. Annals of Statistics , 7,
126. Efron, B. (1987).  Better bootstrap condence intervals.

Association, 82, 171200.

Journal of the American Statistical

RFRENCES
Efron, B. et R. Tibshirani (1993). & Hall. Eicker, B. (1963).  Limit theorems for regression with unequal and dependant errors.

75

An Introduction to the Bootstrap. New York : Chapman Annals

Flachaire, E. (1999).  A better way to bootstrap pairs.

Economics Letters, 64, 257262. Freedman, D. A. (1981).  Bootstrapping regression models. Annals of Statistics , 9, 1218
1228. linear models.

of Mathematical Statistics, 34, 447456.

Freedman, D. A. (1984).  On bootstrapping two-stage least-squares estimates in stationary

Annals of Statistics, 12, 827842.

Freedman, D. A. et S. C. Peters (1984a).  Bootstrapping a regression equation : some empirical results.

Journal of the American Statistical Association, 79, 97106.

Freedman, D. A. et S. C. Peters (1984b).  Bootstrapping an econometric model : some empirical results.

Journal of Business & Economics Statistics, 2, 150158.

Annals of Statistics, 14, 14531462. Hall, P. (1992). The Bootstrap and Edgeworth Expansion. Springer Series in Statistics. New
interval. York : Springer Verlag. Hall, P. (1994).  Methodology and theory for the bootstrap. In

Hall, P. (1986).  On the number of bootstrap simulations required to construct a condence

Handbook of Econometrics,

Hendry, D. F. (1980).  Econometrics  alchemy or science.

Economica, 47, 387406. Hendry, D. F. (1984).  Monte Carlo experimentation in econometrics. In Handbook of Econometrics, Volume II, Chapter 13. Z. Griliches and M. D. Intriligator (eds), Amsterdam,
North Holland. Horowitz, J. L. (1994).  Bootstrap-based critical values for the information matrix test.

Volume 4, pp. 23412379. R. F. Engle and D. L. McFadden (eds), Amsterdam : Elsevier.

Journal of Econometrics, 61, 395411.

Horowitz, J. L. (1997).  Bootstrap methods in econometrics : theory and numerical performance. In

Advances in Economics and Econometrics : Theory and Application, Vo-

lume 3, pp. 188222. David M. Kreps and Kenneth F. Wallis (eds), Cambridge, Cambridge University Press. Huet, S. et E. Jolivet (1989).  Bootstrap and edgeworth expansion : the non-linear regression as an example. Rapport technique, Dpartement de Biomtrie, INRA. Huet, S., E. Jolivet, et A. Messan (1990).  Some simulations results about condence intervals and bootstrap methods in nonlinear regressions.

Statistics, 21, 369432.

Jeong, J. et G. S. Maddala (1993).  A perspective on application of bootstrap methods in econometrics. In Publishing Co. Jckel, K. H. (1986).  Finite sample properties and asymptotic eciency of Monte Carlo tests.

Handbook of Statistics, Volume 11, pp. 573610. North Holland

Annals of Statistics, 14, 336347.

76

RFRENCES Annals of Statistics, 17, 12171241.


and Econometrics.

Knsch, H. R. (1989).  The jacknife and the bootstrap for general stationary observations.

Li, H. et G. S. Maddala (1993, dec).  Bootstrapping cointegrating regressions. Paper presented at the Fourth Meeting of the European Conference Series in Quantitative Economics

Li, H. et G. S. Maddala (1996).  Bootstrapping time series models.

views, 15, 115158.

Econometric ReAnnals of Statis-

Liu, R. Y. (1988).  Bootstrap procedure under some non-i.i.d. models.

tics, 16, 16961708.

MacKinnon, J. G. (2002).  Bootstrap inference in econometrics.

nomics, 35, 615645.


5370.

Canadian Journal of Eco-

MacKinnon, J. G. et H. L. White (1985).  Some heteroskedasticity consistent covariance matrix estimators with improved nite sample properties.

Journal of Econometrics, 21, The Annals of Mathematical

Mallows, C. L. (1972).  A note on asymptotic joint normality.

Statistics, 43, 508515.


and University of Iowa.

Nankervis, J. C. et N. E. Savin (1994).  The level and power of the bootstrap-t test in the AR(1) model with trend. Manuscript, Department of Economics, University of Surrey

Press, W. H., B. P. Flannery, S. A. Teukolsky, et W. T. Vetterling (1986). Cambridge University Press, Cambridge.

Numerical Recipes.

Shao, J. et D. Tu (1995).

The Jackknife and Bootstrap. New York : Springer-Verlag. van Giersbergen, N. P. A. (1998). Bootstrapping Dynamic Econometric Models. Ph. D. thesis,
University of Amsterdam. Book no. 184 of the Tinbergen Institute Research Series. van Giersbergen, N. P. A. et J. F. Kiviet (1994).  How to implement bootstrap hypothesis testing in static and dynamic regression model. Discussion paper TI 94-130, Amster2 dam : Tinbergen Institute. Paper presented at '94 and EC '93.

ESEM

van Giersbergen, N. P. A. et J. F. Kiviet (2002).  How to implement bootstrap hypothesis testing in static and dynamic regression model : test statistic versus condence interval approach.

Journal of Econometrics, 108, 13356.

Vinod, H. D. (1993). Bootstrap methods : applications in econometrics. In C. R. Rao G.S. Maddala et H.D. Vinod (Eds.), Amsterdam : North Holland. White, H. (1980).  A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity.

Handbook of Statistics, Volume 11, pp. 629661.

Econometrica, 48, 817838.

Wu, C. F. J. (1986).  Jackknife bootstrap and other resampling methods in regression analysis.

Annals of Statistics, 14, 12611295.