Estimation ARMA

Un processus ARMA est la solution stationnaire de lequation recurrente :

Xt =

p
X
k=1

k Xtk +

q
X

k Ztk + Zt

k=1

Pp
o`
u Zt BB(0, 2 ) et o`
u (z) = 1 + k=1 k z k 6= 0 pour |z| = 1.

2
Param`etre `a estimer : {k }1kp , {k }1kq , .
Identifiabilite `a partir des proprietes du second ordre
X
Zt ont
t defini par (z)
t = (z)
Xt defini par (z)Xt = (z)Zt et X
les memes f.a.c.

Estimation AR

Un processus AR causal est la solution stationnaire de lequation recurrente :

Xt =

p
X

k Xtk + Zt

k=1

o`
u Zt BB(0, 2 ) et o`
u (z) 6= 0 pour |z| 1. Elle secrit :
Xt =

+
X

k Ztk

k=0

o`
u 1/(z) =

P+
k=0

k z k .

1.1

Eqs de Yule-Walker (rappels)

Les coefficients du predicteur optimal

t,m = (Xt |HX
X
es par :
t1,m ) = 1,m Xt1 + + m,m Xtm sont donn
h
i

t,m |2 = (0) 1 T
C m m = et E |Xt X
m
o`
u

Cm

(0)

(1)
=
..

(m 1)

...

...

(1)

(m 1)

1,m
(1)

.
.

, = .. et = ..

m,m
(m)
(0)

t,m = X
t,p et
On rappelle que pour un AR-p causal on a, pour tout m p, X
h
iT
h
i
2
t,m | = 2
et E |Xt X
m = 1 p 0 0

La resolution des Eqs de Yule-Walker `a lordre m p fournit pour un AR-p

les coefficients de sa representation causale.

1.2

M
ethode des moments

Pour m = p, les equations (1) definissent une bijection entre les (p + 1)

param`etres du mod`ele et la suite des (p + 1) premi`eres valeurs de la f.a.c. :

2
(0)
=
S:r=
p

La methode des moments consiste `a remplacer dans = S(r), les moments r

par une suite consistante destimateurs, cad rn P r.

On remplace (h) par :

n|h|

1 X
n (h) =
(Xt+|h|
n )(Xt
n )
n t=1
puis on fait pour m p :
1

=
C

n,m
n,m n,m

et

n2 = n (0) 1

Tn,m

n,m

On a vu que si n (0) 6= 0 :

1. C
est positive de rang plein,
n,m
2. m,n (z) 6= 0 pour |z| 1,

Une consequence immediate est que, partant de la suite (0) 6= 0, , (p), il

existe toujours un processus AR-p causal ayant cette suite pour (p + 1)
premiers coefficients de covariance.
Pour un MA cette propriete ne tient pas. Considerons en effet une suite
dobservations donnant pour m = 1, (0) = 1 et (1) = 0.7. Alors il nexiste
pas de processus MA-1 ayant pour f.a.c en 0 et 1 ces deux valeurs


Exercice 1 1. Montrer que la matrice C
secrit :
n,m

=
C
n,m

1
DT D
n
n (0)

o`
u D est une matrice de dimension (n + m 1) m construite `
a partir
des donnees Xtc = Xt
n .
2. On suppose que le nombre de valeurs de Xt non nulles est superieur `
a m.
Montrer que D est de rang plein (indication : on note t0 la plus petite
valeur de t telle que Xt 6= 0 et on consid`ere la matrice carree extraite de

a partir du rang t0 .). En deduire que C

est de rang plein.
D`
n,m

Taches solaires (Sunspots)

1750

1850

0.05

0.1

50

0.15

0.2

100

1950

0.25

0.3

150

0.35

0.4

200

2000

0.45

0.5

250

Fig. 1 haut : releve annuel moyen du nombre de taches solaires entre 1750 et
2000. Milieu : en bleu, spectre moyenne en frequence ; en rouge, spectre de lAR2.
Bas : innovation estimee sous lhypoth`ese AR2.

1.3

Comportement asymptotique

Th
eor`
eme 1 Soit Xt un processus AR(p) causal o`
u Zt IID(0, 2 ) et soit
1

m,n et
un echantillon {X1 , . . . , Xn } de taille n. On note m,n = C m,n

n,m

n2 = n (0) 1
. On suppose m > p. Alors quand n :
n,m

n(

2 1

N
(0,

m )
d
m,n
m

n2 P 2
h
o`
u m = 1 p 0
de dimension m m de Xt .

iT
0

et o`
u m est la matrice de correlation

10

Simulation (Monte Carlo)

AR(4) causal avec 2 = 1 et (z) = 1 0.6z + 0.1z 2 0.38z 3 + 0.72z 4 . La
sequence est de longueur 300 et les moyennes sont effectuees sur L = 1000
simulations.
2

vraies valeurs

0.6000

0.1000

0.3800

0.7200

biais estime

0.0013

0.0061

0.0003

0.0070

0.0164

ect estime

0.0840

0.0416

0.0503

0.0486

0.0408

ect asymtotique 0.0816

0.0401

0.0482

0.0482

0.0401

r h
i
U )2 .
ect = E (U

11

Propri
et
e 1 (continuit
e) Soit Xn une suite de vecteurs aleatoires `
a valeurs
dans Rk asymptotiquement normale de moyenne et de covariance :

n(Xn ) d N (0, )
Soit g : Rk Rm une fonction differentiable au point x = , de differentielle
g (de dimension m k) au point telle que g 6= 0. Alors :

n(g(Xn ) g()) d N (0, g gT )

Exercice 2 On consid`ere un processus AR(p).
1. Montrer par recurrence que, pour m p, det(C m+1 ) = 1.
2. En utilisant le theor`eme 1 et la propriete de continuite, montrer que le
m-`eme coefficient de reflexion kn (m) = m,m verifie :

n kn (m) d N (0, 1)
(2)
3. En deduire un test dordre pour un mod`ele AR.

12

1.4

Test dordre
1

0.5

0.5

m
1

10

Fig. 2 Suites, obtenues au cours de 7 simulations, des coefficients de reflexion en

fonction de m, pour un echantillon de longueur n = 500 dun processus AR(2) defini
par 1 = 1.6, 2 = 0.9 et 2 = 1.

13

1.5

M
ethode du maximum de vraisemblance

Considerons un AR(p) causal o`

u Zt IID(0, 2 ) gaussien
log pXp+1 ,...,Xn |X1 ,...,Xp (x1 , . . . , xn ; ) =
o`
u X = [xp+1

...

np
1
log(2 2 ) 2 kX X k2
2
2

xn ]T et :

x
p

xp+1
X =

xn1

x1

..
.

x2

xnp

Lestimateur du maximum de vraisemblance est M V = (X T X )1 X T X. La

stabilite nest pas assuree.

14

Estimation MA

Xt = Zt + 1 Zt1 + + q Ztq
Pq
2
o`
u Zt BB(0, ) et (z) = 1 + k=1 k z k 6= 0 pour |z| < 1.

2.1

M
ethode des moments

Exemple q = 1. Partant de lexpression des

2
2

(1
+

(h) = 2 1

moments :
pour h = 0
pour h = 1
pour |h| 2

Contrairement au cas de lAR, prendre un nombre de covariances empiriques

fixe independant de n ne conduit pas au meilleur estimateur.

15

2.2

M
ethode de Durbin (1)

Soit Xt = (B)Zt un processus MA(q) o`

u (z) 6= 0 pour |z| 1. Alors :
+

X
1
(z) =
=1
k z k
(z)
k=1

Propri
et
e 2 On note p (z) = 1
lequation recurrente :

Pp

z
. Alors il existe p0 , t.q. p p0
k
k=1

t = Zt +
X

p
X

k Xtk

k=1

h
i
2
t | p 0.
definit un AR(p) causal et on a E |Xt X
Do`
u lidee dapprocher un processus MA inversible par un AR causal
suffisamment long.

16

M
ethode de Durbin (2)
On choisit p suffisamment grand de telle facon que les observations puissent
etre considerees comme celles dun AR(p). On en estime les coefficients
1 , . . . , p .
Partant de lidentite, (z)(z) = 1, on calcule 1 , . . . , q en fonction de
1 , . . . , p . Il vient :
=
+

La methode des moindres carres donne :

= .
o`
u
T
1 T

= ( )

La solution concide avec celle de lestimation dun processus AR dordre q

dont les observations seraient constituees par les valeurs de la suite k .

17

M
ethode de Durbin (3)
En conclusion
on choisit p dautant plus grand que les racines de (z) sont proches du
cercle unite (vallees profondes).
on estime les p coefficients 1 , . . . , p , du predicteur lineaire optimal,
on estime les q coefficients du predicteur lineaire optimal obtenu `a partir
des donnees : 1 1 , . . . , p .
remarque : on estime ainsi la solution `a phase minimale.

18

M
ethode de Durbin (4)
Le tableau donne la moyenne, la variance et le risque, estimes empiriquement
`a partir de 200 realisations, de lestimateur de 1 = 0.95 selon la methode de
Durbin pour un echantillon de longueur 300 dun processus MA(1) o`
u
1 = 0.95 et 2 = 1 et pour differentes valeurs de p. On observe que, quand p
augmente, la variance augmente, tandis que la moyenne et le risque passent
par un minimum.
p

20

40

70

120

250

biais

0.1008

0.0863

0.0841

0.0840

0.0939

variance

0.0007

0.0009

0.0012

0.0016

0.0018

risque

0.0108

0.0083

0.0082

0.0087

0.0106

Lestimateur est biaise car un polynome de degre fini ne peut pas etre egal `a
linverse dun autre polynome.

19

2.3

Maximum de vraisemblance approch

e

Xt = Zt + 1 Zt1 + + q Ztq o`
u Zt BB(0, 2 ) gaussien. On a :

X
Z
Z0
Z
1
1

1
..
..
.

..
'
L()
. = L() .. + L0 ()

.
.

Xn
Zn
Z(q1)
Zn
Dans le cas gaussien on a :
log pX1 ,...,Xn (x1 , . . . , xn ; , 2 )

n
1
log(2 2 ) 2 xT LT () L1 ()x
2
2
| {z }
z{t=1:n}

La maximisation donne :
n = arg min Pn

n2 =
k,m=1 ckm ()Xk Xm et

1
n

Pn

k,m=1 ckm ( n )Xk Xm

Ce qui revient `a tronquer le developpement de 1/(z) pour ensuite engendrer

une estimee de linnovation Zt .

20

2.4

M
ethode destimation de linnovation

Propri
et
e 3 Soit le processus ARMA(p, q) :
Xt = Zt +

q
X
k=1

k Ztk +

p
X

k Xtk

k=1

un processus ARMA(p, q) causal et inversible, cad (z) 6= 0 et (z) 6= 0 pour

|z| 1. On note t,m = Xt (Xt |Ht1,m ) linnovation partielle. Alors on a :
Zth est linnovation
de Xt , soit Zt = Xt (Xt |Ht1 ),
i
2

E |Zt t,m |

m 0.

Lidee est dapprocher, pour m suffisamment grand, Zt par linnovation

partielle deduite de la prediction lineaire.

21

M
ethode destimation de linnovation (2)
on choisit m,
on estime les m coefficients de prediction (algorithme de Levinson). On en
deduit par filtrage (reponse impulsionnelle finie) une estimation t,m du
processus de prediction,
on minimise par la methode des moindres carres lecart entre Xt et
Pq
t,m + k=1 k tk,m .

22