EXPOSE ORAL

------ Modèle ARMA

Ⅰ. Série Temporelle
Ⅱ. Processus stationnaire
Ⅲ.Modèle ARMA
Ⅳ. Modélisation de Box et Jenkins
Ⅴ.Application

1
TANG Liyun et QIAN Yuan
 Ⅰ.. Série Temporelle
Sé
� Ⅰ.1 D Dééfinition :
� une série temporelle est une suite de nombres réels , indexés
par les entiers relatifs tels que le temps. Pour chaque instant
du temps, la valeur de la quantité étudiée Xt est appelée
variable aléatoire. L'ensemble des valeurs Xt quand t varie
est appelé processus aléatoire
{Xt , t ∈ T }

2
Ⅰ.. Série Temporelle
Sé
� Ⅰ.1 D
Dééfinition
� Une série temporelle est une suite de nombres r éels, indexés par
les entiers relatifs tels que le temps .
Pour chaque instant du temps , la valeur de la quantit é étudiée Xt
est appelée variable aléatoire . L'ensemble des valeurs X t quand t
varie est appelé processus aléatoire
{ Xt , t ∈ T }
� Ⅰ.2 Domaine d
d’’application

� en astronomie (’on the periodicity of sunspots’, 1906),

� en mété orologie ( ’ time-seires regression of sea level on
weather ’, 1968)
� en théorie du signal (’Noise in FM receivers’, 1963)
� en biologie ( ’ the autocorrelation curves of schizophrenic
brain waves and the power spectrum’, 1960)
� en économie (’time-series analysis of imports, exports and
other economic variables’, 1971)...etc.
 En astronomie (‘on the periodicity of sunspots’, 1906)

5
 � Ⅰ.3 Objectif

� Modéliser les mouvements de la série temporelle à partir de

son histoire et des valeurs présentes et passés d’un Bruit Blanc

avec un modèle linéaire .

6
� Ⅰ..4 Hist oire
Histoire
1927 G.U.Yule -- mod
modèèle AR
1931 G.T.Walker – mod
modèèle MA et mod
modèèle ARMA
1970 G.E.P.Box et G.M.Jenkins
G.M.Jenkins（BoxBox
Box——Jenkins
Jenkins）
《Time
Time Series Analysis Forecasting and Control
Control》
1982 ARCH
1985 GARCH

2013-3-21
Ⅱ.. Processus stationnaire

� Ⅱ.. 1 conception de stationnarit

stationnaritéé
La stationnarité joue un rôle central dans la théorie des processus
� Processus fortement stationnaire(ou au sens strict) : la distribution de
probabilité est invariante par translation de l’axe du temps
� Processus faiblement stationnaire (ou stationnaire à l’ordre 2) :
permanence des deux premiers moments (conditions utilisées en
pratique)
1) EX t2 < ∞, ∀t ∈ T
2) EX t = µ , ∀t ∈ T
3) Cov( X t , X t + k ) = γ k , ∀t , k ∈ Z

8
 � Ⅱ.. 2 Caract
Caractééristiques d'une sséérie temporelle

� Fonction d’autocovariance :
γ k= Cov( X t，X t + k )
� Fonction d’autocorrélation(ACF)
γk
ρk = , k ∈ Z
γ0
� Fonction d’autocorrélation partielle (PACF) :

1 ρ 1 ... ρ h −1
*
ℜ ( h) ... ...
ψ X ( h) = avec ℜ ( h ) = ... ... ... .
ℜ(h)
... ... ...
ρ h −1 ρ h−2 ... 1

ℜ* (h) obtenue en remplaçant la dernière colonne de R(h) par le vecteur [ρ1, ρ 2 ,....ρ h ]
'

9
 � Ⅱ.. 3 Exemple de processus stationnaire : Bruit blanc

10
 Ⅲ.Modèle ARMA
Ⅲ.1
.1 Opérateur retard
Ⅲ.1.1 Différence
∇xt = xt − xt −1 ∇ k xt = xt − xt − k
∇ p xt = ∇ p −1 xt − ∇ p −1 xt −1
Ⅲ.1.2 Opérateur retard, noté B

xt − p = B p xt , ∀p ≥ 1
B0 = 1
B ( c ⋅ x t ) = c ⋅ B ( x t ) = c ⋅ x t −1 ,
B ( x t ± y t ) = x t −1 ± y t −1
B n xt = xt − n
n
n i i n!
(1 − B ) = ∑ ( − 1) C n B i , C ni =
i=0 i! ( n − i )!

11
 Ⅲ..1.
1.33 Appliquer ll’’op
opéérat eur retard
rateur

p
∇ p xt = (1 − B ) p xt = ∑ (−1) i C ip xt −i
i =0
k
∇ k xt = xt − xt − k = (1 − B ) xt

12
 Ⅲ..2 Cas particulier : AR(p)

⎧ xt = φ0 + φ1 xt −1 + φ2 xt −2 + L + φ p xt − p + ε t
⎪
⎪φ p ≠ 0
⎨
⎪ E (ε t ) = 0， Var (ε t ) = σ 2
ε , E (ε t ε s ) = 0, s ≠ t
⎪ Ex ε = 0, ∀s < t
⎩ s t

Φ ( B) xt = ε t

Φ ( B) = 1 − φ1 B − φ2 B 2 − L − φ p B p

13
 � Propriété

Ext = E (φ0 + φ1 xt −1 + L + φ p xt − p + ε t )

Ext = µ, E(εt ) = 0, ∀t ∈T
φ0
µ=
1 − φ1 − L − φ p

14
 � Fonction d’autocovariance

E ( xt xt − k ) = φ1 E ( xt −1 xt − k ) + L + φ p E ( xt − p xt − k ) + E (ε t xt − k )

E (ε t xt − k ) = 0

γ k = φ1γ k −1 + φ2γ k − 2 + L + φ pγ k − p , k = 1,2,L

γ 0 = Var(X t )

15
 Fonction d’autocorrélation

γk
ρk =
γ0

ρ k = φ1 ρ k −1 + φ2 ρ k − 2 + L + φ p ρ k − p , k = 1,2, L

16
 � Fonction d’autocorrélation partielle

⎧ ρ1 = φk1 ρ 0 + φk 2 ρ1 + L + φkk ρ k −1
⎪ ρ = φ ρ +φ ρ +L+φ ρ
⎪ 2 k1 1 k2 0 kk k − 2 E[( xt − Eˆ xt )( xt − k − Eˆ xkt )]
⎨ φkk =
⎪ L L L L L L L L E[( xt − k − Eˆ xt − k ) 2 ]
⎪⎩ ρ k = φk1 ρ k −1 + φk 2 ρ k − 2 + L + φkk ρ 0

�
φkk = 0 , k > p

17
 Ⅲ.3 Cas particulier : MA(q)

xt = Θ(B)εt
Θ( B ) = 1 − θ1 B − θ 2 B 2 − L − θ q B q

18
 � Propriété

Ext = E（µ + ε t − θ1ε t −1 − θ 2ε t − 2 − L − θ qε t − q）

=µ

Var ( xt ) = Var ( µ + ε t − θ1ε t −1 − θ 2ε t − 2 − L − θ qε t − q )

= (1 + θ12 + L + θ q2 )σ ε2

19
 � Études des autocovariance γ k

⎧(1 + θ12 + L + θ q2 )σ ε2 , k = 0
⎪ q −k
⎪
γ k = ⎨(−θ k + ∑ θ iθ k +i )σ ε2 , 1 ≤ k ≤ q
⎪ i =1
⎪0, k >q
⎩

20
 Le Corrélogramme

⎧1, k =0
⎪ q−k
⎪ − θ k + ∑ θ iθ k +i
⎪ i =1
ρk = ⎨ 2 2
, 1≤ k ≤ q
⎪1 + θ1 + L + θ q
⎪0, k >q
⎪
⎩

Si q<∞，MA(q) stationnaire

21
 � Le corrélogramme de MA(q) s’annule à partir de q+1

∞
E[(ε t − ∑ I l + k xt −l − k ) xt − k ]
E{[ xt − Eˆ ( xt )][ xt − k − Eˆ ( xt − k )]} l =0
=
Var ( xt − k | xt −1 , L, xt − k +1 ) Var ( xt − k )
∞ ∞
E (ε t xt − k ) − ∑ I l + k E ( xt −l − k xt − k ) − ∑ Il +kγ l
l =0 l =0
= 2 2 2
=
(1 + θ + L + θ )σ
1 q (1 + θ + L + θ q2 )σ 2
1
2

∞
car ∑I
l =0
γ ≠0
l +k l

22
Ⅲ.4 Modèle ARMA
� Ⅲ.4.1 Définition générale
Un processus stationnaire Xt suit un ARMA(p,q) s'il vérifie
la relation suivante :

⎧ X t = φ0 + φ1 X t −1 + L + φ p X t − p + ε t − θ1ε t −1 − L − θ qε t − q
⎪⎪
⎨φ p ≠ 0，θ q ≠ 0
⎪ 2
⎪⎩ε t ~ BB(0，σ ε )

2013-3-21
 � En introduisant l'opérateur retard, la relation s'écrit :

Φ ( L) X t = Θ( L)ε t

avec Φ ( L) = 1 − φ L − φ L2 − L − φ Lp
1 2 p

et Θ( L) = 1 − θ L − θ L2 − L − θ Lq
1 2 q

24
 � Ⅲ.4.2 La th
thééor
orèème de Wold
� Une version simple du théorème de Wold :

Soit T réalisations d’un processus stationnaire centré.

{X t }Tt=1

∃ε t ~ BB (0,σ ε2 ) et ∃(δ 0 , δ1, δ 2 ,L)

avec δ 0 = 1 et lim δ i = 0
i →∞

∞
tels que X t = ∑ δ iε t −i = δ ( L)ε t
i =0

� tout processus (Xt) stationnaire peut se mettre sous forme MA(∞),

25
� Approximation fractionnelle du th
thééor
orèème de Wold

Soit θ ( L) = 1 + θ1L + L + θ q Lq et φ ( L) = 1 − φ1L − L − φ p Lp

θ ( L)
avec δ ( L) ≈
φ ( L)

Le processus X t peut être réécrit sous la forme

φ ( L) X t = θ ( L)ε t

ou θ ( L) : modélisation ARMA(p,q) de X t
Xt = εt
φ ( L)

�ARMA：approximation de l’écriture MA(∞)

 � Remarque : un modèle ARMA stationnaire et inversible peut
toujours se réécrire sous la forme d’un modèle AR ou d’un
modèle MA

� Cas particuliers
� ARMA(p,0) ou AR(p) : X t = φ1 X t −1 + ε t

� ARMA(0,q) ou MA (q) : X t = ε t − θ1ε t −1

� ARMA(0,0) : bruit blanc

27
 Ⅳ. Modélisation de Box et Jenkins

� Stationnarisation et Dessaisonalisation
� Identification
� Estimation
� Validation et Test
� Prévisions

28
� Ⅳ.1
.1 Stationnarisation et Dessaisonalisation
Ⅳ.1.1
.1.1 Tests de la stationnarit
stationnaritéé
� Pour vérifier la stationnarité : plusieurs méthodes
Examen visuel de la série

Pas stationnaire stationnaire

Calculs de la moyenne et de la variance sur des sous ensembles

de la serie et tests d’égalité
Analyse visuelle de la décroissance de la fonction d’autocorrélation
Tests de recine unité (Dickey-Fuller, …)
2013-3-21
� Tests de recine unit
unitéé
——identification de ll’’ordre dd’’int
intéégration des ssééries
� Le test de Dickey & Fuller propos de tester 3 situations
1. H0:yt est un pure RW
y t − ρy t −1 = ε t ∆y t = ( ρ − 1) y t −1 + ε t H 0 : ρ = 1

2. H0:yt est un RW avec dérive

y t − ρ y t −1 = α + ε t ∆y t = α + ( ρ − 1) y t −1 + ε t H0 :α = ρ −1 = 0

3. H0:yt est un RW avec trend et dérive

yt − ρyt −1 = α + βt + ε t ∆y t = α + β t + ( ρ − 1) y t −1 + ε t

H0 :α = β = ρ −1 = 0
� Le test de Dickey & Fuller Augmenté
H0 : est intégré d’ordre au moins 1
H1 : le processus suit un modèle AR(p)
A( L) yt = ε t H 0 : A(1) = 0
A( L) y t = α + ε t H 0 : A(1) = α = 0

A( L) y t = α + β t + ε t H 0 : A(1) = α = β = 0

� Compléments sur les tests de racine unité

� Tests de Phillips et Perron
Ils proposent une correction non paramétrique des deux
statistique des test de Dickey et Fuller
Série stationnaire Série non stationnaire Série non stationnaire
en moyenne en variance
 Ⅳ.1.
.1. 2 Transformation stationnarisante d
d’’un
processus non stationnaire

� La ssé
érie non stationnaire

� processus TS(Trend stationary) présente une non stationnarité de

nature déterministe
Yt − f(t) = Zt stationnaire
� processus DS (Difference stationnary) présente une non
stationnarité de nature stochastique
(1 − L)dYt = Zt stationnaire

33
� Ⅳ.1.2
.1.2 Si la série n’est pas stationnaire, il faut la stationnariser
par une méthode adaptée
Processus TS
Xt = f(t) + Et avec f(t) = fonction déterministe du temps, Et :stationnaire
Décomposition tendance déterministe - fluctuations
Exemples fréquents :
- Trend linéaire : X t = α + β1t

- Tend quadratique : X t = α + β1t + β 2t 2

- Trend polynomial : X t = α + β1t + β 2t 2 + L + β nt n

- Trend exponentiel : X t = αe βt ⇒ Log ( X tTrend ) = Log (α ) + βt

2013-3-21
� Décomposition saisonnalité déterministe - fluctuations

s
Modèle sans tendance : X t = ∑ γ i Di ,t + ut
i =1

s
Modèle avec tendance : X t = βt + ∑ γ i Di ,t + ut
i =1
� Processus DS
� Les plus utilisées :
� La différence d’ordre d : ∆dXt = (1-B)dXt

� Trend stochastique
∆X t = ( X t − X t −1 ) ~ I (0)
Saisonnalitéé stochastique
� Saisonnalit
∆ S X t = ( X t − X t − S ) ~ I (0)
� Séries avec trend et saisonnalit
saisonnalitéé stochastiques
∆∆ S X t = (1 − L)(1 − LS ) X t
= ( X t − X t − S ) − ( X t −1 − X t − S −1 )
Ⅳ.2
.2 Identification
� Objectif : déterminer d, p, q
� Outils d’identification :
� ACF
� PACF
� Fonction d’autocorrélation inverse
� Méthode du coin
� Critères d’information AIC
� la fonction d’autocorrélation étendue (Tsay, & Ciao)
� Méthode ’SCAN…

37
� ACF et PACF

ACF PACF

AR(p) décroissance ϕkk=0

oméétrique vers 0
géom pour k>p
MA(q) ρk=0 décroissance
pour k>q oméétrique vers 0
géom

ARMA(p,q) décroissance décroissance

oméétrique vers 0 géom
géom oméétrique vers 0
� Critères d’information AIC
� - Estimation de tous les modèles ARMA(p,q) pour p ≤ p max
et q ≤ q max
� On retient la forme ARMA(p, q) qui minimise au choix l’un
des deux criteres AIC ou BIC suivants ( σˆ 2
)
= ( Σ t εˆ t2 ) / T )

 
2( p + q )
critere AIC : AIC ( p, q) = log σˆ 2 +
T

log(T )
critere BIC : BIC ( p, q ) = log σˆ 2 + ( p + q )
T
 Ⅳ.3
.3 Estimation
� L’estimateur du maximum de vraisemblance
H1 on suppose que la population des résidus {εt} peut être
décrite par un processus bruit blanc gaussien Ν(0,σ2ε).

Écrivons alors la vraisemblance associée au vecteur de

réalisation (χ1,χ2, …… χT).

40
 Ⅳ.4
.4 Validation et Test
Test sur les résidus
� Test d’absence d'autocorrélation des résidus
le test de Box-Pierce
le test de Ljung-Box
le test de Durbin-Watson
� Test d’homoscédasticité
le test de Goldfield et Quandt
le test de White
le test de Breusch et Pagan
� Estimation récursive et analyse de la stabilité du modèle

41
 Ⅳ.4
.4 Validation et Test
� Test d’absence d'autocorrélation des résidus
� le test de Box-Pierce et le test de Ljung-Box

Statistics :
h
Box-Pierce Qh = T ∑ ρ̂ k2
k =1
h
ρˆ k2
Ljung-Box Qh′ = T (T + 2)∑ ～ χ2(h)
k =1 T − k

p>0.05, la série est

statistiquement un bruit blanc

42
 Ⅳ.4
.4 Validation et Test
� Test d’absence d'autocorrélation des résidus
� le test de Durbin-Watson
H0 : ρ=0
H1 : il existe d’autocorrélation
statistics :

Avec et la série de résidu,

T est le nombre d’observation

43
� Tests de normalité: Bera & Jarque (1984)
notonsμk le moment d’ordre k de la distribution µk = E([X − E(X)]k )
3/ 2
Coefficient du skewness s = µ 3 / µ 2 et de la kurtosis k = µ 4 / µ 22

statistics:
BJ≥ χ12−α (2) on rejette l’hypothèse H0 de normalité des résidus au seuil α

44
 � Estimation rré
écursive et analyse de la stabilit
stabilitéé du mod
modèèle
� Estimation récursive du modèle sur les sous-échantillons :
t = 1,…,T*; t = 1, …, T*+1; …., t = 1,…,T-1
� Calcul des résidus récursifs (one-step ahead forecast error)
ε t∗+1,t = yt +1 − yt∗+1,t
� On peut démontrer le résultats suivant :

ε t∗+1,t ~ N (0,σ 2 rt ) avec rt > 1 et lim rt = 1

t →∞

� Résidus récursifs normalisés

ε t∗+1,t iid
ωt +1,t = ~ N (0,1) t = T *,…,T-1
σ rt
� Statistique du CUSUM :
t
CUSUM t = ∑ ωτ +1,τ t = T *,…,T-1
τ =T *
� Calcul d’un Intervalle de confiance pour le CUSUM à partir des bornes tabulées
de la statistique

45
 Ⅳ.5
.5 Prévisions

xˆt (k ) = E (φ1 xt + k −1 + L + φ p xt + k − p + ε t + k − θ1ε t + k −1 − L − θ qε t + k − q xt , xt −1 , L)

q
⎧
⎪φ1 xˆt ( k − 1) + L + φ p xˆt (k − p ) − ∑ θ iε t + k −i , k ≤ q
=⎨ i=k
⎪φ xˆ ( k − 1) + L + φ xˆ (k − p ) , k >q
⎩1 t p t

⎧ xˆ (k ) , k ≥ 1
ˆxt (k ) = ⎨ t
⎩ xt + k , k ≤ 0

Var[et (k )] = (G02 + G12 + L + Gk2−1 )σ ε2

46
Incertitude associée aux prévisions
� Critère de pouvoir prédicitf
� Critère d’information
� Test s d’anticipations rationnelles
� Limite de prédictibilité d’un modèle ARMA
� les prévisions hors échantillon des modèles ARMA convergent
vers la moyenne non conditionnelle du processus.
� On peut calculer la limite de prédictibilité
� Expliquer et présenter

2013-3-21
 Incertitude associée aux prévisions
� Critère de pouvoir prédicitf
Plusieurs indicateurs sontalors possibles :
� (i) la variance du résidu σ2, ou la somme des carrés des
résidus SCR
� (ii) le coefcient de détermination R2, correspondant à
une normalisation de la variance
� (iii) le coefficient de détermination modifié adjust-R2
� (iv) la statistique de Fisher (comme dans le cas du
modèle linéaire)
� Le but est alors de minimiser (i), ou de maximiser (ii) ;
(iii) ou (iv).
2013-3-21
Incertitude associée aux prévisions
� Critère d’information

2( p + q )
AIC ( p, q ) = log σˆ 2 +
T

log(T )
BIC ( p, q) = log σˆ 2 + ( p + q )
T

� Évaluation de plusieurs prévisions

comparer la précision de prévisions non optimales:
� l’erreur de prévision et + h ,t = yt + h − yt + h ,t
� l’erreur de prévision en pourcentage yt + h − yt + h,t
pt + h,t =
yt + h

2013-3-21
 � Critères Mean Error (ME) et Error Variance (EV):
1 T
ME = ∑ et + h ,t : mesure du biais (faible avec une « bonne prévision »)
T t =1
1 T
EV = ∑ (et + h,t − ME ) 2
: dispersion des erreurs de pr évisions (faible avec
T t =1
une « bonne prévision »)
� Mesures globales de la précision des prévisions: MSE et MSPE
1 T
MSE = ∑ (et + h,t ) 2 1 T
T t =1 MSPE = ∑ ( pt + h,t ) 2
T t =1
� Des variantes de ces indicateurs (RMSE et RMSPE) permettent de
préserver les unités des grandeurs prévues :
RMSE = MSE RMSPE = MSPE
� Autres mesures : MAE et MAPE

1 T 1 T
MAE = ∑ et + h,t MAPE = ∑ pt + h,t
T t =1 T t =1

50
 Ⅴ.Application

Modèle ARMA pour données des employés

Canadian
�1961:1 1994:4
� Identification du modèle par AIC
AIC analysis of models for series CAEMP
� Identification du modèle par corrélogramme
57
 � Prolongement du mod
modèèle ARMA

ARIMA(p,d,q) Φ ( L)(1 − L) d X t = Θ( L)ε t

SARIMA(p,d,q)(P,D,Q)s
Φ p ( L)Φ P ( Ls )(1 − L) d (1 − Ls ) D X t = Θ q ( L)Θ Q ( Ls )ε t

59
 modèèle ARMA
� Prolongement du mod
� ARFIMA: processus à mémoire longue
ARFIMA(p,d,q) :

� TARMA: processus à seuil

où u1t et u2t sont deux bruits blancs de variance respective σ21et σ22

� FARMA: ∆dXt suivent un processus ARMA(p, q) où d n’est pas

entier, compris entre -1/2 et 1/2

� ARCH : processus avec la variance évolué dans le temps,

notamment pour les problèmes monétaire et financière
60