Chapitre 2 : Processus stationnaires du

second ordre
1. Vocabulaire probabiliste

Soit (Ω, Β, P) un espace de probabilité, où Ω est l’ensemble fondamental, Β la σ

algèbre et P la probabilité.
Une variable aléatoire est une fonction X : Ω → IR, et un processus stochastique est
une suite de variables aléatoires {Xt / t ∈ IN ou Z}.

La moyenne de Xt est définie par : µt = E(Xt) ∀ t.

L’autocovariance est définie par : γ(t, s) = Cov(Xt, Xs) = E[ (Xt - µt)(Xs - µs) ]
= E(Xt Xs) - µt µs. ∀ t, s.

Définition : Un processus Xt est dit gaussien si le vecteur (Xt1, Xt2, …., Xtk) est de
loi gaussienne, pour tout t1 < t2 < …< tk.

Définition : Un processus Xt est dit du second ordre si : E(Xt2) < ∝ ∀ t.

Exercice : Montrer que si Xt est de second ordre alors µt et γ(t, s) sont bien définie.
C'est-à-dire E(Xt) et Cov(Xt, Xs) existent ∀ t, s.

Indication : Utiliser l’inégalité de Cauchy – schwartz.

Dans la suite on va toujours se placer dans L2, ce qui revient à supposer que le
processus Xt est de second ordre, et ce qui garantira l’existence de µt et γ(t, s).
L2 = {variables aléatoires X / E(X2) < ∝ }.

Proposition : L2 est un espace vectoriel muni :

Du produit scalaire < X, Y> = E(XY).

De la norme ||X||2 = < X, X> = E(X2).

Remarque : Si X et Y sont de second ordre alors λX + µY l’est aussi, avec λ et µ

deux constantes.

On a aussi : ||λX + µY || ≤ |λ| ||X|| + |µ| ||Y|| < ∝

2. Processus stationnaires

1
En général on ne dispose que d’une seule série de mesure X1, X2, X3, ……..., Xn.
Donc pour étudier les caractéristiques d’une série chronologique, on est conduit à
supposer que ses caractéristiques sont stables dans le temps, ce que nous appelons
la notion de stationnarité au sens strict (SSS).

Définition : Un processus stochastique Xt est dit SSS si pour tout indice t1 < t2 < …
< tn, la loi du vecteur (Xt1, Xt2, …, Xtn) est identique à celle de (Xt1+k, Xt2+k, …,
Xtn+k) ∀k.

Remarque : Si Xt est SSS alors la loi de Xt est la même que celle de Xs ∀ t, s.

De même la loi de (Xt, Xs) est la même que celle de (Xt+k, Xs+k) ∀ t, s, k.

Proposition : Soit X un processus SSS et du second ordre. Alors

E(Xt) = µt = µ ∀ t.
Cov(Xt, Xs) = γ(t – s) ∀ t, s.

Preuve: i. La loi de Xt est la même que celle de Xs. D’où E(Xt) = E(Xs) = µ
∀ t, s.
ii. La loi de (Xt, Xs) est la même que celle de (X0, Xs-t). D’où E(XtXs) = E(X0Xs-t).
Par suite, Cov(Xt, Xs) = E(Xt Xs) - µt µs = E(X0 Xs-t) - µ2 = Cov(X0, Xs-t) = γ(t – s).

Il est difficile de vérifier la SSS. En pratique on peut facilement estimer la

moyenne et la covariance, par contre nous ne pouvons pas connaître la distribution
d’une façon exacte. D’où la Stationnarité au Sens Large (SSL).

Définition : Un processus Xt est dit SSL si :

i. Xt est de second ordre, i. e. E(Xt2) < ∝ ∀ t.

ii. E(Xt) = µ ∀ t.
iii. Cov(Xt, Xt+k) = γk ∀ t, k.

Remarque : SSS ⇒ SSL

Par contre la SSL n’implique pas la SSS. Ceci n’est vrai que lorsque le
processus est gaussien.

Définition : Un processus Xt est dit centré si : E(Xt) = 0 ∀ t.

Exemples de processus :

i. Processus bruit blanc : Soit at un processus de second ordre. Alors at est

dit bruit blanc si : E(at) = 0
Var (at) = σa2 = constante ∀ t.
Cov(at, as) = 0 ∀ t ≠ s. (i. e. les at ne sont pas
autocorrélés)

2
 On note bb(0, σa2).

Remarque : Cov(at, at+k) = σa2 si k = 0 et 0 si k ≠ 0.

ii. Processus Moyenne mobile d’ordre 1, noté MA(1) :

Soit Xt = at - θ at-1 où at est un bb(0, σa2).

E(Xt) = E(at) - θ E(at-1) = 0

E(Xt2) = E(at2) + θ2 E(at-12) + 2θ E(at at-1) = σa2 + θ2 σa2 = σa2 (1 + θ2) < ∝.

Cov(Xt, Xt+k) = E(Xt Xt+k) car E(Xt) = 0.

Si k = 0 Cov(Xt, Xt+k) = Var(Xt) = E(Xt2) = σa2 (1 + θ2).

Si k = 1 Cov(Xt, Xt+1) = E[(at - θ at-1) (at+1 - θ at) ] = - θ σa2.

Si k ≥ 2 Cov(Xt, Xt+k) = 0.

Fonction d’autocovariance:

Soit Xt un processus SSL. La fonction d’autocovariance est la fonction :

γ IZ → IR
k → Cov(Xt, Xt+k) = γk.

γk est appelé autocovariance de délai k.

Propriétés : La fonction d’autocovariance est telle que :

i. γ-k = γk ∀ k ∈ IZ

ii. γ0 = Var(Xt) = σX2 ≥ 0.

i. Γn = [ γi-j ] = Var (X1, X2, …, Xn)′ ≥ 0;

Preuve:

i. Decoule du faite que: Cov(Xt, Xt+k) = Cov(Xt+k, Xt) ∀ t.

ii. Evident.
iii. Soit X = (X1, X2, …, Xn)′ et E( X ) = (µ, µ, …, µ) ′.

Var ( X ) = E [( X - E( X ) ) ( X - E( X ) )′]
= E [ (X1 - µ, X2 - µ, …, Xn - µ)’ (X1 - µ, X2 - µ, …, Xn - µ)]
= [ Cov(Xi, Xj) ]
= (γi-j)

3
 = Γn
Donc Γn est définie positive. Car Var(α′ X ) = α′ Var ( X ) α ≥ 0, ∀ α = (α1,
α2, …, αn)′.

Fonction d’autocorrélation :

Soit Xt un processus SSL. La fonction d’autocorrélation est la fonction :

ρ IZ → IR
k → ρk = γk/ γ0.

ρk est appelé autocorrélation de délai k.

Propriétés : La fonction d’autocorrélation est telle que :

i. ρ0 = 1.
ii. ρ-k = ρk . ∀ k ∈ IZ
iii. La matrice Corr (X1, X2, …, Xn)′ ≥ 0.

Définition : L’autocorrélograme est le graphe des autocorrélations, c’est-à-dire le

graphe qui a pour abscisse les délais k et pour ordonné les autocorrélations ρk.

Exemples :

i. Soit at un bruit blanc de moyenne 0 et de variance σa2.

γk = Cov(at, at+k) = σa2 si k = 0 et 0 sinon.

Donc ρk = Corr(at, at+k) = 1 si k = 0 et 0 sinon.

ii. Processus Moyenne mobile d’ordre 1, noté MA(1) :

Soit Xt = at - θ at-1 où at est un bb(0, σa2).

4
γ0 = Var(Xt) = E(Xt2) = σa2 (1 + θ2).
γ1 = E(Xt Xt-1) = E[(at - θ at-1) (at+1 - θ at) ] = - θ σa2.
γk = E(Xt Xt-k) = E[(at - θ at-1) (at-k - θ at-k-1) ] = 0 Si k ≥ 2.

D’où, ρ0 = 1.
ρ1 = -θ / (1 + θ2).
ρk = 0 Si k ≥ 2.

iii. Processus Moyenne mobile d’ordre q, noté MA(q) :

Soit Xt = at - θ1at-1 - … - θqat-q .

On peut montrer que: ρq = -θq / (1 + θ12 + … + θq2).

Et ρk = 0 Si k ≥ q+1.

3. Estimation des paramètres d’un processus stationnaire

Soit Xt un processus SSL et soit X1, X2, …, Xn une réalisation de longueur n de ce

processus stochastique. Dans ce paragraphe on va estimer la moyenne µ, les
autocovariances γk et les autocorrélations ρk.

3.1. Estimation de µ:

1 n
On utilise l’estimateur X = ∑ E( X ) .
n t =1 t

Proposition : On a:

i. X est un estimateur sans biais, i.e. E( X ) = µ .

ii. X est un estimateur convergent si ρk → 0 lorsque k → ∝.

Preuve :

1 n
i. E( X ) = ∑ E( X ) = µ .
n t =1 t
ii. On veut démontrer que || X - µ||  → 0 si ρk → 0.
n→∞ k →∞
2 2
Or || X - µ|| = E( X - µ) = Var( X ).

5
 1 n −1
On peut montrer que Var( X ) =
n
∑ (1 - |k|/n) γk 
n→∞
→ 0, si ρk
k = −n + 1
→ 0.
k →∞

3.2. Estimation de γk et ρk :

On a γk = Cov(Xt, Xt+k) = E[ (Xt - µ)(Xt+k - µ) ].

1 n−k
Soit Ck =
n
∑ (Xt - X )(Xt+k - X ).
t =1

Remarque : On aurait pu diviser par n – k, mais cela ne fait pas de différence

lorsque n est assez grand.

Ck est appelé la covariance échantillonnée de délai k. On l’utilise pour estimer

l’autocovariance théorique γk.

1 n
C 0 = s2 = ∑ (Xt - X )2 est la variance échantillonnée. On l’utilise pour
n
t =1
estimer la variance théorique γ0.

Les autocorrélations ρk = γk/ γ0 sont estimés par rk = Ck/C0 appelé autocorrélation

échantillonnée.

On peut montrer (Anderson 1971) que les estimateurs Ck et rk sont

asymptotiquement sans biais, i.e.

E(Ck) → γk et E(rk) → ρk lorsque n → ∝.

Et qu’ils sont asymptotiquement convergents sous quelques hypothèses de

régularité.

Puisque le biais augmente avec le délai k, on utilise les estimateurs Ck et rk

seulement pour k = 1, …, K avec K ≤ n/4.

3.3. Distribution des rk et formule de Bartlett :

i. Cas général : Processus SSL.

Bartlett (1946) a montré que pour n assez grand rk ∼ N(ρk ; σrk2)

6
 1 +∞
Avec σrk2 = ∑ (ρu2 + ρu+k ρu-k - 4ρk ρu ρu-k + 2ρu2 ρk2 )
n
u = −∞

ii. Cas d’un bruit blanc :

Si Xt = at un bruit blanc, alors ρk = 1 si k = 0 et 0 Sinon. D’où ∀ k ≥ 1, σrk2 = 1/n.

Par suite pour un bruit blanc, la variance prendra une forme plus simple et on aura :

rk ∼ N(0 ; 1/n) ∀k≥1

iii. Cas d’un processus moyenne mobile MA(q) :

Si Xt est un processus MA(q), i.e. Xt = θ0 + at - θ1at-1 - … - θqat-q , alors on sait que

ρk = 0 ∀ k ≥ q + 1. Donc on aura:

q
2 1 1
∀k≥q+1 σrk = ∑ ρu2 = (1 + 2 ρ12 + … + 2 ρq2).
n n
k = −q

Proposition : Si Xt est un processus MA(q), alors pour k ≥ q + 1 on a : rk ∼ N(0 ;

σrk2).

Avec σrk2 = (1/n) (1 + 2 ρ12 + … + 2 ρq2).

Remarque : σrk2 est une quantité inconnue en pratique. On l’estime par :

σˆ rk 2 = (1/n) (1 + 2 r12 + … + 2 rq2).

4. Processus stochastiques linéaires : La classe des processus stochastiques

stationnaires au sens large définie précédemment est encore fort vaste. Nous allons
maintenant étudier une classe plus restreinte de processus.

4.1. Définition : Xt est un processus linéaire si :

Xt = µ + at + ψ1at-1 + ψ2at-2 + ……….

On note, MA(∝).

E(Xt) = µ.

Var(Xt) = E(Xt - µ)2 = (1 + ψ12 + ψ22 + …….) σa2.

7
 +∞
= σa2 ∑ ψi2 , avec ψ0 = 1.
i=0

+∞
D’où le processus Xt est de second ordre si: ∑ ψi2 < ∝.
i=0

4.2. Stationnarité :

+∞
Proposition : Si ∑ ψi2 < ∝ alors Xt est SSL, avec :
i=0

E(Xt) = µ.

+∞
Var(Xt) = σa2 ∑ ψi2 , avec ψ0 = 1.
i=0

+∞
2
γk = σa ∑ ψi ψi+k.
i=0

Preuve: γk = Cov (Xt, Xt+k) = E[ (Xt - µ)( Xt+k - µ) ]

+∞ +∞
= E( ∑ ψi at-i ∑ ψj at+k-j )
i=0 j=0

+∞ +∞
= ∑ ∑ ψi ψj E(at-i at+k-j )
i=0 j=0

+∞
2
= σa ∑ ψi ψi+k.
i=0

Car E(at-i at+k-j ) = σa2 si k – j = -i, c’est-à-dire si j = k+i et 0 sinon.

4.3. Inversibilité :

Soit Xt = µ + at + ψ1at-1 + ψ2at-2 + ………. (décomposition de Wald)

On va supposer que µ = 0, car sinon il suffit de poser Yt = Xt - µ.

8
D’où Xt = at + ψ1at-1 + ψ2at-2 + ……….

+∞
= ∑ ψi at-i avec ψ0 = 1.
i=0

Définition : Le processus Xt sera dit inversible si at se décompose à son tour en

fonction du présent et du passé du processus Xt. C’est-à-dire :

at = Xt + π 1Xt-1 + π 2Xt-2 + ……….

+∞ +∞
= ∑ π i Xt-i avec π 0 = 1 et ∑ |π i| < ∝.
i=0 i=0

+∞
Remarque: ∑ π i Bi est bien définie dans ce cas.
i=0

Exemple : Soit Xt un processus MA(1) centré, i.e.

Xt = at - θat-1

A quelle condition Xt est inversible ?

Réponse : at = Xt + θat-1 = Xt + θ( Xt-1 + θat-2)

= Xt + θXt-1 + θ2at-2 = Xt + θXt-1 + θ2(Xt-2 + θat-3)

= Xt + θXt-1 + θ2Xt-2 + θ3at-3

= Xt + θXt-1 + … + θmXt-m + θm+1at-m-1

Pour que le processus Xt soit inversible, il faut que θm+1at-m-1 → 0 lorsque m → ∝.

Or ||θm+1at-m-1||2 = E(θm+1at-m-1)2 = σa2 θ2(m+1) 

m→+ ∞
→ 0 si |θ| < 1.

Proposition: Le processus Xt = at - θat-1 est inversible ssi |θ| < 1.

+∞
En plus, on aura : at = Xt + θXt-1 + θ2Xt-2 + …… = ∑ θiXt-i .
i =0

9
 +∞ +∞
i.e. π i = θi. Et donc on a bien ∑ |π i| = ∑ |θ|i = 1/ (1 - θ) < ∝.
i=0 i=0

4.4. Opérateurs polynomiaux:

Soit B l’opérateur retard et Xt un processus stochastique. On a déjà vu que B est tel

que :
BXt = Xt-1 , B2 Xt = Xt-2, et d’une façon générale Bk Xt = Xt-k .

Opérateur polynomial : Soit Φp(B) = 1 - φ1B - … - φpBp, un polynome en B

d’ordre p.

D’où Φp(B) Xt = (1 - φ1B - … - φpBp) Xt = Xt - φ1Xt-1 - ……- φpXt-p .

Par suite un modèle AR(p) défini par: Xt = θ0 + φ1Xt-1 + ……+ φpXt-p + at,

peut être écrit de la façon suivante: Φp(B) Xt = θ0 + at.

Aussi un modèle MA(q) défini par : Xt = µ + at - θ1at-1 - ……- θqat-q ,

peut être écrit de la façon suivante: Xt = µ + Θ q(B) at, où Θ q(B) = 1 - θ1B - … - θq

Bq.

Un modèle mixte ARMA(p, q) défini par :

Xt - φ1Xt-1 - … - φpXt-p = θ0 + at - θ1at-1 - … - θqat-q ,

s’écrit comme: Φ p(B) Xt = θ0 + Θ q(B)at.

Remarque : Composition d’opérateur.

On a : [Φp(B) Θ q(B)] Xt = Φp(B) [Θ q(B)Xt ].

Inversion de 1 - θB :

Si |θ| < 1, alors 1 - θB est inversible et on a :

+∞
(1 - θB) = 1/(1 - θB ) = ∑ θiBi .
i=0

10
Ceci revient à dire que la racine du polynôme φ(z) = 1 - θz est de module supérieur
à 1, puisque les propriétés des séries en B étant identiques à celle des séries
entières.

5. Equations aux différences :

On se propose de résoudre l’équation : un = a1 un-1 + … + ar un-r ∀n,

avec u0 , u1 , … ,ur-1 donnés, et a1, …, ar des réels connus aussi.

1èr cas : r = 1

un = a1 un-1 = a12 un-2 = a1n u0.

2ème cas : r = 2

un = a1 un-1 + a2 un-2 avec u0 , u1 donnés. (E).

Soit un - a1 un-1 - a2 un-2 = 0. Le polynôme caractéristique de cette équation est :

P(x) = x2 - a1 x - a2.

i. Si P(x) = 0 possède deux racines réelles distinctes α1 et α2 alors,

P(x) = (x - α1)(x - α2). D’où la solution générale de l’équation aux différences (E)
est :

un = A α1n + B α2n avec A et B déterminés par les conditions initiales.

ii. Si P(x) = 0 possède une racine double α alors, P(x) = (x - α)2.

D’où la solution générale de l’équation aux différences (E) est :

un = (A n+ B) αn avec A et B déterminés par les conditions initiales.

iii. Si P(x) = 0 possède deux racines complexes α1 = ρ exp(iφ) et α2

= ρ exp(-iφ) alors, la solution générale de l’équation aux différences (E) est :

un = Aρn exp(inφ) + Bρn exp(-inφ)

= ρn[Acos(nφ) + Aisin(nφ) +Bcos(nφ)-Bisin(nφ)]

= ρn(A+ B) cos(nφ) car un ∈ IR.

Soit un = ρn[Acos(nφ) + Bsin(nφ)] avec A et B déterminés par les conditions

initiales, est la solution générale de l’équation aux différences (E).

Application : Résoudre un = 5 un-1 - 6 un-2 avec u0 = u1 = 1.

11
Le polynôme caractéristique est P(x) = x2 - 5 x + 6. Les racines de P(x) = 0 sont :
α1 = 2 ou α2 = 3. D’où la solution générale est : un = A 2n + B 3n , avec les
constantes A et B sont telles que :
u0 = A + B = 1 et u1 = 2A + 3B = 1. Par suite, A = 2 et B = -1.
Ce qui implique, un = 2 2n - 3n.

3ème cas : r ≥ 2.

Soit un = a1 un-1 + a2 un-2 + … + ar un-r. Le polynôme caractéristique est :

P(x) = xr - a1 xr-1 - a2 xr-2 - … - ar-1 x – ar = (x - α1)m1(x - α2)m2 …. (x – αk)mk.

Avec α1, α2 , …, αk les k racines distinctes de P(x) = 0, et m1, m2, … , mk les ordres de
multiplicité des αi .

La solution générale est alors : un = P1(n) α1n + P2(n) α2n + …. + Pk(n) αkn . Où Pi(n)
est un polynôme en n de degré mi – 1. C’est-à-dire : Pi(n) = A0 + A1n + A2 n2 + …
+ Ami-1 nmi-1.

Remarque : Si mi = 1 alors Pi(n) est une constante.

Application : Résoudre un = 4 un-1 - 5 un-2 + 2 un-3, avec u0 = u1 = u2 = 1.

Le polynôme caractéristique est P(x) = x3 - 4x2 + 5 x – 2 = (x - 1)2(x - 2).
D’où la solution générale est : un = (An + B) 1n + C 2n = An + B + C 2n .

Les constantes A, B et C sont déterminées à partir des conditions initiales.

Remarques :
i. Si α1, α2, …, αk sont de modules inférieur à 1, la solution générale de
l’équation aux différences décroit exponentiellement vers 0, et on a : |un| < cρn avec
0 < ρ < 1.
ii. Le polynôme caractéristique est: P(x) = xr - a1 xr-1 - a2 xr-2 - … - ar-1 x –
ar .
Soit Θ(z) = 1 - a1 z - a2z2 - … – ar zr.

= zr [1/(zr) – a1/(zr-1) – … - ar-1/(z) - ar ]

= zr [(1/z)r - (1/z)r-1a1 - … - (1/z)ar-1 - ar ]

= zr P(1/z).

D’où, les deux assertions suivantes sont équivalentes :

P(α ) = 0 et |α| < 1 ⇔ Θ(z) = 0, z = 1/α et |z| > 1.

12
13