Lissage rapide dans des modèles non linéaires et non

gaussiens
Ivan Gorynin1 , Stéphane Derrode2 , Emmanuel Monfrini1 , Wojciech Pieczynski1

1 Département CITI, Telecom SudParis, Institut Mines-Telecom, CNRS UMR 5157, 91011 Evry, France
2 École
Centrale de Lyon, LIRIS, CNRS UMR 5205, Écully, France.
Ivan.Gorynin@telecom-sudparis.eu, stephane.derrode@ec-lyon.fr,
Emmanuel.Monfrini@telecom-sudparis.eu, Wojciech.Pieczynski@telecom-sudparis.eu

Résumé – Nous nous intéressons à la question du filtrage et du lissage statistique dans les systèmes non linéaires et non
gaussiens. La nouveauté réside dans l’approximation du système non-linéaire par un modèle à sauts dans lequel un calcul rapide
et optimal du filtrage et du lissage est possible. Ces méthodes montrent leur intérêt, en particulier dans les récents modèles de
volatilité stochastique asymétrique.

Abstract – We consider here the problem of statistical filtering and smoothing in nonlinear non-Gaussian systems. The novelty
consists in approximating the nonlinear system by a recent switching system, in which exact fast optimal filtering and smoothing
are workable. Our methods are applied to an asymetric stochastic volatility model and some experiments show their efficiency.

1 Introduction Nous nous proposons d’approcher cette distribution par

celle d’un mélange de K 2 gaussiennes
Soient XN N
1 = (X1 , . . . , XN ) et Y 1 = (Y 1 , . . . , Y N ),
X
p x21 , y21 ≈ αij pij (x21 , y21 ),


(3)
deux suites de variables aléatoires. XN 1 est un proces-
1≤i,j,≤K
sus caché et YN 1 est l’observation que l’on en fait. Pour
ce que l’on sait pouvoir faire, sous des hypothèses peu
tout n ∈ {1, ..., N }, Xn et Yn prennent respectivement
coûteuses, avec une précision arbitrairement grande en
leurs valeurs dans Rd et Rp . Nous nous concentrons ici
augmentant le nombre K 2 de composantes. On peut alors
surh le calcul, ipour tout n ∈ {1, ..., N }, de E [Xn |yn1 ] et
considérer αij comme la loi d’un couple (R1 , R2 ) de va-
E Xn X> n
  N
n |y1 pour le filtrage ainsi que de E Xn y1 et riables aléatoires discrètes αi,j = P (R1 = i, R2 = j) où

h i
R1 et R2 sont à
valeurs P dans l’ensemble
Ω = {1,  . .
. , K}.
> N

E Xn Xn y1 pour le lissage, qui sont souvent les quan-
Ainsi, p x21 , y21 = 1≤r1 ,r2 ,≤K p r21 p x21 , y21 r21 peut
tités d’intérêt dans
ce genre de N problématique. La distri-

bution p xN , y N
du couple (X N être identifié à (3) puisque p x21 , y21 est une marginale de
1 1 1 , Y 1 ) est classiquement
p x21 , r21 , y21 = p r21 p x21 , y21 r21 ,




celle d’une chaı̂ne de Markov cachée qui peut n’être ni (4)
linéaire, ni gaussienne. Dans ce cas, cette distribution est Soit alors le processus discret RN 1 = (R1 , . . . , RN ) à va-
définie par p (x1 , y1 ) et les deux équations : leurs dans l’ensemble des classes Ω = {1, . . . , K}. En sup-
Xn+1 = Φ(Xn , Un+1 ); (1) posant que p (r1 ) = p (r2 ), la loi (4) définit entièrement la
Yn = Ψ(Xn , Vn ), (2) distribution stationnaire du triplet TN N N
1 = (X1 , R1 , Y 1 ).
N

où U1 , V1 , . . . , UN , VN sont des variables indépendantes. Comme nous l’exposons dans les parties 2 et 3, le filtrage
Dans le cas général, le filtrage et le lissage rapides et exacts (cf. [4]) et le lissage rapides et exacts sont possibles dans
ne sont pas possibles et de nombreuses méthodes d’ap- certains modèles de ce type. Dans la partie 4, nous ap-
proximation sont proposées. Parmi elles, les méthodes de pliquons la méthode proposée à des modèles de volatilité
Monte-Carlo séquentielles basées sur le filtrage et le lissage stochastique.
particulaire sont très efficaces mais rencontrent parfois des
difficultés [2, 5]. 2 Modèles cachés conditionnellement
Nous
nous concentrons ici sur le cas où les distributions
p xn+1
n , p (yn |xn ) définies par (1)-(2)
 ne dépendent
 pas linéaires à sauts markoviens
N N
N N


de n. La loi p x1 , y1 du couple X1 , Y1 est donc Considérons XN N
1 et Y 1 les processus réels définis pré-
cédemment ainsi que le processus RN


entièrement déterminée par la connaissance de p x21 , y21 . 1 pour lequel Rn est
à valeurs dans un ensemble de classes Ω = {1, . . . , K}. peuvent être calculées avec une complexité linéaire en N .

Définition 1 Remarque 1
Le triplet TN N N N


1 = (X1 , R1 , Y 1 ) est dit “modèle caché Les probabilités p (rn |yn1 ) et p rn yN 1 sont calculées
conditionnellement linéaire à sauts markoviens” (MCCLSM) récursivement avec une complexité linéaire grâce aux pro-
si TN1 est de Markov avec les propriétés suivantes : babilités forward et backward dans la chaı̂ne de Markov



p rn+1 , yn+1 |xn , rn , yn = p rn+1 , yn+1 |rn , yn ; (5) couple (RN N
1 , Y 1 ), la markovianité de cette chaı̂ne étant
impliquée par (5). En posant v n = (rn , yn ), les probabi-
Xn+1 = Fn+1 (Rn+1 , Yn+1 )Xn +


n n lités αn (rn ) = p (rn , yn1 ) et βn (rn ) = p yNn+1 |v n sont
(6)
Gn+1 (Rn+1
n , Yn+1
n )Wn+1 + Hn+1 (Rn+1
n , Ynn+1 ), calculables récursivement par :
où Fn+1 (rn+1
n , yn+1
n ) et Gn+1 (rn+1
n , yn+1
n ) sont des ma- α1 (r1 ) = p (v 1 ) ;
trices, (Wn+1 ) est un processus de bruit blanc gaussien et
X
αn+1 (rn+1 ) = αn (rn )p (v n+1 |v n ); (13)
Hn+1 (rn+1
n , yn+1
n ) sont des vecteurs appropriés. On peut rn ∈Ω
alors établir le résultat suivant (cf. [14])
βN (rN ) = 1;
X
Proposition 1 (Filtrage) βn (rn ) = βn+1 (rn+1 )p (v n+1 |v n ). (14)
Considérons le MCCLSM TN N N N
1 = (X1 , R1 , Y 1 ). Alors, rn+1 ∈Ω
pour tout n ∈ {1, . . . , N },
On a alors p (rn |yn1 ) = αn (rn )/ αn (rn∗ ) et
P
X ∗ ∈Ω
rn
E [Xn |yn1 ] = p (rn |yn1 ) E [Xn |rn , yn1 ] et, (7)
rn αn (rn )βn (rn )
p rn yN


1 = X . (15)
αn (rn∗ )βn (rn∗ )
h i X h i
E Xn X> n
n |y1 = p (rn |yn1 ) E Xn X> n
n |rn , y1 . (8)
∗ ∈Ω
rn
rn

peuvent être calculées récursivement avec une complexité

linéaire en n par : 3 MCCLSM gaussiens
 X
E Xn+1 rn+1 , yn+1 p rn rn+1 , yn+1
  

= Notons Zn = (X> > >
n , Y n ) , zn sa réalisation, et considérons
1 1
rn
  le cas stationnaire où la distribution de TN N N N
1 = (X1 ,
R1 , Y 1 )
× Fn+1 (rn+1
n , y n+1
n )E [X n |rn , y n
1 ] + Hn+1 (rn+1
n , y n+1
n ) 2
est entièrement définie par la connaissance de p r1 et des
distributions gaussiennes pr21 (x21 , y21 ), de moyennes
h  n+1 n+1 i X
(9)
et E Xn+1 X> p rn rn+1 , yn+1

n+1 rn
 , y1 = ×    
1
2 M(r1 ) E [Z1 |r1 ]
rn Υ(r1 ) = = (16)
 h  n+1 n i > M(r2 ) E [Z2 |r2 ]
Fn+1 (rn+1
n , yn+1
n )E Xn X>
n rn
 , y1 Fn+1 (rn+1n , yn+1
n )
et de matrices de covariance
+ Fn+1 (rn+1 , yn+1 )E Xn rn+1 , yn1 H> n+1
, yn+1
  
n+1 (rn ) S(r1 ) Σ(r21 )
 
n n n n
Ξ(r21 ) = (17)
Σ> (r21 ) S(r2 )
h i
+ Hn+1 (rn+1 , yn+1 )E X>  n+1 , yn1 F> n+1
, yn+1

n n n rn n+1 (rn n )
+ Gn+1 (rn+1 , yn+1 )G> n+1
, yn+1 Si on pose
n n n+1 (rn n ) A(r21 ) = Σ> (r21 ) S −1 (r1 ), (18)

n+1 n+1 > n+1 n+1
+ Hn+1 (rn , yn )Hn+1 (rn , yn ) , et
(10)
B(r21 )B> (r21 ) = S(r2 ) − Σ> (r21 )S −1 (r1 )Σ(r21 ), (19)


En effet, d’après (5), on a p xnrn , yn+1
n
= p (xn |rn , yn ). le triplet TN
1 est défini par :
N
Plus généralement, on a p x r ,
 Nn
n n y = p
n |rn , yn ) et
(x

 N
P N RN
1 est une chaı̂ne de Markov; (20)
p xn y 1 =

rn p rn y1
 p xn rn , y1 ce qui per-

met d’établir (11) et (12). Zn+1 = A(Rn+1
n )(Zn − M(Rn )) + B(Rn+1
n )Wn+1 + M(Rn+1 ),
(21)
Proposition 2 (Lissage)
Considérons le MCCLSM TN N N N où, comme précédemment, (Wn+1 ) est un processus de
1 = (X1 , R1 , Y 1 ). Alors,
pour tout n ∈ {1, . . . , N }, bruit blanc gaussien. Nous savons déjà que ces modèles
 X peuvent être très proches des modèles à sauts linéaires
E Xn y N p rn yN E [Xn |rn , yn1 ] et,
  

1 = 1 (11) et gaussiens qui n’offrent pas la possibilité d’un filtrage
h
rn rapide [3, 13]. Considérons maintenant A(r21 ) de la forme
 Ni X
h i
E Xn X> p rn yN E Xn X> n

n y1 = n |rn , y1 . (12) A1 (r21 ) A2 (r21 )
  
1 2
A(r1 ) = . (22)
rn 0 A4 (r21 )
 Nous pouvons alors énoncer [1] : 4 Applications à des modèles de
Proposition 3 volatilité stochastique
Le MCCLSM TN N N N
1 = (X1 , R1 , Y 1 ) défini par (20)-(22)
est un MCCLSM caractérisé par Fn+1 , Gn+1 et Hn+1 Afin de mettre en évidence l’intérêt des méthodes de
indépendants de n définis par (23)-(25). filtrage et de lissage présentées ici, nous proposons deux
séries d’expériences. Pour la première, nous nous intéressons
Fn+1 (rn+1
n , yn+1
n ) = A1 (rn+1
n ), (23) au cas du modèle classique de volatilité stochastique (MVS)
Hn+1 (rn+1
n , yn+1
n ) = A2 (rn+1
n )yn + N1 (rn+1
n )+ (24) [8, 9] défini par
Q2 (rn+1
n )Q−1 n+1
4 (rn )(yn+1 − A4 (rn+1
n )yn − N2 (rn+1
n )),
X 1 = µ + U1 ; (27)
Gn+1 (rn+1
n , yn+1
n )GTn+1 (rn+1
n , yn+1
n ) = Q1 (rn+1
n ) Xn+1 = µ + φ(Xn − µ) + σUn+1 ; (28)
−Q2 (rn+1
n )Q−1 n+1
4 (rn )Q3 (rn+1
n ). (25)
Yn = β exp (Xn /2)Vn , (29)
avec où µ est un paramètre fixé et U1 , V1 , . . . , UN , VN sont
Q1 (r21 ) Q2 (r21 )
 
Q(r21 ) = = B(r21 )B> (r21 ), des gaussiennes centrées, réduites et indépendantes. Ce
Q3 (r21 ) Q4 (r21 ) modèle est bien un modèle de Markov caché défini par les
équations (1)-(2).
N1 (rn+1
n ) = M1 (rn+1 ) − A1 (rn+1
n )M1 (rn )
Table 1 – EQM pour le lissage dans le MVS lorsque µ =
−A2 (rn+1
n )M2 (rn ), 0.5, β = 0.5, et 4 valeurs de σ 2 et φ.
N2 (rn+1
n ) = M2 (rn+1 ) − A4 (rn+1
n )M2 (rn ). K
2
où M1 (rn ) = E [Xn |rn ] et M2 (rn ) = E [Yn |rn ]. φ σ 2 3 5 7 LP
Si l’on revient alors au cas général du modèle de Mar- 1 0.99 0.02 0,39 0,23 0,14 0,12 0.12
kov couple, non linéaire et non gaussien, il nous suffit de 2 0.90 0.19 0,48 0,39 0,35 0,34 0.33
pouvoir simuler des réalisations (x0M 0M
1 , y1 ) du processus 3 0.80 0.36 0,56 0,50 0,47 0,47 0.46
défini par p (x1 , y1 ), (1) et (2) pour pouvoir estimer les
4 0.50 0.75 0,70 0,67 0,66 0,66 0.66
paramètres du MCCLSM qui sont, pour 1 ≤ i, j ≤ K,
pij = p (r1 = i, r2 = j), Υi,j = Υ(i, j), et Ξij = Ξ(i, j). Table 2 – EQM pour le lissage dans le MVSA lorsque
Après une initialisation obtenue classiquement grâce aux µ = 0.5, β = 0.5, φ = 0.5 et 5 valeurs de λ2 et ρ.
estimateurs empiriques utilisés sur une segmentation K-
K
means, ces paramètres sont ré-estimés dans une procédure
itérative de type EM grâce aux estimateurs empiriques ρ λ2 2 3 5 7 LP
pondérés (à l’itération q) : 1 -0.90 0.19 0,23 0,21 0,20 0,20 0.19
M −1 2 -0.80 0.36 0,36 0,34 0,32 0,32 0.32
X
M −1
z0n+1
n ψn(q) (i, j) 3 -0.50 0.75 0,57 0,55 0,55 0,55 0.54
(q+1) 1 X (q+1) n=1 4 -0.30 0.91 0,65 0,63 0,62 0,62 0.62
pij = ψ (q) (i, j), Υi,j = ,
M − 1 n=1 n M
X −1 5 -0.00 1.00 0,70 0,67 0,66 0,66 0.66
ψn(q) (i, j)
n=1 Dans la seconde série d’expériences, nous nous intéressons
M −1 
X  > à une extension récente du MVS introduite dans [11,
z0n+1 z0n+1
(q+1) (q+1)
n − Υi,j n − Υi,j ψn(q) (i, j)
(q+1) n=1
12, 15] sous le nom de modèle de volatilité stochastique
Ξij = M −1
, asymétrique (MVSA). Ce modèle est tel que :
X
ψn(q) (i, j)
X 1 = µ + U1 ; (30)
n=1
(q)  Xn+1 = µ + φ(Xn − µ) + σ (ρVn + λUn+1 ) ; (31)
avec ψn (i, j) = p rn = i, rn+1 = j x0M 0M


1 ,y 1 utilisant
(q) (q) (q)
Yn = β exp (Xn /2)Vn . (32)
les paramètres courants pij , Υi,j , Ξij et obtenues
et, comme dans le MVS, U1 , V1 , . . . , UN , VN sont des
par une procédure forward-backward dans le triplet T0M1 gaussiennes centrées, réduites et indépendantes. Comme le
0n 0M 0


où αn (rn ) = p (rn , z1 ) et βn (rn ) = p zn+1 |tn sont donc montre (31), le MVSA n’est pas nécessairement un modèle
calculées récursivement pour 1 ≤ n < M , par de Markov caché “ à bruit indépendant” classique
 puisque
αn (rn )p t0n+1 |t0n βn+1 (rn+1 )


ψn(q) (rn+1 ) = , Xn+1 est fonction de Xn et Yn . Cependant, XN N
1 , Y1
n X
αn (rn∗ )p t∗n+1 |t∗n βn+1 (rn+1
∗


) reste markovien ce qui fait du MVSA un modèle de Mar-
∗ ,r ∗
rn n+1 kov caché “à bruit correlé”. Comme il est aisément pos-
(26) sible de simuler des réalisations du MVSA, les méthodes de
avec t∗i = (x0i , ri∗ , y0i ), (x0M 0M
1 , y1 ) étant fixé. filtrage et de lissage que nous proposons restent valables.

Figure 1 – Trajectoire simulée pour un MVS (φ = 0.5)
filtrée et lissée pour K = 2, 5 et 7.
Figure 2 – Trajectoire simulée pour un MVSA (φ = 0.5
et ρ = −0.8) filtrée et lissée pour K = 2, 5 et 7.
La méthode proposée est testée pour K = 2, 3, 5, et 7 et
comparées au lissage particulaire (LP) classique (1500 par-
ticules) (cf. [6, 7, 10]). On se restreint au cas où d = p = 1
et à une taille d’échantillon N = 1000. L’échantillon d’ap-
prentissage est de taille M = 20000. Le critère de com-
paraison utilisé est l’erreur quadratique moyenne (EQM)
pour 100 expériences indépendantes et les résultats sont
présentés dans les tableaux 1 et 2. Les Figures 1 et 2
présentent les résultats obtenus pour des MVS et MVSA
respectivement.
Nous montrons ainsi que pour K = 7 les performances
sont quasi optimales et peu éloignées de celles observées
pour K = 5. L’apprentissage des paramètres du mélange
de gaussiennes est gourmand en temps de calcul. En re-
vanche, lorsque l’apprentissage n’est pas à faire, le coût de
calcul est équivalent à celui d’un lissage particulaire basé
sur K 2 particules.
Références
[1] N. Abbassi, D. Benboudjema, and W. Pieczynski.
Kalman filtering approximations in triplet Markov
Gaussian switching models. In Proc. IEEE Int.
Workshop SSP’11, pages 290–294, Nice, France, June
2011.
[2] O. Cappé, E. Moulines, and T. Rydén. Inference in
Hidden Markov Models. Springer-Verlag, 2005.
[3] S. Derrode and W. Pieczynski. Exact fast compu-
tation of optimal filter in Gaussian switching linear
systems. IEEE Signal Processing Letters, 20(7) :701–
704, July 2013.
[4] S. Derrode and W. Pieczynski. Fast filter in nonli-
near systems with application to stochastic volatility
model. In Proc. of the EUSIPCO’14, pages 290–294,
Lisbon, Portugal, September 2014.
[5] A. Doucet and A. Johansen. A tutorial on particle
filtering and smoothing : Fifteen years later. Eds.
London, U.K., Oxford Univ. Press, 2011.
[6] D. Duffie, J. Pan, and K. J. Singleton. Transform
analysis and asset pricing for affine jump diffusions.
Econometrica, 68(6) :1343–1376, 2000.
[7] B. Eraker. Do stock prices and volatility jump ? Re-
conciling evidence from spot and option prices. The
Journal of Finance, 59 :1367–1404, 2004.
[8] E. Ghysels, A. Harvey, and E. Renault. Stochastic
volatility. Handbook of Statistics, 14 :119–192, 1995.
[9] E. Jacquier, N. G. Polson, and P. Rossi. Baye-
sian analysis of stochastic volatility models. Journal
of Business & Economic Statistics, 12(4) :371–389,
1994.
[10] C.-J. Kim and C. R. Nelson. State-space models with
regime switching. MIT Press, 1999.
[11] N. Y. Nikolaev, E. Smirnov, and L. M. de Menezes.
Nonlinear filtering of asymmetric stochastic volati-
lity models and value-at-risk estimation. In Proc. of
the IEEE Conf. Computational Intelligence for Fi-
nancial Engineering and Economics (CIFEr-2014),
pages 310–317, London, U.K., 2014.
[12] Y. Omori and T. Watanabe. Block sampler and pos-
terior mode estimation for asymmetric stochastic vo-
latility models. Computational Statistics and Data
Analysis, 52(6) :2892–2910, 2008.
[13] Y. Petetin and F. Desbouvries. A class of fast exact
Bayesian filters in dynamical models with jumps.
IEEE Trans. on Signal Processing, 62(14) :3643–
3653, 2014.
[14] W. Pieczynski. Exact filtering in conditionally Mar-
kov switching hidden linear models. Comptes Rendus
Mathématique, 349(9-10) :587–590, 2011.
[15] M. Takashi, Y. Omori, and T. Watanabe. Estima-
ting stochastic volatility models using daily returns
and realized volatility simultaneously. Computatio-
nal Statistics and Data Analysis, 53(6) :2404–2426,
2009.