19

`eme `Eme
Congr`es Français de Mecanique `Es Français de Mécanique Congr
Marseille, 24-28 aout 2009 Marseille, 24-28 aout 2009
Sparse polynomial chaos expansions based on an adaptive polynomial
expansions chaos Sparse basé sur une adaptation
Least Angle Regression algorithm Moins algorithme de régression Angle
G. B G. B
LATMAN LATMAN
a,b a, b
, B. S , B. S
UDRET UDRET
b,c b, c
a. IFMA-LaMI, Campus des Cezeaux, BP 265, 63175 Aubi`ere cedex a. IFMA-Lami,
Campus des Cézeaux des, BP 265, 63175 Aubi `ere cedex
b. EDF R&D, Site des Renardi`eres, 77250 Moret-sur-Loing cedex b. EDF R & D,
Site des Renardi `eres, 77250-sur-Loing cedex Moret
c. Phimeca Engineering SA, Centre d'affaires du Zenith, 34 rue de Sarli`eve,
63800 Cournon c. Phimeca Engineering SA, Centre d'affaires du Zénith, 34 rue de
Sarli `eve, 63800 Cournon
Resume : Résumé:
Dans cette communication, on propose un algorithme base sur la technique Least
Angle Regression (LAR) pour construire communication this Dan, sur la base de
l'ONU de proposer la technique sur algorithme Least Angle Regression (LAR)
versez construct
une representation par chaos polynomial creux de la reponse d'un mod`ele
mecanique dont les param`etres d'entree sont UNE chaos par représentation
polynomiale creux de la réponse d'ONU mod `ele mecanique n'avez pas les
param` etres d'entree sont
aleatoires. Aléatoires. Le plan d'experiences est automatiquement enrichi de
sorte `aeviter les probl`emes se surapprentissage. Le plan d'expériences intérêt
automatiquement enrichi de Sorte `aeviter les probl` emes se surapprentissage.
On Le
obtient au final une representation ne comportant qu'un faible nombre de termes
non nuls, qui peuventetre estimes au obtient au NE UNE représentation finale
comportant qu'un FAIBLE Nombre de Termes nuls non, Qui trouvera au
peuventetre au
moyen d'un nombre reduit d'évaluations du mod`ele. non Nombre d'reduit Moyen
d'Évaluations du mod `ele. L'algorithme est applique au calcul des moments
statistiques du Algorithme L'Est au applique Calcul des Statistiques moments du
tassement d'une fondation sur un sol dont le module d'Young est modelise par un
champ aleatoire. tassement d'fondation sur UNE Un Sol n'avez pas le module
d'Young intérêt modéliser par aleatoire non champion.
Abstract : Résumé:
A method is proposed to build up a sparse polynomial chaos (PC) expansion of a
mechanical model whose input pa- Une méthode est proposée pour construire un
polynôme chaos clairsemée (PC) l'expansion d'un modèle mécanique dont
l'entrée pa-
rameters are random. Les paramètres sont aléatoires. In this respect, an adaptive
algorithm based on Least Angle Regression (LAR) is described for À cet égard, un
algorithme adaptatif basé sur Least Angle Regression (LAR) est décrit par
automatically detecting the significant coefficients of the PC expansion. détecter
automatiquement les coefficients significatifs de l'expansion PC. The
experimental design is automatically enri- Le dispositif expérimental est
automatiquement enri-
ched in order to avoid overfitting problems. CHED afin d'éviter les problèmes de
surapprentissage. Eventually the coefficients of the resulting sparse PC
approximation may be Finalement, les coefficients de l'approximation PC rares
qui en résulte peut être
computed by means of a relatively small number of possibly costly model
evaluations, using a non intrusive regression calculé au moyen d'un petit nombre
relativement coûteux évaluations du modèle peut, en utilisant une régression non
intrusive
scheme. régime. The method is illustrated by the moment analysis of the
settlement of a foundation on a soil layer whose Young’s La méthode est illustrée
par l'analyse du moment de l'établissement d'une fondation sur une couche de
sol dont les jeunes
modulus is a random field. module est un champ aléatoire.
Mots clefs : Mots clefs:
Sparsity-of-effects principle, sparse polynomial chaos expansion,
adaptive Least Angle Parcimonie-des effets principe, rares expansion
chaos polynomial, adaptation Least Angle
Regression Régression
1 Introduction 1 Introduction
Polynomial chaos (PC) expansions allow one to represent explicitly the random
response of a mechanical Polynomial chaos (PC) expansions permettent de
représenter explicitement la réponse aléatoire d'une mécanique
system whose input parameters are modelled by random variables. système dont
les paramètres d'entrée sont modélisés par des variables aléatoires. The PC
coefficients may be efficiently Les coefficients de PC peuvent être efficacement
computed using non intrusive techniques such as projection [1] or regression [2].
calculée en utilisant des techniques non intrusives comme la projection [1] ou la
régression [2]. However, the required number Toutefois, le nombre requis
of model evaluations ( ie the computational cost) increases with the PC size,
which itself dramatically increases des évaluations de modèles (à savoir le coût
de calcul) augmente avec la taille PC, qui elle-même augmente considérablement
with the number of input variables when the common truncation scheme of the
PC expansion is applied ( ie avec le nombre de variables d'entrée lorsque le
système de troncature commune de l'expansion PC est appliquée (c.-à-
retain all the multivariate polynomials of total degree not greater than a
prescribed p). conserver l'ensemble des polynômes multivariés de degré total ne
dépasse pas un p prescrit). To circumvent this Pour contourner ce
problem, a truncation strategy based on the use of q-norms with 0 < q < 1 is
proposed. problème, une stratégie de troncature basée sur l'utilisation de q-
normes avec 0 <q <1 est proposé. It is motivated Elle est motivée
by the so-called sparsity-of-effects principle [3], which states that most models
are principally governed by par le soi-disant rareté de principe effets [3], qui
stipule que la plupart des modèles sont principalement régis par
main effects and low-order interactions. effets principaux et interactions d'ordre
faible. The related truncated PC expansions contain a low number of likely Le
tronquée expansions PC connexes contiennent un faible nombre de chances
important terms compared to the full representation. termes importants par
rapport à l a pleine représentation.
Using these truncation strategies, an adaptive algorithm based on Least Angle
Regression (LAR) [4] is proposed Grâce à ces stratégies de troncature, un
algorithme adaptatif basé sur Least Angle Regression (LAR) [4] est proposé
in order to retain progressively a small number of significant PC coefficients,
leading to a sparse PC represen- afin de conserver progressivement un petit
nombre de coefficients PC significative, conduisant à une représentation
clairsemée PC-
tation. œuvre. Beside the adaptivity in terms of PC basis, the experimental design
is systematically complemented A côté de l'adaptabilité en termes de base PC, le
dispositif expérimental est systématiquement complétée
such that the overfitting phenomenon is avoided. tels que le phénomène
surapprentissage est évité.
2 Polynomial chaos expansion of the model response D'expansion 2
chaos polynomial de la réponse du modèle
2.1 Mathematical framework 2.1 Cadre mathématique
Consider a mechanical system described by a numerical model M which can be
analytical or more generally Considérons un système mécanique décrit par un
modèle M numérique qui peut être d'analyse ou, plus généralement,
algorithmic ( eg a finite element model). algorithmique (par exemple, un modèle à
éléments finis). Suppose that this model has M uncertain input parameters which
Supposons que ce modèle possède des paramètres d'entrée incertaines M qui
are represented by independent random variables (X sont représentés par des
variables aléatoires indépendantes (X
11
,...,X ,..., X
MM
) gathered in a random vector X of prescribed ) Se sont réunis dans un vecteur
aléatoire X de prévu
joint probability density function f conjointe fonction de densité de probabilité f
XX
(x). (X). Hence the model response denoted by Y = M(X) is also random. D'où la
réponse du modèle représenté par Y = M (X) est aussi aléatoire.
For the sake of simplicity, Y is assumed to be scalar throughout the paper (in case
of a vector response Y , the Par souci de simplicité, Y est supposé être scalaire au
long du document (dans le cas d'une réponse vecteur Y, le
11
Page 2 Page 2
19 19
`eme `Eme
Congr`es Français de Mecanique `Es Français de Mécanique Congr
Marseille, 24-28 aout 2009 Marseille, 24-28 aout 2009
following derivations hold componentwise). dérivations suivantes tenir
composante par composante). Provided that the random variable Y has a finite
variance, it may Pourvu que la variable aléatoire Y a une variance finie, il peut
be recast as follows [5] : procéder à une refonte comme suit [5]:
Y = M(X) = ∑ Y = M (X) = Σ
α∈ N α ∈ N
MM
a une
αα
ψψ
αα
(X) (X)
(1) (1)
This expansion is referred to as the polynomial chaos (PC) representation of Y .
Cette expansion est dénommé le chaos polynomial (PC) représentation de Y. The
a L'une
αα
's are unknown deter- 'S ne sont pas connus déter-
ministic coefficients and the ψ coefficients Ministic et les ψ
αα
's are multivariate polynomials which are orthonormal with respect to the joint 'S
sont des polynômes multivariés qui sont orthonormée par rapport à la commune
PDF f PDF f
XX
of the input random vector X, ie E[ψ de l'entrée vecteur aléatoire X, soit E [ψ
αα
(X)ψ (X) ψ
ββ
(X)] = 1 if α = β and 0 otherwise. (X)] = 1 si α = β et 0 autrement. For instance, if
Par exemple, si
X is a standard normal random vector, the ψ X est une norme aléatoire vecteur
normal, le ψ
αα
are normalized multivariate Hermite polynomials. sont normalisées de polynômes
multivariés Hermite.
2.2 Estimation of the polynomial chaos coefficients 2.2 Estimation des
coefficients de chaos polynomial
The PC coefficients can be estimated using a non intrusive regression scheme [2,
6]. Les coefficients de PC peut être estimée en utilisant une régression régime
non intrusifs [2, 6]. This method requires the Cette méthode nécessite l'
choice of a truncation of the PC ab initio , ie a non empty finite set A = {α choix
d'une troncature de l'ab initio PC, c'est à dire un ensemble vide non finie A = {α
00
,...,α ,..., Α
P−1 P-1
} ⊂ N N} ⊂
MM
which qui
contains the multi-indices of the retained basis polynomials ψ contient les multi-
indices des polynômes de base retenu ψ
αα
00
,...,ψ ,..., Ψ
αα
P −1 P -1
. . A is referred to as the truncation A est appelé la troncature
set in the sequel. ensemble dans la suite. The corresponding PC approximation is
denoted by Y Le rapprochement PC correspondant est désigné par Y
A Une
≡M≡M
A Une
(X) = ∑ (X) = Σ
α∈A α ∈ A
a une
αα
ψψ
αα
(X) (X)
which rewrites Y qui réécrit Y
A Une
=a=A
TT
ψ(X), by introducing the vector notation : ψ (X), par l'introduction de la notation
vectorielle:
a = {a a = {a
αα
00
,...,a ,..., Une
αα
P −1 P -1
}}
TT
(2) (2)
ψ(X) = {ψ ψ (X) = {ψ
αα
00
(X), ... (X), ... ,ψ , Ψ
αα
P −1 P -1
(X)} (X)}
TT
(3) (3)
Let us consider a set of realizations of X denoted by X = {x Prenons un ensemble
de réalisations de X notée X = {x
(1) (1)
,...,x ,..., X
(N) (N)
} and referred to as the experi- } Et dénommé l'expé-
mental design . conception mentale. Let us denote by Y the associated set of
model response quantities, say Y = {M(x Notons Y l'ensemble associé des
quantités réponse du modèle, par exemple Y = {M (x
(1) (1)
),..., ),...,
M(x M (x
(N) (N)
)}. )}. The unknown coefficients a may be computed by performing a least-square
minimization, ie by Les coefficients inconnus a peut être calculé en effectuant une
minimisation carrés au moins, soit par
minimizing the mean-square truncation error 1/N ∑ minimiser la place de
troncature erreur moyenne de 1 / N Σ
NN
i=1 i = 1
(M(x (M (x
(i) (I)
)−M)-M
A Une
(x (X
(i) (I)
)) ))
22
. . Using the above notation En utilisant la notation ci-dessus
the solution reads :a = (Ψ la solution se lit comme suit: a = (Ψ
TT
Ψ) Ψ)
−1 -1
ΨΨ
TT
YY
(4) (4)
where Ψ is a N × P matrix such that Ψ où Ψ est une matrice N × P telle que Ψ
ij ij
=ψ=Ψ
αα
jj
(x (X
(i) (I)
), i = 1, ... ), I = 1, ... ,N, j = 0, ... , N, j = 0, ... ,P − 1. , P - 1. The size N of the La
taille de la N
ED must be greater than P to make this problem well posed. ED doit être
supérieur à P pour faire de ce problème bien posé.
2.3 Moment analysis by post-processing the polynomial chaos expansion
2.3 Analyse Moment de post-traitement de l'expansion chaos polynomial
The second moments of the PC approximation of the model response may be
derived analytically from the Le second moment de l'approximation de PC de la
réponse du modèle peut être dérivé analytiquement à partir de la
coefficients. coefficients. In particular, the mean and the standard deviation are
respectively given by : En particulier, la moyenne et l'écart-type sont données
respectivement par:
µμ
(P) (P)
YY
=a=A
00
,,
σσ
(P) (P)
YY
==
∑Σ
0<|α|≤p 0 <| α | ≤ p
a une
22
αα
(5) (5)
where P denotes the number of terms in the PC truncation. où P désigne le
nombre de termes dans la troncature PC. The skewness and the kurtosis
coefficients may L'asymétrie et les coefficients de kurtosis peut
be also computed by algebraic combinations of the coefficients [7]. également
être calculées par des combinaisons algébriques des coefficients [7]. However the
corresponding computational Toutefois, le calcul correspondant
cost blows up in case of a large number M of input variables. coups coût en cas
d'un M grand nombre de variables d'entrée. To circumvent this problem, one may
generate a Pour contourner ce problème, on peut générer un
large random sample and evaluate the PC approximation at all the sample points.
grand échantillon aléatoire et d'évaluer le rapprochement PC à tous les points
d'échantillonnage. Thus the higher-order statis- Ainsi, les statistiques d'ordre
supérieur
tics of the PC approximation may be obtained by an elementary statistical
analysis of the PC-based sample. tics de l'approximation de PC peuvent être
obtenues par une analyse statistique élémentaire de l'échantillon à base de PC. It
Il
is also possible to compute the so-called global sensitivity indices directly from
the PC coefficients, see [8]. est également possible de calculer la dite globale des
indices de sensibilité aussi directement à partir des coefficients PC, voir [8].
2.4 The issue of truncating the polynomial chaos expansion 2.4 La
question de la troncature du développement chaos polynomial
For computational purpose it is necessary to truncate the polynomial chaos
expansion in Eq.(1) as mentioned Aux fins de calcul, il est nécessaire de tronquer
l'expansion chaos polynomial dans l'équation. (1) comme indiqué
in Section 2.2. dans la section 2.2. In most papers in the literature the truncation
sets A Dans la plupart des articles dans la littérature de la troncature ensembles A
pp
correspond to those multivariate basis correspondent à celles de base à plusieurs
variables
polynomials ψ polynômes ψ
αα
whose total degree is not greater than p, that is : dont le total degré n'est pas
supérieur à p, c'est:
A Une
M,p M, p
≡AA≡
M,p M, p
11
= {α ∈ N = {Α ∈ N
MM
:α:Α
11
≤ p} ≤ p}
(6) (6)
where · où ¯
11
denotes the 1-norm on R désigne la 1-norme sur R
MM
defined by : définie par:
zz
11
==
MM
∑Σ
i=1 i = 1
|z | Z
ii
| ∀ z = {z | ∀ z = {z
11
,...,z ,..., Z
MM
}}
TT
∈R∈R
MM
(7) (7)
22
Page 3 Page 3
19 19
`eme `Eme
Congr`es Français de Mecanique `Es Français de Mécanique Congr
Marseille, 24-28 aout 2009 Marseille, 24-28 aout 2009
Note that the subscript 1 in A Notez que l'indice 1 dans A
M,p M, p
11
corresponds to the choice of the 1-norm. correspond au choix de la 1-norme. One
limitation of this truncation Une limitation de cette troncature
strategy lies in the strong increase of unknown PC coefficients with M and p.
stratégie réside dans la forte augmentation des coefficients de PC inconnu avec M
et p. Indeed the number of multi- En effet, le nombre de multi-
indices in A indices dans un
M,p M, p
11
is given by : est donné par:
card(A carte (A
M,p M, p
11
)=)=
(M + p (M + p
p ) p)
(8) (8)
As a consequence, the minimal size N of the experimental design ( ie the number
of model evaluations) En conséquence, la taille minimale N de la conception
expérimentale (ie le nombre d'évaluations modèle)
that ensures the well-posedness of the regression problem increases itself
considerably with M and p. qui assure le caractère bien posé du problème de
régression se augmente considérablement avec M et p. The L'
above truncation strategy may thus lead to intractable calculations in high
dimensions for a computationally ci-dessus stratégie de troncature peut donc
conduire à des calculs inextricables en haute dimension pour un calcul
demanding model M. exigeantes modèle M.
3 Sparse polynomial chaos approximation 3 polynomial approximation
chaos Sparse
3.1 PC expansions based on the sparsity-of-effects principle 3,1
expansions PC basé sur la rareté de-effets principe
An alternative strategy is proposed in the present paper for truncating the PC
expansion of the model response. Une autre stratégie est proposée dans le
présent document pour la troncature du développement PC de la réponse du
modèle.
It is motivated by the so-called sparsity-of-effects principle [3], which states that
most models are principally Elle est motivée par le soi-disant rareté de principe
effets [3], qui stipule que la plupart des modèles sont principalement
governed by main effects and low order interactions. régi par les effets principaux
et interactions d'ordre inférieur. One proposes the use of the following truncation
sets On propose l'utilisation de la troncature suivant définit
based on q-norms, 0 < q < 1 : basée sur q-normes, 0 <q <1:
A Une
M,p M, p
qq
=  =  

α∈Nα∈N
MM
:α:Α
qq
≡(≡(
MM
∑Σ
i=1 i = 1
αα
qq
ii
))
1/q 1 / q
≤ p ≤ p  

(9) (9)
Such norms penalize the higher order interaction terms all the more since q is
low. Ces normes pénaliser l'ordre des termes d'interaction plus élevé d'autant
plus que q est faible. Note that setting q equal to 1 Notez que la mise q égal à 1
corresponds to the usual truncation scheme mentioned in Section 2. correspond
au schéma habituel troncature mentionnés à l'article 2. The proposed truncation
strategy thus leads La stratégie proposée conduit donc troncature
to PC expansions with a reduced number of unknown coefficients, which may be
computed using a moderate à l'expansion des PC avec un nombre réduit de
coefficients inconnus, qui peuvent être calculées en utilisant un modéré
number N of model evaluations. nombre N de l'évaluation de modèles.
The computational cost may be further reduced by taking into account the fact
that the PC expansion of the Le coût de calcul peut également être réduite en
prenant en compte le fait que l'expansion de la PC
model response contains only a small number of significant terms ( sparse PC
expansion). réponse du modèle contient seulement un petit nombre de termes
importants (d'extension PC rares). This is the scope of C'est le champ
d'application de
the next section. la section suivante.
3.2 Sparse PC approximation using an adaptive LAR algorithm 3,2
rapprochement PC fragmentées en utilisant un algorithme adaptatif LAR
3.2.1 Estimation of the PC coefficients using LAR 3.2.1 Estimation des
coefficients de PC à l'aide LAR
Regularization is a technique that allows one to perform a least-square regression
when the number of model Régularisation est une technique qui permet
d'effectuer une régression des moindres carrés lorsque le nombre de modèle
evaluations N is less than the number P of basis functions. évaluations N est
inférieur au nombre P de fonctions de base. It relies upon a penalization of some
norm (or more Elle repose sur une pénalisation de certaines normes (ou plus
generally functional) of the regression coefficients. généralement fonctionnelle)
des coefficients de régression. In particular, L En particulier, L
11
-regularized regression consists in fitting a régularisé régression consiste à
installer un
metamodel M métamodèle M
A Une
M,p M, p
qq
by solving : en résolvant:
Minimize Réduire au minimum
NN
∑Σ
i=1 i = 1


yy
(i) (I)
−∑-Σ
α∈A α ∈ A
M,p M, p
qq
a une
αα
ψ(x ψ (x
(i) (I)
) ) 

22
subject to sous réserve de
∑Σ
α∈A α ∈ A
M,p M, p
qq
|a | A
αα
|≤s|≤s
(10) (10)
where s ≥ 0 is a tuning parameter. où s ≥ 0 est un paramètre de réglage. The L
Le L
11
-type constraint of this optimization problem yields a sparse solution type de
contrainte de ce problème d'optimisation des rendements d'une solution
clairsemée
( ie with many components equal to zero). (C'est à dire avec de nombreux
composants égal à zéro). In other words, a selection of a small number of
significant terms En d'autres termes, une sélection d'un petit nombre de termes
importants
in the basis A dans la base A
M,p M, p
qq
is performed. est effectuée. The solution is all the sparser since the value of s is
low. La solution est d'autant plus clairsemée puisque la valeur de s est faible.
Least Angle Regression (LAR) [4] is an efficient algorithm for solving the problem
in Eq.(10). Least Angle Regression (LAR) [4] est un algorithme efficace pour
résoudre le problème de l'équation (10).. It provides in Il prévoit en
one shot the entire paths of solution coefficients as s is increased from 0 up to a
maximum value. d'un seul coup l'ensemble des chemins de coefficients solution
que s est passé de 0 jusqu'à une valeur maximale. The LAR Le LAR
procedure is described below : procédure est décrite ci-dessous:
1. 1. Standardize the vectors {Ψ Normaliser les vecteurs {Ψ
αα
ii
,i = 1,...,P − 1} to have empirical mean zero and empirical variance , I = 1 ,..., p -
1} avoir empiriques moyenne zéro et variance empirique
one, where Ψ une, où Ψ
αα
ii
≡ {ψ ≡ {ψ
αα
ii
(x (X
(1) (1)
),...,ψ ),..., Ψ
αα
ii
(x (X
(N) (N)
)} )}
TT
. . Initialize the approximated response vectorY = 0, Initialiser les réponses
approximatives vectorY = 0,
which corresponds to the initial coefficients a ce qui correspond à l'initiale d'un
coefficients
αα
00
,...,a ,..., Une
αα
P −1 P -1
= 0. = 0. Define the residual R = Y − Y. Définir la valeur résiduelle R = Y - Y.
2. 2. Find the vector Ψ Trouvez le vecteur Ψ
αα
jj
which is most correlated with R. qui est le plus corrélé avec R.
3. 3. Move a Déplacer un
αα
jj
from 0 towards the value Ψ de 0 vers la valeur Ψ
TT
αα
jj
R, until some other vector ψ R, jusqu'à ce qu'un autre vecteur ψ
αα
kk
has as much correlation with comme beaucoup de corrélation avec
the current residual as does ψ le courant résiduel que ne ψ
αα
jj
..
4. 4. Move jointly {a Déplacer conjointement {a
αα
jj
,a , Une
αα
kk
}}
TT
in the direction defined by their least-square coefficients of the current residual
dans la direction définie par leurs carrés coefficients moins du courant résiduel
on {ψ sur {ψ
αα
jj
,ψ , Ψ
αα
kk
} ≡ Φ, until some other vector ψ ≡ Φ}, jusqu'à ce qu'un autre vecteur ψ
αα
ll
has as much correlation with the current residual. comme beaucoup de
corrélation avec le courant résiduel. This Cette
direction is defined explicitly by the vector {a direction est définie explicitement
par le vecteur {a
αα
jj
,a , Une
αα
kk
}}
TT
= (Φ = (Φ
TT
Φ) Φ)
−1 -1
ΦΦ
TT
R. R.
33
Page 4 Page 4
19 19
`eme `Eme
Congr`es Français de Mecanique `Es Français de Mécanique Congr
Marseille, 24-28 aout 2009 Marseille, 24-28 aout 2009
5. 5. Continue this way until all P predictors have been entered. Continuer ainsi
jusqu'à ce que tous les prédicteurs P ont été saisis. After P steps, one gets the full
least-square Après les étapes P, on obtient le moins plein carré
solution. solution.
6. 6. Compute accuracy estimates of the metamodels associated with all the
solution coefficients, and select Calculer des estimations de précision de la méta-
modèles associés à tous les coefficients de solution, et sélectionnez
the truncation set A l'ensemble de troncature A
p,∗ p, *
that corresponds to the largest accuracy estimate. qui correspond à la plus
grande précision de l'estimation.
LAR may be thus regarded as a way of selecting an optimal sparse PC basis. LAR
peut être ainsi considéré comme un moyen de choix d'un PC de base clairsemée
optimale. One chooses to eventually apply On choisit d'appliquer éventuellement
ordinary least-square regression to recompute the corresponding coefficients, as
it is considered to provide ordinaires carrés de régression des moindres pour
recalculer les coefficients correspondants, comme il est censé apporter
more accurate estimates. des estimations plus précises. The accuracy estimates
that are used in Step 6 are based on leave-one-out cross Les estimations de
précision qui sont utilisés dans l'étape 6 sont basés sur le congé-one-out cross
validation [9] and are denoted byQ validation [9] et sont désignés byQ
22
..
3.2.2 Sparse PC expansion using an adaptive LAR scheme 3.2.2
expansion PC fragmentées en utilisant un schéma d'adaptation LAR
A limitation of LAR lies on the requirement of an a priori truncation set A Une
limitation de LAR repose sur l'exigence d'une troncature priori un ensemble A
M,p M, p
qq
. . To circumvent this difficulty, Pour contourner cette difficulté,
one proposes a procedure for progressively enriching the truncation set of the PC
approximation, ie the set of on propose une procédure pour progressivement
enrichir l'ensemble de troncature de l'approximation de PC, c'est à dire
l'ensemble des
active basis functions. fonctions de base active. One first selects the type q of the
norm that is used to truncate the PC expansions as well On sélectionne d'abord le
type q de la norme qui est utilisée pour tronquer les expansions PC ainsi
as a target accuracy Q comme une précision cible Q
22
tgt obj
. . The proposed adaptive procedure is outlined below : L'adaptation procédure
proposée est décrite ci-dessous:
1. 1. Select an ED X and collect the corresponding model evaluations in Y once
and for all. Sélectionnez un X ED et de recueillir les évaluations modèle
correspondant Y une fois pour toutes.
2. 2. Initialize the PC degree p = 0 and the accuracy estimateQ Initialiser le degré
p PC = 0 et la précision estimateQ
2,p 2, p
∗*
= 0. = 0.
3. 3. Set A La série A
pp
=A=A
M,p M, p
qq
. . Apply the LAR algorithm to fit the metamodel M Appliquer l'algorithme LAR
pour s'adapter à la M métamodèle
A Une
pp
. . Store the accuracy estimateQ Boutique de l'exactitude estimateQ
2,p 2, p
..
4. 4. If p ≥ 2 : ifQ Si p ≥ 2: IFQ
2,p 2, p
≤≤
QQ
2,p−1 2, p-1
≤≤
QQ
2,p−2 2, p-2
(overfitting), then enrich the ED and go back to Step 3. (Surapprentissage), puis
enrichir l'ED et revenir à l'étape 3.
5. 5. Set p Set p
∗*
= p ifQ IFQ p =
2,p 2, p
≥≥
QQ
2,p 2, p
∗*
..
6. 6. IfQ IFQ
2,p 2, p
∗*
≥Q≥Q
22
tgt obj
: stop and return the optimal truncation set A : Arrêter et retourner la troncature
optimal ensemble A
pp
∗*
. . Otherwise set p = p + 1 and go back to Sinon, attribuez-p = p + 1 et de revenir
à
Step 3. Étape 3.
The condition in Step 4 is a heuristic criterion to avoid overfitting. La condition à
l'étape 4 est un critère heuristique pour éviter un surajustement. One eventually
applies ordinary least-square On applique éventuellement des moindres carrés
regression to recompute the coefficients corresponding to A régression de
recalculer les coefficients correspondant à A
pp
∗*
..
4 Statistical moment analysis of a foundation 4 Analyse statistique
moment d'une fondation
4.1 Problem statement 4.1 Énoncé du problème
Let us study the problem of the settlement of a foundation, already adressed in
[10]. Étudions le problème du règlement d'une fondation, déjà adressé dans [10].
An elastic soil layer of Une couche de sol élastique
thickness t and lying on a rigid substratum is considered. t épaisseur et située sur
un substrat rigide est considérée. A structure to be founded on this soil mass is
idealized Une structure à être fondée sur cette masse de sol est idéalisé
as a uniform pressure P applied over a length 2B of the free surface (see Figure
1). comme une pression uniforme P appliquée sur une longueur 2B de la surface
libre (voir Figure 1). The soil is modelled as an Le sol est modélisé comme un
elastic linear isotropic material. matériau isotrope élastique linéaire. A plane
strain analysis is carried out. Une analyse en déformation plane est effectuée.
A Une
2B 2B
tt
E , ν E, ν
FF
IG IG
. . 1 – Settlement of a foundation - problem definition 1 - Règlement d'une
fondation - la définition du problème
Due to the symmetry, half of the structure is modelled by finite elements. En
raison de la symétrie, la moitié de la structure est modélisée par éléments finis.
Strictly speaking, there is no sym- Strictement parlant, il n'ya pas de sym-
metry in the system when random fields of material properties are introduced.
métrie dans le système lorsque les champs aléatoires des propriétés des
matériaux sont introduits. However, it is believed that this Toutefois, on croit que
cette
simplification does not significantly influence the results. simplification n'influence
pas significativement les résultats. The foundation (resp. mesh) width is equal to
10 m La fondation (resp. mesh) la largeur est égale à 10 m
(resp. 60 m). (Resp. 60 m). The soil layer thickness is equal to 30 m and its
Poisson's ratio is equal to 0.3. L'épaisseur de la couche du sol est égale à 30 m et
son ratio de Poisson est égal à 0,3. The applied Le appliquée
pressure is equal to 0.2 MPa. la pression est égale à 0,2 MPa. The finite element
mesh displayed in Figure 2-a was chosen. Le maillage d'éléments finis montre la
figure 2-a été choisi.
It contains 768 elements and 825 nodes. Il contient 768 éléments et 825 noeuds.
The maximal displacement under the foundation (point A in Figure 1) Le
déplacement maximal en vertu de la fondation (point A sur la figure 1)
computed with this mesh is equal to 5.49 cm. calculé à ce maillage est égal à
5,49 cm.
44
Page 5 Page 5
19 19
`eme `Eme
Congr`es Français de Mecanique `Es Français de Mécanique Congr
Marseille, 24-28 aout 2009 Marseille, 24-28 aout 2009
FF
IG IG
. . 2 – Settlement of a foundation - finite element mesh and deformed shape for
mean values of the parameters 2 - Règlement d'une fondation - maillage
d'éléments finis et déformée pour les valeurs moyennes des paramètres
by a deterministic analysis par une analyse déterministe
4.2 Probabilistic model 4,2 modèle probabiliste
The Young's modulus of the soil is considered to vary both in the vertical and the
horizontal directions. Le module de Young du sol est considéré comme varient à la
fois dans les directions verticales et horizontales. It is Il est
modelled by a two-dimensional homogeneous lognormal random field. modélisé
par un log-normale à deux dimensions des champs aléatoires homogènes. Its
mean value is set equal to µ Sa valeur moyenne est égale à μ
EE
==
50MPa and its coefficient of variation is δ 50MPa et son coefficient de variation est
δ
EE
=σ=Σ
EE
/µ / Μ
EE
= 0.3. = 0,3. The autocorrelation coefficient function of the Le coefficient fonction
d'autocorrélation du
underlying Gaussian field N(x,ω) is : sous-jacents champ gaussien N (x, ω) est la
suivante:
ρρ
NN
(x,x (X, x
′»
) = exp[− ) [= Exp -
x−xx-x
′»
22
ℓℓ
22
]]
(11) (11)
where ℓ = 10 m. où ℓ = 10 m. N(x,ω) is discretized using the Karhunen-Lo`eve
expansion [11] : N (x, ω) est discrétisé en utilisant la décomposition de Karhunen-
Lo `expansion veille [11]:
N(x,ω) ≃ N (x, ω) ≃
MM
∑Σ
i=1 i = 1
√λ √ λ
ii
ξξ
ii
(ω)ϕ (Ω) φ
ii
(x) (X)
(12) (12)
where the √λ où les λ √
ii
's (resp. the ϕ L '(resp. l'φ
ii
(x)'s) are the eigenvalues (resp. eigenfunctions) of the random field covariance
(X) 's) sont les valeurs propres (resp. fonctions propres) de la covariance champ
aléatoire
kernel, and the ξ noyau, et les ξ
ii
(ω)'s form a set of independent standard Gaussian random variables. (Ω) 's
forment un ensemble de normalisation indépendant des variables aléatoires
gaussiennes. A relative accuracy in Une précision relative au
the variance less than 1% is obtained when using M = 40 terms in the
discretization of N(x,ω). la variance inférieure à 1% est obtenue lorsque l'aide de
M = 40 termes dans la discrétisation de N (x, ω).
4.3 Moment analysis 4.3 Analyse Moment
Of interest are the four first statistical moments of the maximum vertical
displacement. D'intérêt sont les quatre premiers moments statistiques de la
verticale maximale de déplacement. Reference results are résultats de référence
sont
obtained by direct Monte Carlo simulation (50,000 model evaluations are
performed) and bootstrap resampling obtenus par simulation de Monte Carlo
directe (50.000 évaluations sont effectuées modèle) et ré-échantillonnage
bootstrap
(1,000 resamples are used). (1.000 rééchantillonne sont utilisés). On the other
hand, estimates of the moments are provided using the proposed D'autre part,
des estimations des moments sont obtenus en utilisant la proposition
adaptive LAR methodology. méthodologie adaptative LAR. In this purpose, one
considers Hermite PC approximations of the model response Dans ce but, on
considère des approximations PC Hermite de la réponse du modèle
that are truncated using aq = 0.6-norm. qui sont tronqués en utilisant aq = 0,6-
norme. The target accuracy Q La précision cible Q
22
tgt obj
is successively set equal to 0.95 and 0.995. est successivement égal à 0,95 et
0,995.
The various moments estimates are gathered in Table 1. Les moments les
diverses estimations sont rassemblés dans le tableau 1.
TT
AB AB
. . 1 – Estimates of the four first statistical moments of the maximum vertical
displacement 1 - Budget des quatre premiers moments statistiques de la verticale
maximale de déplacement
Moments Moments
Reference Référence
Sparse PC approximations approximations PC Sparse
QQ
22
tgt obj
= 0.95 Q = 0,95 Q
22
tgt obj
= 0.995 = 0,995
Mean (cm) Moyenne (cm)
5.91 5.91
5.90 5.90
5.91 5.91
StD (cm) STD (cm)
1.13 1.13
1.07 1.07
1.13 1.13
Skewness Asymétrie
0.6 0.6
0.2 0.2
0.6 0.6
Kurtosis Kurtosis
3.7 3.7
3.1 3.1
3.4 3.4
# FE runs # FE fonctionne
50,000 50,000
250 250
1,000 1,000
Final degree degré final
--
44
44
IS (%)† IS (%) †
--
52 52
53 53
† IS ≡ Number of non zero terms/Total number of terms = (∑ † est ≡ Nombre de
non nulle termes / nombre total de termes = (Σ
α∈A α ∈ A
M,p M, p
qq
11
{a {A
αα
=0} = 0}
) / (|A ) / (| A
M,p M, p
qq
|) |)
55
Page 6 Page 6
19 19
`eme `Eme
Congr`es Français de Mecanique `Es Français de Mécanique Congr
Marseille, 24-28 aout 2009 Marseille, 24-28 aout 2009
It appears that the sparse PC approximation corresponding to Q Il semble que le
rapprochement PC clairsemée correspondant à Q
22
tgt obj
= 0.95 yields good estimates of the mean = Bons rendements des estimations de
0,95 de la moyenne
and the standard deviation, with respective relative errors of 0.1% and 5.3% (with
respect to the reference et l'écart-type, avec respectifs erreurs relatives de 0,1%
et 5,3% (par rapport à la référence
values). des valeurs). Note that the associated computational cost ( ie N = 250
model evaluations) would only allow one Notez que le calcul des coûts associés (N
= 250 évaluations modèle) ne permettent
to compute an usual ( ie with q = 1) full PC metamodel of degree p = 1 (with a
number of terms given by pour calculer une habitude (c'est à dire avec q = 1)
métamodèle PC complet de degré p = 1 (avec un certain nombre de termes
donnés par
P = 41). P = 41). In contrast, a full PC representation of degree p = 2 would
require more than P = 861 model En revanche, une représentation complète de
PC 2 = p degrés, il faudrait plus de P = 861 modèle
evaluations. évaluations. More accurate estimates of the moments are provided
when setting Q Plus d'estimations précises des moments sont prévus lors de
l'établissement Q
22
tgt obj
equal to 0.995. égale à 0,995. Indeed, En effet,
a two-digit accuracy is obtained on the mean and the standard deviation as well
as a one-digit accuracy on une précision de deux chiffres est obtenu sur la
moyenne et l'écart-type ainsi que d'une précision d'un chiffre sur
the skewness coefficient. le coefficient d'asymétrie. One also gets a relative error
of 8.1% on the kurtosis coefficient. On obtient également une erreur relative de
8,1% sur le coefficient d'aplatissement. Lastly, both PC Enfin, les deux PC
approximations reveal relatively sparse, with a index of sparsity IS close to 50%.
approximations révèlent relativement faible, avec un indice de rareté est proche
de 50%. Other applications show a D'autres applications montrent une
significant gain in sparse chaos representation, with an index of sparsity IS =
close to 5%, see eg [12]. gain important dans la représentation du chaos
clairsemée, avec un indice de rareté IS = fermer à 5%, voir par exemple [12].
5 Conclusion 5 Conclusion
An adaptive LAR procedure is proposed to build up a sparse PC representation of
the random response of a Une procédure d'adaptation LAR est proposé de
construire une représentation PC clairsemée de la réponse aléatoire d'un
model with random input parameters. modèle avec les paramètres d'entrée
aléatoire. In order to reduce the number of unknown PC coefficients to identify
Afin de réduire le nombre de coefficients PC inconnue à identifier
and hence the required number of computer experiments ( ie the computational
cost), an adaptive algorithm is et par conséquent le nombre requis d'expériences
pour ordinateur (le coût de calcul), un algorithme adaptatif est
proposed for automatically detecting the significant PC terms (sparse PC
representation). proposée pour détecter automatiquement les termes importants
PC (PC représentation clairsemée). The experimental de- Le dispositif
expérimental de-
sign is automatically enriched such that the overfitting phenomenon is avoided.
Inscrivez-vous est automatiquement enrichi tels que le phénomène
surapprentissage est évité. The example of the foundation L'exemple de la
fondation
shows that the algorithm may be used to efficiently estimate the statistical
moments of the model response, montre que l'algorithme peut être utilisé pour
estimer efficacement les moments statistiques de la réponse du modèle,
leading to to a considerable reduction of the number of model evaluations
compared to crude Monte Carlo conduisant à une réduction considérable du
nombre d'évaluations du modèle par rapport à Monte Carlo brut
simulation. simulation.
References Références
[1] DM Ghiocel and RG Ghanem. [1] Ghiocel DM et RG Ghanem. Stochastic finite
element analysis of seismic soil-structure interaction. Stochastique analyse par
éléments finis de l'interaction sol-structure sismiques.
J. Eng. J. Eng. Mech. , 128 :66–77, 2002. Mech., 128 :66-77, 2002.
[2] M. Berveiller, B. Sudret, and M. Lemaire. [2] M. BERVEILLER, B. Sudret, et M.
Lemaire. Stochastic finite elements : a non intrusive approach by regres-
Éléments finis stochastiques: une approche non intrusive par régres-
sion. Eur. sion. Eur. J. Comput. J. Comput. Mech. , 15(1-3) :81–92, 2006. Mech., 15
(1-3) :81-92, 2006.
[3] DC Montgomery. Design and analysis of experiments . [3] DC Montgomery.
Conception et analyse des expériences. 2004. 2004.
[4] B. Efron, T. Hastie, I. Johnstone, and R. Tibshirani. [4] B. Efron, Hastie T., I.
Johnstone, R. et Tibshirani. Least angle regression. Ann. régression angle moins.
Ann. Statist. , 32 :407–499, Statist., 32 :407-499,
2004. 2004.
[5] C. Soize and R. Ghanem. [5] C. Soize et R. Ghanem. Physical systems with
random uncertainties : chaos representations with arbi- Les systèmes physiques
avec les incertitudes aléatoires: les représentations du chaos avec l'arbi-
trary probability measure. SIAM J. Sci. mesure de probabilité contraire. SIAM J. Sci.
Comput. , 26(2) :395–410, 2004. Comput., 26 (2) :395-410, 2004.
[6] B. Sudret. Uncertainty propagation and sensitivity analysis in mechanical
models – Contributions to [6] B. Sudret - Incertitude. Propagation analyse de
sensibilité et mécaniques dans les modèles de contributions à
structural reliability and stochastic spectral methods , 2007. la fiabilité des
structures et des méthodes spectrales stochastiques, 2007. Habilitation `a diriger
des recherches, Uni- Habilitation `a des Recherches promena, Uni-
versite Blaise Pascal, Clermont-Ferrand, France. Versite Blaise Pascal, Clermont-
Ferrand, France.
[7] M. Berveiller. Elements finis stochastiques : approches intrusive et non
intrusive pour des analyses de 7] M. BERVEILLER. [Eléments finis stochastiques:
approches intrusive et non intrusive verser des analyses de
fiabilite . fiabilite. PhD thesis, Universite Blaise Pascal, Clermont-Ferrand, 2005.
Thèse de doctorat, Université Blaise Pascal, Clermont-Ferrand, 2005.
[8] B. Sudret. [8] B. Sudret. Global sensitivity analysis using polynomial chaos
expansions. Reliab. Analyse de sensibilité globale utilisant des développements
chaos polynomial. Reliab. Eng. Eng. Sys. Sys. Safety , La sécurité,
93 :964–979, 2008. 93 :964-979, 2008.
[9] A. Elisseff and M. Pontil. [9] A. Elisseff et M. Pontil. Leave-one-out error and
stability of learning algorithms with applications. -One-out d'erreur Laissez et la
stabilité des algorithmes d'apprentissage avec les applications. In Dans
G. Horvath J. Suykens and S. Basu et. G. Horvath Suykens J. et S. Basu et al. Al,
editors, Learning Theory and Practice . Al, éditeurs, théorie de l'apprentissage et
la pratique. NATO ASI Series, IOS OTAN série ASI, IOS
Press, Amsterdam, 2002. Press, Amsterdam, 2002.
[10] B. Sudret and A. Der Kiureghian. [10] B. Sudret et Kiureghian Der A..
Stochastic finite elements and reliability : a state-of-the-art report. Stochastique
éléments finis et la fiabilité: un état de l'art-rapport-.
Technical Report UCB/SEMM-2000/08, University of California, Berkeley, 2000.
Rapport technique UCB/SEMM-2000/08, Université de Californie, Berkeley, 2000.
173 pages. 173 pages.
[11] M. Lo`eve. Probability theory . [11] M. Lo `eve. La théorie des probabilités.
Springer Verlag, New-York, 1977. Springer Verlag, New-York, 1977.
[12] G. Blatman and B. Sudret. [12] G. Blatman et Sudret B.. Use of sparse
polynomial chaos expansions in adaptive stochastic finite Utilisez des rares
expansions chaos polynomial dans adaptative finis stochastiques
element analysis. Prob. élément d'analyse. Prob. Eng. Eng. Mech. , 2008. Mech.,
2008. accepted for publication. accepté pour publication