Vous êtes sur la page 1sur 66

Analyse de sensibilité

Pierre Barbillon1 , Hervé Monod2

1
AgroParisTech, pierre.barbillon@agroparistech.fr
2
INRA MiAIGE, Herve.Monod@jouy.inra.fr

Formation ABIES : modélisation des phénomènes dynamiques


10/03/2016
Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 2 / 66


Introduction

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 3 / 66


Introduction

Principe : modèle complexe

Incertitudes, variabilité sur Xi ⇒ conséquences sur Y (AI Analyse d’Incertitudes),


Quelles sont les Xi les plus influentes sur Y ? (AS Analyse de Sensibilité).

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 4 / 66


Introduction

Principe : modèle complexe

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 5 / 66


Introduction

Exemple : un modèle d’évolution temporelle

Modèle de dynamique de population de Verhulst, on étudiera le modèle pour différentes


valeurs de t fixées :

K
Yt = M(K , Y 0, a) =
1 + (K /Y0 − 1) exp(−a · t)
Domaine de variation :
var borne inf borne sup
K 100 1000
Y0 1 40
a 0.05 0.2

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 6 / 66


Introduction

Contexte

Modèle = “boı̂te noire”(forme analytique peut-être inconnue) :

Y = M(X1 , . . . , Xd )

avec
Xi facteur d’entrée continu (paramètre, variable d’entrée du modèle, valeur initiale,
etc.)
Objectif : mesurer l’importance globale sur Y des facteurs d’entrée Xi
sur toute une gamme de variation des Xi
avec le minimum d’hypothèses sur le modèle (“model-free”)
en intégrant les interactions
sous une possible contrainte d’un nombre limité d’appels au modèle
difficulté supplémentaire si le nombre d d’entrées est important

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 7 / 66


Introduction

Approche stochastique globale

On considérera les variables Xi ∈ [0, 1], ainsi

M : [0, 1]d → R .
Loi des entrées :
les variables d’entrées Xi sont indépendantes,
1 ≤ i ≤ n, Xi ∼ U [0, 1].
L’hypothèse Xi ∼ U [0, 1] n’est pas restrictive car
(−1)
Xi ∼ Fi (fonction de répartition), Fi (Xi ) ∼ U[0, 1] ,
(−1)
où Fi inverse généralisée de la fonction de répartition.
La corrélation des entrées est beaucoup plus délicate à gérer...
On fait varier les entrées suivant leur loi de probabilité pour mesurer l’effet sur
Y = M(X1 , . . . , Xd ).

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 8 / 66


Introduction

Buts, questions ?

classement des variables,


mesures des interactions entre variables,
effet linéaire ou d’ordre supérieur ?
réduction de la dimension des entrées du modèle.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 9 / 66


Introduction

Structuration des facteurs

indices par facteur

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 10 / 66


Introduction

Structuration des facteurs

indices par groupe de facteurs

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 11 / 66


Méthode de Morris

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 12 / 66


Méthode de Morris

Méthode de Morris : But

Méthode de Morris :
méthode d’analyse de sensibilité globale
objectifs principaux
identifier les facteurs influents
classer les facteurs selon leur influence
méthode de criblage / screening
limite : difficulté pour séparer les interactions des effets non linéaires
méthode relativement économe en nombre d’appels au modèle.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 13 / 66


Méthode de Morris

Méthode de Morris : plan d’expérience One-At-a-Time (OAT)


Discrétisation et trajectoires dans le plan (X1 , X2 ) :

1.0

P_2=(x'_1,x'_2)

0.8
● ●

0.6
X2
0.4

● ●
P_0=(x_1,x_2) P_1=(x'_1,x_2)
0.2


0.0

0.0 0.2 0.4 0.6 0.8 1.0

X1

q
Paramètres sur la figure : r = 2, q = 6, δ = 2(q−1)
= 0.6
P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 14 / 66
Méthode de Morris

Méthode de Morris : plan d’expérience

Domaine d’intérêt : Ω = [0, 1]d

Échantillonnage ⇒ N = r × (d + 1) simulations
grille régulière : D = {0, 1
, 2 , . . . , 1}d
q−1 q−1
“un facteur à la fois” (OAT) et pas de longueur fixe ±δ
(k)
(x1 , . . . , xi−1 , xi , xi+1 , . . . , xd ) −→ (x1 , . . . , xi−1 , x0i
(k) (k) (k) (k) (k) (k) (k) (k)
, xi+1 , . . . , xd )
(k) (k)
r trajectoires P0 , . . . , Pd où X1 , . . . , Xd varient successivement
randomisation : pour chaque trajectoire
(k)
1 point de départ P0 tiré au hasard dans la grille
2 ordre de modification des entrées Xj = permutation aléatoire π(j)
optimisation space-filling des trajectoires

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 15 / 66


Méthode de Morris

Méthode de Morris : analyse (exemple)

Y = M(X1 , . . . , X10 ) = X1 + 6 · X2 − 3 · X4 + 5 · X1 · X9 − (2 · X8 − 1)2

X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 Y ∆
1 0.75 0.25 0.62 0.00 0.38 0.50 0.88 0.25 0.25 0.38 2.38 .
2 0.75 0.25 0.62 0.00 0.38 0.50 0.88 0.25 0.00 0.38 2.19 -0.19
3 0.75 0.25 0.62 0.00 0.38 0.50 0.62 0.25 0.00 0.38 2.19 0.00
4 0.75 0.25 0.62 0.00 0.62 0.50 0.62 0.25 0.00 0.38 2.19 0.00
5 0.75 0.25 0.62 0.25 0.62 0.50 0.62 0.25 0.00 0.38 1.44 -0.75
6 0.75 0.25 0.38 0.25 0.62 0.50 0.62 0.25 0.00 0.38 1.44 0.00
7 0.75 0.25 0.38 0.25 0.62 0.25 0.62 0.25 0.00 0.38 1.44 0.00
8 0.75 0.25 0.38 0.25 0.62 0.25 0.62 0.25 0.00 0.12 1.44 0.00
9 1.00 0.25 0.38 0.25 0.62 0.25 0.62 0.25 0.00 0.12 1.69 0.25
10 1.00 0.25 0.38 0.25 0.62 0.25 0.62 0.50 0.00 0.12 1.50 -0.19
11 1.00 0.50 0.38 0.25 0.62 0.25 0.62 0.50 0.00 0.12 3.00 1.50
12 0.62 0.25 0.00 0.38 1.00 0.62 0.62 0.50 0.25 0.50 0.91 -2.09
···
110

r = 10 ⇒ 10 · (10 + 1) = 110 appels au modèle.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 16 / 66


Méthode de Morris

Méthode de Morris : analyse

Mesures d’importance du facteur Xi , i = 1, . . . , d :


(k) (k)
(k)
M(Pπk (i−1) ) − M(Pπk (i) )
effet élémentaire : ∆i =
δ
r
1 X (k)
effet moyen : µi = ∆i
r
k=1
r
1 X (k)
effet absolu moyen : µ?i = |∆i |
r
k=1
mesure l’effet (moyen / global) de l’entrée Xi .
v
u r
u 1 X (k) 2
écart-type des effets élémentaires : σi = t ∆ i − µi
r −1
k=1
rend compte des interactions et/ou des effets non linéaires de l’entrée Xi .
avec k : numéro de trajectoire, r nombre de trajectoires, πk permutation de l’ordre des facteurs
pour la trajectoire k

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 17 / 66


Méthode de Morris

Méthode de Morris : interprétation graphique


Représentation de l’importance des facteurs dans le plan (µ? , σ) :

Y = M(X1 , . . . , X10 ) = X1 + 6 · X2 − 3 · X4 + 5 · X1 · X9 − (2 · X8 − 1)2

X8

X1
1.5
1.0

X9
σ
0.5
0.0

X3
X7
X6
X5
X10 X4 X2

0 1 2 3 4 5 6
µ*

x <- morris(model = fonctionmodele, factors = 10, r =10,


design = list(type = "oat", levels = 9, grid.jump = 2))
P.plot(x)
Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 18 / 66
Plan d’expérience

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 19 / 66


Plan d’expérience

Appels au modèle

Pour un domaine de variation donné des entrées X1 , . . . , Xd , on choisit les appels au


modèle M() pour un budget fixé N :
 
x1;1 . . . x1;d
DN =  . . . . . . . . .  ,
xN;1 . . . xN;d
et on calcule
y1 = M(x1;1 , . . . , x1;d )
 
..
y (DN ) =  .
 
.
yN = M(xN;1 , . . . , xN;d )
Plusieurs méthodes
Grille régulière (beaucoup d’appels si d est grand),
Méthode de Monte-Carlo (échantillonnage aléatoire uniforme),
Plan en hypercube latin (bonnes propriétés de projection),
Plans sous contraintes de bon remplissage du domaine.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 20 / 66


Plan d’expérience

Exemples N = 25, d = 2

grille régulière Echantillonnage Monte−Carlo

1.0
1.0

0.8
0.8

0.6
0.6
X2

X2
0.4

0.4
0.2

0.2
0.0

0.0
0.0 0.2 0.4 0.6 0.8 1.0 0.2 0.4 0.6 0.8 1.0
X1 X1

Hypercube Latin Hypercube Latin maximin


1.0

1.0
0.8

0.8
0.6
0.6
X2

X2
0.4
0.4

0.2
0.2

0.0

0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
X1 X1

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 21 / 66


Appui sur le modèle linéaire

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 22 / 66


Appui sur le modèle linéaire Coefficients de corrélation

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 23 / 66


Appui sur le modèle linéaire Coefficients de corrélation

Coefficient de corrélation linéaire

Y = M(X1 , X2 , X3 . . . , Xd )

Coefficient de corrélation linéaire :


Cov (Y , Xi )
ρ(Y , Xi ) = √ √
VarY · VarXi
SRC (Standardized Regression Coefficient) :
s
Var(Xi )
SRCi = βi
Var(Y )

SRCi ∈ [−1, 1],


P
Si Y = β0 + i βi Xi , et Xi indépendantes
X
(SRCi )2 = 1 .
i

Coefficient de corrélation partielle :


(−i)
ρ(Y , Xi |X (−i) ) = ρ(Y − Ŷ (−i) , Xi − X̂i )

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 24 / 66


Appui sur le modèle linéaire Coefficients de corrélation

Qualité du modèle linéaire ?

coefficient de détermination
(Ŷk − Ȳ )2
P
2
R = SCM/SCT = Pk
k (Yk − Ȳ )
2

où
Ȳ = n1 k Yk ,
P
P
Ŷk = β̂0 + i β̂i Xi .
0 ≤ R 2 ≤ 1.
Choix des appels au modèle ?

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 25 / 66


Appui sur le modèle linéaire Coefficients de corrélation

Exemple

Y = M(X1 , . . . , X10 ) = X1 + 6 · X2 − 3 · X4 + 5 · X1 · X9 − (2 · X8 − 1)2

original bias std. error min. c.i. max. c.i.


1 0.438 2.089e-03 9.691e-03 0.416 0.455
2 0.736 5.443e-04 1.081e-02 0.715 0.756
3 -0.005 1.130e-05 5.212e-03 -0.014 0.006
4 -0.379 -4.052e-04 8.248e-03 -0.395 -0.360
5 -0.002 4.820e-04 4.792e-03 -0.011 0.008
6 -0.002 -4.050e-05 5.076e-03 -0.014 0.007
7 0.002 -7.328e-05 5.455e-03 -0.010 0.012
8 -0.000 -5.381e-04 5.802e-03 -0.012 0.012
9 0.309 5.336e-04 7.719e-03 0.292 0.325
10 0.004 -7.532e-04 5.253e-03 -0.007 0.016

R 2 = 0.95

x=src(X,Y,nboot=100)
plot(x)
print(x)

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 26 / 66


Appui sur le modèle linéaire Analyse de la variance

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 27 / 66


Appui sur le modèle linéaire Analyse de la variance

Modèle d’ANOVA

Exemple d’analyse de la variance à 3 facteurs

Yijk` = µ + αi + βj + γk + (αβ)ij + (βγ)jk + (αγ)ik + (αβγ)ijk + Eijk` ,


où
µ effet commun,
αi effet principal du 1er facteur pour la modalité i ∈ {1, . . . , I },
βj effet principal du 2nd facteur pour la modalité j ∈ {1, . . . , J},
γk effet principal du 3ème facteur pour la modalité k ∈ {1, . . . , K },
Eijk` résidus, hypothèses de normalité, d’homoscédasticité et d’indépendance
i.i.d.
Eijk` ∼ N (0, σ 2 ) .
contraintes d’identifiabilité à poser... (nombre de paramètres libres = I · J · K ).

Discrétisation des variables quantitatives en I , J, K niveaux...


Si le modèle M() est déterministe, l’indice de répétition ` est superflu.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 28 / 66


Appui sur le modèle linéaire Analyse de la variance

Décomposition de la variance

SCT = SCM + SCR


(Yijk` − Ȳ )2 (Ŷijk` − Ȳ )2 (Yijk` − Ŷijk` )2
P P P
= +
où
[ + (βγ) 1 P
Ŷijk` = µ̂ + α̂i + β̂j + γ̂k + (αβ)ij
d + (αγ)
jk
d = Yijk• =
ik nijk ` Yijk`
1 P
Ȳ = n i,j,k,` Yijk`
Si le modèle M() est déterministe et si le modèle d’ANOVA est complet (toutes les
interactions prises en compte)

Eijk` = 0 , SCR = 0 , SCM = SCT .

Décomposition de la somme des carrés d’ANOVA :

SCM = SC (α) + SC (β) + SC (γ) + SC (αβ) + SC (βγ) + SC (αγ) + SC (αβγ) ,

effets principaux, interactions d’ordre 2, interaction d’ordre 3.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 29 / 66


Appui sur le modèle linéaire Analyse de la variance

Plan d’expérience factoriel

Si le modèle M() est déterministe, les répétitions ne sont pas nécessaires.


Pour garantir la pertinence de la décomposition des sommes des carrés, le plan doit
être orthogonal.
Solution : plan factoriel complet :
Choix d’un nombre de niveaux I pour discrétiser les variables,
appel de toutes les configurations possibles ⇒ I d appels à M().
Plan factoriel fractionnaire,
limiter les appels en utilisant des garantissant l’estimation des interactions jusqu’à un
certain ordre,
package R planor,
dans le modèle d’ANOVA sans toutes les interactions, SCR mesure l’importance des
interactions négligées.
qualité de l’ANOVA partiel :
SCM SCR
R2 = =1− .
SCT SCT

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 30 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 31 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 32 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Rappel des hypothèses

les variables d’entrées Xi sont indépendantes,


1 ≤ i ≤ n, Xi ∼ U [0, 1].

L’hypothèse Xi ∼ U [0, 1] n’est pas restrictive car


(−1)
Xi ∼ Fi (fonction de répartition), Fi (Xi ) ∼ U [0, 1] ,
(−1)
où Fi inverse généralisée de la fonction de répartition.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 33 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Espérance et variance conditionnelle

Y = M(X1 , . . . , Xi , . . . , Xd ) est-elle plus ou moins variable si Xi = xi fixée ?

Var(Y |Xi = xi ), méthode globale ⇒ E(Var(Y |Xi )) .

Si E(Var(Y |Xi )) est faible, fixer Xi réduit la variabilité de Y donc Xi est influente !

Théorème de la variance totale :

Var(Y ) = E(Var(Y |Xi )) + Var(E(Y |Xi )) ,

a contrario si Xi est influente, Var(E(Y |Xi )) est grande.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 34 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Indices de Sobol du premier ordre

Var(E(Y |Xi ))
Si =
Var(Y )
Généralisation
Pdes SRC,
si Y = β0 + i βi Xi ,
βi2 Var(Xi )
Si = SCRi2 = .
Var(Y )

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 35 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Décomposition de la variance fonctionnelle

Décomposition de la fonction (x1 , . . . , xd ) ∈ [0, 1]d 7→ Y = M(x1 , . . . , xd )


d
X X
M(x1 , . . . , xd ) = M0 + Mi (xi ) + Mi,j (xi , xj ) + . . . + M1,...,d (x1 , . . . , xd ) ,
i=1 1≤i,j≤d

Sous les contraintes


M0 constante,
∀1 ≤ r ≤ d, ∀1 ≤ i1 < i2 . . . < ir ≤ d, ∀1 ≤ s ≤ r ,
Z 1
Mi1 ,...,ir (xi1 , . . . , xir )dxis = 0 .
0

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 36 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Décomposition de la variance fonctionnelle

i.i.d.
X1 , . . . , Xd ∼ U [0, 1]

Xd X
Y = M(X1 , . . . , Xd ) = M0 + Mi (Xi )+ Mi,j (Xi , Xj )+. . .+M1,...,d (X1 , . . . , Xd ) ,
i=1 1≤i,j≤d

M0 = E(Y ),
Mi (Xi ) = E(Y |Xi ) − E(Y ),
i 6= j, Mi,j (Xi , Xj ) = E(Y |Xi , Xj ) − Mi (Xi ) − Mj (Xj ) − M0
...
X X
Var(Y ) = Var(Mi (Xi )) + Mi,j (Xi , Xj ) + · · · + VarM1,...,d (X1 , . . . , Xd ) .
i i6=j

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 37 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Définition des indices de Sobol

premier ordre :
Var(Mi (Xi )) E((E(Y |Xi ) − E(Y ))2 )
Si = =
Var(Y ) Var(Y )
second ordre
Var(Mi,j (Xi , Xj ))
Si,j =
Var(Y )

···
Propriété : X X
Si + Si,j + · · · + S1,...,d = 1
i i6=j

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 38 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Indices totaux

X
i = 1, . . . , d, S Ti = Su ,
u∈P({1,...,d},i∈u

en utilisant le théorème de la variance totale :

E(Var(Y |X(−i) )) Var(E(Y |X(−i) ))


S Ti = =1− ,
Var(Y ) Var(Y )
où X(−i) = X1 , . . . , Xi−1 , Xi+1 , . . . , Xd .

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 39 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Structuration des facteurs

indices par facteur

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 40 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Indices de Sobol

Structuration des facteurs

indices par groupe de facteurs

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 41 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 42 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Calcul / estimation des indices de Sobol

Calcul exact des indices de Sobol souvent impossible (intégrale de grande dimension,
forme non analytique du modèle...)

2 méthodes pour les approcher :


Échantillonnage de Monte-Carlo
Décomposition du modèle sur une base fonctionnelle...

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 43 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Méthode de Sobol

Méthode de Sobol, version Saltelli (2002) : quasi-répétitions


base : 2 échantillonnages Monte Carlo ou LHS, A et B, de taille N
simulations : sur N(d + 2) combinaisons des facteurs calculées à partir de A et B
estimation des indices par calcul vectoriel
évaluation de la précision par répétition ou bootstrap

Remarque : étude par simulations dans Saltelli et al., 2010

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 44 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Méthode Sobol-Saltelli2002 : plan d’expériences

 Monte-Carlo 
xA,1;1 . . . xA,1;d Combinaisons
A =  ... ... ...  → Ci =
xA,N;1 . . . xA,N;d  
xA,1;1 . . . xB,1;i . . . xA,1;d
 ... ... ... ... ... 
 Monte-Carlo  xA,N;1 . . . xB,N;i . . . xA,N;d
xB,1;1 . . . xB,1;d
B =  ... ... ...  pour i = 1, . . . , d
xB,N;1 . . . xB,N;d
=⇒ N × (2 + d) appels à M()

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 45 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Méthode sobol2002 : estimation

=⇒ estimation de STi à partir de A et Ci




xA,1;1 ... xA,1;i ... xA,1;d
 yA,1
M  . 
A =  ... ... ... ... ...  → YA = .. 
xA,N;1 ... xA,N;i ... xA,N;d yA,N
 

xA,1;1 ... xB,1;i ... xA,1;d
 yCi ,1
M .. 
Ci =  . . . ... ... ... ...  → YCi =

. 
xA,N;1 ... xB,N;i ... xA,N;d yCi ,N


xB,1;1 ... xB,1;i ... xB,1;d
 yB,1
M  . 
B =  ... ... ... ... ...  → YB = .. 
xB,N;1 ... xB,N;i ... xB,N;d yB,N

=⇒ estimation de Si à partir de B et Ci

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 46 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Estimation

N
1 X
V̂i = yB,k (yCi ,k − yA,k )
N
k=1

estime Var(E(Y |Xi ) − E(Y )),

N
1 X
V̂−(i) = yA,k (yA,k − yCi ,k )
N
k=1

estime Var(Y ) − Var(E(Y |X−(i) )) = E(Var(Y |X−(i) ))


Ainsi, pour V̂ un estimateur de la variance totale V (Y ), on a

V̂i
Ŝi = ,

V̂−(i)
ŜTi = .

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 47 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Méthode sobol2002 : précautions

Les indices obtenus par calcul numérique sont des estimations :


propriétés de non-biais et de convergence
mais risque d’imprécision suivant la qualité et la taille de l’échantillonnage
l’estimation de l’indice d’un facteur peut être négative (surtout pour des facteurs peu
influents)
l’estimation de l’indice total d’un facteur peut être inférieure à celle de son indice
principal
nécessité d’estimer la précision
→ par bootstrap

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 48 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Exemple

Y = M(X1 , . . . , X10 ) = X1 + 6 · X2 − 3 · X4 + X1 · X9 − X8 2

1.0
main effect

total effect
0.8
0.6
0.4
0.2
0.0

X1 X2 X3 X4 X5 X6 X7 X8 X9 X10

x <- sobol2002(model = fonctionmodele, X1, X2, nboot = 100)


print(x)
plot(x)

N = 500 ⇒ (d + 2) · N = 6000 appels.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 49 / 66


Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol Estimation des indices de Sobol

Indices du premier ordre et totaux

Y = M(X1 , . . . , X10 ) = X1 + 6 · X2 − 3 · X4 + X1 · X9 − X8 2

original bias std. error min. c.i. max. c.i.


X1 0.121 7.877e-03 4.944e-02 0.016 0.208
X2 0.428 3.386e-03 7.034e-02 0.263 0.557
X3 0.003 4.086e-05 2.558e-04 0.003 0.004
X4 0.099 7.491e-03 3.966e-02 0.008 0.159
X5 0.003 4.086e-05 2.558e-04 0.003 0.004
X6 0.003 4.086e-05 2.558e-04 0.003 0.004
X7 0.003 4.086e-05 2.558e-04 0.003 0.004
X8 0.007 8.993e-04 9.895e-03 -0.012 0.028
X9 0.057 2.220e-04 3.289e-02 -0.020 0.125
X10 0.003 4.086e-05 2.558e-04 0.003 0.004

original bias std. error min. c.i. max. c.i.


X1 0.223 -7.281e-03 5.323e-02 0.120 0.338
X2 0.475 4.522e-04 6.197e-02 0.342 0.602
X3 -0.003 -6.333e-06 2.743e-04 -0.004 -0.002
X4 0.091 -7.207e-03 3.680e-02 0.037 0.180
X5 -0.003 -6.333e-06 2.743e-04 -0.004 -0.002
X6 -0.003 -6.333e-06 2.743e-04 -0.004 -0.002
X7 -0.003 -6.333e-06 2.743e-04 -0.004 -0.002
X8 0.016 1.614e-03 1.175e-02 -0.010 0.036
X9 0.132 -4.366e-03 3.840e-02 0.067 0.228
X10 -0.003 -6.333e-06 2.743e-04 -0.004 -0.002

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 50 / 66


Conclusions et Extensions

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 51 / 66


Conclusions et Extensions

Conclusions
différentes méthodes à utiliser dans des contextes différents, conclusions plus ou
moins fortes,
choix d’un échantillonnage en adéquation avec la méthode retenue,

Extensions
Modèle coûteux, utilisation d’un métamodèle (approximation rapide),
Modèle à sorties multidimensionnelles : temporel, spatial, ...
dépendance entre les entrées.

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 52 / 66


Conclusions et Extensions

Références

Cukier R.I., Schaibly J.H. and Shuler K.E. (1975). Study of the sensitivity of coupled
reaction systems to uncertainties in rate coefficients. III. Analysis of the
approximations. The Journal of Chemical Physics, 63, 1140-1149. référence
historique sur FAST
Da Veiga S., Wahl F., Gamboa F. (2009). Local polynomial estimation for sensitivity
analysis for models with correlated inputs. Technometrics. méthode pour entrées
corrélées
Faivre R, Iooss B, Mahévas S, Makowski D, Monod H (éd.), 2013. Analyse de
sensibilité et exploration de modèles. Application aux sciences de la nature et de
l’environnement. Editions Quae, Versailles.
Ginot V., Gaba S., Beaudouin R., Aries F., Monod H. (2006). Combined use of local
and ANOVA-based global sensitivity analyses for the investigation of a stochastic
dynamic model : application to the case study of an individual-based model of a fish
population. Ecological Modelling 193, 479-491. application de méthodes d’AS
locales et globales
Hoeffding W. (1948). A class of statistics with asymptotically normal distribution.
Annals of Mathematical Statistics, 19, 293-325. référence historique sur la
décomposition d’une fonction de variables par espérances conditionnelles
Iooss B., Ribatet M. (2009). Global sensitivity analysis of computer models with
functional inputs. Reliability Engineering and System Safety, 94, 1194-1204. analyse
de sensibilité pour des facteurs d’entrée
P. Barbillon, H. Monod (AgroParisTech, INRA)
complexes
Analyse de sensibilité Formation ABIES 53 / 66
Conclusions et Extensions

Références

Ishigami T. and Homma T. (1989). An importance quantification technique in


uncertainty analysis for computer models. Japan Atomic Energy Research Institute
Report JAERI-M 89-111. article de référence sur les indices de sensibilité
Lamboni M., Makowski D., Lehuger S., Gabrielle B., Monod H. (2009). Multivariate
global sensitivity analysis for dynamic crop models. Fields Crop Research, 113,
312-320. analyse de sensibilité pour sorties multivariées
Lurette A., Touzeau S., Lamboni M. Monod H. (2009). Sensitivity analysis to
identify key parameters influencing Salmonella infection in a pig batch. Journal of
Theoretical Biology, 258, 43-52. analyse de sensibilité pour sorties multivariées
Makowski D., Naud C., Monod H., Jeuffroy M.-H., Barbottin A. (2006). Global
sensitivity analysis for calculating the contribution of genetic parameters to the
variance of crop model prediction. Reliability Engineering and System Safety91,
1142–1147. comparaison de méthodes par simulations sur un modèle
Monod h., Naud, C., Makowski, D. (2006). Uncertainty and sensitivity analysis for
crop models. In : Working with Dynamic Crop Models, Evaluation, Analysis,
Parameterization, and Applications (Wallach, D., Makowski, D., Jones, J.W. Eds),
Chapter 4, pp. 55-100. Elsevier : Amsterdam. revue sur les méthodes d’analyse de
sensibilité et d’incertitude

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 54 / 66


Conclusions et Extensions

Références

Petropoulos G., Wooster M.J., Carlson T.N. Kennedy M.C., Scholze M. (2009). A
global Bayesian sensitivity analysis of the 1d SimSphere soil-vegetation-atmospheric
transfer (SVAT) model using Gaussian model emulation. Ecological Modelling, x.
analyse de sensibilité via un méta-modèle de processus gaussien et une approche
bayésienne-
Pujol G., Iooss B. (2008). The sensitivity package, v1.4-0. Documentation d’un
package R accessible sur le Web.
Saltelli A., Tarantola S., and Chan K. (1999). A quantitative model-independent
method for global sensitivity analysis of model output. Technometrics, 41, 39–56.
introduction de FAST étendue
Saltelli A. (2002). Making best use of model evaluations to compute sensitivity
indices. Computer Physics Communications, 145, 280-297. amélioration de la
méthode de Sobol
Saltelli A., Ratto M., Andres T., Campolongo F., Cariboni J., Gatelli D., Saisana M.,
Tarantola S. (2008). Global Sensitivity Analysis. The Primer. Wiley. ouvrage de
synthèse le plus récent
Saltelli A., Annoni P., Azzini I., Campolongo F., Ratto M., Tarantola S. (2010).
Variance based sensitivity analysis of model output. Design and estimator for the
total sensitivity index. Computer Physics Communications, 181, 259-270.
comparaison par simulations de variantes de la méthode de Sobol-Saltelli
P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 55 / 66
Conclusions et Extensions

Références

Sobol, I.M. (1993). Sensitivity analysis for non-linear mathematical models.


Mathematical Modelling and Computer Experiments 1, 407–414. référence sur le
calcul des indices de sensibilité
Storlie C.B., Swiler L.P., Helton J.C., Sallaberry C.J. (2009). Implementation and
evaluation of nonparametric regression procedures for sensitivity analysis of
computationally demanding models. Reliability Engineering and System Safety, 94,
1735-1763. analyse de sensibilité via un méta-modèle non paramétrique
Sudret B. (2008). Global sensitivity analysis using polynomial chaos expansions.
Reliability Engineering and System Safety, 93, 964-979. analyse de sensibilité via un
méta-modèle
Tarantola S., Gatelli D., Mara T. (2006). Random balance designs for the estimation
of first order indices. Reliability Engineering and System Safety, 91, 717-727.
variante récente de la méthode FAST

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 56 / 66


Modèle MEV

Plan

1 Introduction

2 Méthode de Morris

3 Plan d’expérience

4 Appui sur le modèle linéaire


Coefficients de corrélation
Analyse de la variance

5 Analyse de la variance fonctionnelle (FANOVA), méthode de Sobol


Indices de Sobol
Estimation des indices de Sobol

6 Conclusions et Extensions

7 Modèle MEV

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 57 / 66


Modèle MEV

Exemple : un modèle d’évolution temporelle

Modèle de dynamique de population de Verhulst, on étudiera le modèle pour différentes


valeurs de t fixées :

K
Yt = M(K , Y 0, a) =
1 + (K /Y0 − 1) exp(−a · t)
Domaine de variation :
var borne inf borne sup
K 100 1000
Y0 1 40
a 0.05 0.2

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 58 / 66


Modèle MEV

Exemple : modèle d’évolution temporelle

400
300 K=400, Y0=20
ME
200
100

a=0.1

a=0.05

a=0.2

0 20 40 60 80 100
T

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 59 / 66


Modèle MEV

Méthode de Morris : Application au modèle MEV temps t = 5

K
Yt = M(K , Y 0, a) =
1 + (K /Y0 − 1) exp(−a · t)

a
16

Y0
14
12
σ
10
8
6
4

10 20 30 40 50 60 70
µ*

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 60 / 66


Modèle MEV

Méthode de Morris : Application au modèle MEV temps t = 30

K
Yt = M(K , Y 0, a) =
1 + (K /Y0 − 1) exp(−a · t)

K
350

a
300
250
σ
200
150

Y0

200 250 300


µ*

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 61 / 66


Modèle MEV

Méthode de Morris : Application au modèle MEV temps t = 80

K
Yt = M(K , Y 0, a) =
1 + (K /Y0 − 1) exp(−a · t)

a
340
320
300

K
σ
280
260
240

Y0
220

200 300 400 500 600


µ*

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 62 / 66


Modèle MEV

Application au modèle MEV : t = 5, 30, 80

K
Yt = M(K , Y 0, a) =
1 + (K /Y0 − 1) exp(−a · t)

SRC
2 K 0.10
t = 5, R = 0.91,
Y0 0.90
a 0.30
SRC
2 K 0.48
t = 30, R = 0.67,
Y0 0.38
a 0.54
SRC
2 K 0.84
t = 80, R = 0.80,
Y0 0.17
a 0.28

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 63 / 66


Modèle MEV

Méthode de Sobol : Application au modèle MEV temps t = 5

K
Yt = M(K , Y 0, a) =
1.0 1 + (K /Y0 − 1) exp(−a · t)

main effect

total effect
0.8
0.6
0.4
0.2
0.0

K Y0 a

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 64 / 66


Modèle MEV

Méthode de Sobol : Application au modèle MEV temps t = 30

K
Yt = M(K , Y 0, a) =
1.0 1 + (K /Y0 − 1) exp(−a · t)

main effect

total effect
0.8
0.6
0.4
0.2
0.0

K Y0 a

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 65 / 66


Modèle MEV

Méthode de Sobol : Application au modèle MEV temps t = 80

K
Yt = M(K , Y 0, a) =
1.0 1 + (K /Y0 − 1) exp(−a · t)

main effect

total effect
0.8
0.6
0.4
0.2
0.0

K Y0 a

P. Barbillon, H. Monod (AgroParisTech, INRA) Analyse de sensibilité Formation ABIES 66 / 66

Vous aimerez peut-être aussi