République Algerienne Démocratique Et

Populaire.
Ministère de l’Enseignement Superieure et de la
Recherche Scientifique.
Université des Science et de la Technologie
Houari Boumediene.
Faculté de Mathématique.
Département de Probabilités et Statistiques.

Estimation Non Paramétrique

L’estimateur de Nadaraya Watson
Réalisé par :
Master 2 SPA

1
Première Partie :
Supposons que l’on dispose de n-échantillon ((X1 , Y1 ), · · · , (Xn , Yn )) du couple
(X, Y ).
X un v.a de densité l(.),r(x) = E(Y | X = x) est la fonction de régression de
Y sur X , est le résidu conditionnelle  = Y − r(x).
Yi = r(Xi ) + i i = 1, · · · , n avec E() = 0 et var() = σ 2 .
On considère l’estimateur à noyau de la fonction de régression r() par :

Pn Xi − x
i=1 Yi K( )
r̂(x) = P h
n Xi − x
i=1 K( )
h
Pn Xi − x
si i=1 K( ) 6= 0 et r̂(x) = 0 sinon .
h
où K et un noyau intégrable sur R et h un paramètre de lissage > 0 .
1 Pn Xi − x
Soit ˆln = i=1 K( ) l’estimateur à noyau de la densité l
nh h
1 n Xi − x Yi − y
fˆ(x, y) =
P
K( )K( ) l’estimateur à noyau de la densité
nh2 i=1 h h
conjointe de X et Y .

Question 1 :
y fˆ(x, y)dy
R
On veut monter que l’estimateur de Nadaraya Watson de r et r̂(x) =
ˆln
on sait que r(x) = E(Y |X = x) = yf (y|x)dy = y f l(x)
R R (x,y)
dy
R fˆ(x,y)
Alors r̂(x) = y l̂ dy
n

Question 2 :
Supposons que l est connue et qu’elle est bornée .
On détermine le biais et la variance :

Le Biais :

Le traitement du biais est purement analytique et repose essentiellement

sur un développement de Taylor. Il nous faut supposer certaines conditions de
régularité sur les fonctions f et ln qui détermineront l’ordre du biais asympto-
tique en fonction du paramètre de lissage (hn ). L’estimateur NW se présente
sous la forme d’un quotient aléatoire, c’est pourquoi on utilise généralement
comme terme de centrage l’approximation suivante :
E[fˆ(x, y)]
Ẽ[r̂(x)] =
E[ˆln ]
Afin de justifier le choix du terme de centrage, Nadaraya (1989) a montré que
lorsque Y est borné et nhn −→ ∞ ,

E[r̂(x)] = Ẽ[r̂(x)] + O((nhn )−1 ,

2
lorsque E[Y 2 ] < ∞ et nh2n −→ ∞ ,

E[r̂(x)] = Ẽ[r̂(x)] + O((n1/2 hn )−1 ) .

En utilisant les propositions suivantes :
K(z)dz = 1 , R zK(z)dz = 0 , R z 2 K(z)dz < ∞.
R R R
R

Nous avons alors, lorsque hn −→ 0 et nhn −→ ∞ ,

h2n l0 (x) R 2
  
E[r̂(x)] − r(x) = r00 (x) + 2r0 (x) z K(z)dz (1 + o(1)) .
2 l(x) R

La variance :

Soit

1 R 2
σ 2 (x) = V [Y | X = x] = y fX,Y (x, y)dy − (r(x))2 .
l(x)
On suppose que E[Y 2 ] < ∞ . A chaque point de continuité x des fonctions r(x),
l(x) et σ 2 (x), tel que l(x) > 0, On a

σ 2 (x) R
 
1 2
V (r̂(x)) = × K (u)du (1 + o(1)) ,
nhn l(x) R
Où le terme o(1) tend vers 0 lorsque n −→ ∞ .
Si la fenêtre (hn ) satisfait les conditions hn −→ 0 et nhn −→ ∞ lorsque n −→ ∞
, la variance de l’estimateur NW tend vers zéro.

Question 3 :
On déduit le risque quadratique :
M SE(r̂(x)) = V (r̂(x)) + biais(r̂(x))2

Le biais :
h2n l0 (x) R 2
  
00 0
E[r̂(x)] − r(x) = r (x) + 2r (x) z K(z)dz (1 + o(1))
2 l(x) R
2
h
= n [b̄(x)](1 + o(1)) .
2
La variance : 
σ 2 (x) R

1 2
V (r̂(x)) = × K (u)du (1 + o(1))
nhn l(x) R
1
= [v̄(x)]2 (1 + o(1)) .
nhn
h4n h4
 
1 1
M SE(r̂(x)) = 2
[v̄(x)] + 2
[b̄(x)] (1 + o(1)) ∝ o( + n) .
nhn 4 nhn 4

3
Question 4 :
Déterminons la valeur h∗n , on minimise le MSE :
1 h4
On note : g(h) = [v̄(x)]2 + n [b̄(x)]2
nhn 4
0 1
La première dérivée : g (h) = hn [b̄(x)]2 −
3
[v̄(x)]2
nh2n
1/5
[v̄(x)]2

d’où hn = n−1/5
[b̄(x)]2
2
La deuxième dérivée : g 00 (h) = 3h2n [b̄(x)]2 + [v̄(x)]2 > 0.
nh3n
1/5
[v̄(x)]2

la deuxième dérivée est positive donc h∗n = n−1/5 ∝ o(n−1/5 ) .
[b̄(x)]2

Question 5 :
On déduit la vitesse de convergence optimale :
4

1 h n
M SE(r̂(x)) = [v̄(x)]2 + [b̄(x)]2 (1 + o(1))
nhn 4
en remplaçant par hn∗ on obtient :
1
= n−4/5 [v̄(x)2 ]4/5 [b̄(x)2 ]1/5 + n−4/5 [v̄(x)2 ]4/5 [b̄(x)2 ]1/5
4
1
= n−4/5 [v̄(x)2 ]4/5 [b̄(x)2 ]1/5 (1 + )
4
5
= [v̄(x)2 ]4/5 [b̄(x)2 ]1/5 n−4/5
4
∝ o(n−4/5 ) .

La vitesse de convergence optimale de r̂(x) vers r(x) obtenu par h∗n =

−1/5
o(n ) est d’ordre n−4/5 .

Deuxième Partie : Simulation

Question 1 :
On génère les échantillons nécessaires :
n = 100 (on peut essayer différentes tailles )
eps = rnorm(n,0,0.2)
X = rnorm(n,0,1)
r = function(x) (x*2)-1
Y = r(X) + eps
x = seq(-3, 3, l = 500)
Dans l’exécution on peut tester différentes taille d’échantillon .

4
Question 2 :
On trace r(x) et r̂(x) :

epsilon=N(0,0.04)
ε = N (0, 0.04) donc eps < − rnorm(n,0,0.2) :

n = 100 , h = 0.3 :

n = 300 , h = 0.02 :

5
epsilon=N(0,4)
ε = N (0, 4) donc eps < − rnorm(n,0,2) :

n = 100 , h = 0.3 :

n = 300 , h = 0.02 :

Question 3 :
Interprétation :
Quand on augmente le nombre d’observations n. On remarque que l’infor-
mation de l’estimation est presque là même avec l’information théorique. En
comparant les figures 1 et 2 (pour chaque epsilons) ; on voit clairement que
l’allure de l’estimateur se rapproche de l’allure théorique quand le nombre d’ob-
servations n augmente , le bandwidth h diminue et la variance du résidu ε
diminue (plus petite) .

6
Question 4 :
On trace r(x) et r̂(x) en prenant h∗n comme valeur de h :

epsilon=N(0,0.04)
ε = N (0, 0.04) donc eps < − rnorm(n,0,0.2) :

n = 100 , h∗n = n−1/5 = 0.39 :

n = 300 , h∗n = n−1/5 = 0.31 :

7
On teste pour c = 0.1 ∗ n−1/5 :

n = 100 , h∗n = 0.1 ∗ n−1/5 = 0.039 :

n = 300 , h∗n = 0.1 ∗ n−1/5 = 0.031 :

8
epsilon=N(0,4)
ε = N (0, 4) donc eps < − rnorm(n,0,2) :

n = 100 , h∗n = n−1/5 = 0.39 :

n = 300 , h∗n = n−1/5 = 0.31 :

On teste pour c = 0.1 ∗ n−1/5 :

n = 100 , h∗n = 0.1 ∗ n−1/5 = 0.039 :

9
 n = 300 , h∗n = 0.1 ∗ n−1/5 = 0.031 :

Interprétation :
Les graphes montrent que lorsque n augmente et la valeur de la constante c
est petite , le h∗n diminue et l’estimateur de Nadaraya-Watson diminue l’erreur
quadratique donc la courbe de l’estimateur de Nadaraya-Watson est presque
une droite.

Question 5 :
On compare les résultats pour différentes valeurs de h :

epsilon=N(0,0.04)
ε = N (0, 0.04) donc eps < − rnorm(n,0,0.2) :

n = 100 , h∗n = n−1/5 = 0.39 , h = 0.3 :

10
 n = 300 , h∗n = n−1/5 = 0.31 , h = 0.02 :

n = 10000 , h∗n = n−1/5 = 0.15 , h = 0.2

On teste pour c = 0.1 ∗ n−1/5 :

n = 100 , h∗n = 0.1 ∗ n−1/5 = 0.039 , h = 0.3 :

11
 n = 300 , h∗n = 0.1 ∗ n−1/5 = 0.031 , h = 0.02 :

n = 10000 , h∗n = 0.1 ∗ n−1/5 = 0.015 , h = 0.2

epsilon=N(0,4)
ε = N (0, 4) donc eps < − rnorm(n,0,2) :

n = 100 , h∗n = n−1/5 = 0.39 , h = 0.3 :

12
n = 300 , h∗n = n−1/5 = 0.31 , h = 0.02 :

n = 10000 , h∗n = n−1/5 = 0.15 , h = 0.2 :

On teste pour c = 0.1 ∗ n−1/5 :

n = 100 , h∗n = 0.1 ∗ n−1/5 = 0.039 , h = 0.3 :

13
 n = 300 , h∗n = 0.1 ∗ n−1/5 = 0.031 , h = 0.02 :

n = 10000 , h∗n = 0.1 ∗ n−1/5 = 0.015 , h = 0.2 :

Interprétation :
Les résultats obtenus montrent que l’information de l’estimateur par la
méthode NadarayaWatson dépend de la taille n de l’échantillon principalement
et le bandwidth h la constante c et la variance du résidu . Lorsque n augmente
et c et var() sont très petites le h∗n tend vers zéro , la courbe de l’estimateur
de Nadaraya-Watson obtenu est proche de la courbe théorique et l’interpolation
des points (Xi , Yi ),i = 1, · · · , n .

Remarque : La fonction qui calcule le noyau uniforme est dans le

script qui contient le code R .

14