Vous êtes sur la page 1sur 107

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

STATISTIQUES AVEC LE LOGICIEL R

M. BOUTAHAR

FST-Fs Fvrier 2013

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

PLAN:
Chapitre 1: Simulation des lois de probabilits Chapitre 2: Estimation paramtrique Chapitre 3: Estimation non-paramtrique

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Simulation des lois de probabilits


Les distributions courantes sont programmes: Normale, Uniforme, Weibull... Plusieurs fonctions pour chaque distribution. Par exemple, pour la loi normale :

dnorm() : pnorm() : qnorm() : rnorm() :

fonction densit (density) fonction de rpartition (probability) fonction quantile (quantile) gnrateur alatoire (random)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Distribution beta binomial Cauchy chi-squared exponential F (Fisher) gamma geometric hypergeometric log-normal logistic negative normal Poisson Student's t uniform Weibull

Nom sur R beta binom cauchy chisq exp f gamma geom hyper lnorm logis binomial norm pois t unif weibull

Arguments shape1, shape2, ncp size, prob location, scale df, ncp rate df1, df2, ncp shape, scale prob m, n, k meanlog, sdlog location, scale nbinom size, prob mean, sd lambda df, ncp min, max shape, scale

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

1. Loi de Bernoulli:
Denition 1 On dit que 0

X B (p), E = { , P (X = ) = p .
si 1

suit une loi de Bernoulli de paramtre 0 1} avec 1)

P (X =

, et

, not

Programme sur R B= table(Ni = stats::rbinom(100,1,0.25)) r = barplot(B, col=rainbow(20))

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

2. Loi de Poisson
Denition 2 On dit que

positif.

P(),

si

suit une loi de Poisson de paramtre , not k = N et ( = ) = ! , est un rel k

PX k e

Programme sur R P = table(Ni = stats::rpois(100, lambda=5) r = barplot(P, col=rainbow(20))

summary(Ni)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Min. 1.00

1st Qu. 3.00

Median 5.00

Mean 4.93

3rd Qu. 7.00

Max. 12.00

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

3. Loi Uniforme
Denition 3 On dit que

X X U [a, b],

suit une loi uniforme sur si elle admet la densit

[ , ],

ab
si

not

f (x ) = b a 1 a b (x ) =
1

1 b a
0

x [a , b ]

[ , ]

(1)

sinon.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R x = runif(400) gnre une loi uniforme sur [0,1] summary(x)

Min. Max. 0.007657 0.9983

1st Qu.

Median

Mean

3rd Qu.

0.2617

0.5306

0.5135

0.7578

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R boxplot(x,col="green")

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R x= runif(400) plot(x,type="l", col="blue", lwd=3) abline(h=0.5, col="red", lwd=3) hist(x,col="blue")

on obtient les deux graphiques:

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

4. Loi Normale
Denition 4 On dit que variance

2,

suit une loi de Gauss de moyenne

not

X N (m , ) f (x ) = e
2
1

, si elle admet la densit


(x m )2 2 2

et de

, R

(2)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R x = rnorm(100,0,1) gnre une suite normale de moyenne 0 et de variance 1. summary(x)

Min. Max. -2.4020 2.6830

1st Qu.

Median

Mean

3rd Qu.

-0.7267

-0.2680

-0.1827

0.5006

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R boxplot(x,col="green")

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R x= rnorm(400,0,1) plot(x,type="l", col="blue", lwd=3) abline(h=0, col="red", lwd=3) hist(x,col="blue")

on obtient les deux graphiques

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

5. Loi Exponentielle
Denition 5 On dit que not

X X E ()

suit une loi exponentielle de paramtre , si elle admet la densit

> 0,

f (x ) =

si

0 (3)

sinon.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R x = rexp(400,1) gnre une loi exponentielle de moyenne 1. summary(x)

Min. Max. 0.004039 1.354000

1st Qu.

Median

Mean

3rd Qu.

0.290900 7.277000

0.701300

0.974800

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Programme sur R x= rexp(400,1) plot(x,type="l", col="blue", lwd=3) abline(h=1, col="red", lwd=3) hist(x,col="blue")

on obtient les deux graphiques

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation paramtrique
Supposons que l'on veut estimer suite

( i , 1 ).

i n

en se basant sur la

Denition 6 On appelle

= (

F X , ..., Xn) F
1
, o

Estimateur de toute statistique


est une fonction de

Rn

dans

R.

On dnit le biais et l'erreur quadratique de l'estimateur respectivement par

Biais = E () , EQ = E | | EQ = var () + Biais


2
M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

espace

X = (X , ..., Xn) QQ Q (E , E).


Soit

Denition 7

un chantillon de taille

, avec

est une famille de lois de probabilits sur un

suivant une loi

On dnit la

loi empirique
1

de

par

Pn = n
o

n k =1

(4)

est la mesure de Dirac au point

Xk .

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

X = (X , ..., Xn) n QQ Pn Pn (E , E) n k x , xk E , k = , ..., n. n F Q Pn empirique F (Q ) F (Pn).


Soit

Denition 8

un chantillon de taille .

suivant une loi

, et de loi empirique

Soit

forme

l'ensemble des mesures de probabilits sur

de la

=1

Soit

une fonctionnelle dnie sur de

L'estimateur

est la v.a.r.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimateur d'une loi support ni

On suppose qu'il existe

Q ({xk }) = qk = Fk (Q ) = Q ({xk }) = P (X = xk ). qk xk
r k =1
1 et on veut estimer

{ 1 , ..., r } E
1

tel que

L'estimateur empirique de observe de la valeur .

n'est autre que la frquence

qk = Fk (Pn) = n

n j =1

1{X =x } .
j k

Biais = , EQ = var (k ) = qk ( qk )/n. q


0 1
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimateurs des moments

On suppose que d'ordre

empirique de

mk = Fk (Q ) = E (X k ) = x k dQ (x ), mk
1
est donn par 1

( , E) = (R, B)

et que

Xi

a son moment

ni, et on souhaite l'estimer. donc l'estimateur

mk = Fk (Pn) = n Xjk .
j =1

Biais = , EQ = var (mk ) = var (X k )/n.


0

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

En particulier les estimateurs empiriques de la moyenne la variance

m m
2 1

2 1 de

1 et

1 sont respectivement
1

m = X n = n Xj
j =1
et

m m = n Xj (X n) = n (Xj X n) . j j
2 2 1
1

=1

=1

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Soit

X = (X , ..., Xn)
1

un chantillon de taille

de fonction de rpartition

Si Si

Q Q

est discrte posons

est continue posons

La vraisemblance de

X n L(, X ) = f (Xi ).
est dnie par

F (x ). f (x ) = Q ( x ) = P (X = x ) f (x ) = F xx .
( )

suivant une loi

i =1

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

L'estimateur du maximum de vraisemblance

est tel que

L(, X ) =
n i =1

n
sup

i =1

f (Xi )

log (

f Xi )

= 0.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

1. Loi de Bernoulli :

X = (X , ..., Xn) B (p)


1
Bernoulli

un chantillon de taille

de paramtre inconnu

suivant une loi de

fp (x ) = Q ({x }) = P (X = x ) = exp(x (p/( p))+ n L(p, X ) = (fp (Xi )

log 1 log log

log(1

p))),

log

n ( p) + (p/( p)) Xi i n L(p, X ) = = p = X n = Xi . p ni


=
log 1 log 1

i =1

=1

=1

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

1. Loi de Gauss :

X = (X , ..., Xn) N (m, ) m


1 2
, et log

un chantillon de taille

suivant une loi

sont inconnues.

La log-vraisemblance est donne par

L( m , , X ) = n
2

log ( , , ) 1 ( i ) = 0; = 2 i =1 n log (, 2 , ) 1 ( i )2 = 0; = 2 + 4 2 2 2 i =1

Lm X m L X n
2 2
M. BOUTAHAR

log

log 2

1 2 2

n i =1

( i

X m)

X m

X m
2

m = X n, = n (Xi X n) . i
1

=1

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Matrice d'information de Fisher


Denition 9 On appelle

Score

la quantit

S ()

log (, ) .

L X

(5)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Denition 10 On appelle

I ()

matrice d'information de Fisher la quantit


= = =

E (S () t S ()) L L E (, X ) (, X ) i j L(, X ) E .

log log

1i ,j d

log

i j

1i ,j d

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

1. Loi de Gauss :

X = (X , ..., Xn) N (m, ) = (m, ). S () = n


1 2
,

un chantillon de taille

suivant une loi

2 2

n i =1 ( i n 1 i =1 ( i 2 4

X m) X m)
6

2 log (, ) =

L X

(mX n ) 4

n 2 +
4

(mX n ) 4

n i =1 ( i

X m)

I ()

2 0

2 4

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Theorem 11

(Borne de Cramer-Rao) On suppose que: i. L(, X ) > P .p.s . ii. L(, X ) est presque srement direntiable sur et que le vecteur Score S () est centr et de carr intgrable pour P . iii. I () est inversible. Alors pour toute variable alatoire T de carr P -intgrable vriant E (L(, X )T ) = E ( L(, X )T ), on a var (T ) BCR = t ( E (T ))I ()( E (T )).
0

(6)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Corollaire 12

Si T est un estimateur sans biais de g () R et si g est direntiable, alors var (T ) BCR = t ( g ())I ()( g ()).
1

(7)

Denition 13 Si l'estimateur

Cramer-Rao (i.e il y a galit dans (7), alors il est dit


M. BOUTAHAR

sans biais de

g () R

atteint la borne de

ecace.

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Ecacit du maximum de vraisemblance de la moyenne pour un chantillon Gaussien


1. Ecacit de

m:

var (m) = var (X n) = n , g () = m, g () = ( , ) , BCR = t ( g ())I ()( g ()) = n .


2
1 0

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Modle de rgression linaire:

Xt , t =

1, ...,

vrient l'quation de rgression suivante:

Xt

Les

= 1 t ,1 + .... + p t ,p + t , = 1, ..., .
sont les variables explicatives et sont connues, est le vecteur des paramtres inconnus,

u t

(8)

= t (1 , ..., p ) t

Zt k
,

est un bruit blanc c'est dire une suite de variables

alatoires relles telles que:

(H.1):

E (ut ) =

0,

,
STATISTIQUES AVEC LE LOGICIEL R

t n

M. BOUTAHAR

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

(H.2): (

E ut us ) =

2
0

si si

On peut crire le modle de rgression (8) sous la forme vectorielle suivante:

t=s t=s

, 2

inconnue.

Z=(

1t n,1j p est une matrice de taille(n,p) connue, t p est un v.a. centr rduit, = (1 , ..., p ) R , et R+
,
sont inconnus.

Zt j )

X = Z + U , rang (Z ) = p.
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

(9)

On suppose que

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

On considre le modle de rgression (9), l'estimateur des moindres carrs minimisation :

de

est solution du problme de

= arg min ||

X Z|| ,
2

et dont la solution est donne par

= ( t ZZ)1 t Z

(10)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Theorem 14

X X = np est un estimateur sans biais de la variance inconnue , avec X = Z


2 2 2

(11)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Theorem 15

i) E () = ( estimateur sans biais ) ii) Var() = ( t ZZ) ( matrice de covariance ).


2
1
Hypothse de normalit (consquence) En plus des hypothses hypothse

(H.3) de normalit du vecteur alatoire

(H.1) et (H.2) on ajoute une

u N ( , In).
0

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Theorem 16

i) N , ( t ZZ) , ii) n p (n p), iii) et sont des statistiques indpendantes.


2
1 ( ) 2 2

Corollary 17

a t n p j p; ajj est le j ieme lment diagonal de ( t ZZ) .


j j ( ), 2 jj
1

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Construction des tests d'hypothses au seuil :

H
o

: j = 0

rgion critique

2 jj

a t

1/2 (

n p)

(12)

Student

t (n p) (n p )
1

dsigne le quantile d'ordre 1 degrs de libert.

de la loi de

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Construction de rgion de conance (au niveau ) pour j , (1 ):

j p

2 jj

a t

1/2 (

n p)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Prvision

Comment, l'instant disposant de

Zn

+1

t(

, prvoir la ralisation de

Les hypothses sont

Xn = t Zn + un , E ( un ) = , E ( un ut ) = , t n .
+1 +1 +1 +1 +1
0 0 1
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

(H.1), (H.2) et

Zn

+1,1 , ...,

Zn

Xn

+1

+1,p ) ?

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

On a deux incertitudes: i) Celle due

un

+1 (perturbation alatoire),

ii) Celle due au fait que

est inconnu.

Prvision optimale

Xn

+1

= t n+1 . (1 )
est donn par

L'intervalle de conance au niveau

Xn

+1

1/2 (

n p)

+ t n+1 ( t ZZ)1 n+1 .

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Exemples de modlisation. 1. Modle linaire simple. Programme sur R

data(cars), plot(cars)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

On cherche la relation qui lie la variable dist (distance de

freinage) et la variable speed (vitesse). On propose le modle

distt =

+ 2

speedt + ut ,

Programme sur R t

<

lm(cars$dist ~ cars$speed), summary(t)

Call:lm(formula = cars$dist ~cars$speed) Residuals: Min 1Q Median 3Q Max -29.069 -9.525 -2.272 9.215 43.201
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Coecients: Estimate Std. Error t value Pr (> |t |) (Intercept) -17.5791 6.7584 -2.601 0.0123 * cars$speed 3.9324 0.4155 9.464 1.49e-12 ***  Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 Residual standard error: 15.38 on 48 degrees of freedom Multiple R-Squared: 0.6511, Adjusted R-squared: 0.6438 F-statistic: 89.57 on 1 and 48 DF, p-value: 1.490e-12
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Interprtation des rsultats:

Residuals:

En premier lieu R ache les statistiques

descriptives des rsidus de la rgression.

Coecients: Std. Error t. value Pr (> |t |)

Les estimations

1 =-17.5791, 2 =3.9324.

dsigne l'cart type estim.

est la statistique de Student. est la p-value associe la statistique de Student t

value, une valeur plus petite que 0.01 nous conduit au rejet de H0 c'est dire que le paramtre est signicatif. Pour notre modle le paramtre

n'est pas signicatif alors que

l'est.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Residual standard error Multiple R-Squared


: Denition 18

||u ||2 n p .

Lorsqu'il y'a une constante dans le modle de rgression multiple, on appelle coecient de dtermination le scalaire

R
o

X=n
1

n t =1

Xt

X X n X X n

2 2

et

n = t (1, ..., 1),

vecteur

( , 1).

Plus

est proche de 1, plus l'ajustement est meilleur.


M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Adjusted R-squared Ra =
:

(1

R )nnp
2 2

1 , o 1

nombre de paramtres sans compter la constante.

p Ra

est le ne croit

que si la nouvelle variable explicative ajoute amliore

F-statistic F=
On a sous

l'ajustement, elle peut tre ngative, et

Ra R .
2

dsigne la statistique de Fisher qui correspond

l'hypothse nulle

||u ||2 ||u ||2 avec ||u ||2

u:

: 1 = ... = p = 0;
rsidus sous

0 la statistique

H u:
0 et

elle est donne par rsidus sous

suit une loi de Fisher

H F (p, n p)
1.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Programme sur R

t1 < lm(cars$dist ~cars$speed-1), summary(t1) Call: lm(formula = cars$dist ~cars$speed -1) Residuals: Min 1Q Median 3Q Max -26.183 -12.637 -5.455 4.590 50.181
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Coecients:

Estimation non-paramtrique

Le

Estimate Std. Error t value Pr (> |t |) cars$speed 2.9091 0.1414 20.58 < 2e-16 *** Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 Residual standard error: 16.26 on 49 degrees of freedom Multiple R-Squared: 0.8963, Adjusted R-squared: 0.8942 F-statistic: 423.5 on 1 and 49 DF, p-value: < . e . R
2 2 16

s'approche de 1, donc l'ajustement est meilleur.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Programme sur R plot(cars,col="blue"), z abline(z,col="red")

<

lm(dist ~ speed, data = cars),

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Analyse des rsidus de la rgression

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Exemple 2. Rgression multiple: On considre l'volution de l'ozone en fonction de la temprature, du vent et de la radiation solaire.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Programme sur R

t3 < lm(air$Ozone ~ air$Temp + air$wind + air$Solar.R) summary(t3)


Call: lm(formula = air$Ozone air$Solar.R) Residuals: Min -40.485 1Q Median -3.551 3Q 10.097 Max 95.619 air$Temp + air$Wind +

-14.219

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Coecients: Estimate (Intercept) -64.34208 air$Temp air$Wind *** air$Solar.R 0.05982 0.02319 2.580 1.65209 -3.33359 Std. Error 23.05472 0.25353 0.65441 t value -2.791 6.516 -5.094

Pr (>| t |)
0.00623 ** 2.42e-09 *** 1.52e-06

0.01124 *

Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 21.18 on 107 degrees of freedom (42 observations deleted due to missingness) Multiple R-squared: 0.6059, Adjusted R-squared: 0.5948 F-statistic: 54.83 on 3 and 107 DF, p-value:
M. BOUTAHAR

< 2.2 16

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Les rsidus de la rgression sont donns par

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Estimation : Thorie asymptotique

n = (
taille

F X , ..., Xn)
1

est un estimateur de

. n
lorsque la

But : Dcrire le comportement asymptotique de

tends vers

+.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Denition 19 On dit que si

est un estimateur

fortement consistant de
:
(13)

converge presque srement vers

p .s n .
Denition 20 On dit que si

est un estimateur

faiblement consistant de
:
(14)

converge en probabilit vers

P n .

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Theorem 21

Si n estun estimateurde , posons bn = E (n) , (i.e. le biais de n), vn = var(n); on suppose que i. bn ( c'est dire n est asymptotiquement sans biais), ii. vn . Alors n est un estimateur consistant de .
0 0

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

On suppose que

( i)

est une suite i.i.d suivant une loi

N( ,

5 1)

Figure: Evolution de la moyenne empirique

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

On s'intresse ici tudier la distribution asymptotique de l'estimateur

lorsque

tends vers l'inni.

Denition 22 Supposons qu'il existe deux suites relles telles que

mn()

et

n () > 0

n n () L n ()
on dit que

N( ,

0 1);

(15)

n est asymptotiquement normal. limn n () est l'esprance asymptotique de n , 2 n . limn n () est la variance asymptotique de

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

On suppose que i. L'application f (x ) est deux fois continment f (x ) est continue direntiable sur , .p.s . et en uniformment par rapport x . ii. E ( f (X )) = , E ( f (X )/f (X )) = , iii. < I () = E (( f (X )) ) < . Alors nI ()(n ) N ( , ).
log

Theorem 23

2 log 2

log 0 1

log

2 2

0 1

(16)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Exemple 1.

log(

fp (X ) = n ( p) + (p/( p))X , fp (X ) = p( p) (X p), p I (p) = p ( p) E ((X p) ) = p( p) ,


1
log 1 log 1

Loi de Bernoulli

log

2 1

donc

p( p) p p
1 On a aussi

n n

( n )

N( ,

0 1).

pn( pn) (pn p)


1
M. BOUTAHAR

N( ,

0 1).

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi

Exemple 2.

Normalit asymptotique du maximum de vraisemblance de la moyenne pour un chantillon Gaussien


On suppose que

=
1

log (
donc

f X )=X

, 1 () = ((

E X

)2 ) = 2 .

n (mn m) n (mn m)
2
M. BOUTAHAR

N( ,

0 1).

On a aussi

N( ,

0 1).

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Estimation non-paramtrique

But : Estimer la loi des observations

1. Estimation par histogramme

X , ..., Xn.
1 1

f (x ) =

k i =1

i 1[a ,a + [ ( ),
i i

x a

< ... < k +1 .

(17)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

k i =1 i ( i +1

i) = 1

et

i ( i +1 i ) = F (
1

P X [ai , ai

+1 [).

i ( i +1 i ) =

est un estimateur convergent de

n j a a (Xj ) PF (X [ai , ai [).


1[ i ,
i

+1[

=1

+1

hist(x)$density donne les valeurs des

et hist(x)$breaks les valeurs des

ai .
STATISTIQUES AVEC LE LOGICIEL R

M. BOUTAHAR

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Programme sur R x

<

rnorm(500)

hist(x,breaks=50,col="blue")

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Inconvnients: L'estimateur dpend du choix de la partition

( i ),

souvent

construite en fonction des donnes (comme dans R). Problme des extrmits

a ak
1 et

+1 : ils ne peuvent pas tre

innis mais doivent susamment approcher le support de f.

mais...

k (ai ) ai ai
et

doivent dpendre de

pour que

converge vers

+1

ne doit pas dcrotre trop vite vers 0 pour

que l'estimation soit convergente : il faut susamment d'observations par intervalle

[ i , i +1 [

aa

L'histogramme est une fonction discontinue.


M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

2.Estimateur noyau
Au lieu de considrer une approximation uniforme autour de chaque

Xi ,

on peut utiliser une fonction plus lisse :

f (x ) = nh K x Xi h i
1

(18)

=1

est un noyau (par exemple une densit de probabilit) et

h un facteur d'chelle.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Programme sur R par(bg="lightblue") x=rnorm(500) plot(density(x), col="red", lwd=3)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Sur R on peut utiliser les noyaux suivants 1) Le noyau normal [kernel=gaussian ou g] 2) Le noyau d'Epanechnikov [kernel=epanechnikov ou e]

K (y ) = C ( y )
1

2 2

1[1,1] (

y)

3) Le noyau triangulaire [kernel=triangular ou t]

K (y ) = ( + y )I
1 "optcosine".

1[1,0] (

y) + ( y)
1

1[0,1] (

y ).

4) Les noyaux "rectangular", "biweight", "cosine",

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Exemple: Pour la srie simule prcdemment on obtient

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Le choix de la fentre h

est crucial:

Si h grand, un grand nombre des l'estimation de

f (x ), Xi

Xi

contribuent

on obtient un estimateur avec un

biais trs grand et une variance trs petite. Si h petit, peu de contribuent l'estimation de

f (x ),

on obtient un estimateur avec un biais trs petit et une variance trs grande

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Le choix

hn = n

1/5

(en

bas droite) semble tre meilleur.


STATISTIQUES AVEC LE LOGICIEL R

M. BOUTAHAR

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Fentre optimale En tudiant l'erreur moyenne intgre

d (f , f ) = E
De la dcomposition

f (x ) f (x ) dx ,
2 2

on peut trouver un choix optimal pour la fentre h.

d (f , f ) =

f (x ) E f (x ) dx +

var

f (x )dx
2

=(biais^2+var)

et les approximations

f (x ) E f (x ) f (x ) hn
2
M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

exp

( i )2
2 2

X x hn
2

f (x ) hn,
2

on en dduit que le biais est de l'ordre de

f (x ) hn,
2 4
et que le terme de variance est approximativement Par consquent, l'erreur tend vers 0 quand

hn nhn

nh

1
n

tend vers l'inni si

tend vers 0 et tend vers l'inni.


M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

La fentre optimale est donne par

hopt = n (f (x )) dx
2

1/5

hopt

dpend de la drive seconde qui elle mme inconnue.

Pour rsoudre ce problme il existe plusieurs mthodes: La fentre optimale base sur "rule of thumb", avec le noyau de Gauss, a la forme

hopt =
o

0.9 min(,

75 1.34 1/5

est l'cart-type estim et

q n

25 )

25 et

75 sont les quantiles

25% et 75% estims (Silverman (1986, page 48, eqn (3.31)).


M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Sur R il y a les mthodes suivantes: -bw.nrd0 implmente la "rule-of-thumb" de Silverman. -bw.nrd une variation de la prcdente, Scott (1992). -bw.ucv et bw.bcv utilisent la validation croise non biaise et biaise respectivement. -bw.SJ implmente la mthode de Sheather & Jones (1991).

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Exemple 1: On considre la srie des poids des poulets

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Exemple 2: On considre la srie des poids des souris

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Exemple 3: On considre la srie des prcipitations annuelles "precip", la densit estime avec les 6 choix possibles est donne par

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Exemple 4. La distribution des salaires annuels dans une population contenant d'individus

Ni

n=

14890442 actifs, ( le nombre

touchant le salaire

si

exprim en euros) est

distribue comme suit:

si

(en euro )

10000 20000 30000 40000 50000 100000 200000 500000 1000000


M. BOUTAHAR

Ni

11583265 2045372 683240 349740 183280 36250 7975 1015 305


STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit


M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Le modle (8) exprime le variable

Xt

comme une

combinaison linaire en fonction des variables explicatives

Zt j

,.

Le modle (8) est incapable de dcrire une relation non

linaire entre

Xt Zt j
et

, si celle-ci existe.

La rgression non-paramtrique ore l'avantage d'tre plus

exible: ce sont les donnes qui dterminent la relation fonctionnelle entre

Xt Zt j .
et

Xt = r (Zt
o

,1 , ...,

Z t p ) + ut ,
,

t n

(19)

ut

est un bruit blanc.

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

La fonction r peut tre estime par plusieurs mthodes: 1) le rssogramme 2) la mthode des k voisins les plus proches 3) la mthode base sur les splines 4) la mthode du noyau entre autre. On se contente ici de prsenter la mthode du noyau.

Estimateur noyau
Posons

( i , i )1i n

XZ

Zi = (Zi

,1 , ...,

Zi p ).
,

On dispose d'un chantillon

et on cherche identier la fonction

telle que

Xi = r (Zi ) + ui ,
M. BOUTAHAR

i n

(20)

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

7.Rgression non-paramtrique

Watson (1964) et Nadaraya (1964) ont propos, indpendamment et simultanment, l'estimateur

r (x ) =

n i

=1
n i

=1

X K ((x Z )/h ) K ((x Z )/h )


i i n i n

si sinon

n i =1

K ((x Zi )/hn) =

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Collomb (1976 ou 1977a) donne une valuation asymptotique du biais et de la variance: que:

deux fonctions

a(x ) b(x )
et

telles

f (x ) E f (x ) hn a(x ), E (f (x ) E f (x )) nhnp b(x )


2
2

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Ces formules permettent de montrer que

h R+
n

min

E f (x ) f (x ))

cn

4/(p +4)

Comme pour l'estimation de la densit le choix de la fentre

hn

est crucial.

Sur R la fonction glkerns permet l'estimation de la fonction et ses drives avec un choix adaptatif pour la fentre

hn .

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

Exemple: On reprend les donnes sur la distance de freinage: Programme sur R data(cars) library(lokern) plot(dist~speed, data = cars, main = "Fentre adaptative") t13

<

glkerns(cars$speed, cars$dist)

lines(t13$x.out,t13$est, col=2)

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique

on obtient

M. BOUTAHAR

STATISTIQUES AVEC LE LOGICIEL R