Introduction

La manifestation du hasard est décri te mathématiquement par des lois de

probabilités. En statistique, la loi régissant le phénomène que l 'on observe est
inconnue, et on cherche à retrouver des caractéristiques de cette loi à partir des
observations effectuées Dans le cadre de l estimation paramétrique on suppose
que la loi recherchée a une forme particulière (par exemple une loi normale) . Il
suffit d'en estimer quelques paramètres (moyenne, variance. . . ) pour la décrire
complètement. mais dans l estimation non paramétrique Si l 'on n'a pas d'a
priori sur la forme de la loi inconnue, on cherche à estimer des fonctions, et non
plus des paramètres C'est l 'objet de l estimation non- paramétrique, qui
nécessite moins de connaissances préalables de la loi . En contrepartie, i l faut
plus de données pour obtenir une précision d'estimation équivalente à celle du
cadre paramétrique
L’estimation parametrique possede plusieurs avantages :
 Si le modele possede peu de parametres (ex : les parametres d’une
distribution normale sont la moyenne et la matrice de covariance),
une bonne estimation peu etre faite avec un nombre reduit
d’exemples.
 Permet de decrire une classe ou un echantillon de donnees a l’aide
d’un petit nombre de parametres (compression de l’information).
 Une fois l’estimation des parametres terminee, la prediction
(classification ou regression) est tres rapide

Malgre les avantages de l’estimation parametrique, celle-ci peut donner de

tres mauvais resultats si on suppose un mauvais modele pour la distribution
sous-jacente. Par exemple, si on suppose que l’echantillon est de distribution
normale (unimodale), alors que la distribution en fait multimodale

Dans les approches parametriques, les exemples d’entrainement sont

employes pour apprendre les parametres du modele. Une fois l’entrainement
termine, toute l’information necessaire a la prediction de nouveaux exemples
est contenue dans le modele, et on peut ainsi se debarrasser des exemples
d’entrainement.
En revanche, dans l’apprentissage non-parametrique, ce sont les exemples
d’entrainement qui sont employes directement lors de la prediction. Il faut
donc conserver ces exemples, ce qui exige de la memoire supplementaire et
ralentit la prediction
Les methodes non-parametriques d’estimation de densite sont plus sensibles a
la dimensiona- lite que les methodes parametriques

Estimation paramétrique
Soit ( Ω ,Á, P) un espace probabilisé et X une v.a. de ( Ω ,Á) dans ( E ,e ) La
donnée d’un modèle statistique c’est la donnée d’une famille de probabilités
sur ( Ε ,e ) , {Pq , q Î Q} Le modèle étant donné, on suppose alors que la loi de
X appartient au modèle {Pq , q Î Q}

DÉFINITION 1 - On dit que le modèle {Pq ,q Î Q} est identifiable si l’application

Q ® {Pq , q Î Q}
q ® Pq

est injective.
DÉFINITION 2 – Soit g :Q® k
On appelle estimateur de g ( Q) au vu de l’observa

-tion si pour tout X toute application T : Ω ® k

de la forme T = h ( X )

DÉFINITION 3 – T est un estimateur sans biais de g ( Q) si pour tout q Î Q

E [T ] = g ( Q) Dans le cas contraire, on dit que l’estimateur T est biaisé

DÉFINITION 4 –T n est un estimateur consistant de g ( Q) si pour tout qÎ Q

T n converge en probabilité vers g ( Q) sous Pq lorsque n ® ¥

Estimation par la méthode des moments

X est le vecteur formé par un n-échantillon X 1 , , X n Les X i sont à valeurs
dans un ensemble c
k
Soit f = ( f 1 , , f k ) une application de c dans telle que l’application
 Q® k

f :q ® E éëf ( X 1 ) ù
û

soit injective. On définit l’estimateur q comme la solution dans Q (quand elle

existe) de l’équation
1 n
f (q ) = å f ( X i )
n i =1
Souvent, lorsque c Ì la fonction on prend f i ( x ) = x i et f correspond donc
au ième moment de la variable X 1 sous Pq Ce choix justifie le nom donné à la
méthode. Voici quelques exemples d’estimateurs bâtis sur par cette méthode.

a/ Loi exponentielle

Ici k = 1 Qq = e ( Q) pour QÎ
*
+ Comme pour tout Q ; EQ[ X 1] = 1/ Qon prend
f (q ) = 1/ Q et f = id : +
® +
L’estimateur obtenu par méthode des moments
est
1 1 n
X n où n n å
Qn = X = Xi
i =1

b/ Loi uniforme
Ici k = 1 Qq est la loi uniforme sur [0,Q] avec Q> 0 On EQ[ X 1] = Q/ 2 on peut
donc prendre par exemple f (q ) = Q/ 2 et f = id : ® L’estimateur obtenu par
méthode des moments est
1 n
Qn = 2X n où X n = å X i
n i =1

2/Estimation par maximum de vraisemblance

Exemple des Estimation paramétrique
1/ Methode du noyau
2/ Methode des Polynomes locaux
3/Estimation sur des bases de splines