République Algérienne Démocratique et Populaire

Ministère de l’Enseignement Supérieur et de la Recherche Scientifique

UNIVERSITÉ KASDI MERBAH OUARGLA

FACULTÉ DES MATHÉMATIQUES ET SCIENCES DE LA MATIÉRE

DÉPARTEMENT DE MATHÉMATIQUES

MÉMOIRE PRÉSENTÉ EN VUE DE L’OTENTION DU DIPLÔME :

MASTER en Mathématiques

Option : Probabilités Et Statistique

Par

Titre :

Membres du Comité d’Examen :

Dr. ................. UMKB Président

Dr. UMKB Encadreur

Dr. ........................... UMKB Examinateur

Juin 2021
 Dédicace

J e dédie ce modeste travail :

i
 REMERCIEMENTS

J e tiens premièrement à me prosterner, remerciant Allah le tout

puissant de m’avoir donné le force et la volonté

pour terminer ce travail.

ii
Table des matières

Remerciements ii

Table des matires iii

Introduction 1

1 Rappel sur les notions statistiques 2

2 Estimation de la fonction du densit 3

2.1 Estimation de la densit par histogramme . . . . . . . . . . . . . . . . . . . . 3

2.1.1 Proprits statistiques de lestimateur par histogramme . . . . . . . . . 4

2.2 Estimation de la densit par noyau . . . . . . . . . . . . . . . . . . . . . . . 7

2.2.1 Les proprits de l’estimateur noyau . . . . . . . . . . . . . . . . . . . 11

2.3 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3 Méthode du maximum de vraisemblance 12

Bibliographie 13

Annexe B : Abrviations et Notations 14

iii
Introduction

Dans ce mémoire,

Dans ce mémoire qui ce compose à trois chapitre :

Premièr chapitre :

Dans ce chapitre, on

Deuxième chapitre :

Dans ce chapitre on

Troisième chapitre :

Dans le dernier chapitre,

1
Chapitre 1

Rappel sur les notions statistiques

Dans ce chapitre on peut donner quelques concepts de base au notions stochastique

2
Chapitre 2

Estimation de la fonction du densit

2.1 Estimation de la densit par histogramme

Lhistogramme est l estimateur de la densit non paramtrique le plus ancien et le plus simple,
il est considr comme un estimateur de la densit de probabilit sous-jacente un ensemble fini.

Cette mthode consiste estimer f en un point x par la proportion des variables alatoires
(X1 ; X2 ; ...; Xn ), qui se trouvent dans un intervalle de longueur h et qui contient x. Elle est
donc base sur le choix dun point dorigine a0 et dune partition Ak = ([ak; ak + 1[)k = 1; :::; p
en P classes du support de X . Si nous notons nk le nombre de variables dans la classe Ak et
hn = ak + 1 − ak , lestimateur de f sur Ak du type histogramme est :

n
nk 1 X
fˆhn = = 1Ak (xi ) x ∈ Ak (2.1)
nh nh 1

Dans la suite, nous mettons lhypothse que les classes , k ∈ {1, ..., p}forment une partition
de Ω ( i.e Ω = ∪pk=1 Ak ∀, ∈ N, A ∩ Aj = Φ) et dfinissons pour chaque classe k ,son centre
aktelles que :

∀ ∈ {1, ..., p} , Ak = [a − h2 , a + h2 ]et∀k ∈ {1, ..., p − 1} , ak+1 = ak + h Et par suite on peut

crire :
n
nk 1 X h h
fˆhn = = 1 h h (xi ) x ∈ [a − , a + ]
nh nh 1 [a− 2 ,a+ 2 ] 2 2

3
Chapitre 1. Rappel sur les notions stastiques

2.1.1 Proprits statistiques de lestimateur par histogramme

Nous prsentons, dans ce titre, les proprits statistiques de lestimateur par histogramme dfini
par lexpression 2.1 (pour une tude plus dtaille voir, par exemple, les livres de Bosq et Lecoutre
[3] et de Simonoff [5] ).

En statistiques, il est ncessaire de mesurer la qualit dun estimateur. Pour cela, on value, dune
part, lcart entre la moyenne de lestimateur et la densit estimer, ce critre dvaluation est appel
biais , et dautre part, la variance de lestimateur (due au caractre alatoire dobservations) qui
caractrise la dispersion des valeurs de lestimateur dans lensemble dobservations. On essaye
gnralement de rduire au mieux ces deux quantits.

Biais de l’estimateur

Le biais de lestimateur fˆhn dfinie en 2.1 est donné , pour tout ∈ Ak , ∀k ∈ {1, ..., p}, par :

Biaisfˆhn = E(fˆhn ) − f (x)

1
= f 0 (h − 2(x − ak )) + O(h2 ) (2.2)
2

Ou f 0 f’ la drive de f. qui doit tre une fonction de L(Ω) absolument continue et carre
R +∞
intgrable ( −∞ f 0 (x) < ∞) Nous observons que le biais de l’histogramme diminue dans
l’ordre O(h2 lorsque h diminue. Pour tudier la stabilit de l’estimation on calculera sa variance

Variance de l’estimateur

La Variance de lestimateur fˆhn dfinie en 2.1 est donné pour tout x ∈ Ω par :

V ar(fˆhn ) = E((fˆhn )2 ) − (E(fˆhn ))2

f (x) 1
= + O( ) (2.3)
nh n

4
Chapitre 1. Rappel sur les notions stastiques

Cette variance tend vers zro quand nh tend vers linfini et le nombre dobservation tend vers
linfini. Afin dapprcier la qualit de lestimateur, il est usuel dvaluer la distance entre lestimateur
et la densit estimer. La distance la plus couramment utilise est celle dfinie par la moyenne
du carr de leur diffrence. Elle porte le nom derreur quadratique moyenne en anglais mean
squared error (MSE) .
M SE((fˆhn (x)) = E((fˆhn )(x) − f (x))2 (2.4)

Proposition 2.1.1

M SE(fˆhn )(x) = E((fˆhn (x) − f (x)))2

= E(fˆhn (x) − Efˆhn (x) + E(fˆhn (x) − f (x)))2

= E(fˆhn (x) − E(fˆn (x)))2 + 2 E(fˆhn (x) − E(fˆn (x)))(E(fˆhn (x) − f (x)))
| {z }
=0

+ (E(fˆhn (x) − f (x)))2

= E(fˆhn (x) − E(fˆn (x)))2 + (E(fˆhn (x) − f (x)))2

= (Biais(fˆhn (x)))2 + V ar(fˆhn (x))

La convergence en moyenne quadratique de lestimateur fˆhn 2.1 a t tablie par Lecoutre [2]
pour toutx ∈ Ak .

M SE(fˆhn )(x) = (Biais(fˆhn (x)))2 + V ar(fˆhn (x))

1 f (x)
= ( f 0 (h − 2(x − ak )))2 + + O(n−1 ) + O(h3 )
2 nh

Cette erreur quadratique moyenne tend vers zro quand h tend vers zro et nh tend vers linfini
quand tend vers linfini. Ce critre derreur quadratique moyenne est un critre local. Pour
gnraliser ce critre sur tout le domaine Ω on intgrant sur tout le domaine Ω . Ce critre porte

5
Chapitre 1. Rappel sur les notions stastiques

le nom derreur quadratique moyenne intgre en anglais mean integred squared error (MISE)

Z Z
M ISE(fˆhn ) = (fˆhn − f )2 (x)dx = M SE(fˆhn )(x)dx (2.5)
Ω Ω

La convergence en moyenne quadratique intgre de lestimateur fˆhn dfini par 2.1 a t tablie par
Lecoutre [2]. Nous avons, daprs [5] :

(f 0 )2 (x)dx
R
1 h2
M ISE((fˆhn )) = + Ω
+ O(n−1 ) + O(h3 ) (2.6)
nh 12

Et on a : lim M ISE = O quand h → 0 et nh → ∞

Notons que Ω (f 0 )2 , dcrit le degr de rgularit de la fonction de densit f. Asymptotiquement,

R

le termeO(n−1 ) + O(h3 peut tre ignor, comme h → 0 et nh → ∞ . Le terme dominant de

MISE est dfini comme MISE asymptotique (A-MISE).

(f 0 )2 (x)dx
R
1 h2
A− M ISE((fˆhn )) = + Ω
(2.7)
nh 12

L’approche usuelle pour minimiser MISE est de minimiser A-MISE en fonction de h. Appelez
le parametre de lissage optimal ho t . Nous pouvons trouver ho en diffrenciant par rapport h

∂(A − M ISE) −1
Z
1
= + h (f 0 )2 (x)dx
∂h nh2 6 Ω

Et par suite :

∂(A − M ISE) −1
Z
1
=0⇔ 2
+ h (f 0 )2 (x)dx = 0
∂h nh 6 Ω
6 1 1
⇔ ho = ( R ) 3 n− 3
Ω
(f 0 )2 (x)dx

6
Chapitre 1. Rappel sur les notions stastiques

Pour h = ho on obtient la valeur optimale de (A-MISE) :

(f 0 )2 (x)dx 1 −2
R
? 9 Ω
A − M ISE = ( )3 n 3
16

L ’approche la plus simple pour choisir h est de choisir une densit particulire f et de sim-
plement la substituer dans pour obtenir une valeur de h. Sans surprise, le choix typique est
une densit gaussienne. On peut montrer que le minimum d’A-MISE a alors la forme :

−1
ho = 3, 49σn 3

N ous constatons que l histogramme a de bonnes proprits statistiques, par contre il nest
robuste ni pour le choix du paramtre de lissage h, ni pour celui de l’origine a0 . Le deuxime
dsavantage est sa discontinuit qui ne peut pas s’adapter au cas o la densit f estimer, vrifie
certaines hypothses de rgularit.

P our rsoudre ce problme, l’estimateur de Parzen Rosenblatt (estimation par noyau) a t

introduit, il gnralise intuitivement la mthode d’estimation par histogramme, et il est trs utilis
en estimation non paramtrique.

2.2 Estimation de la densit par noyau

L’ide de la mthode des noyaux est due Parzen - Rosenblatt (1956). Celui-ci a propos une sorte
d’histogramme mobile oú la fenetre de comptage des observations se dplace avec la valeur de
x. La densit en x est estime par la frquence relative des observations dans l’intervalle [x h,
x + h], donc centr sur x, divise naturellement par la largeur de l’intervalle 2h. On appelle h
la largeur de fenêtre (bien que cette largeur soit en fait egale 2h).

Construction de l’estimateur Soit X1 ...Xn n variables alatoires indpendantes et identi-

quement distribus , et soit f la fonction de densit de probabilit par rapport la mesure de
Lebesgue de R dans [0; +∞[. Notre objectif est est la construction d’un estimateur de fˆhn de

7
Chapitre 1. Rappel sur les notions stastiques

f , mesurable par rapport la tribu engendre par (X1 , ..., Xn ). Notons F (x) = P (X1 1 < x) la
fonction de rpartition de la loi de X1 et soit F̂n la fonction de rpartition empirique .

1
Pn
∀x ∈ R : F̂n = n 1 1Xi ≤x

D’aprs la forte des grands nombres on a pour tout x ∈ R :

lim F̂n (x) = F (x) (2.8)

Donc F̂n est un estimateur de F.

Mais comment faire pour estimer de densit f

Une des premires ides intuitives est de considrer pourh > 0 petit

F (x + h) − F (x − h)
fˆn (x) =
2h
n
1 X
= 1x−h≤Xi ≤x+h
2nh i=1
n
1 X
= 1−h≤Xi −x≤h
2nh i=1
n
1 X
= 1 Xi −x
2nh i=1 −1≤ h ≤+1
n
1 X x − Xi
fˆn (x) = K0 ( ) (2.9)
nh i=1 h

Avec

1
K0 (s) = 1{−1≤s≤1}
2
1
six∈[−1,1]
= {02 sinon

8
Chapitre 1. Rappel sur les notions stastiques

Le biais et la variance de cet estimateur a t calcule par Rosenblatt [4] ,

Biais(fˆhn (x)) = E((fˆhn (x))) − f (x)

1
= E(Fn (x + h) − Fn (x − h)) − f (x)
2h
1
= E(F (x + h) − F (x − h)) − f (x) (2.10)
2h

F (x + h) − F (x − h) (F (x + h) − F (x − h))2
V ar(fˆhn (x)) = − (2.11)
4nh2 4nh2

Cette variance tend vers zro lorsque nhtend vers l’infini quand tend vers l’infini. et par suite
dans ce cas fˆhn (x) la converge en moyenne quadratique vers f (x) . et par suite :

lim E(fˆhn (x)) = f (x) (2.12)

n→∞

lim V ar(fˆhn (x)) = 0 (2.13)

n→∞

Donc fhn dfini par lexpression 2.9 est un estimateur consistant. Nous remarquons qu’il n’a pas
le problme du choix dorigine a0 comme le cas de l’histogramme mais il prsente l’inconvnient
d’être discontinu aux points {(xi − h, xi + h)}i ∈ {1, , n} Ainsi une gnralisation de cet esti-
mateur a t introduite par (Parzen-Rozenblatt) est une mthode non paramtrique destimation
de la densit dune variable alatoire. Cette mthode permet dobtenir une densit continue et
constitues en ce sens une gnralisation de la mthode de lhistogramme.
En effet, la fonction indicatrice utilise pour lhistogramme est ici remplace par une fonction
continue appel (le noyau) .

R
Dfinition 2.2.1 Soit K : R → R une fonction intgrable, positive et telle que R
K(u)du = 1

K est appele noyau. Soit h := hn > 0 un paramtre de lissage (fentre) qui dpend de la taille
de l’chantillon n. Pour toute n ∈ N ; l’estimateur noyau de la densit de la v.a.Xau point x,
not fˆhn (x) est donn par : fˆhK (x) = nh
1
Pn x−Xi
i=1 K( h )

Gnralement le noyau K est une fonction positive et borne et vrifier les condition suivantes :

9
Chapitre 1. Rappel sur les notions stastiques

– K est symtrique ∀x : K(x) = K(−x)

R +∞
– −∞ K(x)dx = 1
R +∞
– −∞ xK(x)dx = 0
R +∞
– −∞ x2 K(x)dx = µ2 ≺ ∞
Cet estimateur a t largement tudi par de nombreux auteurs, citons par exemple Wolverton
et Wagner (1969), Roussas (2000, 2001)[20], Bosq et al.(1999) et Lu (2001).

Exemple de noyaux K les plus utilisés dans l ?estimation de la densité

- le noyau rectangulaire (Rosenblatt) :

1
K(u) = 1[−1,1] (u)
2

- le noyau triangulaire :

K(u) = (1−|u|)1[−1,1] (u)

- le noyau d’Epanechnikov (parabolique) :

3
K(u) = (1 − u2 )1[−1,1] (u)
4

- le noyau gauussien :

1 2
K(u) = √ exp−u /2
2π
R +∞
Lemme 2.2.1 Si le noyau est positive et −∞
K(x)dx = 1 , alors fˆhK (x) est une densit de
probabilit. De plus, fˆhK est continue si est continue.

10
Chapitre 1. Rappel sur les notions stastiques

Preuve. Si K est positif et coutinue alors fˆhK (x) doit être positif et continue , car c’est une
somme des fonctions positifs est continues et plus de sa on a :

+∞ +∞ n
x − Xi
Z Z
1 X
fˆhK (x)dx = K( )dx
−∞ −∞ nh i=1 h
Z +∞ X n
1 x − Xi x − Xi
= K( ) (posons t= alors hdt = dx)
nh −∞ i=1 h h
n
1 +∞ X
Z
= K(t)dt
n −∞ i=1
n Z
1 X +∞
= K(t)dt
n i=1 −∞
n
= =1
n

O n voit donc que, tout comme lestimateur par histogramme, lestimateur noyau est une
densit de probabilit. Il a de plus lavantage dtre continu condition que le soit, ce qui ntait
pas le cas pour les histogrammes. Par consquent, lorsqu’on estime une densit continue, il est
naturel de s’attendre que l’estimateur noyau soit meilleur que l’estimateur par histogramme.

2.2.1 Les proprits de l’estimateur noyau

2.3 Introduction

11
Chapitre 3

Méthode du maximum de
vraisemblance

Notre but dans ce chapire est de

12
Bibliographie

[1] D. Roussas, G. G.(2000) Asymptotic normality of the kernel estimate of a probability

density function under association. Statist. Probab. Lett. Statistics .

[2] J.Lecoutre. (1982) Contribution lestimation non paramtrique de la rgression. PhD thesis,
Universit de Pierre et Marie Curie-ParisVI-France.

[3] D. Bosq and J.Lecoutre., M. (1987). Thorie de lestimation fonctionnelle. Paris Economica
.

[4] Rosenblatt, M. (1956). Remarks on some nonparametric estimates of a density function.

The Annals of Mathematical Statistics.

[5] J.S.Simonoff.,(1996) Smoothing Methods in Statistics. Springer-Verlag .

[6] Bismut, J. M. (1973). Conjugate convex functions in optimal stochastic control. Journal
of Mathematical Analysis and applications, 44(2), 384-404

[7] Briand, P. (2001). Équations Différentielles Stochastiques Rétrogrades. Mars

[8] Chala,Adel . (2013). Contribution à L’étude Des Controles optimales stochas-

tique.université de biskra.–+

[9] Chala, A, Khalout, R (2018). A risk-sensitive stochastic maximum principle for fully cou-
pled forward-backward stochastic differential equations with applications.Asian J Control.

13
Annexe : Abréviations et Notations

Les différentes abréviations et notations utilisées tout au long de ce mémoire sont expliquées
ci-dessous :


Ω, F, , F = (Ft )t≥0 P un espace de probabilité filtré
L2 l’espace des fonctions de carré intégrable
C n+1 Ensemble des fonctions (n + 1) fois dérivable et dont la dérivée (n + 1) éme
p.s presque surement
σ∗ Transposée de lamatrice σ.
càdlàg Continue à droite admet de limite à gauche.
P − p.s presque surement pour la mesure de probabilité P
dt × dP Mesure produit de mesure de Lebesgue sur [0; T ] avec la mesure dP
trace (M ) La trace de la matrice.M.
tq Telle que
Mn×d (R) L’espace formé par les processus Z progressivement mesurable à valeur dans R

S2 (Rk ) l’espace vectoriel formé par les processus Y progressivement mesurable à valeu

M2 n×d (Rk×d ) l’espace formé par lesprocessus Z progressivemen tmesurable à valeur dansRk×

S2c le sous-espace par les processus continue}

M2 (Rk×d ) désigne l’ensemble des classes équivalente deM2 (Rk×d )
i.e C’est à dire

14