1

Static case
1. On pose l'estimateur r BLUE =
N i=1

ai yi . Cet estimateur doit possder une variance ai =

i N

minimale tout en ayant une esprance gale r. Cette condition signie que

1. On a donc la minimisation suivante

min var s.c.q.
N

ai yi
i=1

ai = 1
i=1

En utilisant le fait que le produit d'un rel c et d'une variable gaussienne x suit aussi une loi gaussienne de variance c2 var(x) et que la somme de n variables gaussiennes suit une loi gaussienne de variance gale la somme des variances des variables sommes, le problme de minimisation se transforme en min s.c.q. On veut donc minimiser la fonction
N N 2 2 a2 ir i=1 N N i=1 N i=1

a2 i var(yi ) ai = 1

g (a1 , a2 , . . . , an , ) =

i=1 N

ai

= r2 2
i=1

a2 i
i=1 1 N

ai

En annulant le gradient, on trouve a1 = a2 = = aN =

N r BLUE =

et donc

1 N

yi
i

2. BLUE variance :
N var r BLUE

= var = = =
1

1 N

yi
i

1 N2 1 N2

var(yi )
i

r2 2
i

1 2 2 r N

3. Comme nous sommes dans le cas d'un estimateur scalaire, la matrice de Fisher sera elle aussi scalaire. On calcule tout d'abord la fonction de densit de probabilit TY |r (y |r).
N

TY |r (y |r) =
i=1 N

TYi |r (yi |r)

(yi r )2 1 e 22 r2 2r2 2 i=1

1 (2 ) 2 (r )N
N

1 2 2

N i=1

yi r r

Pour calculer la matrice d'information de Fischer, on prend ensuite le logarithme de cette fonction, que l'on drive deux fois en r.

ln TY |r (y |r) = ln TY |r (y |r) r

N 1 ln(2 ) N ln(r ) 2 2 2 1 2 r 2 1 1 + r 2 r3
N

N i=1

yi r r

= N

2
i=1 N

yi r2 1 2 r2 1 2 r3

yi r r
N

= N 2 ln TY |r (y |r) r2

2 yi

yi
i=1 N

N 1 3 2 4 2 r r

i=1 N 2 yi +2

yi
i=1

i=1

Finalement, on prend l'inverse de l'oppos de l'esprance de cette drive seconde pour avoir

I (r) = E

2 ln TY |r (y |r) r2
N 2 E {yi } i=1

N 1 = 2 +3 2 4 r r = = I 1 (r ) =

1 2 2 3 r

r
i=1

N N N + 3 2 4 (r2 2 + r2 ) 2 2 2 2 r r r N 1 2+ 2 r2 2 2 r N 2 2 + 1
2

L'ingalit qui devra tre respecte par l'estimateur sera donc la suivante

var( r)

r2 2 N 2 2 + 1

On peut s'intresser l'ecacit de l'estimateur r BLUE par rapport cette borne. On a r2 2 r2 2 N N (2 2 + 1) On en dduit que plus 2 sera leve, plus l'cart entre les deux membres s'largira et moins l'estimateur r BLUE sera ecace. L'estimateur sera optimal si et seulement 2 si = 0. 4. On repart du logarithme de la fonction de densit de probabilit du premier point que l'on veut maximiser en r et en . On drive donc la fonction logarithme en fonction de ces deux paramtres que l'on annule ensuite, ce qui nous donne le systme

1 1 N + 2 3 r r N
De (2) on tire

N 2 yi i=1

1 2 2 r
N

yi = 0
i=1 2

(1) (2)

1 1 + 3

i=1

yi r r

= 0

2 =

1 N

N i=1

yi r r

1 N r2

N 2 yi 2r i=1

yi + N r 2
i=1

(3)

De (1) on trouve ici l'quation

N N

N r r
i=1

2 2

yi +
i=1

2 yi =0

(4)

En injectant 3 dans 4, on obtient l'quation suivante

N r2
soit

1 N r2

N 2 yi 2r i=1

yi + N r 2
i=1

r
i=1

yi +
i=1

2 yi =0

r
i=1

yi N r 2 = 0

Ce qui nous donne nalement,

r MLE =
3

1 N

yi
i=1

Qui est identique l'estimateur trouv par la mthode linaire. Si l'on considre la variable comme donne, il devient inutile de calculer MLE et l'estimateur r MLE devient alors
N N 2 N

r MLE =
i=1

yi
i=1

yi 2N 2

+ 4N 2
i=1

2 yi

5. Proprits des deux estimateurs : Estimateur r BLUE : (a) Principe d'orthogonalit :

E {( rBLUE r)Y } = 0
avec Y le vecteur des observations. (b) Erreur d'estimation non-corrle avec les observations :

E {( rBLUE r) rBLUE } = 0.
(c) Comme la fonction de vraisemblance est Gaussienne : r BLUE = r MAP avec r M AP l'estimateur selon le maximum a posteriori.

Estimateur r MLE :
(a) Pour un nombre ni de donnes l'estimateur du maximum de vraisemblance a typiquement une variance suprieure celle de r MAP .
N (b) r MLE converge en probabilit vers r. N (c) r MLE a une variance convergeant vers la borne de Cramr-Rao.

6. Voir gure 1. Le graphe de r MLE est ralis en supposant donn car si l'on considre le cas o est inconnu, alors le graphe concide avec r MLE . De plus, seule l'une des deux valeurs possibles pour r MLE est ache, l'autre donnant une estimation d'approximativement 25. 7. Aprs avoir calcul la variance de 100.000 chantillons de 200 mesures ensuite estimes et avoir fait les moyenne de ces 100.000 variances trouves, on a une variance de l'estimateur r BLUE de 0.122 et une variance de l'estimateur r MLE de 0.0856. La variance de l'estimateur du maximum de vraisemblance est donc plus petite que la variance de l'estimateur linaire, ce qui ne devrait thoriquement pas tre le cas comme nonc dans les proprits des deux estimateurs. 8. (a) r BLUE : du fait que l'estimateur est non-biais, nous pouvons immdiatement passer une standardisation de la loi normale pour les grands chantillons.

Z=

r BLUE r r BLUE r = r r BLUE N

P (z Z z ) = 0.99
4

Figure

1  Evolution de r BLUE et r MLE pour N allant de 1 200.

Comme nous avons faire une loi normale, il y a symtrie par rapport l'axe central, et on peut rduire ce calcul

P (Z z ) = 0.995 P (z Z ) = 0.995
ce qui nous donne

z=
soit

r BLUE r
r N

= 2, 575

r r BLUE = r 2.575 N L'intervalle de conance est donc le suivant r r IC99 = r 2.575 ; r + 2.575 N N

Pour avoir un intervalle de conance infrieur 0.2, le nombre de mesures devra permettre de vrier l'inquation suivante :

r r r + 2.575 r + 2.575 0.2 N N

Avec r = 5 et = 0.5, on trouve que N devra tre suprieur 4147.36, soit 4148 mesures. (b)
IL F AUT TROUVER POURQUOI ON PEUT DIRE QUE L'ESTI-

Comme pour l'estimateur linaire, nous pouvons passer une standardisation de la loin normale pour les grandes chantillons. r MLE r Z= r MLE La variance de l'estimateur tant trop dicile valuer, on utilise une des proprits de l'estimateur pour l'approximer. En eet, une des proprits d'un estimateur du maximum de vraisemblance nous dit que la variance de celuici converge vers la borne de Cramr-Rao. On utilise donc cette valeur pour approximer la variance, ce qui nous donne

MATEUR EST NON-BIAISE.

Z=

r MLE r r MLE r = r2 2 r MLE

N (2 2 +1)

La suite du calcul de l'intervalle de conance est similaire ceux ralises pour r BLUE , et on a donc IC99 = r 2.575

r N (2 2 + 1)

; r + 2.575

r N (2 2 + 1)

Pour avoir un intervalle de conance infrieur 0.2, le nombre de mesurer devra vrier l'inquation suivante :

r + 2.575

r N (2 2 + 1)

r + 2.575

r N (2 2 + 1)

0.2

Avec r = 5 et = 0.5, on trouve que N devra tre suprieur 2762.760, soit 2763 mesures. 9. (a) L'estimateur r BLUE ncessitera n oprations de somme des lments du vecteur des observations et une division, soit n + 1 oprations. (b) L'estimateur r MLE ncessitera de calculer la somme des lments du vecteur, soit n oprations, ainsi que la somme de leur carr, soit n oprations de mise au carr et n opration de somme. Les oprations restantes tant en O(1), il faudra donc approximativement 3n oprations pour calculer cet estimateur. Bien que les deux estimateurs aient une complexit du mme ordre, celui calcul par la mthode du maximum de vraisemblance ncessite trois fois plus d'oprations que celui calcul linairement. La complexit spatiale des oprations sera semblable la complexit numrique.

Dynamic case
1. On a

E ( vk ) = E =

yk+1 yk Ts

1 (E (yk+1 E (yk ))) Ts 1 = (xk+1 xk ) Ts = vk = v

Ce qui montre que l'estimateur est non-biais

var( vk ) = var = = =

yk+1 yk Ts

1 (var(yk+1 + var(yk ))) 2 Ts 1 2 ( + 2 ) Ts 2 2 2 Ts

2. Le problme de cet estimateur est qu'il ne prend en compte qu'un pas de temps alors que la vitesse est constante au cours du temps. En considrant, au temps k les k 1 prcdents dplacements, l'estimateur pourrait tre bien plus ecace tout en conservant son aspect linaire et sa facilit de calcul.

v k =

1 k

k i=1

yk yk1 Ts

yk y0 kTs

L'esprance vaut ici aussi v , ce qui montre que l'estimateur est non biais, et sa 2 2 variance vaut k2 2 T 2 . On a donc divis la variance d'un facteur k grce ce nouvel s estimateur. 3. Voir 4. 5. 6. 7.
Kalmann_Filter.m

VOIR QUEL GRAPHIQUE METTRE. IDEM