Cours Com921 Part3

Partie 3:
Estimation des paramètres de propagation
Philippe Ciblat
Télécom ParisTech, France

Section 3.0 : Rappel de la théorie de l’estimation
Philippe Ciblat Estimation des paramètres de propagation 2/1

Plan
Notion d’estimateurs
Bornes de Cramer-Rao
Analyse asymptotique
Maximum de vraisemblance

Introduction
Soit un processus aléatoire XN = {X1 , . . . , XN }

on en connait partiellement la densité de probabilité.
par ex., une gaussienne de moyenne et variance inconnues
on considère une réalisation xN = {x1 , . . . , xN } de ce processus
Objectif
A la donnée d’une réalisation, retrouver de l’information sur la densité
de probabilité
Deux cas de figure :

1 Non paramétrique
2 Paramétrique

Estimation paramétrique
Hypothèse
La densité de probabilité de XN dépend d’un paramètre d’intérêt θ.
Deux cas de figure :

1 θ est vu comme un paramètre fixe
pX (xN |θ)
On parle alors d’approche déterministe

2 θ est vu comme un paramètre aléatoire
pX ,θ (xN , θ) ou pX (xN |θ) et pθ (θ)
On parle alors d’approche bayésienne (car θ admet une densité

de probabilité a priori)

Détection/Estimation
Détection Estimation
θ admet un nombre θ admet un nombre
dénombrable/fini de valeurs non-dénombrable de valeurs
Critère Critère
Probabilité d’erreur Erreur quadratique moyenne
Pe = Prob(θ̂ 6= θ) E = E[|θ̂ − θ|2 ]
⇒ Détecteur optimal ? ⇒ Estimateur optimal ?

Maximum A Posteriori Mean A Posteriori (MAP) (si
(MAP) θ aléatoire)
Maximum de Vraisemblance ML parfois asymptotiquement
(ML) si équiprobable (si θ déterministe)

Notion de statistiques
Soit xN = {x1 , . . . , xN } une observation du processus aléatoire XN
On appelle statistique une fonction quelconque T dépendant de
l’observation
T (x1 , . . . , xN )
On appelle estimateur une statistique qui, l’on espère, approche
la valeur du paramètre d’intérêt θ
θ̂ N = θ̂(x1 , . . . , xN )
Remarques
Toute statistique est une variable aléatoire
La théorie de l’estimation a pour objet de trouver des bons
estimateurs par rapport à des critères mesurant l’écart entre la
vraie valeur et la valeur estimée
A chaque critère correspond des bons et des mauvais
estimateurs
Statistiques exhaustives
Une statistique est dite exhaustive par rapport à pX (xN |θ) ssi
pX (xN |θ) = gθ (T (xN ))h(xN )
Cela signifie, en pratique, que la seule connaissance de T ne fait

perdre aucune connaissance sur θ.
Exemple
Soit XN un vecteur gaussien réel dont les composantes sont i.i.d. de
moyenne m et variance v . Soit θ = [m, v ]. On a
PN 2 N 2
= e− 2v (v̂N +(m̂N −m) )
1
pX (xN |θ) ∝ e− 2v n=1 (xn −m)
avec
PN
m̂N = n=1 xn /N : la moyenne empirique
PN
v̂N = n=1 (xn − m̂N )2 /N : la variance empirique

Risque
Une fonction de coût, notée C(θ, θ̂), mesure l’écart entre θ et θ̂ :

1(kθ̂ − θk ≥ ε) : coût uniforme
kθ̂ − θkL1 : coût L1
kθ̂ − θk2 : coût quadratique (norme L2 )
Risque
On moyenne la fonction de coût sur les valeurs possibles de xN
R(θ, θ̂) = E [C(θ, θ̂)]

ZX
= C(θ, θ̂(xN ))pX (xN |θ)dxN

Biais et Erreur quadratique
Le biais est défini de la manière suivante
b(θ, θ̂) = EX [θ̂(xN )] − θ
L’ erreur quadratique moyenne (EQM/MSE) est le risque suivant
EQM(θ, θ̂) = EX [kθ̂(xN ) − θk2 ]
La variance d’un estimateur vaut
var(θ, θ̂) = EX [kθ̂(xN ) − EX [θ̂(xN )]k2 ]
Remarques
Un estimateur est dit sans biais ssi b(θ, θ̂) = 0
Le lien entre les trois mesures est
EQM(θ, θ̂) = kb(θ, θ̂)k2 + var(θ, θ̂)

Exemple
Soit XN un vecteur gaussien réel dont les composantes sont i.i.d.

de moyenne m et variance v
Soit l’estimateur empirique de la moyenne
N
1 X
m̂N = xn
N
n=1
Cet estimateur est

sans biais
de variance
v
var(m, m̂N ) =
N
Philippe Ciblat Estimation des paramètres de propagation 10 / 1

Performances
θ̂ 1 sera dit meilleur estimateur que θ̂ 2 par rapport au risque R ssi
R(θ, θ̂ 1 ) ≤ R(θ, θ̂ 2 ) ∀ θ ∈ Θ
Question
Y-a-t-il une valeur minimale du risque ?
Si le risque est quadratique
Si le problème est suffisamment régulier
Si on restreint la classe des estimateurs
alors la réponse est affirmative ⇒ borne de Cramer-Rao (BCR/CRB)

Bornes de Cramer-Rao (I)
Un modèle est dit régulier si
∂pX (xN |θ)/∂θ existe pout tout xN et tout θ.
pX (xN |θ) a le même support par rapport à xN pour tout θ
Soit X l’espace d’observation
Z Z
∂ ∂
pX (xN |θ)dxN = pX (xN |θ)dxN = 0
X ∂θ ∂θ X
Exemple
Soit X un scalaire gaussien réel de moyenne θ = m et variance 1
1 2
pX (x|θ) = √ e−(x−θ) /2
2π
pX0 (x|θ) = (x − θ)pX (x|θ)

le support est R pour tout θ
R
p (x|θ)dx = 1
R X

Bornes de Cramer-Rao (II)
Proposition 1
Un estimateur sans biais vérifie l’inégalité suivante
T
EX θ̂ − θ θ̂ − θ ≥ F (θ)−1 = CRB(θ)
Remarques
EQM(θ, θ̂) ≥ trace(F (θ)−1 )
La matrice F (θ) se nomme matrice d’information de Fisher (FIM)
" T #
∂ ln pX (xN |θ) ∂ ln pX (xN |θ)
F (θ) = EX
∂θ ∂θ
Une version étendue de la CRB au cas biaisé existe

Un estimateur sans biais atteignant la CRB est dit efficace

Bornes de Cramer-Rao (III)
Proposition 2
Si la fonction ln pX (xN |θ) admet une dérivée seconde, alors
2
∂ ln pX (xN |θ)
F (θ) = −EX
(∂θ)2
Remarques
La formule précédente est une variante de la CRB
pX (xN |θ) est la vraisemblance
ln pX (xN |θ) est la log-vraisemblance

Preuve de la proposition 1
Nous nous limitons, par souci de légèreté, au cas scalaire
Z
∂ ∂
EX (θ̂ − θ) ln pX (x|θ) = (θ̂ − θ)
ln pX (x|θ)pX (x|θ)dx
∂θ ∂θ
Z
∂
= (θ̂ − θ) pX (x|θ)dx
∂θ
∂
= EX [θ̂]
∂θ
= 1
Utilisation, ensuite, de l’inégalité de Cauchy-Schwartz

Preuve de la proposition 2
Nous nous limitons, par souci de légèreté, au cas scalaire
∂2

1 ∂ 1 ∂
EX ln pX (x|θ) = −EX pX (x|θ) pX (x|θ)
(∂θ)2 pX (x|θ) ∂θ pX (x|θ) ∂θ
∂2

1
+ EX pX (x|θ)
pX (x|θ) (∂θ)2

1 ∂ 1 ∂
= −EX pX (x|θ) pX (x|θ)
pX (x|θ) ∂θ pX (x|θ) ∂θ
" 2 #
∂
= −EX ln pX (x|θ)
∂θ

Exemple
Soit XN un vecteur gaussien réel dont les composantes sont i.i.d. de
moyenne m (inconnue) et variance v (connue)
1 PN 2
pX (XN |m) = √ e− n=1 (xn −m) /2v
( 2πv )N
Résultat
La matrice d’information de Fisher (pour l’estimation de m) est tel que
v
F −1 =
N
Remarques
Considérons l’estimateur empirique de la moyenne
Cet estimateur est sans biais et d’erreur quadratique v /N
Cet estimateur est donc efficace

Objectif
Etude des performances de l’estimateur θ̂ N lorsque N → ∞
Ex. : estimation d’une moyenne nulle

10 échantillons
0.5
Nombre de valeurs trouvées par rectangle (pour 1000 tests)
0.45
Notion de convergence
0.4
0.35
0.3
0.25
Notion de dispersion
0.2 Variance
0.15
Allure de la
0.1
distribution
0.05
0
−1.5 −1 −0.5 0 0.5 1 1.5
Moyenne estimée

Objectif

100 échantillons
0.5
0.45
0.4
0.35
0.3
0.25
0.2 Variance
0.15
Allure de la
0.1
distribution
0.05
0
−1.5 −1 −0.5 0 0.5 1 1.5
Moyenne estimée

Objectif

1000 échantillons
0.5
0.45
0.4
0.35
0.3
0.25
0.2 Variance
0.15
Allure de la
0.1
distribution
0.05
0
−1.5 −1 −0.5 0 0.5 1 1.5
Moyenne estimée

Consistance
Définition
p.s.
θ̂ N − θ → 0
avec la convergence presque sûre définie de la manière suivante

Prob ω : lim θ N (ω) = θ = 1
N→∞
Démarche classique :
Loi forte des grands nombres
Lemme de Borel-Cantelli
X
∀ε > 0, Prob(kθ̂ n − θk > ε) < +∞ ⇒ Prob( lim θ N = θ) = 1
N→∞
n∈N
Inégalité de Markov/Tchebitchev
E[kθ̂ N − θkpLp ]
Prob(kθ̂ N − θk > ε) ≤ , p≥2
εp
Normalité asymptotique
Définition
Un estimateur est dit asymptotiquement normal ssi
L
N p/2 (θ̂ N − θ) → N (0, Γ)
où
p est la vitesse de convergence (convergence dite en 1/N p )
Γ est la matrice de covariance (asymptotique)
L
Convergence en loi : xn → x
Pour toute fonction continue bornée : limN→∞ E[f (xn )] = E[f (x)]
Pour tout w, limN→∞ E[eiwxn ] = E[eiwx ]
les réalisations des v.a. peuvent être totalement différentes, elles
ont juste la même loi asymptotiquement

Remarques
Origine de la normalité asymptotique :
Théorème central-limite
Démonstration classique par les fonctions caractéristiques de
deuxième espèce
Calcul de la covariance asymptotique :
EQM = E[kθ̂ N − θk2 ] ∼ trace(Γ)/N p
Démarche classique du calcul de la covariance par
développement en série de Taylor à l’ordre deux du processus
de contraste autour de θ
Quelques propriétés supplémentaires :
Un estimateur est dit asymptotiquement sans biais si
limN→∞ EX [θ̂ N ] = θ
Un estimateur est dit asymptotiquement efficace si il est
asymptotiquement normal et que
EQM(N)
→ 1, quand N → ∞
trace(CRB(N))

Estimateur du maximum de vraisemblance (I)
Définition
Soit pX (.|θ) une densité de probabilité paramétrée par θ
θ̂ ML,N = arg max p(xN |θ̃)

θ̃∈Θ
On parle d’estimateur MV ou ML (Maximum Likelihood)
Remarque :
Supposons, pour simplifier, que les xn sont i.i.d.
θ̃ 7→ J(θ, θ̃) = D(pX (.|θ)||pX (.|θ̃)) − H(pX (.|θ))

= −EX [ln pX (.|θ̃)]
N
1 X
θ̃ 7→ JN (θ, θ̃) = − ln p(xn |θ̃)
N
n=1
∝ − ln p(xN |θ̃)

Estimateur du maximum de vraisemblance (II)
Equations de vraisemblance :
Si pX (.|θ) est différentiable par rapport à θ, alors

∂pX (xN |θ)
=0
∂θ
θ=θ̂ ML,N
Performances asymptotiques
Si la suite xn est i.i.d. et pX (xn |θ) vérifie des conditions techniques
peu restrictives, alors l’estimateur ML est
consistant
asymptotiquement sans biais
asymptotiquement normal avec p = 1
asymptotiquement efficace
Contre-exemple : estimation de fréquence (variables non i.d.)

Estimateur du maximum de vraisemblance (III)
Soit
xn = fn (θ) + bn , pour n = 1, . . . , N
avec
fn (.) des fonctions déterministes
une suite bn i.i.d gaussienne de moyenne nulle et de variance v
Estimateur ML
N
X
θ̂ ML,N = arg min |xn − fn (θ̃)|2
θ̃
n=1
C’est donc l’estimateur des moindres carrés (LS pour Least Square)
Exemple :
L’estimateur empirique de la moyenne est le LS/ML.

Bibliographie
H. Cramer, "Mathematical Methods of Statistics", 1946.

H.L. Van Trees, "Detection, Estimation, and Modulation Theory", Partie 1, 1968.
E. Moulines, "Estimation statistique", Polycopié ENST.
B. Porat, "Digital Processing of Random Signals : Theory and Methods", 1994.

Section 3.1 : Estimation du canal
avec séquence d’apprentissage

Introduction
L
X
y (n) = h(k )sn−k + b(n)
k =0
avec
h le filtre équivalent
b(n) un bruit blanc iid centré gaussien
Problème : Le filtre h est, en pratique, inconnu du récepteur
Objectif
Comment estimer h ?

Méthode d’estimation
Trois modes :
Avec séquence d’apprentissage
Data-aided (DA) ou supervisé
Sans séquence d’apprentissage

Non-Data-aided (NDA) ou autodidacte/aveugle
Avec retour de décision

Decision-Directed (DD)
Objectif
Estimer h à la donnée de y (n) et sn

Formulation matricielle
yN = SN h + bN
avec
yN = [y (0), · · · , y (N − 1)]T
N nombre d’observations (temps d’observation = [0, NTs [)
[01,L , s0 , · · · , sN−1 ]T : séquence d’apprentissage
SN une matrice N × (L + 1) définie comme suit
 
s0 s−1 . . . s−L
 . . . . 
 s1 . . 
SN = 
 .

 ..


sN−1 sN−2 . . . sN−1−L
h = [h(0), · · · , h(L)]T
bN = [b(0), · · · , b(N − 1)]T : bruit blanc gaussien
Estimateur du maximum de vraisemblance
On a ( )
2
kyN − SN hk
p(yN |h) ∝ exp −
2N0
d’où
2
ĥN = arg min kyN − SN hk
h
Résultat
−1
ĥN = S# H
N yN = SN SN SH
N yN
avec S#
N la pseudo-inverse de SN

Performances asymptotiques (I)
Un résultat préliminaire
{sn }n réalisation d’une séquence pseudo-aléatoire stationnaire

rs (τ ) = E[sn+τ sn ] la fonction d’autocorrélation
1 H
TN = N SN SN
Résultat fondamental
N−1
1 X p.s.
tN (k , l) = sn−k sn−l → E[sn−k sn−l ] = rs (k − l)
N
n=0
Considérons Rs = (rs (k − l))0≤k ,l≤L la matrice (Toeplitz) de

corrélation de taille (L + 1) × (L + 1) du processus {sn }n
1 H p.s.
SN SN → Rs
N

Performances asymptotiques (II)
Résultat
Estimateur sans biais : E[ĥN ] = h
Estimateur consistant
p.s.
ĥN → h
Estimateur asymptotiquement normal (avec une vitesse en 1/N)
L
N 1/2 (ĥN − h) → CN (0, Γ)
avec
−1
Γ = 2N0 (Rs )
Remarque :
h i trace(Γ)
MSE = E kĥN − hk2 ≈
N

Preuve
−1
ĥN = SH
N SN SH N yN
−1
h + SH SH

= N SN N bN
⇒ sans biais
−1
1 H 1 H
= h+ SN SN S bN
N N N
⇒ consistant
−1
1 H 1
N 1/2 (ĥN − h) = SN SN √ SH b
N N
N N
⇒ asymptotiquement normal
−1
H 1 H
NE[(ĥN − h)(ĥN − h) ] = 2N0 S SN
N N
⇒ de covariance asymptotique Γ

Séquence d’apprentissage optimale
Les performances dépendent donc de la couleur de la séquence

d’apprentissage
Question : quelle est la couleur optimale ?
Problème d’optimisation :
Ropt. = arg min trace(R−1

s )
Rs
trace(Rs )=(L+1)P0
Résultat
La matrice Rs = P0 IdL+1 rend la MSE minimale
Remarque :
La séquence d’apprentissage optimale est blanche
1 H
L’estimateur ML devient le simple corrélateur ĥN = NP0 SN yN

Preuve
La matrice Rs est hermitienne et donc diagonalisable

Soit Rs = P−1 ΛP avec Λ = diag(λ0 , . . . , λL )
On a
L
X 1
Ropt. = arg min
λ0 ,...,λL λ`
PL
λ =(L+1)P0 `=0
`=0 `
La fonction f (x) = 1/x étant convexe, on a

L
! L L
1 X 1 X X 1 L+1
f λ` ≤ f (λ` ) ⇒ ≥
L+1 L+1 λ` P0
`=0 `=0 `=0
La borne est atteinte si
λ` = P0

Borne de Cramer-Rao
Résultat
−1
2N0 1 H
CRBN (h) = S SN
N N N
Remarque :
L’estimateur ML est donc efficace

Exemple numérique : EQM (MSE)
On a
h = [−0.40825, 0.81650, 0.40825]T
Séquence blanche
MSE en fonction de N (Eb/N0=10dB) MSE en fonction de Eb/N0 (N=32)

0.1 1
MSE empirique MSE empirique
MSE thØorique (CRB) MSE thØorique (CRB)
0.1
MSE
MSE
0.01
0.01
0.001 0.001
0 50 100 150 200 250 300 0 5 10 15 20
N Eb/N0
Exemple : N = 32 pour une trame de longueur 128 dans le GSM

Exemple numérique : TEB (BER)
On a
h = [−0.40825, 0.81650, 0.40825]T
Séquence blanche
Egaliseur de Wiener
Constellation d’amplitude à deux états (MDA2/BPSK)
TEB en fonction de N (RSB=8dB) TEB en fonction de Eb/N0

0.1 1
Canal estimØ Canal estimØ (N=8)
Canal connu Canal estimØ (N=32)
Canal connu
0.1
0.01 0.01
TEB
TEB
0.001
0.001 1e-04
1e-05
1e-04 1e-06
0 50 100 150 200 250 300 0 2 4 6 8 10
N Eb/N0

Bibliographie
S. Crozier, D. Falconer et S. Mahmoud, "Least sum of squared errors channel

estimation", IEE Proceedings on Radar and Signal Processing, vol. 138, no. 4,
pp. 371-378, Août 1991.
C. Tellambura, "Optimal sequences for channel estimation using FFT
techniques", IEEE Trans. on Communications, vol. 47, no. 2, pp 230-238, Février
1999.
M. Morelli et U. Mengali, "Carrier-frequency estimation for transmissions over
selective channels", IEEE Trans. on Communications, vol. 48, pp. 1580-1589,
Septembre 2000.
P. Ciblat et L. Vandendorpe, "On the Maximum-Likelihood based data-aided
frequency offset and channel estimates", EURASIP European Signal Processing
Conference (EUSIPCO), vol. 1, pp. 627-630, Toulouse (France), Septembre
2002.
P. Stoica et O. Besson, "Training sequence design for frequency offset and
frequency-selective channel estimation", IEEE Trans. on Communications, vol.
51, no. 11, pp 1910-1917, Novembre 2003.

Section 3.2 : Estimation de la fréquence
avec séquence d’apprentissage

Plan
Modèle de signal
Rappel : estimation de fréquence pure
Estimateurs ML
Bornes de Cramer-Rao
Illustrations numériques

Modèle en bande de base (I)
Signal reçu en bande de base

!
X
ya (t) = sk ha (t − kTs ) e2iπδfa t + ba (t)
k ∈Z
avec
{sk }k ∈Z : symboles d’une constellation quelconque
ba (t) : bruit additif gaussien ∼ CN (0, 2N0 ).
ha (t) : un filtre résultant d’un filtre de mise en forme ga (t), d’un

canal de propagation, d’un déphasage et d’un retard temporel.
δfa un résidu de fréquence porteuse lié soit à l’effet Doppler soit

à un défaut des oscillateurs locaux.

Modèle en bande de base (II)
Hypothèse
δfa Ts 1
⇒ δfa petit devant la largeur de bande
Système radiomobile avec effet Doppler :

porteuse f0 à 900MHz, vitesse v de déplacement à 50km/h
⇒ δfa = f0 vc = 40Hz
Oscillateurs locaux de précision de 100ppm

⇒ δfa = f0 × précision = 90kHz

Modèle mathématique
Signal reçu
L
!
X
y (n) = h(k )sn−k e2iπf0 n + b(n)
k =0
| {z }
a(n)
{sn } une séquence de données (connue ou inconnue)

{h(k )} le filtre inconnu
f0 la fréquence inconnue
b(n) le bruit gaussien blanc

Méthode d’estimation
Deux modes :
Avec séquence d’apprentissage
Data-aided (DA) ou supervisé ou avec pilote
Estimation d’harmonique avec amplitude partiellement
connue variant dans le temps
Sans séquence d’apprentissage

Non-Data-aided (NDA) ou autodidacte/aveugle
Estimation d’harmonique avec bruit multiplicatif et bruit additif
Objectif
Estimer f0 à la donnée de y (n) et sn

Estimation de fréquence pure
Modèle du signal : soit f0 la fréquence
y (n) = ae2iπf0 n + b(n)
avec a l’amplitude complexe telle que a = |a|e2iπφ0 avec φ0 la phase
Exemple :
Harmonic with f0=0.1 and SNR=−10dB Harmonic with f0=0.1 and SNR=0dB Harmonic with f0=0.1 and SNR=10dB
6 6 6
4 4 4
2 2 2
Real part of harmonic

0 0 0
−2 −2 −2
−4 −4 −4
−6 −6 −6
0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 100
sample index sample index sample index
RSB=−10dB RSB=0dB RSB=10dB

Estimateur ML de fréquence pure
Critère ML : comme le bruit additif est gaussien blanc, on a

N−1 2
1 X
min J(|a|, φ, f ) = y (n) − |a|e2iπ(fn+φ)

|a|,φ,f N
n=0
Résultat
h P i
1 N−1
Si phase φ0 connue : f̂N = arg maxf < N n=0 y (n)e−2iπ(fn+φ0 )
P 2
N−1
Si phase φ0 inconnue : f̂N = arg maxf N1 n=0 y (n)e−2iπfn


Preuve
N−1
1 X 2 2
J(|a|, φ, f ) = |y (n)| + |a|
N
n=0
N−1 N−1
!
1 X 1 X
− |a| y (n)e2iπ(fn+φ) + y (n)e−2iπ(fn+φ)
N N
n=0 n=0
Si phase connue (φ = φ0 ), maximisation du terme bleu

Si phase inconnue, φ0 ∈ [0, π[ (sinon ambiguïté avec a et −a) et
PN−1 !1/2
1 −2iπfn
∂J y (n)e
= 0 ⇔ e2iπφ̂N = N1 Pn=0 N−1
∂φ φ=φ̂N 2iπfn
N n=0 y (n)e
d’où

1 N−1
X
J(|a|, φ̂N , f ) = constante − 2|a| y (n)e−2iπfn

N
n=0
ce qui implique la maximisation du terme magenta

f0 = 0.1
N = 100
Harmonic with f0=0.1, N=100 and SNR=−10dB Harmonic with f0=0.1, N=100 and SNR=0dB Harmonic with f0=0.1, N=100 and SNR=10dB
80 120 100
90
70
100
80
60
70
80
50
60
FFT norm
FFT norm
FFT norm
40 60 50
40
30
40
30
20
20
20
10
10
0 0 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
frequency index frequency index frequency index
RSB=−10dB RSB=0dB RSB=10dB

Estimation de fréquence non pure
yN = DN (f0 )SN h + bN
avec
yN = [y (0), · · · , y (N − 1)]T
N nombre d’observations (temps d’observation = [0, NTs [)
[01,L , s0 , · · · , sN−1 ]T : séquence d’apprentissage
SN une matrice N × (L + 1) définie comme suit
 
s0 s−1 . . . s−L
 .. .. 
 s1 . . 
SN =  .
 
 ..


sN−1 sN−2 . . . sN−1−L
h = [h(0), · · · , h(L)]T
DN (f ) = diag([1, · · · , e2iπ(N−1)f ])
bN = [b(0), · · · , b(N − 1)]T : bruit blanc gaussien
Estimateurs ML (I)
Problème dirigé
si la fréquence est connue (problème classique)
−1 H
ĥN|f = (SH
N SN ) SN yN
si le canal est connu (référence ou voie de retour)
f̂N|h = arg max <[hH SH H

N DN (f ) yN ]
f ∈[0,1[
Preuve : suivre la démarche du transparent 46
Lien avec le périodogramme

"
N−1
#
1 X
f̂N|h = arg max < a(n)y (n)e−2iπfn
f ∈[0,1[ N
n=0

Estimateurs ML (II)
Problème conjoint
( −1 H
f̂N = arg maxf ∈[0,1[ yH H
N DN (f )SN (SN SN ) SN DN (f )H yN
−1 H
ĥN = (SH
N SN ) SN DN (f̂N )H yN
Preuve : suivre la démarche du transparent 46
−1 H
Soit PN = SN (SH
N SN ) SN la projection sur l’image de SN .
Soit la décomposition de Cholesky de PN = QH
N QN
Lien avec périodogramme

N−1 N−1
2
1 X X
0 −2iπfn0
f̂N = arg max qn,n0 y (n )e
f ∈[0,1[ N

0
n=0 n =0

Bornes de Cramer-Rao : problème dirigé
Résultat

N0 1
 γf |h = 4π 2 N 3 hH W2 h
2N0 −1
Γh|f = N W0

avec
K
SH
N ∆N SN
WK =
N +1)
(K
et
∆N = diag([0, 1, · · · , N − 1])
Remarque :
Estimateur ML est asymptotiquement efficace

Preuve
" 2 # ky−DN (f )SN hk2

d ln p(y|f ) −
F (f ) = Ey et p(y|f ) ∝ e 2N0
df
−1 H
ln p(y|f ) = (y − hH SH H
N DN (f ) )(y − DN (f )SN h) + cte
2N0
d ln p(y|f ) −1
= (2iπhH SH H
N ∆N DN (f ) )(y − DN (f )SN h)
df 2N0
−1 H
+ (y − hH SH H
N DN (f ) )(−2iπDN (f )∆N SN h)
2N0

d ln p(y|f ) −2iπ H H
h SN ∆N DN (f0 )H b − bH DN (f0 )∆N SN h

=
df
y,f0 2N0
" 2 #
d ln p(y|f ) 4π 2
2hH SH H H

E = 2 N ∆N DN (f0 ) E[bb ]DN (f0 )∆N SN h
df 4N0

Bornes de Cramer-Rao : problème conjoint
Résultat
N0
 1
 γf
 = 4π 2 N 3 hH (W2 −W1 W−1 W1 )h
0
2N0 −1 W−1 W1 hhH W1 W−1

 Γh = N (W0 + )
 0 0
2hH (W2 −W1 W−1
0
W1 )h
Remarque :
Convergence de l’estimateur de la fréquence en 1/N 3
Convergence de l’estimateur du canal en 1/N
Estimateur ML asymptotiquement efficace

Bornes de Cramer-Rao asymptotiques (I)
Considérons
{sn }n une réalisation d’une séquence pseudo-aléatoire
stationnaire
rs (τ ) = E[sn+τ sn ] la fonction d’autocorrélation
Résultat fondamental
N−1
1 X p.s. E[sn−k sn−l ] rs (k − l)
wK (k , l) = nK sn−k sn−l → =
N (K +1) K +1 K +1
n=0
Esquisse de preuve :
N−1
! N−1
1 X
K 1 X
wK (k , l) = n E[sn−k sn−l ] + nK εk ,l (n)
N (K +1) N (K +1)
n=0 n=0
| {z } | {z }
1/(K +1) p.s.
→0

Bornes de Cramer-Rao asymptotiques (II)
Considérons Rs = (rs (k − l))0≤k ,l≤L la matrice (Toeplitz) de

corrélation de taille (L + 1) × (L + 1) du processus {sn }n
Problème dirigé
3N0 1 2N0 −1
γf |h = et Γh|f = R
4π 2 N 3 hH Rs h N s
Problème conjoint
3 hhH

3N0 1 2N0
γf = 2 3 H
et Γh = R−1
s +
π N h Rs h N 2 hH Rs h
Remarque :
Perte de 6dB pour l’estimation de fréquence si le canal est inconnu

Protocole :
Afin de maximiser les périodogrammes, on procède en deux étapes
1. une étape dite grossière réalisée à l’aide d’une TFD
2. une étape dite fine réalisée par le biais d’un algorithme du
gradient initialisé avec le résultat de l’étape grossière
Remarques
A faible RSB et/ou quand le nombre d’échantillons est petit,
l’étape grossière peut échouer ⇒ phénomène de décrochement
La borne de Cramer-Rao ne fournit de l’information que sur la
seconde étape

EQM en fonction du RSB
Canal radio-mobile de norme 1

N = 32
MSE versus SNR / Variable of interest : Channel

MSE versus SNR / Variable of interest : Frequency Offset 20
0 Practical MSE : Channel (Joint Estimation)
Practical MSE : Frequency Offset (Joint Estimation) Theoretical MSE : Channel (Joint Estimation)
Theoretical MSE : Frequency Offset (Joint Estimation) Practical MSE : Channel (Frequency Offset known)
Practical MSE : Frequency Offset (Channel known) 10 Theoretical MSE : Channel (Frequency Offset known)
Theoretical MSE : Frequency Offset (Channel known)
−20
−40
−10
(dB)
(dB)
−60 −20
−30
−80
−40
−100
−50
−120 −60
−20 −10 0 10 20 30 40 50 −20 −10 0 10 20 30 40 50
SNR (N=32, MC=200) SNR (N=32, MC=200)
f0 h
La CRB inexacte à faible RSB (phénomène de décrochement)

Taux d’Erreur Binaire
N = 50, Trame de longueur 500

Egaliseur de Wiener
BER versus SNR for Nt=50 and alpha=10

1
Perfect knowledge
White TS
0.1
BER
0.01
0.001
1e-04
0 2 4 6 8 10 12 14 16
SNR

Problèmes non traités
1. Conception de la séquence d’apprentissage ?

2. Estimation de la fréquence en NDA
3. Décrochement : est-ce intrinsèque au problème ou juste à
l’estimateur ?
4. Extension à l’OFDM
Méthode DA : démarche identique
Méthode NDA : identique ou sous-porteuses nulles (détecteur
d’énergie, méthode sous-espace) ou égalisation entre porteuses
ou ...

Bibliographie
E. Hannan, "The estimation of frequency", Journal of Applied Probability, 1973.
D. Rife et R. Boorstyn, "Single-tone parameter estimation from discrete-time
observations", IEEE Trans. on Information Theory, Septembre 1974.
A. Viterbi, "Non-linear estimation of PSK-modulated carrier phase with application
to burst digital transmissions", IEEE Trans. on Information Theory, Juillet 1983.
U. Mengali et A. d’Andrea, "Synchronisation techniques for digital receivers",
Plenum Press, 1997.
H. Meyr et al., " Digital communications receivers", Wiley, 1998.
M. Ghogho, A. Swami et A. Nandi, "Non-linear least squares estimation for
harmonics in multiplicative and additive noise", Signal Processing, Octobre 1999.
M. Morelli et U. Mengali, "Carrier frequency estimation for transmissions over
selective channels", IEEE Trans. on Communications, Septembre 2000.
N. Noels et al., "Turbosynchronization : an EM algorithm interpretation", IEEE
International Conf. on Communications (ICC), 2003.
Y. Wang et al., "Optimal blind carrier recovery for M-PSK burst transmissions",
IEEE Trans. on Communications, Septembre 2003.
P. Ciblat et al., "Training Sequence Optimization for joint Channel and Frequency
Offset estimation", IEEE Trans. on Signal Processing, Août 2008.

Cours Com921 Part3

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours Com921 Part3

Transféré par

Droits d'auteur :

Formats disponibles

Partie 3:

Estimation des paramètres de propagation

Télécom ParisTech, France

Philippe Ciblat Estimation des paramètres de propagation 2/1

Philippe Ciblat Estimation des paramètres de propagation 2/1

Soit un processus aléatoire XN = {X1 , . . . , XN }

Deux cas de figure :

Philippe Ciblat Estimation des paramètres de propagation 3/1

Deux cas de figure :

On parle alors d’approche déterministe

pX ,θ (xN , θ) ou pX (xN |θ) et pθ (θ)

On parle alors d’approche bayésienne (car θ admet une densité

Philippe Ciblat Estimation des paramètres de propagation 4/1

Pe = Prob(θ̂ 6= θ) E = E[|θ̂ − θ|2 ]

⇒ Détecteur optimal ? ⇒ Estimateur optimal ?

Philippe Ciblat Estimation des paramètres de propagation 5/1

pX (xN |θ) = gθ (T (xN ))h(xN )

Cela signifie, en pratique, que la seule connaissance de T ne fait

Philippe Ciblat Estimation des paramètres de propagation 7/1

Une fonction de coût, notée C(θ, θ̂), mesure l’écart entre θ et θ̂ :

R(θ, θ̂) = E [C(θ, θ̂)]

Philippe Ciblat Estimation des paramètres de propagation 8/1

b(θ, θ̂) = EX [θ̂(xN )] − θ

L’ erreur quadratique moyenne (EQM/MSE) est le risque suivant

EQM(θ, θ̂) = EX [kθ̂(xN ) − θk2 ]

La variance d’un estimateur vaut

var(θ, θ̂) = EX [kθ̂(xN ) − EX [θ̂(xN )]k2 ]

EQM(θ, θ̂) = kb(θ, θ̂)k2 + var(θ, θ̂)

Soit XN un vecteur gaussien réel dont les composantes sont i.i.d.

Soit l’estimateur empirique de la moyenne

Cet estimateur est

Philippe Ciblat Estimation des paramètres de propagation 10 / 1

θ̂ 1 sera dit meilleur estimateur que θ̂ 2 par rapport au risque R ssi

Philippe Ciblat Estimation des paramètres de propagation 11 / 1

pX0 (x|θ) = (x − θ)pX (x|θ)

Philippe Ciblat Estimation des paramètres de propagation 12 / 1

Une version étendue de la CRB au cas biaisé existe

Philippe Ciblat Estimation des paramètres de propagation 13 / 1

Philippe Ciblat Estimation des paramètres de propagation 14 / 1

Nous nous limitons, par souci de légèreté, au cas scalaire

Utilisation, ensuite, de l’inégalité de Cauchy-Schwartz

Philippe Ciblat Estimation des paramètres de propagation 15 / 1

Nous nous limitons, par souci de légèreté, au cas scalaire

Philippe Ciblat Estimation des paramètres de propagation 16 / 1

Philippe Ciblat Estimation des paramètres de propagation 17 / 1

Ex. : estimation d’une moyenne nulle

Philippe Ciblat Estimation des paramètres de propagation 18 / 1

Ex. : estimation d’une moyenne nulle

Philippe Ciblat Estimation des paramètres de propagation 18 / 1

Ex. : estimation d’une moyenne nulle

Philippe Ciblat Estimation des paramètres de propagation 18 / 1

Philippe Ciblat Estimation des paramètres de propagation 20 / 1

Philippe Ciblat Estimation des paramètres de propagation 21 / 1

θ̂ ML,N = arg max p(xN |θ̃)

On parle d’estimateur MV ou ML (Maximum Likelihood)

θ̃ 7→ J(θ, θ̃) = D(pX (.|θ)||pX (.|θ̃)) − H(pX (.|θ))

Philippe Ciblat Estimation des paramètres de propagation 22 / 1

Contre-exemple : estimation de fréquence (variables non i.d.)

Philippe Ciblat Estimation des paramètres de propagation 23 / 1

Philippe Ciblat Estimation des paramètres de propagation 24 / 1

H. Cramer, "Mathematical Methods of Statistics", 1946.

Philippe Ciblat Estimation des paramètres de propagation 25 / 1

Philippe Ciblat Estimation des paramètres de propagation 26 / 1

" 2 # ky−DN (f )SN hk2