Vous êtes sur la page 1sur 11

Cours Doctoral, Universit du 20 Aout Skikda

Dtection,
Estimation,
Information.
Notions de base
Universit du 20 Aot Skikda - Algrie

1 Introduction
1.1 Problmes de dtection
1.1.1 Dtection dun signal connu
1.1.2 Dtection dun signal inconnu
1.1.3 Dtection dun signal alatoire
1.1.4 Quelques exemples
1.2 Problmes destimation
1.2.1 Estimation dun signal connu
1.2.2 Estimation dun signal inconnu
1.2.3 Estimation dun signal alatoire dans du bruit
1.2.4 Quelques exemples
1.3 Approche
1.3.1 Systme linaire invariant
1.3.2 Systme non linaire
1.3.3 Approche structure ou non
1.4 Notations
1.5 Rfrences
1.6 Plan du document
I Thorie de la Dtection
2 Dtection binaire
2.1 Critre de Bayes
2.2 Rapport de vraisemblance
2.2.1 Minimisation
2.2.2 Rapport de vraisemblance
2.2.3 Logarithme du rapport de vraisemblance
2.3 Exemples
2.3.1 Exemple 1 : Dtection dun signal dterministe dans du bruit
2.3.2 Exemple 2 : Dtection dun signal alatoire continu dans du bruit
2.3.3 Exemple 3 : Dtection dun signal alatoire discret dans du bruit
2.4 Choix de cots
2.4.1 Cots uniformes
2.4.2 Communications numriques
2.4.3 Probabilits a priori inconnues
2.5 Courbes de risque
2.6 Critre MINIMAX
2.7 Test de Neyman-Pearson
2.8 Statistique suffisante
2.9 Performance du test
2.9.1 Performance de lexemple 1
2.9.2 Performances pour la minimisation de lerreur totale

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

2.9.3 Performance de lexemple 3


2.9.4 Proprits des courbes COR
2.10 Rsum sur la dtection binaire
3 Dtection non binaire
3.1 Critre de Bayes dans le cas M-aire
3.2 Critre de Bayes dans le cas ternaire
3.3 Test dans le cas ternaire
3.5 Rsum sur lestimation ternaire
3.6 Extension au cas M-aire
II Thorie de lestimation
4 Estimation dun paramtre alatoire
4.1 Principe et fonctions de cot
4.2 Calcul pour le cot quadratique
4.3 Calcul pour le cot erreur absolue
4.4 Calcul pour le cot uniforme
4.5 Equation du maximum a posteriori (MAP)
4.6 Exemple
4.6.1 Enonc
4.7 Invariance de lestimateur
4.8 Exemple dune observation non linaire
4.8.1 Enonc
4.8.2 Solution
4.9 Estimation dune loi de Poisson
4.9.1 Enonc
4.9.2 Solution
4.9.3 Remarques
4.10 Rsum de lestimation de paramtres alatoires
5 Estimation de paramtres dterministes
5.1 Principe et qualit de lestimation
5.2 Maximum de vraisemblance
5.3 Ingalits de Cramer-Rao
5.3.1 Thorme
5.3.2 Dmonstration de la premire ingalit
5.3.3 Dmonstration de la seconde ingalit
5.4 Remarques
5.5 Variance dun estimateur non biais et efficace
5.6 Applications des ingalits de Cramer-Rao
5.6.1 Paramtre avec bruit additif gaussien
5.6.2 Loi de Poisson
5.6.3 Observation non linaire
5.7 Liens entre estimateurs ML et MAP
5.8 Proprits de lestimateur du maximum de vraisemblance
6 Estimation de paramtres multiples
6.1 Estimation
6.1.1 Estimation de vecteurs alatoires
6.1.2 Estimation de vecteurs dterministes
6.2 Performance
6.2.1 Biais de lestimateur
6.2.2 Dispersion de lestimateur
6.2.3 Dispersion dans le cas gaussien
III Thorie de linformation
7 Grandeurs fondamentales de la thorie de linformation
7.1 Entropie
7.1.1 Dfinitions

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

7.1.2 Proprits
7.1.3 Exemples
7.2 Entropies jointes et conditionnelles
7.2.1 Dfinitions
7.2.2 Relations entre entropies
7.2.3 Proprits et cas particulier
7.3 Entropies relatives et information mutuelle
7.4.2 Consquences
7.5.1 Enonc
7.5.2 Existence dune solution en trois peses
7.5.3 Dtermination de la premire pese
7.5.4 Dtermination de la seconde pese
8 Codage et compression de donnes
8.1 Exemples de codes
8.1.1 Dfinitions
8.4.3 Comparaison de deux codes
8.5 Thorme de Mac Millan
8.5.1 Thorme
8.5.2 Commentaires
8.6 Codes de Shannon et dHuffman
8.6.1 Code de Shannon
8.6.2 Code dHuffman

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

Chapitre 1
Introduction

1.1 Problmes de dtection


Pour illustrer les objectifs des thories de la dtection et de lestimation, considrons lexemple dun
systme de communications numriques (Fig. 1.1) destin transmettre un message de la source vers
un rcepteur. La source met des mots binaires toutes les T secondes. Le canal de transmission
transmet le message. Sa nature, et la faon dont linformation sera transmise, peuvent tre trs
variables : fil pour une transmission lectrique (tlphone), air pour des transmissions
lectromagntiques ou acoustiques, eau pour des transmissions en acoustique sous-marine, fibres
optiques, etc.
Considrons par exemple une transmission radio avec une porteuse sinusodale telle que, pendant
T secondes :

sin
sin
S(t) = (1.1)

Avec une pulsation connue 0 ou 1, selon que la source met le mot binaire 0 ou 1 (Fig. 1.2).

1.1.1 Dtection dun signal connu

Dans le meilleur des cas, le signal, aprs transmission dans le canal, arrive avec attnuation mais sans
distorsion au niveau du rcepteur. Il suffit dun amplificateur pour restituer lamplitude initiale du
signal. Cependant, le canal et lamplificateur introduisent du bruit, si bien que le signal reu, r(t)
scrit :

sin
r(t) = (1.2)
sin

Canal
Source metteur Rcepteur
Signal
Squence numrique

FIG. 1.1 Schma dun systme de communication numrique.

metteur

FIG. 1.2 Schma dun systme avec modulation binaire.

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

Le problme consiste donc dcider, en observant le signal r(t), lequel des deux symboles 0 ou 1 a
t mis. Cest donc un problme simple de dtection dun signal connu dans du bruit.

1.1.2 Dtection dun signal inconnu

Supposons maintenant que les oscillateurs dlivrant les signaux s0(t) et s1(t) aient un glissement de
phase, alors pendant T secondes on observe :

sin
r(t) = (1.3)
sin

O 0 et 1 sont des angles inconnus et constants1. Mme en absence de bruit, le signal reu nest
pas parfaitement connu. Le problme est alors plus complexe que dans le paragraphe prcdent : il
sagit de dtecter un signal inconnu (ou paramtres inconnus) dans du bruit.

Exemple : cho radar. Le radar met pendant T secondes, avec une certaine priode de rptition
Tr, un signal de pulsation 0, cest--dire :

sin , . , .
S(t) = (1.4)
0,
Si une cible immobile2 est prsente, on observe, en rponse s(t) un signal r(t) :

. sin , . , .
r(t) = (1.5)
0,

O Ar est lattnuation qui dpend de la distance de la cible, de sa taille et de son coefficient de


rflexion, est gal au temps aller-retour entre la cible et la source, r est le glissement de phase en
rception, et n(t) est un bruit. On voit quen absence de cible, on observe toujours n(t). Mme sil ny
a pas de bruit, lcho est un signal inconnu, puisquil comporte trois paramtres inconnus :
lattnuation Ar, le retard et le glissement de phase r.

1.1.3 Dtection dun signal alatoire

Quittons lexemple des communications numriques, et considrons maintenant un signal sonar dans
lequel on cherche dtecter le signal mis par un navire parmi les signaux mis par dautres btiments
et les signaux dorigine biologique mis par les crevettes, les dauphins, les poissons, etc. Le signal
mis par le navire est inconnu, il est complexe car d des causes multiples : signaux des moteurs et
de transmission, signaux des hlices et de cavitation, bruits produits par lquipage et transmis par la
coque, etc. On le modlise donc par un signal alatoire sa(t), et toutes les perturbations sont rsumes
par le bruit n(t). On observe donc :

s! , "# $% # # & # ,
r(t) = (1.6)
,

Cette situation se retrouve dans le traitement de signaux sismiques ou radio-astronomiques, mais aussi
pour des communications numriques lorsque les caractristiques sont inconnues. Ce problme est
encore plus compliqu, puisquil sagit de dtecter un signal alatoire dans du bruit, cest--dire dans
un autre signal alatoire.

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

1.1.4 Quelques exemples

La dtection est une tape essentielle dans de nombreux problmes. Nous avons voqu des problmes
de communications numriques o il sagit de dtecter un signal parmi deux possibles : il sagit de
dtection binaire. Les communications numriques peuvent utiliser des codes plus compliqus, si bien
qu chaque instant un signal parmi 4, 16, voire 256 peut tre attendu : on parle alors de dtection M-
aire, avec M = 4, M = 16 ou M = 256.
Les problmes de classification sont galement des problmes de dtection gnralement Maire.
En reconnaissance optique de caractres, il sagit de dtecter un caractre alphanumrique parmi 26
lettres (en distinguant ventuellement les majuscules), plus 10 chiffres et les signes de ponctuation.
Dans le cas le plus simple, on connait le type de caractres (par exemple, la fonte Time Roman 11pt) :
on connat donc parfaitement les signaux possibles. Dans le cas o la taille de la fonte est inconnue,
la dtection doit tre invariante ; cest aussi le cas pour les classifieurs multi-fontes. En reconnaissance
de la parole (ou de locuteur), il sagit de dtecter un mot (ou un locuteur) partir dun signal de parole.
Dans la plupart des cas, le signal est multidimensionnel. Dans le cas de signaux de communication, on
observe le signal sur un temps T, ce qui permet de mesurer N chantillons. Pour un signal de parole de
100 ms, chantillonn entre 10 et 20 kHz, on mesure entre 1000 et 2000 chantillons.
Il est illusoire de travailler dans un espace qui comporte autant de dimensions3. La premire
tape consiste extraire un nombre rduit des caractristiques pertinentes (features en anglais) qui
seront discriminantes. De la pertinence de ces caractristiques dpendront les performances du
classifieur. La mme tape de codage qui permet de rduire la dimension de lobservation de faon
judicieuse est primordiale en reconnaissance de caractres, analyse de scnes, etc.
Certains dtecteurs sont dj tout fait usuels : cest le cas des logiciels de lecture optique
associs nimporte quel scanner. Dautres sont encore concevoir : par exemple, larchivage et la
recherche de donnes complexes (images, sons, squences audio-vido, etc.) dans des bases de
donnes de trs grandes tailles (par exemple, sur Internet) suppose de savoir indexer automatiquement
des donnes pour les ranger et les retrouver efficacement : lindexation est le calcul de caractristiques
pertinentes de ces donnes. On voudrait aboutir des systmes capables de rechercher (et vite) des
donnes partir dune requte du style : je veux les images de coucher de soleil en montagne ou bien
une recherche par le contenu partir dune image de coucher de soleil en montagne, cest--dire : je
veux les images qui ressemblent celle-ci.
Pour rsumer, nous avons rassembl ces exemples par niveau de complexit dans le tableau ci-
dessous.

Rsum des problmes de classification


Complexit Types de problmes
Niveau 1 Communications numriques synchrones
Dtection dun signal Reconnaissances de formes (connues) connu dans du bruit
Niveau 2 Dtection dune cible en radar ou sonal actifs
Dtection dun signal Classification invariante inconnu dans du bruit Communication sans rfrence
de phase Reconnaissance de la parole pour un locuteur connu
Niveau 3 Communications numriques
Dtection dun signal Reconnaissance multi-locuteurs alatoire dans du bruit Radar ou sonar passifs,
signaux sismiques, Radioastronomie

1.2 Problmes destimation


On peut galement considrer plusieurs niveaux de complexit, similaires, dans les problmes
destimation. En dtection, il sagit de dcider dune hypothse parmi un nombre fini M dhypothses
possibles. En estimation, il sagit dvaluer la valeur dune quantit continue (au moins par intervalles)
et qui peut prendre une infinit de valeurs.

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

1.2.1 Estimation dun signal connu

Considrons de nouveau un systme de communications, dans lequel la source met un signal


analogique, A(t), chantillonn Te. A chaque instant kTe, on mesure lamplitude A(kTe) = Ak qui est
transmise vers le rcepteur et perturbe par les bruits du canal, de lmetteur et du rcepteur.
Ainsi, avec un metteur utilisant une modulation damplitude, le signal mis est de la forme :

s(t,Ak) = Ak sin(ct), t [kTe, (k + 1)Te[ (1.7)

Dans le cas dune modulation de frquence, on aura :

s(t,Ak) = sin(ct + Akt), t [kTe, (k + 1)Te[ (1.8)

Sur le rcepteur, en tenant compte des divers bruits, on a :

r(t) = s(t,Ak) + n(t), t [kTe, (k + 1)Te[ (1.9)

Le signal reu, r(t) dpend donc de lamplitude A du signal. Si lon connait parfaitement la
modulation : type et paramtre (c), et si lapplication entre A et s(t,A) est bijective, cest un
problme destimation (des paramtres) dun signal connu dans du bruit.

1.2.2 Estimation dun signal inconnu

Considrons de nouveau le signal reu en rponse une mission radar, pour une cible qui se dplace.
Le signal reu est similaire lquation (1.5), mais avec un effet Doppler qui se traduit par une
variation de pulsation d :

. sin ( , . , .
r(t) = (1.10)
0,

Ici, on sait quil y a une cible et on dsire valuer sa distance et sa vitesse (et mme ventuellement sa
taille et son type) partir de lestimation de et d. Dans cet exemple, on remarque quil existe, en
plus des paramtres utiles, des paramtres supplmentaires inconnus, Ar et r, qui vont rendre
lestimation difficile. Le problme est donc lestimation dun signal inconnu dans du bruit.

1.2.3 Estimation dun signal alatoire dans du bruit

Dans ce cas, le rcepteur mesure :

r(t) = sa(t,A) + n(t), (1.11)

o sa(t,A) est la ralisation dun processus alatoire. Ce type de situations est frquent en radar ou
sonar passif4 (estimation de la vitesse dun avion ou dun navire), en radioastronomie (estimation de la
vitesse dun objet cleste), etc.

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

1.2.4 Quelques exemples

Lestimation est une tape essentielle, qui succde gnralement la dtection (inutile destimer la
vitesse dune cible sil ny a pas de cible !). Aux problmes de dtection voqus ci-dessus, on peut
associer des problmes destimation.
Comme en dtection, dans la plupart des cas et pour les mmes raisons, le signal est
multidimensionnel. La relation entre lobservation et les grandeurs que lon cherche estimer est aussi
essentielle. Certains systmes destimation sont tout fait usuels : cest le cas des systmes radar qui
sont capables destimer avec prcision la position et la vitesse des avions.
Pour rsumer, nous avons rassembl ces exemples par niveau de complexit dans le tableau ci-
dessous.

Rsum des problmes destimation


Complexit Types de problmes

Niveau 1 Systmes de communications


Estimation dun signal modulation damplitude, connu dans du bruit de frquence, etc. connues
Niveau 2 Vitesse, distance en radar ou sonal actifs
Estimation dun signal Communication analogique avec inconnu dans du bruit modulation
damplitude, de frquence, etc. inconnues.
Niveau 3 Estimation des paramtres dun spectre
Estimation dun signal Vitesse en radioastronomie alatoire dans du bruit Paramtres dune cible en
radar ou sonar passifs ou en sismique.

1.3 Approche
Il est vident, comme nous lavons dj soulign, que dans les problmes de dtection comme ceux
destimation, on trouve des aspects alatoires, diffrents niveaux de complexit. De faon naturelle,
ceci conduit une approche statistique.
Par ailleurs, nous pourrons considrer un cadre structur ou non. Dans le cadre structur, la
solution est recherche dans le cadre dun modle paramtrique. Dans la suite, on considrera deux
exemples, le premier dans lequel le modle est un systme linaire invariant, le second dans lequel le
modle est non linaire.

1.3.1 Systme linaire invariant

Lentre r(t) dun systme linaire invariant, de rponse impulsionnelle h( ), vaut :

s t , 0* *
r(t) = (1.12)
0,

Le signal dterministe s(t) a une nergie connue :

/ -
+ , .. , (1.13)

Et le bruit n(t) est suppos centr, blanc et de covariance :

n(t, u) = E[n(t)n(t u)] = N0(u) (1.14)

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

En absence de bruit, la sortie du systme linstant T serait :

/
, h s T d (1.15)

De mme, la rponse au bruit seul serait :

/
, h n T d (1.16)

Comme critre de qualit du systme, on peut dfinir le rapport signal bruit en sortie :
4 678 9
(1.17)
5 : ;87 /

On peut alors choisir le systme h() qui maximise le rapport signal bruit.
Cet exemple montre que la solution du problme repose sur trois ingrdients :

une structure : ici, nous avons choisi un systme linaire invariant,


un critre : ici, cest le rapport signal bruit,
des informations a priori : sur le signal (pour calculer - (T)) et sur le bruit (covariance).

Des informations supplmentaires sur le signal, par exemple sa densit de probabilit, ne seraient
daucune utilit. Rciproquement, si on avait moins dinformations, on ne pourrait plus de rsoudre le
problme. De plus, si nous changions le critre, les informations requises seraient diffrentes, ainsi
peut tre que la solution. Ainsi, les trois ingrdients : structure, critre et information a priori, sont
fortement lies. Mentionnons galement dans la mise en uvre pratique un quatrime ingrdient :
lalgorithme doptimisation du critre.

1.3.2 Systme non linaire

La structure nest pas limite un modle linaire. Considrons par exemple un systme non linaire
sans mmoire (la sortie linstant t ne dpend que de lentre linstant t) dont lentre vaut r(t) =
s(t) + n(t), o s(t) est un signal alatoire de densit de probabilit connue ps(u) et n(t) est un bruit de
densit connue pn(v). Le systme est un dispositif quadratique dont la sortie y(t) sexprime par :

y(t) = a0 + a1r(t) + a2r2(t) (1.18)

On dtermine le systme, cest--dire ses coefficients a0, a1 et a2, en minimisant lerreur quadratique
moyenne :
e = E[ y t s t - ],
= E[ a0 a1r t a2r - t s t -] (1.19)

Cet exemple propose une autre approche structure et montre bien les liens entre la structure, le critre
et les informations. En effet,
un systme linaire invariant ou un modle paramtrique non linaire se formalisent avec des
quations diffrentes,
minimiser lerreur quadratique moyenne (1.19) ne requiert pas du tout les mmes informations que
maximiser le rapport signal bruit.

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

1.3.3 Approche structure ou non

Dans le cas non structure, on nimpose pas de structure au systme recherch, seulement un critre.
Lavantage de cette mthode est que, si nous savons trouver une solution, ce sera la meilleure solution
vis--vis de ce critre. La difficult est que, en raison de labsence de structure, on doit disposer
dinformations trs compltes sur le signal et le bruit. Au contraire, les approches structures
ncessitent moins dinformations sur le signal et le bruit. En revanche, les performances sont
fortement lies la qualit du modle.

1.4 Notations
Dans ce document, nous noterons les quantits scalaires par des caractres simples et les vecteurs en
caractres gras : par exemple, r correspond un scalaire alors que r est un vecteur.
Pour simplifier les notations, nous ne distinguerons pas (en gnral) une variable alatoire (scalaire) R
ou un vecteur alatoire R de leur ralisations r ou r, respectivement : toutes seront notes en
minuscules. La densit conditionnelle de r tant donn une quantit (variable, paramtre, hypothse) a
sera note p(r/a).
Une variable alatoire s gaussienne, de moyennement de variance 2 sera note de faon compacte
s ~ N(m, 2).
Les intgrales, intervenant notamment dans le risque et dans les moyennes, qui sont souvent
des intgrales multiples, seront notes avec un seul signe R; llment diffrentiel sera scalaire, par
exemple dr, pour une intgrale simple, ou vectoriel, par exemple dr, pour une intgrale multiple.

1.5 Rfrences
De trs nombreux ouvrages ont t crits sur ces thories et les outils ncessaires leur
comprhension. Quelques rfrences disponibles la bibliothque universitaire et celle de Polytech
sont proposes ci-dessous.

Rappels de probabilits et de statistiques


Bibliothque Polytech
H. Stark, Probability, Random Processes, and Estimation Theory for Engineers, Prentice Hall,

Bibliothque ENSERG
B. Picinbono, Signaux alatoires, Tomes 1 et 2, Dunod universit, 1994
A. Papoulis, Signal Analysis, McGraw-Hill, 1977
Thories de la dtection et de lestimation
Bibliothque Polytech
D. Declecq, Signaux et systmes en questions (IV) Dtection et estimation des signaux, Herms,
1996
M. Akay, Detection and estimation methods for biomedical signals, California Academic Press,
1996
A. Quinquis, C.-S.Maroni, Dtection et estimations des signaux : exercices et ptoblmes corrigs,
Herms, 1999
M. Kunt, G. Coray, Granlund G. H., J.-P. Haton, Reconnaissance de formes et analyse de scnes,
Presses polytechniques et universitaires romandes, CNET-ENST, 2000
Bibliothque Sciences
R. Deutsch, Estimation Theory, Prentice Hall, 1965
M. Gugliemi, Signaux alatoires : modlisation, estimation, dtection, Herms, 2004
J. Hrault, C. Jutten, Rseaux neuronaux et traitement du signal, Herms, 1994
Bibliothque ENSERG
L. L. Scharf, Statistical Signal Processing - Detection, Estimation and Time Series Analysis,

Dr. Mohamed Lashab


Cours Doctoral, Universit du 20 Aout Skikda

Addison-Wesley, 1991
H. Van Trees, Detection, Estimation and Modulation Theory, John Wiley and Sons, 1968 (Tomes
1, 2 et 3)
Thories de linformation
Bibliothque Sciences
L. Brillouin, La science et la thorie de linformation, Masson, 1959
R.McEliece, The theory of information and coding (student edition), Cambridge University Press,
2003
J. F. Young, Information theory, Butterworth, 1971
Bibliothque ENSERG
G. Battail, Thorie de linformation - Application aux techniques de communication, Masson,
1997
T. M. Cover and J. A. Thomas, Elements of information theory, Wiley, 1991

1.6 Plan du document


Outre cette introduction, ce cours est partag en 4 parties. La premire concerne la thorie de la
dtection, la seconde la thorie de lestimation, la troisime la thorie de linformation. Ces trois
parties de cours sont suivies dune quatrime partie, qui est un recueil des exercices proposs en

Dr. Mohamed Lashab