Estimation pour le signal

TELECOM Saint-Etienne
FISE 2 Math 3 – Optimisation et Estimation
Année 2021 - 22

Olivier Alata
olivier.alata@univ-st-etienne.fr
TSE FISE2 1
 Déroulement du cours
Objectifs : Introduire les propriétés des estimateurs et
les méthodes d’estimation les plus classiques : méthode
des moments, moindres carrés, maximum de
vraisemblance, estimation bayésienne, méthode de
Monte-Carlo. Il sera aussi question de « détection ».
Evaluation : 2 QCM (coef 0,15 par QCM)
2 évaluations écrites (coef 0,35 par éval.)
Intervenants en TD : Elena Silaeva, Ameur Soualmi,
Olivier Alata
Cours en Amphi :
– Interruptions régulières pour échanger avec les étudiants.
– Nombreux exemples. TSE FISE2 2
 Prérequis et sites web
• Cours « Probabilités et Statistiques ». Voir Partie III du
document de cours sur les statistiques inférentielles.
• Cours « Signaux aléatoires ». Partie 4 « Estimation »
dans le document de cours (pas abordée l’année
dernière).
• Cours « Traitement des signaux déterministes »
• Cours « Signaux et systèmes discrets »
• Exemples de sites web et logiciels :
– http://wikistat.fr/ & Wikistat 2.0 · GitHub
– https://scikit-learn.org/stable/
– https://www.r-project.org/
TSE FISE2 3
 Example : RGB-D Image clustering
https://arxiv.org/abs/1509.01788 ou Mootse

Etape fondamentale :
Estimation des
• Clustering paramètres du modèle
– Performs joint color-spatial-axial clustering.
– Generates a set of regions.

• Region Merging
– Region Adjacency Graph (RAG).
– Merge regions which are likely to be over-segmented.
Hasnat, Alata, Trémeau, IEEE PAMI, 2016. TSE FISE2 4
 Inférence statistique
• A partir d’un échantillon de taille N fini

obtenir des informations (ou des conclusions)

sur l’ensemble de la population qui peut être
de taille infinie.
• Hypothèse de départ : est la réalisation
d’une variable aléatoire qui possède une
certaine loi de probabilité.

TSE FISE2 5
 Différents types de problèmes
• Les , , possèdent toutes la même
loi et sont indépendantes (N-échantillon voir T.24) :
– Trouver (approcher, estimer) les paramètres de cette
loi : moyenne, variance, kurtosis, …
– Estimation ponctuelle ou par intervalle de confiance.
• Des spécificités à prendre en compte dans le
contexte des signaux (stationnarité, ergodicité,
corrélations, …).
• et si les grandeurs à estimer possèdent aussi une
loi de probabilité (loi a priori) : Estimation
bayésienne TSE FISE2 6
 Différents types de problèmes
• Etudier la relation entre et un autre N-
échantillon :

– Modèle de régression : .
– Détection / Classification :
– Dans les 2 cas, trouver / estimer les paramètres
de .
– La droite de régression (ou régression linéaire)
est un exemple.
TSE FISE2 7
 Définitions
Estimation - Estimateur
• Soit une réalisation . On notera
le vecteur aléatoire dont une réalisation
est . représente la « vraie » valeur d’un paramètre
(ou d’un ensemble de paramètres) qui est inconnue.
– Une estimation de , notée est une fonction
mesurable des observations

– L’estimateur associé est la v.a.

TSE FISE2 8
 Définitions
Estimation - Estimateur
• distinction entre une estimation « globale » et une
estimation « adaptative » d’une valeur :
– Méthode « globale » : prise en compte de l’intégralité du
signal.
– Méthode « adaptative » : mise à jour de l’estimation des
paramètres, calculés à partir des réalisations aux instants
m < n, en prenant en compte la réalisation à l’instant n :
• Algorithmes adaptatifs (LMS ou gradient stochastique, RLS, …),
• Filtre de Kalman,
• Filtres particulaires ou méthodes de Monte-Carlo séquentielles,
• …

TSE FISE2 9
 Quelques remarques
• Dans la pratique, on travaille toujours avec un nombre fini
d’échantillons.

• Dans un contexte de données aléatoires, les valeurs estimées

sont différentes d’une réalisation d’un N-échantillon à une
autre.

• Il faut se poser les questions suivantes :

– La formule mathématique (estimateur) que j’utilise pour calculer telle
grandeur statistique ou tel paramètre de modèle sur la réalisation finie
dont je dispose, va-t-elle me fournir une valeur exploitable ?
– Dit autrement, est-ce que l’estimateur a de bonnes propriétés ?
– Est-ce que je suis bien dans les conditions d’application de cet
estimateur ?
– Si j’ai le choix entre plusieurs estimateurs, quel est le meilleur ?

TSE FISE2 10
 Quelques remarques
• Il n’est pas possible d’estimer une grandeur statistique à l’aide d’un
seul échantillon. Il faut un minimum de valeurs.

• Plus l’ordre statistique de la grandeur à estimer augmente, plus il faut

de valeurs pour avoir une estimation fiable.

• Si est déterministe et que le N-échantillon n’est pas considéré

comme étant issu d’une expérience aléatoire ou qu’il n’est pas possible
de faire d’hypothèse de loi, il est possible de définir une estimation en
dehors de tout cadre probabiliste, en utilisant un critère approprié
comme le critère des moindres carrés par exemple. Est-il alors possible
de dire qu’il s’agit d’une « bonne » estimation ?

TSE FISE2 11
 Exemple
• Estimation de la valeur d’une résistance à partir de N mesures bruitées
de l’intensité et de la tension à ses bornes.

TSE FISE2 12
 Estimation de grandeurs
statistiques
• L’estimation de

à partir de peut se faire à l’aide

de la formule

Est-ce que c’est une « bonne » estimation ?

TSE FISE2 13
 Estimation de grandeurs
statistiques
• Estimation de la moyenne :

• Estimation des moments centraux

Peut-on utiliser ces formules systématiquement ?

TSE FISE2 14
 Estimation de grandeurs
statistiques
• Quand N est « faible » (mais N > 3 tout de
même)
D’où sortent ces
Variance termes qui
dépendent de N ?
Skewness

Kurtosis

TSE FISE2 15
 Estimation de grandeurs
statistiques
• De manière plus générale (si le s.a.
possèdent de « bonnes » propriétés et que l’on dispose de
suffisamment d’échantillons) :
L’estimation de

à partir de se fera à l’aide de la

formule

TSE FISE2 16
 Estimation de grandeurs
statistiques
• Estimation de la fonction d’autocorrélation :
avec ,

A éviter pour
Mais aussi OK pour

Quel est le meilleur estimateur ?

TSE FISE2 17
 Estimation de grandeurs
statistiques
• Estimation de la fonction d’autocovariance :
avec ,
– Même chose que transparent précédent mais avec
les valeurs centrées :

– Ou alors utiliser la relation (cas SSL) :

Voir TD SA sujet 1 exercice 4

TSE FISE2 18
 Estimation non paramétrique
Densité spectrale de Puissance
• Périodogramme ( réalisation
finie d’un s.a. S.S.L.) :

avec

( T.F.D. de x).
Il existe de nombreux autres estimateurs
(voir partie 4.4 cours « Signaux aléatoires »).
Lequel choisir ?
TSE FISE2 19