Vous êtes sur la page 1sur 25

Problmes inverses en traitement

du signal et de limage

par Guy DEMOMENT


Professeur luniversit de Paris-Sud
Laboratoire des signaux et systmes, Suplec
Jrme IDIER
Charg de recherche au CNRS
Laboratoire des signaux et systmes, Suplec
Jean-Franois GIOVANNELLI
Matre de confrences luniversit de Paris-Sud
Laboratoire des signaux et systmes, Suplec
et Ali MOHAMMAD-DJAFARI
Directeur de recherche au CNRS
Laboratoire des signaux et systmes, Suplec

1. Deux exemples dinversion ................................................................... TE 5 235 - 3


2. Aspects mathmatiques ........................................................................ 5
3. Rgularisation ........................................................................................... 8
4. Approche baysienne de linversion .................................................. 12
5. Mthodes de minimisation de critre ................................................ 20
6. Questions plus avances ....................................................................... 22
7. Conclusion ................................................................................................. 24
Rfrences bibliographiques ......................................................................... 24

D ans de nombreux domaines de la physique applique, tels que loptique,


le radar, la thermique, la spectroscopie, la gophysique, lacoustique, la
radioastronomie, le contrle non destructif, le gnie biomdical, linstrumenta-
tion et limagerie en gnral, se pose le problme de la dtermination de la
distribution spatiale dune grandeur scalaire ou vectorielle, souvent appele
lobjet, partir de mesures. Selon les cas, ces mesures de lobjet sont directes
on parle alors dimage ou indirectes on parle alors de projection dans le
cas de la tomographie, ou de visibilit en astronomie, par exemple. La rsolution
dun tel problme dimagerie peut tre habituellement dcompose en trois
tapes :
un problme direct o, connaissant lobjet et le mcanisme dobservation,
on tablit une description mathmatique des donnes observes. Ce modle doit
tre assez prcis pour fournir une description correcte du phnomne physique
dobservation, et assez simple cependant pour se prter un traitement
numrique ultrieur ;
un problme dinstrumentation o lon doit recueillir des donnes le plus
informatives possible afin de rsoudre le problme dimagerie dans les
meilleures conditions ;

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 1
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

un problme inverse o lon doit calculer une image acceptable de lobjet


partir du modle et des donnes prcdents.
Une bonne estimation de lobjet ncessite videmment que ces trois sous-
problmes soient tudis de manire coordonne. Or, la caractristique
commune de ces problmes de reconstruction ou de restauration dimage est
quils sont souvent mal-poss ou mal-conditionns. Les problmes de plus haut
niveau que lon rencontre en vision par ordinateur, tels que la segmentation
dimage, le traitement du flot optique, la reconstruction de formes partir
dombrages, sont aussi des problmes inverses et ils souffrent des mmes
difficults.
Il existe, schmatiquement, deux grandes communauts scientifiques qui
sintressent ces problmes inverses, dun point de vue mthodologique :
celle de la physique mathmatique, que lon peut rattacher aux travaux
fondateurs de Phillips, Twomey et Tikhonov dans les annes 1960, dont P.C.
Sabatier fut un des pionniers en France (avec son action thmatique program-
me du mme nom), et dont une revue reprsentative est Inverse problems ;
celle du traitement statistique des donnes, que lon peut rattacher aux
travaux de Franklin la fin des annes 1960, dont les frres Geman ont constitu
les acclrateurs en traitement dimage, et dont une revue reprsentative est
IEEE Transactions on Image Processing .
On peut dire, grossirement, que les uns abordent le problme en dimension
infinie, avec les questions dexistence, dunicit et de stabilit qui deviennent
trs compliques avec des problmes directs non linaires, et le rsolvent
numriquement en dimension finie ; alors que les autres partent dun problme
dont la discrtisation est dj faite la rsolution souhaite, et non remise en
cause, et profitent du caractre fini du problme pour introduire une informa-
tion a priori labore au travers de modles probabilistes.
Nous nous proposons dindiquer brivement dans la suite quels sont, de
notre point de vue, ltat de lart et les questions ouvertes dans le domaine de
la rsolution des problmes inverses, en accordant une place importante aux
approches probabilistes.
(0)

Sigles et abrviations
AIC Akaike information criterion
AR autorgressif
ARMA auto-regressive moving average
ART algebric reconstruction technic
BIC Bayesian information criterion
DSP densit spectrale de puissance
EM expectation maximization
EQM erreur quadratique moyenne
EQMP erreur quadratique moyenne de prdiction
MAP maximum a posteriori
MUSIC multiple signal classification
MV maximum de vraisemblance
RIF rponse impulsionnelle finie
SEM stochastic expectation maximization
SVD singular value decomposition
TF transforme de Fourier
TFD transforme de Fourier discrte
VCG validation croise gnralise

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 2 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

1. Deux exemples dinversion

1.1 Restauration dimage


Le problme de la restauration dune image dgrade par un
processus dobservation tant frquemment rencontr en ingnierie,
nous le choisissons comme premier fil directeur afin dillustrer les
diffrents concepts qui seront introduits par la suite.
Une image est gnralement dfinie comme une fonction scalaire
de deux variables appartenant une rgion donne de lespace. Bien
que ce support soit souvent continu, il est habituellement
chantillonn sur une grille rectangulaire. Cela dfinit un ensemble
de pixels, et limage est reprsente par un signal bidimensionnel
xn, m des valeurs des intensits des pixels, o les indices n et m sont
ceux de leurs coordonnes.
Dans tous les problmes de traitement dimage voqus dans
lintroduction [1] [2] [3] [4] [5], lobjet dintrt ne peut pas tre
observ directement : il lest travers un systme de mesure en
gnral imparfait, pour lequel, par exemple, limage dun point nest
pas un point mais une tache de flou, ou rponse impulsionnelle. Un Figure 1 Objet original
modle simple pour dcrire un tel systme est le modle convolutif :

y (n, m ) = h (k, , ) x(n k, m , ) (1)


k, ,

qui est linaire et invariant. En ralit, pour intgrer les erreurs de


mesures et celles de modlisation, on crit plutt :

y (n, m ) = h ( k, , ) x ( n k , m , ) + b ( n , m ) (2)
k, ,

o b reprsente un terme derreur. Lopration raliser est donc


une dconvolution en prsence de bruit : il sagit de retrouver
limage originale (ou plutt den faire une estimation) partir des
donnes observes et de la rponse impulsionnelle.
En concatnant lensemble des valeurs des pixels de lobjet et
des donnes dans deux vecteurs x et y respectivement, la
relation (2) scrit sous la forme gnrique :
y = Ax + b (3)
dans laquelle A est la matrice de convolution constitue des coef-
ficients h ( k , , ) de la rponse impulsionnelle.
Pour notre exemple de dconvolution dimage, lobjet idal est
prsent figure 1. Il sagit dune image de 128 128 pixels dont les
niveaux de gris sont cods entre 0 et 255. La figure 2 donne un
exemple typique dimage dgrade. Elle a t obtenue par simula- Figure 2 Donnes : image floue bruite
tion numrique partir du modle de lquation (3) : la rponse
impulsionnelle est constante (gale 1/49) sur un carr de taille
7 7 et nulle en dehors. La convolution ralise donc une moyenne ci contient des contours nets sparant des rgions homognes
des 49 pixels du carr centr au pixel (n, m ) de lobjet idal x, pour sont trs attnues, ce qui explique la mauvaise rsolution de
construire le pixel correspondant de limage observe y. Le bruit b limage observe. Il existe en plus des zros de transmission qui
est une squence pseudo-alatoire gaussienne et spatialement renforcent les difficults du problme.
blanche, de puissance 2b = 1 .
Les grandes structures de limage restent discernables, mais la Lide qui vient naturellement lesprit pour amliorer la rsolu-
rsolution spatiale est insuffisante pour observer les petites struc- tion du dispositif est de rsoudre numriquement lquation
tures. Les contours francs de lobjet initial, et notamment les dtails linaire (3), connaissant les caractristiques du systme dobserva-
de la camra, ont disparu. Avec un modle convolutif tel que (2), une tion (matrice A ) et les donnes mesures (vecteur y ). Il sagit donc
interprtation frquentielle du processus dobservation permet dinverser le problme. Comme x et y ne sont pas ncessairement
dapprhender intuitivement ces dgradations. Lquation (2) est en de mme dimension, il est naturel de minimiser un critre des
effet quivalente : moindres carrs, de la forme :

Y ( x , y ) = H ( x , y ) X ( x , y ) + B ( x , y ) (4) 2
( ( x ) = & ( y Ax ) = y Ax 2 (5)
o x et y sont les frquences spatiales, et X, Y et H les transfor-
mes de Fourier respectives de x, y et h. La figure 3 prsente le La solution des moindres carrs ou de norme minimale scrit :
module de H, fonction de transfert en frquence du systme
dobservation. Il sagit clairement dun systme passe-bas, les hau- ^ ^
tes frquences de lobjet invitablement prsentes lorsque celui- x MC = ( A t A ) 1 A t y ou x IG = A y (6)

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 3
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

y -0,5

-0,4

-0,3

-0,2

-0,1

0,1

0,2

0,3

0,4

0,5
-0,5 -0,4 -0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5
x Figure 4 Solution des moindres carrs
a

1,2
1,0 doublement priodique, de priode 15 pixels environ, ce qui
0,8 correspond exactement au premier zro en 0,14. On comprend
0,6 donc bien pourquoi la solution obtenue est inacceptable.
0,4
0,2
0 1.2 Synthse de Fourier
-0,2
-0,5 -0,4 -0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5
y Pour illustrer les diffrents concepts utiliss, nous utilisons un
b coupe pour x = 0 second fil directeur, constitu du problme de lanalyse spectrale.
Ce problme, qui sapparente aussi celui de la synthse de Fourier
Figure 3 Module de la fonction de transfert
rencontr en radioastronomie par exemple, nest pas habituellement
en frquence du systme dobservation H
abord comme un problme inverse. Nous verrons cependant quil
gagne ltre, et que linversion se confond finalement avec
linfrence.
Le signal traiter est typique de ceux que lon peut recueillir en
selon que la matrice normale A t A est rgulire ou quelle nadmet interfromtrie optique visible, par exemple. Le problme est de
quune inverse gnralise A . Notons que, si la matrice A est dterminer le nombre de raies dans le spectre du signal analys,
carre et inversible, alors ^
x MC sobtient simplement en inversant la leur position, leur amplitude, leur largeur , bref deffectuer une
matrice A : estimation spectrale, cest--dire estimer :
^
x MC = A 1 y (7) S x ( ) = TF { x } 2

Ce choix des moindres carrs semble dautant plus raisonnable partir dune mesure imparfaite y (support de mesure limit, bruit
que, sous hypothse de bruit blanc centr, la solution est aussi un de mesure, fond variable, etc.) de x.
estimateur sans biais et variance minimale, proprit souvent Ce signal, dont le graphe est trac figure 5, est bien connu de la
recherche en statistique. communaut du traitement du signal puisquil fut utilis dans un
Le rsultat dans notre exemple est reprsent figure 4. Aucune clbre article de synthse sur lanalyse spectrale au dbut des
amlioration nest obtenue, bien au contraire : les structures annes 1980 [6]. Il est constitu de :
spatiales qui apparaissent sont sans rapport avec celles de lobjet deux sinusodes de mme amplitude mais dont les frquences
rel de la figure 1 et, de plus, la valeur des pixels dpasse en de sont spares dun intervalle de longueur infrieure la rsolution
nombreux endroits 10 4 alors que la valeur des pixels de lobjet des mthodes classiques danalyse spectrale ;
dorigine reste infrieure 255. Une interprtation frquentielle dune troisime sinusode bien spare des deux premires,
permet ici encore danalyser le rsultat. La solution des moindres mais dont la puissance est infrieure de 20 dB ;
carrs (6) est obtenue par lapplication dun filtre inverse limage dun bruit color par passage dun bruit blanc gaussien
observe, cest--dire, dans le domaine frquentiel, la multiplica- pseudo-alatoire dans un filtre moyenne glissante (ou filtre
tion par la fonction de transfert 1/H (x , y ). Or la figure 3 montre rponse impulsionnelle finie, ou encore filtre MA), de manire
clairement que certaines frquences spatiales sont annules (ou compliquer lanalyse.
presque) par le processus dobservation au voisinage des zros de Ltude du trac de ce signal montre clairement un battement
transmission. Il sagit des frquences = 1/ 7 0,14, = 2/ 7 0,29 entre les frquences des deux sinusodes les plus proches. Son
et = 3/ 7 0,43. Cela signifie que ces composantes frquentielles, spectre thorique est reprsent figure 6.
qui seraient absentes de donnes parfaites, non bruites, vont tre
considrablement amplifies par le filtre inverse qui tend corriger On note :
ce trou frquentiel, et amplifie en fait exagrment les y = [y 1 , ... , yN ] t les donnes exprimentales ;
composantes correspondantes du bruit. On observe dailleurs bien, X ( ) la transforme de Fourier (TF) cherche (on sintresse
sur la figure 4, la prsence dominante dun motif rgulier et en fait plutt |X ( )|2) ;

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 4 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Mais il est important de comprendre que ce mauvais condition-


nement est lui-mme la consquence dune difficult fondamentale
Amplitude

2 de la rsolution des problmes inverses, difficult dj prsente dans


1 le problme continu initial dont lquation (3) est une approximation
discrte.
0
-1
-2 2.1 Problmes mal-poss
0 10 20 30 40 50 60
Indice des chantillons Hadamard a dfini les conditions pour quun problme
mathmatique soit bien-pos [8] :
Figure 5 Signal analyser (a) pour chaque donne y dans une classe dfinie Y, il existe une
solution x dans une classe prescrite X (existence ) ;
(b) la solution est unique dans X (unicit ) ;
(c) la dpendance de x par rapport y est continue, cest--dire
0
que lorsque lerreur y sur la donne y tend vers zro, lerreur x
Spectre (dB)

induite sur la solution x tend aussi vers zro (continuit ).


-10 Lexigence de continuit est relie celle de stabilit ou de
-20 robustesse de la solution. La continuit est cependant une
condition ncessaire, mais pas suffisante, de stabilit. Un pro-
-30 blme bien-pos peut tre mal-conditionn, ainsi que nous le ver-
-40 rons au paragraphe 2.3.
0 0,1 0,2 0,3 0,4 0,5 Tous les problmes classiques de la physique mathmatique,
Frquence relative
comme celui de Dirichlet pour les quations elliptiques, ou celui de
Cauchy pour les quations hyperboliques, sont bien-poss au sens
Figure 6 Spectre thorique du signal analyser de Hadamard. Mais les problmes inverses , obtenus partir
dun problme direct en changeant les rles de la solution et
des donnes, ne sont gnralement pas bien-poss.

EX
1 Prenons un exemple lmentaire emprunt loptique classique.
xk = ( ) exp ( 2j k ) d les coefficients du dveloppe- Si la distribution dnergie x est donne dans le plan objet dun ins-
0 trument optique et si les caractristiques de linstrument sont
ment en srie de Fourier de X ( ) qui est priodique. connues, il est possible de calculer la distribution dnergie y dans
Le problme danalyse spectrale peut tre ainsi formul [7] : le plan image. Dans le cas de loptique de Fourier, on trouve une
relation linaire entre x et y :
Trouver X ( ) [0,1],
tel que xk = yk k = 1, 2, ..., N (8) y (s,s ) = EE h ( s , r ; s , r ) x ( r , r ) d r dr (9)
On pourrait aussi : 1o) rechercher le nombre de sinusodes et 2o)
qui est un cas particulier dquation de Fredholm de premire
estimer leur frquence et leur amplitude, ce que nous ne ferons
espce. Le noyau h de cette quation intgrale est la rponse
pas pour linstant. La formulation (8) diffre de la formulation habi-
impulsionnelle 2-D du systme dimagerie.
tuelle des mthodes dites modernes qui consiste rechercher
la densit spectrale de puissance dun processus alatoire partir Supposons que h (s, r ; s , r ) = h (s r ; s r ) (lquation (9) est
de y considr comme un fragment dune trajectoire. Elle sappa- alors une convolution) et que h (r ; r ) soit une fonction bande
rente plutt celle des problmes de synthse de Fourier dj vo- limite. Il existe alors des fonctions x qui produisent une image nulle
qus. Remarquons aussi que cette formulation est continue- (songer une fonction dont toutes les composantes de Fourier sont
discrte puisque lon recherche une fonction X ( ) partir dun en dehors de la bande passante de linstrument) et lunicit nest
nombre fini de donnes discrtes y. donc pas assure. De plus, si y est le rsultat dune exprience, et
Il existe videmment une infinit de solutions (8) puisque la srie donc invitablement entache de bruit, elle nest pas ncessairement
des xk connus est tronque. Le problme est donc indtermin. Tous bande limite, ou peut tre bande plus large que celle de linstru-
ment. Dans ces conditions, il nexiste pas de solution lquation (9).
les prolongements de la suite des xk connus qui assurent la conver-
Comme les donnes sont incertaines ou bruites, nous ne pouvons
gence de la srie de Fourier X ( ) = k Z x k exp ( 2j k ) sont pas esprer rsoudre exactement cette quation et la solution doit
acceptables puisque compatibles avec les donnes exprimentales. tre approche dans un certain sens. Le concept de distance entre
signaux est alors un moyen naturel dvaluer la qualit dune
Ces deux exemples sont typiques des difficults rencontres
approximation, ce qui explique pourquoi x et y sont souvent sup-
dans la rsolution de nombreux problmes inverses [1] [2] [5] et il
poss appartenir des espaces de Hilbert. Le problme (9) peut alors
importe den comprendre la nature avant dtudier les solutions
tre rcrit comme :
permettant de les contourner.
y = Ax avec xX et y= (10)
o x et y sont maintenant des lments despaces fonctionnels de
dimension infinie X et = , respectivement, et o A : X = est
2. Aspects mathmatiques loprateur linaire correspondant lquation intgrale (9).
Supposons que x et y appartiennent au mme espace de Hilbert
Nous verrons plus loin ( 2.3) que le caractre inacceptable de la et que h soit de carr intgrable, condition remplie par beaucoup
solution des moindres carrs obtenue dans notre premier exemple de systmes dimagerie. Le problme direct est alors bien-pos :
( 1.1) est la consquence du mauvais conditionnement de la matrice une petite erreur x sur les donnes entrane une petite erreur y
A qui a pour effet damplifier fortement le bruit affectant les donnes. sur la solution. Cette condition nest cependant pas remplie dans le

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 5
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

problme inverse correspondant o cest lobjet x qui doit tre cal- Le rapport ||x ||/||y || vaut n1 qui peut tre arbitrairement
cul partir de la rponse y : x = A 1y. En effet, les conditions 1
ncessaires et suffisantes dexistence, dunicit et de continuit de grand. Loprateur linaire inverse A : = X , dfini par (13),
la solution scrivent alors respectivement : nest donc pas born puisquil nest pas possible de trouver une
1
constante C telle que, pour tout y = , on ait || A y || X < C || y || = ,
= = ImA KerA = { 0 } ImA = ImA ce qui est une condition ncessaire et suffisante pour que A 1 soit
continu [9].
o ImA est limage de A (cest--dire lensemble des y qui sont ima-
ges dun x X ), KerA son noyau (cest--dire lensemble des solu-
tions lquation A x = 0), et ImA la fermeture de ImA. Quand le
noyau h est de carr intgrable, le thorme de Riesz-Frchet indique 2.2 Inversion gnralise
que loprateur A est born et compact [8]. Mais limage dun
oprateur compact nest pas ferme (sauf dans le cas dgnr o La ncessit dapprofondir des problmes qui ne sont pas
sa dimension est finie). Cela signifie que loprateur inverse A 1 nest mathmatiquement bien-poss, mais cependant dun grand intrt
pas born, son image nest pas ferme, et la troisime condition de pour les sciences de lingnieur, est lorigine de deux branches
Hadamard nest pas remplie pour le problme inverse. rcentes de lanalyse : la thorie de linversion gnralise et celle
de la rgularisation ( 3).
Pour mieux saisir ces notions abstraites, il est commode dutiliser
les proprits spectrales des oprateurs compacts dans des espaces Supposons que lquation A x = 0 ait des solutions non triviales.
de Hilbert. La proprit la plus remarquable de ces oprateurs est Lensemble KerA {0} de ces solutions est un sous-espace ferm de
en effet quils peuvent tre dcomposs en valeurs singulires, X . Cest lensemble des objets invisibles , puisquils produisent
comme les matrices (la fameuse singular value decomposition, ou une image y nulle. Supposons aussi que ImA soit un sous-espace
SVD). Le systme singulier dun oprateur compact est dfini comme ferm de = . Un exemple est fourni par loprateur intgral corres-
lensemble des solutions des quations couples : pondant un filtrage passe-bas idal :

A un = n vn et A* vn = n un (11)
(A x )(r ) = E +


sin ( r r )
----------------------------------- x ( r )d r
(r r ) (15)
o les valeurs singulires n sont des nombres positifs, o les
fonctions singulires un et vn sont respectivement des lments de 2
X et = , et o A* est loprateur adjoint de A, qui existe puisque A Si nous choisissons X = = = L R , le noyau est lensemble de
est continu, et donc tel que : Ax, y = = x , A * y X pour tout toutes les fonctions x dont la transforme de Fourier sannule dans
x X et y = . la bande [ , + ], alors que limage de A est lensemble des fonc-
tions bande limite sur le mme intervalle, qui est un sous-espace
Quand A est compact, il possde toujours un systme singulier 2
{un , vn ; n } avec les proprits suivantes [8] : ferm de L R .

les n tant ordonnes et comptes avec leur multiplicit (qui Un moyen de restaurer lexistence et lunicit de la solution dans
est finie) : 1 > 2 > ... > n > ...0 , n tend vers 0 quand n et, ces conditions est de redfinir la fois lespace X des solutions et
ou bien la limite est atteinte pour n = n 0 (auquel cas loprateur A lespace = des donnes. Si nous choisissons un nouvel espace X
est dgnr), ou bien elle nest atteinte pour aucune valeur finie qui est lensemble de toutes les fonctions orthogonales Ker A
de n ; (dans le cas (15), X est lensemble des fonctions de carr
sommable et bande limite lintervalle [ , + ]), et si nous
les fonctions un forment une base orthonormale de (KerA ), prenons pour nouvel espace = des donnes Im A (qui est
complment orthogonal de KerA dans la dcomposition : nouveau, dans le cas (15), lensemble des fonctions de carr

X = Ker A ( Ker A ) , et les fonctions vn forment une base ortho- sommable et bande limite lintervalle [ , + ]), alors, pour

normale de ( Ker A * ) = ImA , complment orthogonal de KerA* tout y = , il existe un unique x X tel que A x = y (dans notre

dans la dcomposition : = = Ker A * ( Ker A * ) . exemple (15), la solution est mme triviale : x = y ) et le nouveau
Soit E lensemble des indices n tels que n 0 ( E N ) . Le critre problme est donc bien-pos.
de Picard [8] permet dtablir quune fonction y = est dans ImA Le fait quil soit en principe possible de choisir, dans la plupart
si, et seulement si : des cas, les espaces X et = pour que le problme devienne bien-
pos, est de peu dintrt pratique puisque cest lapplication vise

<+
2
y ( Ker A * ) et n2 | y, vn | (12) qui impose en gnral les espaces appropris. Un autre moyen
nE envisageable est de changer la notion mme de solution.

Pour que la seconde condition (12) soit satisfaite, il faut, lorsque Pseudo-solutions
loprateur A nest pas dgnr ( E N), que les composantes y, un Considrons tout dabord le cas o A est injectif (KerA = {0}) mais
du dveloppement de limage y sur lensemble des fonctions propres la condition dexistence nest pas toujours satisfaite ( ImA = ) .
{vn } tendent vers zro plus vite que les valeurs propres 2n lorsque Lensemble des fonctions x X solutions du problme variationnel
n . Cette condition svre na aucune raison dtre satisfaite par
2
une fonction arbitraire de ImA . Remarquons cependant quelle lest x = arg min Ax y =
naturellement si y = A x est limage parfaite rsultant dun objet x xX
(16)
dnergie finie. La solution scrit alors :
o . = dsigne la norme dans = , sont appeles pseudo-solu-
tions, ou solutions des moindres carrs du problme (10). En annu-
x = n1 y , vn un (13) lant la premire variation de la fonctionnelle minimiser dans (16),
nE
on obtient lquation dEuler :
mais cette solution, quand elle existe, est instable : une petite A * A x = A *y (17)
perturbation additive y = vn , par exemple, sur les donnes
parfaites y entrane une perturbation x sur la solution calcule avec qui fait intervenir loprateur auto-adjoint A*A dont le systme
les donnes y + y : propre se dduit du systme singulier de A. Quand ImA est ferme,
lquation (17) possde toujours une solution, mais elle nest pas
1 1 unique si le noyau KerA nest pas trivial. Lorsquil lest, comme sup-
x = n y , v n u n = n u n (14) pos ici, le caractre bien-pos a t restaur.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 6 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Solutions gnralises
Considrons maintenant le cas o la condition dunicit nest pas 0

Spectre (dB)
satisfaite (KerA {0}, le problme est indtermin). Lensemble des
solutions de (17) tant un sous-ensemble ferm convexe de X , il -20
contient donc un lment unique de norme minimale, qui est not
x ou ^x IG , et appel solution gnralise de (10). x tant ortho- -40
gonal KerA, cette manire de dfinir la solution est quivalente
-60
choisir X = ( Ker A ) . 0 0,1 0,2 0,3 0,4 0,5
Comme il existe un unique x pour tout y = , une application Priodogramme
Frquence relative
linaire A de = dans X est dfinie par : Spectre thorique

A y = x = ^
x IG (18)
Figure 7 Spectre du priodogramme et spectre thorique
Loprateur A est appel inverse gnralis de A et il est
continu [10].
Le problme du calcul de la solution gnralise de Les relations de Plancherel et Parseval nous montrent que cest
lquation (10) est bien-pos si, et seulement si, ImA est ferme. La quivalent rechercher les coefficients :
raison essentielle est que cest une condition ncessaire et suffi-

E
1
sante pour que lon puisse dcomposer = selon ^

^
xk = X ( ) exp ( 2j k )d k Z
= = Im A ( Im A ) , o dsigne la somme directe et (Im A ) le 0
complment orthogonal de ImA.
tels que :
Cas des donnes discrtes
Lorsque les donnes sont discrtes, y est un vecteur de dimension
^
x = arg min
2
xk 2 s.c. x k = y k k = 1, ..., N
N dans un espace euclidien. Ignorant les erreurs sur les donnes, x ,C k Z
un problme inverse linaire avec des donnes discrtes peut tre
N La solution est triviale puisque le problme est sparable :
nonc comme suit : tant donn un ensemble { F i ( x ) } i = 1 , de
fonctionnelles linaires dfinies sur X , et un ensemble
N
{ yi }i = 1 de ^ yk si k { 1, 2, ..., N }
xk =
nombres, trouver une fonction x X telle que : 0 sinon
yi = Fi (x ) i = 1, ..., N
On a donc :
En particulier, quand les fonctionnelles Fi sont continues sur X , le
thorme de Riesz dit quil existe des fonctions 1 , ..., N telles ^
N
que : X IG () = yk exp ( 2 j k ) (19)
k=1
Fi ( x ) = x , i X
qui donne, aprs quadration, le priodogramme de Schuster, un
Lexemple lmentaire de (9) prend cette forme quand y (r ) est coefficient prs :
mesure sur un ensemble fini de points, disons r 1 , ..., r N , et que N 2
X est un espace L2. Dans ce cas, nous avons : def 1 1
P x ( ) = ------ X ( ) 2 = ------
N N x n exp ( 2 j n )
i ( s ) = h (r i , s ) n=1

Ce problme est un cas particulier de celui de lquation (10) si Le priodogramme de notre exemple est trac figure 7. Les deux
nous dfinissons un oprateur A de X dans = par la relation : raies au voisinage de la frquence rduite 0,2 ne sont pas spa-
( Ax ) i = x , i X i = 1, ..., N res, en raison dun nombre insuffisant dchantillons. La troisime
raie en 0,1 se distingue mal du bruit dont le spectre est assez mal
Loprateur A nest pas injectif : KerA est le sous-espace ferm de rendu. Nous avons rsolu le problme de lunicit mais la solution
dimension infinie de toutes les fonctions x orthogonales au sous- nest pas pour autant satisfaisante.
espace engendr par les fonctions i . Inversement, limage de A,
ImA est ferme : ImA est simplement = quand les fonctions i
sont linairement indpendantes ; sinon, cest un sous-espace de 2.3 Discrtisation
dimension N < N.
Exemple Une premire description dun problme direct fait souvent inter-
Pour illustrer cette notion dinversion gnralise, revenons venir des fonctions de variables relles (temps, frquence, variables
notre exemple de synthse de Fourier du paragraphe 1.2 qui entre despace, ...), reprsentant les grandeurs physiques mises en jeu :
dans la catgorie dfinie dans le paragraphe prcdent, avec les grandeurs accessibles la mesure et grandeurs dintrt inconnues.
exponentielles de Fourier comme fonctions i . Pour imposer une Lanalyse du problme ce niveau de description a permis de fournir
solution unique dans la classe des solutions possibles effectuant une explication des difficults rencontres lors de linversion, en se
un prolongement de la suite des xk connus, nous pouvons choisir plaant dans des espaces fonctionnels de dimension infinie. Nous
la solution inverse gnralise du problme initial (8) : avons vu ainsi que dans le cas dun problme inverse dcrit par une
quation intgrale de premire espce, linversion tait un problme

E mal-pos au sens de Hadamard.


1
^
X IG ( ) = arg min X ( ) 2 d Cette analyse est cependant insuffisante. Les donnes exprimen-
2 0
X L C [ 0,1 ] tales disponibles sont presque toujours constitues de la mesure de
grandeurs physiques accessibles en un nombre ncessairement fini
s.c. xk = yk k = 1, ..., N de points du domaine de dfinition de leurs variables. Elles sont donc

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 7
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

naturellement discrtes, et nous les regroupons dans le vecteur y tablir que le membre de gauche de lingalit (20) peut tre arbi-
comme nous lavons fait dans le paragraphe 1.2. Mais lobjet inconnu trairement proche du membre de droite. La quantit :
est lui aussi discrtis, soit demble, soit en cours de rsolution
(comme dans lexemple du priodogramme ( 2.2)), par dcompo- c= A A > 1 (21)
sition sur un nombre fini de fonctions. Si celles-ci sont des lments
dune base de lespace auquel lobjet appartient, la dcomposition est appele nombre de condition du problme. Quand c est proche
est ncessairement tronque. En imagerie par exemple, on utilise de lunit, le problme est dit bien-conditionn, alors que quand il
comme fonctions de base dans la trs grande majorit des cas les est grand devant lunit, le problme est dit mal-conditionn.
indicatrices des pixels, ou les sinus cardinaux, selon que lobjet est Il est important en pratique davoir une ide du nombre de
implicitement suppos support limit ou spectre limit. On condition qui renseigne sur la stabilit numrique du problme.
commence aussi utiliser des bases dondelettes [11]. Le point de Quand A est une matrice de dimensions (N M ), A est la racine
dpart est donc constitu dun modle paramtr par le vecteur x
carre de la plus grande des valeurs propres de la matrice A*A, de
des coefficients de la dcomposition, cest--dire dun ensemble
dimensions (M M ) (les valeurs propres positives de cette matrice
dhypothses exclusives dont chacune est indexe par la valeur des
coefficients. Cet espace dhypothses est donc lensemble des concident avec celles de la matrice AA*), et A est linverse de
valeurs possibles de ces paramtres inconnus, * = { x i } . Le choix la racine carre de la plus petite de ces mmes valeurs propres :
de ces fonctions de base fait videmment partie du problme dinver-
sion, mme sil est assez peu abord [12]. c = max y min
Dans le cas discret (ou plus exactement discret-discret), le
problme change sensiblement car x et y appartiennent des
espaces de dimension finie et loprateur linaire A devient une
matrice A . Lquation (3) possde une solution unique de norme 2.4 Rsum
minimale ^ x IG = A y qui dpend continment de y puisque
linverse gnralise A est alors toujours borne [8]. Le problme Quand nous avons affaire un oprateur dfini sur des espaces
est donc toujours bien-pos au sens de Hadamard. Mais, mme de Hilbert X et =, et du type A : X =, linaire et continu, nous
dans ce cadre, le problme dinversion a encore, dun point de vue avons trois situations principales.
numrique cette fois, un caractre instable. La dcomposition
spectrale (14) est toujours valable, la seule diffrence que le Si A est injectif (lquation A x = 0 a comme seule solution la
nombre de valeurs singulires de la matrice normale A tA est solution triviale x = 0, donc KerA = {0}), et que son image est ferme
maintenant fini et gal M. Ces valeurs singulires peuvent tre et donne par Im A = =, le problme inverse est bien-pos car
rarement calcules explicitement, mais dans le cas particulier de la loprateur inverse est continu.
restauration dimage avec un objet et un noyau supports finis (ce Si A nest pas injectif, mais que ImA est ferme, alors, en
qui est le cas de lexemple propos), la dcomposition recherchant une pseudo-solution, le problme inverse devient bien-
spectrale (14) est une dcomposition de Fourier et les valeurs pos dans la mesure o linverse gnralis est continu.
propres de A tA sont les valeurs du spectre de Fourier du systme Si limage ImA nest pas ferme, lemploi dune pseudo-solu-
dimagerie, values des frquences spatiales rgulirement tion ne peut, en soi, garantir lexistence et la continuit de la solu-
espaces. Elles sont prsentes sur la figure 3 et certaines sont tion inverse.
clairement trs proches de zro. De manire plus gnrale, quand
le systme dimagerie est du type passe-bas, ce qui est trs Quand nous avons affaire un oprateur linaire dfini sur des
frquent, n prend de trs faibles valeurs lorsque n M. Mme si espaces de dimension finie R N et R M , et du type A : R N R M ,
nous excluons les valeurs singulires nulles, comme en utilisant nous avons nouveau trois situations principales.
A , il y a toujours des valeurs singulires proches de zro. La Si p dsigne le rang de la matrice associe loprateur A et si
1
matrice A est donc mal-conditionne. Les coefficients n y, un p = N = M, alors A est injectif et Im A = R M ; une solution existe
dans (14) deviennent trs grands pour les n proches de zro,
toujours, qui est unique, et le problme inverse est bien dfini.
mme si y est petit.
Si p < N, alors lunicit nest pas assure, mais elle peut tre
De manire gnrale, que lon soit dans le cas discret ou non, sup- rtablie en considrant une inversion gnralise.
posons que ImA soit ferme pour que linverse gnralis A soit Si p < M, alors lexistence ne peut tre assure pour des donnes
continu. Dsignons par y une erreur sur les donnes y et par x quelconques, mais elle peut ltre en considrant nouveau une
lerreur induite sur la solution inverse gnralise x . La linarit inversion gnralise.
de (18) entrane que x = A y, ce qui implique :
Pour des oprateurs dans des espaces de dimension finie, linverse
x < A y ou linverse gnralis est toujours continu. En consquence,
x =
lutilisation dune inversion gnralise suffit garantir le caractre
bien-pos. Mais il faut se souvenir quun problme bien-pos peut
o A dsigne la norme de loprateur continu A . De manire tre mal-conditionn, et que dans ce cas il est ncessaire demployer
analogue, lquation (10) implique : les mthodes de rgularisation que nous allons prsenter au
paragraphe 3, comme pour les problmes mal-poss.
y Y < A x X

En combinant ces deux relations, on obtient lingalit :

x X y = 3. Rgularisation
-< A
--------------------- A ------------------- (20)
x X y =
Quand limage ImA dun oprateur linaire inverser nest pas
Il est important de noter que cette ingalit est prcise dans un ferme, alors linverse A 1, ou linverse gnralis A , nest pas dfini
certain sens. Quand A est une matrice de dimensions (N M ) ou partout sur = et nest pas continu. Cest le cas par exemple des
correspond un problme inverse avec des donnes discrtes, oprateurs compacts non dgnrs (ou de rang non fini), et il est
alors lingalit peut devenir une galit. Quand A est un oprateur facile de voir que le nombre de condition du problme est infini. Des
sur des espaces de dimension infinie, alors on peut seulement techniques de rsolution appropries sont alors requises, mais il faut

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 8 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

voir aussi quun problme bien-pos, mais svrement mal- au travers des fonctions singulires de loprateur correspondant.
conditionn, se comporte en pratique comme un problme mal-pos Mais on peut aussi contourner les difficults souleves par le
et doit tre trait par les mmes techniques. mauvais conditionnement de la matrice A, consquence dune
Que lon soit en dimension finie ou infinie, un rgulariseur de discrtisation de lobjet sur une grille cartsienne par exemple, en
lquation (10) y = A x est une famille doprateurs {R ; } tels choisissant une paramtrisation parcimonieuse de lobjet mieux
que : adapte aux proprits a priori de celui-ci. Cest ce que font les
mthodes de dcomposition sur une base dondelettes [11] [13],
1) , R est un oprateur continu de = dans X ; par exemple. Le principe reste le mme : on procde par seuillage
y ImA, lim 0 R y = A y. parmi les coefficients de la dcomposition, en liminant le sous-
Autrement dit, puisque loprateur inverse A 1 ne prsente pas espace domin par les composantes du bruit.
les proprits de continuit ou de stabilit requises, on construit Ce mode de discrtisation rsout, par principe, le problme de
une famille doprateurs continus, indexs par un paramtre de stabilit ou de mauvais conditionnement analys plus haut, mais
rglage (appel coefficient de rgularisation ), et incluant comme ne fournit pas pour autant une solution satisfaisante. Tout dpend
cas limite A . Appliqu des donnes parfaites y, R fournit une de la dcomposition choisie. Pour lillustrer, nous allons tudier
approximation de x dautant meilleure que 0. Cependant, deux des paramtrisations les plus utilises dans les problmes
quand R est appliqu des donnes yb = A x + b invitablement danalyse spectrale.
entaches dun bruit b, on obtient une solution approche Dans la premire, le signal analyser est suppos tre une
xb = R yb , et lon a : ralisation dun processus alatoire temps discret, stationnaire
(pour pouvoir parler de spectre ou, plus prcisment dans ce cas,
R yb = R y + R b (22) de densit spectrale de puissance ), et autorgressif (cest--dire
Le second terme diverge quand 0. Il sensuit quun engendr par le passage dun processus alatoire u (n ) blanc et
compromis doit tre trouv entre deux termes antagonistes, stationnaire dans un filtre linaire, invariant, et de fonction de trans-
lerreur dapproximation (premier terme) et lerreur due au bruit fert G (z ) tout ples ). Le filtre gnrateur est dcrit par lquation
(second terme). Cela se fait, au sein dune famille donne dopra- rcurrente :
teurs R , en ajustant la valeur du coefficient de rgularisation . x (n ) = a 1 x (n 1) + ... + ad x (n d ) + u (n )
La plupart des mthodes qui ont t proposes depuis les annes
1970 pour rsoudre et stabiliser les problmes mal-poss entrent, et possde une fonction de transfert en z :
dune faon ou dune autre, dans ce schma gnral. On peut les
classer en deux grandes familles : celles qui procdent par contrle 1
dune dimension est alors un ensemble discret et celles qui G ( z ) = -------------------------------------------------------------
1 a 1 z 1 ... a d z d
oprent par minimisation dun critre composite ou par optimisation
sous contrainte est alors R + . Nous nous intresserons ici
principalement la seconde famille mais nous consacrons le para- Les coefficients ak sont appels coefficients de rgression ou
graphe suivant la premire. coefficients autorgressifs (AR). Si la variance de u (n ) est note
2
u , on a le rsultat conscutif :

3.1 Contrle de dimension 2


g x ( ) = u G ( e 2j ) 2 (23)

3.1.1 Dcomposition tronque Le problme danalyse spectrale se rduit ainsi celui de lestima-
en valeurs singulires tion de ces d + 1 paramtres (d paramtres AR et la variance du bruit).
De nombreuses variantes existent selon la nature du cadre statis-
Un exemple typique de mthodes de la premire famille est fourni tique adopt et les approximations faites [6].
par lexamen de (14) : pour supprimer le mauvais conditionnement
du problme, il suffit de tronquer le dveloppement en retenant les La figure 8 donne un exemple de spectre obtenu avec une
composantes correspondant des valeurs singulires suffisamment mthode du maximum de vraisemblance, ou des moindres carrs
1 (elles sont en effet quivalentes avec les hypothses habituelle-
grandes pour que les termes derreur de la forme n y, un restent
ment faites), et un ordre d dtermin par le critre classique de
faibles. Cest la dcomposition tronque en valeurs singulires [8]. Rissanen-Schwarz (BIC : Bayesian information criterion ). Le spec-
Elle est trs efficace pour assurer la stabilit numrique. Se pose tre est beaucoup plus rgulier que celui du priodogramme
tout de mme le problme du choix de lordre de la troncature, qui (figure 7), mais la rsolution de la mthode reste mdiocre.
joue ici le rle de linverse dun coefficient de rgularisation. Mais
le principal dfaut de cette approche est que lon renonce rtablir Un autre exemple de paramtrisation parcimonieuse est fourni par
les composantes spectrales qui ont t trop dgrades par le dis- la figure 9. Le signal est cette fois modlis comme une somme de
positif dimagerie. Comme pour la dfinition du critre de rsolution sinusodes pures et dun bruit blanc, ce qui est manifestement mieux
de Rayleigh en optique, on nutilise aucune autre information sur adapt notre exemple. Sous ces hypothses, on peut mettre en
lobjet recherch que le fait que son nergie soit finie, alors que, la vidence des proprits gomtriques intressantes des sous-
plupart du temps, on sait quil est par exemple positif, ou bien quil espace signal (entendons par l les sinusodes) et sous-espace
comporte des rgions variations spatiales douces spares par bruit dont les dimensions respectives apparaissent dans le spectre
des contours nets, ou bien quil est valeurs bornes, ou bien encore des valeurs propres de la matrice de corrlation du signal analys.
support born. Si lon veut aller au-del de cette rsolution de La dtermination de ces valeurs propres, et la rsolution dune qua-
Rayleigh, il est indispensable de pouvoir prendre en compte ce genre tion polynomiale associe, permettent de dterminer le nombre et
dinformation a priori. les valeurs des frquences pures contenues dans le signal [6]. Mais,
dans la pratique, la corrlation du signal nest pas connue et doit
tre estime partir de ses chantillons. De plus, tout ceci repose
3.1.2 Changement de discrtisation sur lhypothse dun bruit blanc, non vrifie dans notre exemple.
Les trois frquences pures rellement prsentes dans le signal sont
Dans la dcomposition tronque en valeurs singulires, cest le correctement estimes, mais sept autres, correspondant au bruit
dispositif dimagerie qui impose, en quelque sorte, la discrtisation color, ont t aussi extraites.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 9
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

La condition de non ngativit exclut beaucoup doprateurs,


180 mais la mthode peut tre applique la rsolution de lquation

Critre BIC
normale A* y = A* A x puisque A* A est un oprateur non ngatif.
160
On obtient ainsi la mthode de Landweber [14] :
140
120 x (n + 1) = x (n ) + A* (y A x (n ) ) n = 0, 1, ...
100
avec 0 < < 2 / A * A . La mthode bien connue de Gerchberg-
80
0 4 5 10 20 30 d Papoulis-Van-Cittert pour lextrapolation dun signal spectre
limit est un cas particulier de la mthode de Bialy-Landweber.
a critre BIC
Cest dans la mme catgorie des mthodes itratives que lon
peut ranger la mthode de Lucy [15], trs populaire en astronomie.
20

Spectre (dB)
Toutes ces mthodes ne peuvent fournir de solution acceptable
0 qu la condition de limiter le nombre ditrations (qui joue alors le
rle de linverse dun coefficient de rgularisation). Cela se fait
-20
souvent de manire empirique car le cadre thorique initial ne
prenant pas en compte le bruit dobservation, une thorie de rglage
du nombre ditrations pour limiter lamplification du bruit ne peut
-40
0 0,1 0,2 0,3 0,4 0,5 tre quhtronome [16]. Cela explique pourquoi nous nous
Frquence relative focalisons sur les mthodes de rgularisation de la seconde famille
qui sont, de ce point de vue, plus autonomes.
b densit spectrale de puissance du modle AR

Mthode du maximun de vraisemblance, variante prfentre,


avec un ordre d = 4
3.2 Minimisation dun critre composite
Figure 8 Spectre obtenu par une mthode du maximum
Le cadre adopt dans la suite relve de la seconde famille des
de vraisemblance ou des moindres carrs
mthodes de rgularisation dont la caractristique principale est de
demander la solution de raliser un compromis entre une fidlit
aux donnes mesures et une fidlit une information a priori [17].
Ce compromis est tabli laide dun unique critre doptimalit.
Cette dmarche peut sinterprter de la manire suivante.
60
Spectre (dB)

40 La solution des moindres carrs ^


x MC minimise lnergie de lerreur
entre le modle Ax et les donnes y. En ce sens, elle procure la plus
20
grande fidlit aux donnes. Mais lorsque le bruit dobservation est
0 large bande, lquation (14) montre que les composantes de lobjet
restaur ou reconstruit des frquences spatiales leves ont des
-20 amplitudes leves qui rsultent principalement du bruit. La solution
0 0,1 0,2 0,3 0,4 0,5
^
Frquence relative x MC , bien que statistiquement sans biais, est alors rejete car on
sattend ce que le vrai objet ait des variations spatiales
Les dix raies recherches ne sont pas reprsentes, mais le spectre
obtenu partir de la matrice de corrlation correspondante de
sensiblement plus douces. Il faut donc introduire un peu dinfidlit
dimensions (25 x 25) l'est. aux donnes pour obtenir une solution moins rugueuse que celle
des moindres carrs et plus conforme lide que lon sen fait a
priori. Un moyen dsormais classique dy parvenir est fourni par la
Figure 9 Spectre obtenu par la mthode MUSIC minimisation dun critre composite [8] [18] [19]. Lide de base est
de renoncer lespoir daccder la solution exacte partir de
donnes imparfaites, de considrer que lquation (3) dfinit une
3.1.3 Mthodes itratives classe de solutions admissibles {^ x : || y Ax || < || b || } , et de
rechercher dans cette classe une solution qui peut tre considre
Une famille de mthodes trs populaires est constitue des comme tant physiquement raisonnable, cest--dire compatible
mthodes itratives, de la forme : avec une certaine information a priori. Cela sobtient usuellement

x (n + 1) = x (n ) + (y A x (n ) ) n = 0, 1, ... (24) en recherchant une solution ^


x ( , y ) qui minimise un critre de la
forme :
o 0 < < 2 / A (mthode de Bialy [14]). Si A est un
oprateur linaire born non ngatif (cest--dire tel que ( ( x ) = & ( y A x ) + ^ ( x ), R*+ (25)
A x , x > 0, x X ), et si y = A x possde au moins une solu-
tion, alors la suite des x (n ) converge, et : spcifiquement conu pour :
lim x ( n ) = P x (0) + x IG que la solution soit, jusqu un certain point, fidle aux donnes
n (premier terme du critre) ;
renforcer certaines proprits souhaitables qui rsument
o P est loprateur de projection orthogonale sur KerA et x IG la
notre connaissance a priori sur la solution (second terme).
solution inverse gnralise. Cette mthode recherche en fait le
point fixe de loprateur G : G x = y + (I A ) x, mais si A est Cette manire de procder soppose ainsi aux mthodes de
compact et X de dimension infinie, alors (I A ) nest pas une rgularisation par contrle de dimension qui, dans le cas dun
contraction et la mthode diverge. De plus, nous avons vu aussi problme mal-pos ou mal-conditionn, contournent la difficult en
que, mme en dimension finie, la solution inverse gnralise tait cherchant le minimum de (5) dans un sous-espace de dimension
souvent domine par le bruit. rduite, aprs ventuellement un changement de base appropri.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 10 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Le choix des fonctionnelles ^ et & est un choix qualitatif qui


dtermine la manire selon laquelle la rgularisation est effectue.
Inversement, le choix du coefficient de rgularisation a est
quantitatif et permet dajuster le compromis entre les deux sources
dinformation. Une fidlit parfaite aux donnes est obtenue avec
= 0, alors quune fidlit parfaite la priori est obtenue si = .
La littrature sur le sujet est domine par quelques fonctionnelles
dont voici les plus frquentes [17].
Distances quadratiques
La distance euclidienne entre deux objets x 1 et x 2 est || x 1 x 2 || 2
P
o P est une matrice symtrique dfinie non ngative qui est choisie
pour traduire certaines caractristiques souhaites de la mesure de
proximit. Une distance de ce type constitue le choix habituel pour
& dans le cas o le bruit b est suppos gaussien, centr et
indpendant de x. Elle est aussi trs souvent utilise pour ^ afin
de pnaliser les objets x de grande amplitude.
Appliqu notre exemple danalyse spectrale (qui est, rappelons-
le, du type continu-discret), ce mode de rgularisation nous conduit
rechercher la transforme de Fourier du signal vrifiant :

E
Figure 10 Dconvolution linaire-quadratique

3 4
1
^ 2
X ( ) = arg min || x N y || + X ( )2 d
2 0
X LC [ 0,1 ]

EX
1
Conclusion
o xN = [x 1 , ..., xN ] t et x k = ( ) exp ( 2j k ) d
0 Le critre (25) rsume une vision de la rgularisation que lon
peut qualifier de dterministe puisque la seule distribution de
La solution scrit : probabilit utilise est, au moins implicitement au travers du
choix de la fonctionnelle & , celle du bruit. Elle a donn lieu des
^( ) 1 ^
X ( ) = --------------- X IG ( ) (26) dveloppements thoriques importants, essentiellement en
+1 physique mathmatique. Cependant, les questions du choix de
la fonctionnelle rgularisante ^ ( x ) et du coefficient de rgula-
Le spectre ainsi rgularis est donc simplement proportionnel au
risation y sont encore largement ouvertes.
priodogramme (19) que lon obtient comme cas limite ( ). Ce
type de rgularisation ne convient donc pas dans cet exemple.
Mesures de rugosit
3.3 Choix du coefficient de rgularisation
Une manire trs simple de mesurer la rugosit dune image
consiste lui appliquer un oprateur de diffrentiation appropri,
Dans de nombreux problmes inverses, un rglage prcis du
puis calculer la norme euclidienne de limage rsultante. Comme
coefficient de rgularisation nest pas ncessaire, la solution ntant
lopration de diffrentiation est linaire, la mesure de rugosit
sensible qu des variations denviron un ordre de grandeur de .
rsultante est quadratique :
Il est alors possible, avec un peu dexprience, de choisir empirique-
k 2 2 ment , dans un mode supervis. Dans le cas contraire il existe, dans
^ ( x ) = || ( x )|| = || Dk x || (27) le cadre de ce paragraphe, quelques mthodes de rglage automa-
tique, partir des donnes, cest--dire en mode non supervis [20].
Lordre k de loprateur des diffrences (.) vaut habituellement
1 ou 2. La mesure (27) est minimale lorsque toutes les Contrle de lnergie de lerreur rsiduelle
composantes de x sont gales (si k = 1).
Une des ides les plus intuitives et les plus anciennes pour rgler
Appliqu notre exemple de dconvolution dimage, ce mode la valeur de qui intervient dans le critre rgularis, ou
de rgularisation conduit au rsultat de la figure 10. Lamlioration pnalis (25), est de considrer comme un multiplicateur de
est cette fois sensible par rapport la solution des moindres carrs Lagrange dans le problme quivalent :
de la figure 4, mais de nombreux dtails de lobjet original de la
figure 1 ne sont pas visibles, notamment ceux de la camra. Nous x = arg min ^ ( x )
^
s.c. & ( y Ax ) = c (29)
y reviendrons au paragraphe 5. x
Le degr de rgularisation est fix par la valeur de c . Lorsque &
Distance de Kullback
est quadratique, on prconise souvent de choisir c = N si & est
Dans de nombreux problmes de traitement dimage, une pondre par linverse de la matrice de covariance du bruit, ou N 2
caractristique essentielle prserver est la positivit des intensits si & est le critre des moindres carrs ordinaires et si le bruit est
des pixels. Il existe plusieurs manires dy parvenir, lune dentre blanc, de variance 2. Mais un tel choix ne conduit pas toujours
elles tant de considrer que lobjet positif peut tre identifi, aprs une rgularisation acceptable. Une explication en est que, dans beau-
coup de problmes, le graphe de la fonction & ( y Ax ) = & ( ) est
^
normalisation, une distribution de probabilit, puis dutiliser des
mesures de distance entre lois de probabilit. La pseudo-distance presque horizontal sur une large plage de valeurs de : toute erreur
de Kullback : dans lestimation de 2 entrane donc de grandes variations dans
M la valeur de qui satisfait la contrainte (29).
xj
^ ( x ) = $_ ( x , m ) = xj ln --------
mj
- (28) Mthode de la courbe en L
j=1
On peut aussi utiliser une mthode alternative qui a fait ses preu-
o lobjet de rfrence m est un vecteur positif, est souvent utilise. ves dans des problmes inverses linaires de la forme (25) et dans

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 11
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

le cas o la fonctionnelle de rgularisation ^ ( x ) est quadratique, VCG = arg min V ( ), avec :


la mthode de la courbe en L [21]. Cette dernire consiste tracer,
N
en chelle log-log, la fonctionnelle de rgularisation ^ (x ( ) ) en
4
[ k ]
w k2 ( ) 3 yk y k
1 2
V ( ) = ---- () (34)
^ 2 N
fonction du critre des moindres carrs || y Ax en faisant ( )|| 2 k=1
varier le coefficient de rgularisation . Cette courbe a en gnral
lallure caractristique dun L (do son nom) et la valeur de o les coefficients w k2 ( ) sont introduits pour viter que le
correspondant langle de ce L fournit un bon compromis entre les critre (34) nait des proprits indsirables, telles que le manque
exigences contradictoires de fidlit aux donnes et de fidlit la dinvariance dans des rotations arbitraires de lespace des obser-
priori. vations ou labsence de minimum. Ils sont donns par :

Pour comprendre pourquoi il en va ainsi, on sait que si x 0 dsigne 1 3 B ( )4 k , k


w k ( ) = ---------------------------------------------------
-
la solution exacte, alors lerreur x ( ) x 0 peut tre dcompose en 1 trace3 B ( )4/ M
^

deux : une erreur de perturbation due la prsence de lerreur de


mesure b et une erreur de rgularisation due lemploi dun o [B ( )]k, k est le k e lment diagonal de la matrice :
oprateur rgularisant au lieu dun oprateur inverse (voir (22)). La 1
t t
partie verticale de la courbe en L, dcrite pour de faibles valeurs de B ( ) = A ( AA + Q ) A
, correspond des solutions pour lesquelles ^ ( x ^
( ) ) est trs
Le calcul du minimum sappuie sur le caractre linaire-
sensible aux variations de car lerreur de mesure b domine x ^
() quadratique du problme qui permet dtablir la relation plus
et ne satisfait pas la condition de Picard discrte [21]. La partie simple :
horizontale de la courbe, dcrite pour des valeurs leves de , 2
correspond des solutions pour lesquelles cest la norme au carr N ||[I B ( )] y ||
V ( ) = --------------------------------------------------2- (35)
2
des rsidus || y ^
Ax ( )|| 2
qui est la plus sensible aux variations de 3trace { I B ( ) }4
car ^
x ( ) est domine par lerreur de rgularisation, pour autant qui montre clairement que la fonction de validation croise gn-
que y b satisfasse la condition de Picard discrte. ralise V ( ) est en fait la somme des carrs des erreurs rsiduelles
pondre par un coefficient dpendant de . De nombreux rsultats
Validation croise
pratiques expliquent que cette mthode ait t souvent utilise dans
On veut videmment trouver une valeur du coefficient de des problmes 1-D. Son emploi en traitement dimage est plus rcent
rgularisation telle que la solution rgularise x ^
( , y ) soit aussi [23] [24].
proche que possible du vritable objet x. Avec le choix de distances
quadratiques pour ^ et & , il est naturel de choisir aussi une distance
quadratique x pour mesurer lcart entre ^x ( , y ) et x. Une mthode Conclusion
raisonnable de choix de serait donc de choisir la valeur qui mini- Ces mthodes de choix du coefficient de rgularisation nont
mise ce risque en moyenne, cest--dire lerreur quadratique de justification claire que dans le cas des critres rgulariss qua-
moyenne destimation : dratiques. Par ailleurs, la question du choix de la fonctionnelle
rgularisante ^ na pas reu, dans ce cadre dterministe, de
EQM ( , x ) = E x ( , x,y ) p ( y | x ) d y (30) rponse autre que des justifications empiriques. Le but du para-
graphe suivant est de montrer quil est possible den trouver une
Malheureusement, la solution de ce problme dpend de lobjet dans le cadre de la thorie de linformation.
rel qui est videmment inconnu. Comme la solution rgularise
x ( , y ) peut tre vue aussi comme un prdicateur des observa-
^

tions au travers de ^ y ( , y ) = Ax
^
( , y ) , on pourrait aussi mesurer
lcart entre les observations relles et prdites avec une fonction
de perte quadratique y (, x, y ) et rechercher la valeur de qui 4. Approche baysienne
minimise le risque moyen correspondant, qui est dans ce cas
lerreur quadratique moyenne de prdiction : de linversion
EQMP ( , x ) = E y ( , x , y ) p ( y | x ) d y (31) Il existe au moins deux raisons qui poussent inscrire la rsolution
des problmes inverses dans un cadre baysien. Tout dabord, cest
dans ce cadre quont t introduites les fonctions dnergie locale
mais, l encore, la solution dpend de lobjet rel. La difficult peut
et les modlisations markoviennes qui ont marqu durablement le
tre cependant surmonte car le critre EQMP (, x ) peut tre
traitement dimage bas niveau. Mais cest aussi lui qui offre les
estim par validation croise gnralise (VCG). Le principe de
rponses les plus cohrentes et les plus compltes des problmes
base en est le suivant [22]. Soit x ^
( , y [ k ] ) le minimiseur du
laisss ouverts dans les autres approches, comme le choix des hyper-
critre :
paramtres ou loptimisation dun critre multimodal.
N
[ k ]

2 2
( (x ) = 3 y n ( Ax ) n 4 + || x ||Q (32)
n k,n = 1
4.1 Inversion et infrence statistique
cest--dire lobjet restaur en utilisant toutes les donnes sauf
lchantillon yk . Il est possible de lutiliser ensuite pour prdire la Pour expliciter le lien qui unit inversion et infrence statistique,
donne manquante : il est utile, ce stade, de rsumer lanalyse faite au paragraphe 2.
Aprs discrtisation, le problme direct prend la forme gnrale
^ [ k ]
yk 3
( ) = Ax
^
(,y
[ k ]
) 4k (33)
A (x, y ) = 0, o A est un oprateur reliant lobjet inconnu x aux
donnes exprimentales y. Il prend mme souvent la forme explicite
y = A (x ), voire linaire y = Ax. Linversion, cest--dire le calcul de x
La mthode consiste rechercher la valeur de qui minimise connaissant A et y, est trs souvent un problme mal-pos, en deux
une nergie pondre de lerreur de prdiction : sens.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 12 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Premirement, loprateur A est souvent singulier dans le sens plusieurs chantillons ; pour rendre le problme bien-pos, lespace
o il existe une classe _ dobjets x _ invisibles, cest--dire tels de tous les chantillons possibles, 6 = {y i }, doit tre aussi prcis.
que Ax = 0 (le noyau Ker A = _ nest donc pas vide). Tout lment Les espaces * et 6 peuvent tre tous deux discrets ou continus.
de _ peut tre ajout toute solution pour donner une autre solu- Dsignant par x 0 la vraie valeur du paramtre, nous pouvons nous
tion aussi compatible avec les donnes. Nous ne pouvons donc attaquer au problme destimation en calculant la probabilit que
inverser la relation directe pour dterminer uniquement x partir chacune des valeurs possibles du paramtre soit la vraie valeur.
de y. Ce manque dunicit fait que le problme inverse discret est Dsignons par D la proposition affirmant les valeurs des donnes
mal-pos au sens dHadamard. Cette situation survient chaque exprimentales rellement observes, par H la proposition x 0 = x
fois que la rponse instrumentale dtruit une partie de linformation affirmant que lune des valeurs possibles du paramtre, x, est la vraie
au sujet de lobjet. valeur x 0 , et par I lenvironnement logique du problme. Cest cet
Deuximement, aucun dispositif exprimental nest complte- environnement logique qui dfinit notre problme en spcifiant
ment affranchi dune incertitude, dont lorigine la plus simple est la lespace des hypothses, lespace des donnes, comment les hypo-
prcision finie des mesures. Il est donc plus raliste de considrer thses (valeurs des paramtres) et les donnes sont relies, et toute
que lobjet recherch et les mesures sont relis par une quation de information supplmentaire que nous pourrions avoir sur les hypo-
la forme y = A ( x ) e b dans laquelle A est un oprateur dcrivant la thses ou les donnes. Nous pourrions dfinir I comme la
partie essentielle de lexprience, et e b prend en compte la dgra- proposition affirmant :
dation de cette reprsentation idale par diffrentes sources derreur 1o que la vraie valeur du paramtre est dans * ;
(de discrtisation, de mesure) regroupes sous le terme de bruit. 2o que les donnes observes consistent en N chantillons de
Quand le mcanisme dobservation peut tre approch par une dis- lespace 6 N ;
torsion linaire et lajout dun bruit, alors cette quation se rduit 3o la manire dont les paramtres sont relis aux donnes (le
y = Ax + b (3). La prsence de ce bruit a pour effet d largir modle direct A ) ;
lensemble _ puisque tout lment x tel que Ax = e , o e est 4o toute information supplmentaire. Bien entendu, la nature
petit par rapport au niveau suppos de bruit, peut tre ajout physique des paramtres et des donnes est spcifie implicite-
toute solution possible pour obtenir une autre solution acceptable. ment dans *, 6 et A.
En pratique, cela se traduit par linstabilit des tentatives dinversion
La premire tape dans toute mthode dinfrence statistique
directe de lquation (3), des petits changements dans les donnes
destine rsoudre un problme tel que (3) consiste choisir une
entranant de grandes variations de la solution calcule. Ce nest
distribution de probabilit dcrivant notre information ou notre
plus, cette fois, ncessairement un problme mal-pos au sens
incertitude sur les erreurs b : q (b | I ). Cest une tape essentielle
dHadamard puisque la solution peut trs bien lorsque le noyau _
puisquelle permet den dduire la distribution directe, ou
est vide tre unique et dpendre continment des donnes. Lins-
dchantillonnage :
tabilit provient du mauvais conditionnement de A [25].
On voit donc que, dans ces problmes mal-poss, lobtention p (y | x, I ) = q (y Ax | I ) (36)
dune solution nest pas du tout un problme de dduction math- Dans la trs grande majorit des cas, on choisit une distribution
matique, cest un problme dinfrence, cest--dire de traitement de gaussienne centre pour les erreurs, indpendante de x, ce qui
linformation : comment tirer les meilleures conclusions possibles donne :
de linformation incomplte qui est disponible.
p ( y | x , I ) = [ ( 2 )N R ] 1/2 5 1
exp ----- y Ax
2
2
R 1 6
Toute mthode dinfrence scientifique devrait, pour tre
acceptable, 1o prendre en compte toute linformation pertinente o R dsigne la matrice de covariance de la distribution q (b | I ).
disponible et, 2o viter soigneusement de supposer une infor- Elle est souvent diagonale, voire mme proportionnelle lidentit.
mation disponible alors quelle ne lest pas. La modlisation pro- Une question se pose immdiatement : quel sens doit-on donner
babiliste est un moyen commode et cohrent de dcrire une un tel choix et dans quelles situations un tel modle est-il
situation dinformation incomplte. Nous allons voir comment appropri ?
elle conduit une approche statistique baysienne.
Avec une interprtation frquentiste dune probabilit, la distribu-
tion pour le bruit devrait tre la distribution de frquence de ses
valeurs dans un trs grand nombre de rptitions des mesures. Elle
est alors justifie par rfrence au thorme central limite qui dit,
4.2 Distribution directe sous des conditions assez larges, que si le bruit dans un chantillon
des donnes rsulte dun grand nombre deffets lmentaires
Il faut prciser demble que tout problme auquel on sattaque cumuls, alatoires et indpendants, la distribution gaussienne
par une approche baysienne doit tre bien-pos dans le sens o est une bonne approximation de sa vritable distribution de
une information suffisante doit tre apporte pour permettre dattri- frquence. Mais, except les fluctuations dorigine lectronique dans
buer sans ambigut les distributions de probabilit ncessaires au une chane de mesure, le bruit nest pas en gnral le rsultat dun
calcul. Cela signifie, au minimum, quun ensemble exhaustif de grand nombre deffets indpendants (songeons par exemple aux
possibilits doit tre spcifi au dbut de chaque problme. Nous erreurs de discrtisation qui dpendent de la solution x 0 ). De plus,
lappellerons espace des donnes (ou des preuves ) sil sagit des pour pouvoir effectuer une infrence avec cette interprtation, il
rsultats possibles de lexprience, ou espace des hypothses sil serait ncessaire que nous disposions de nombreux rsultats
spcifie les hypothses que nous voulons vrifier. Il est utile aussi dautres mesures pour pouvoir dterminer ces frquences, ce qui
de distinguer deux classes de problmes, appeles estimation et est une situation exprimentale extrmement rare.
choix de modle. Lestimation tudie les consquences du choix dun
Cette hypothse gaussienne nest donc pas une hypothse sur
modle particulier, suppos vrai , alors que le choix de modle
le caractre alatoire du bruit. Nous ne prtendons nullement que
a pour but den retenir un par comparaison avec un ou plusieurs
le phnomne donnant naissance au bruit soit vritablement ala-
autres.
toire et suive une distribution gaussienne. Ce nest mme pas une
Dans un problme destimation, on suppose que le modle est hypothse proprement parler ; cest plutt le choix le moins
vrai pour une valeur (inconnue) de ses paramtres, et on explore compromettant ou le plus conservateur que nous puissions faire
les contraintes imposes aux paramtres par les donnes. Lespace pour la distribution du bruit dans une situation dincertitude. Nous
des hypothses est alors lensemble de toutes les valeurs possibles supposons ici deux choses, 1o que le bruit peut prendre toute valeur
des paramtres, * = { x i }. Les donnes consistent en un ou relle mais quil est de moyenne nulle, cest--dire quil ny a pas

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 13
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

derreur de mesure systmatique (ou que sil y en a, nous avons t turbant les donnes, mais plutt dans le fait que notre information
capables de la dtecter et de la corriger), et 2o que nous nous soit incomplte, bien quessentiellement non bruite.
attendons ce quil y ait une chelle typique du bruit, cest--dire
que les grandes contributions du bruit ne sont pas aussi probables Dans le cas linaire (3), la matrice A du problme direct
que les petites. est souvent mal-conditionne. Loprateur de rsolution
^
A + = (A t R 1 A ) R 1 A t est instable et la solution x MV = A + y , est
Autrement dit, nous pensons que la distribution pour le bruit doit inacceptable : lamplification du bruit est excessive.
avoir une moyenne nulle et un cart-type fini, mme si nous navons
pas dide prcise de la valeur de ce dernier. Par contre, nous navons Le problme peut avoir des paramtres de nuisance sans intrt
aucune ide de lexistence ou non de cumulants dordre suprieur pour nous, et en grand nombre. Ainsi, lorsque la matrice R est
deux. Dans ces conditions, le choix le moins compromettant pleine, il vient sajouter N (N 1)/2 hyperparamtres qui, lorsquils
vis--vis des caractristiques que nous ignorons que lon peut sont inconnus, doivent en gnral tre estims par maximum de
justifier formellement par des principes informationnels [26] est vraisemblance comme les paramtres dintrt x, et le maximum
celui dune distribution gaussienne. Et si lon suspecte que les global peut alors ntre plus un point mais toute une rgion.
composantes du bruit affectant les N chantillons ont des chelles
diffrentes ou sont corrles, on peut prendre en compte ces infor- Nous pouvons avoir une information hautement pertinente sur la
mations par lintermdiaire de la matrice de covariance de la solution recherche. Par exemple, nous pouvons savoir quelle doit
distribution. Il nest pas ncessaire den spcifier la valeur, mais si tre positive, ou quelle doit satisfaire certaines contraintes (comme
elle est inconnue, ses lments, regroups dans un vecteur dhyper- en imagerie astronomique o lintgrale de lobjet peut tre connue
paramtres u , viendront en gnral compliquer le problme. On les par ailleurs), ou quelle est constitue de rgions homognes
appelle paramtres de nuisance pour cette raison. spares par des contours nets. De telles informations ne sont pas
Ce choix pour la distribution du bruit est appropri chaque fois contenues dans la distribution directe et il serait dommage de ne pas
que cette information est tout ce que nous savons du bruit. Comme en tenir compte.
cest une situation frquente, il est souvent fait. Si nous avons des
Dans beaucoup de problmes, il est ncessaire de disposer non
informations supplmentaires sur le bruit, qui nous conduiraient
seulement dune solution, mais aussi dune mesure de la confiance
choisir une distribution non gaussienne, nous pouvons les inclure
lui accorder. Munis de la seule distribution directe (36), les inter-
de la mme manire, mais cela ne conduira des rsultats nettement
valles de confiance fournis par lapproche frquentiste ne nous
amliors que si la distribution diffre nettement dune gaussienne.
renseignent que sur le comportement long terme de la solution,
Il existe ainsi des situations comme limagerie faible taux de
cest--dire sur son comportement moyen dans un trs grand
comptage de particules o les donnes sont entires et de faible
nombre de rptitions de lexprience. Or nous ne disposons que des
valeur. Le choix dune distribution poissonnienne peut alors
rsultats dune seule exprience, dailleurs trs souvent non
amliorer les rsultats.
reproductible.

Enfin, lestimation des paramtres dun modle suppos valable


4.3 Maximisation de vraisemblance nest souvent quune tape, et lon peut avoir besoin de juger les
mrites relatifs de diffrents modles.
Munis de cette seule distribution directe p (y | x, u , I ), nous
pourrions dfinir la solution du problme inverse comme tant celle Il est donc ncessaire daller au-del de linfrence par maxi-
du maximum de vraisemblance, la vraisemblance tant la distribu- mum de vraisemblance. Toutes les extensions voques prc-
tion directe dans laquelle la variable y prend sa valeur observe et demment sont automatiquement fournies par lapproche
le paramtre x devient la variable : baysienne.

MV = arg max p 1 y | x , u , I 2
^
x
x*
4.4 Infrence baysienne
La solution des moindres carrs est un cas particulier de celle du
maximum de vraisemblance, lorsque la distribution directe est Linfrence baysienne est ainsi nomme parce quelle fait un
gaussienne : large usage de la rgle de Bayes, consquence elle-mme dune
rgle fondamentale du calcul des probabilits, la rgle du
x MC = arg min [ y Ax ] t R 1 [ y Ax ]
^
produit [27]. Soit H une hypothse dont nous voulons valuer la
x* vracit, D un ensemble de donnes en rapport avec cette hypo-
thse, et I une proposition dfinissant lenvironnement logique du
Introduite de cette manire, il sagit toujours dune mthode des problme. La rgle du produit stipule que :
moindres carrs pondrs (par la matrice R 1) qui possde la
proprit indispensable dinvariance par changement dunits dans P (H D | I ) = P ( H | D , I ) P (D | I ) = P ( D |H , I ) P ( H | I )
* et 6 . Dans beaucoup de situations simples, cette mthode dinf- o, par exemple, P (H | D, I ) dsigne de manire habituelle la
rence fournit toute linformation recherche, mais dans les probabilit que H soit vraie sachant D et I. On en tire la rgle de
problmes inverses dont la paramtrisation nest pas parcimo- Bayes :
nieuse, la distribution directe ne contient pas toute linformation
P (H | I ) P (D | H , I )
ncessaire pour rendre le problme bien-pos et elle ne fournit pas P (H | D , I ) = -----------------------------------------------------------
tout lappareil technique ncessaire au calcul. P (D | I )

Dans le cas particulier dun problme indtermin y = Ax o A qui nest rien dautre quune rgle dapprentissage : elle nous dit
est singulier (problme dit dinversion gnralise ), il ny a pas de comment nous devons ajuster la probabilit attribue la vracit
bruit , et donc pas de distribution directe, sauf dans le sens dune hypothse lorsque notre tat de connaissance change avec
rudimentaire o p (y | x, I ) est constant si x est dans la classe # lacquisition de donnes. La probabilit a posteriori pour H,
des antcdents possibles de y, et nul sinon. La vraisemblance P (H | D, I ), est obtenue en multipliant sa probabilit a priori, P (H | I ),
tant constante dans la classe # , sa maximisation ne nous est par la probabilit davoir observ les donnes D en supposant lhypo-
daucune aide pour choisir dans cette classe. La difficult du pro- thse vraie, P (D |H, I ), et en divisant le tout par la probabilit davoir
blme ne rside pas dans la prsence dun bruit alatoire per- observ les donnes indpendamment du fait que lhypothse soit

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 14 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

vraie ou non, P (D | I ). Ce dernier terme, parfois appel vrai- particulirement bien ici puisque avec le modle linaire (3), sous
semblance globale, joue le rle dune constante de normalisation. les hypothses usuelles de normalit et dindpendance du bruit,
Une part importante de linfrence statistique est fonde sur ds lors que & est une norme euclidienne, la loi conditionnelle
lemploi dune information a priori sur les grandeurs estimer, qui p ( y | x, A , u ) est rellement :
vient sajouter linformation apporte par les donnes. Il nest donc
pas surprenant, si lon se rfre la nature profonde du principe p ( y | x, A , u ) exp 5 ( 1/2 2 ) & ( y Ax ) 6 (41)
de la rgularisation expos au paragraphe 3, quelle prsente un lien
troit avec linfrence baysienne. Pour que lanalogie soit complte, la loi a priori doit aussi pren-
dre la forme suivante :
Dans le cas dun problme inverse tel que (3), et en supposant que
les distributions de probabilit concernes sont densit, linfor- p ( x | u ) exp 5 ( /2 2 ) ^ (x ) 6 (42)
mation a priori sur lobjet x sexprime, dans un contexte baysien,
sous la forme dune densit de probabilit a priori p ( x | u ) . La rgle et il faut, pour quelle soit rigoureuse, que la loi a posteriori (40)
de Bayes nous permet de la combiner avec linformation contenue soit propre, une condition suffisante tant que (41) et (42) le soient
dans les donnes pour obtenir la loi a posteriori : elles aussi.
p (x | u ) p (y | x , A , u ) Beaucoup de fonctions dnergie locale utilises en traitement
p (x | y , A , u ) = ------------------------------------------------------------------- (37) dimage ont t introduites dans un cadre baysien : elles dfinissent
p (y | A, u)
x comme un champ de Markov [28] [29] [30]. Mais bien que le point
Dans cette quation, u est un vecteur dhyperparamtres de vue nergtique soit aussi reprsent dans la communaut des
constitu des paramtres des distributions a priori des erreurs et traiteurs dimage, tous les critres de la forme (25) sont formellement
de lobjet, et p ( y | x , A , u ) dsigne la loi des donnes condi- rinterprtables dans un cadre baysien. La question nest pas de
tionne par la vraie solution x. Elle est compltement dtermine savoir si linterprtation baysienne reprsente une justification des
par la connaissance du modle direct (3) et de la loi de probabilit autres approches, mais plutt de voir ce quelle apporte en rponse
du bruit. Le dernier terme assure la normalisation de la loi a aux problmes voqus prcdemment. En plus de sa grande coh-
posteriori : rence, elle fournit des outils originaux pour le choix des hyper-

p (y | A, u) = Ep y ( | x, A, u ) p (x | u ) dx (38)
paramtres (marginalisation ) et pour la minimisation du critre
compos (algorithmes pseudo-alatoires ), et la varit des cots
quelle permet dutiliser conduit des solutions qui nont pas
Lapproche baysienne fournit ainsi une rponse claire et sans dquivalent dans le cadre nergtique (rgression ).
ambigut au problme de linversion des donnes exprimentales :
aprs avoir observ les seules donnes y, lincertitude sur lobjet x
est entirement dcrite par la distribution de probabilit (37). Mais 4.6 Cas linaire et gaussien
tant donn une distribution de probabilit pour un paramtre x,
continu ou discret, quelle meilleure estimation peut-on en faire,
Les lois gaussiennes, associes des modles directs linaires,
et avec quelle prcision ? Il ny a pas de rponse unique cette
fournissent une structure linaire destimation, donc un cadre algo-
question ; le problme relve de la thorie de la dcision qui rpond
rithmique extrmement commode. En revanche, elles ne permettent
la question Que devons-nous faire ? Cela implique des juge-
dincorporer que des informations frustes, fondamentalement limi-
ments de valeur et va par consquence au-del des principes de
tes des caractristiques dordre 2. Ainsi, dans la thorie standard
linfrence qui rpond seulement la question Que savons-
de la rgularisation [17], le choix dun terme quadratique de fidlit
nous ? On peut ainsi dduire de (37) aussi bien un estimateur ponc-
2
tuel quune rgion dincertitude [4] [19]. Un choix destimateur trs aux donnes : & ( y Ax ) = y Ax P quivaut celui dune
frquent consiste attribuer x la valeur qui maximise la distribution
a posteriori : distribution normale pour le bruit : q (b | R b , I ) 1 (0, R b ), avec
R b P 1. De mme, le choix dune pnalisation quadratique :
MAP = arg max p (x | y , A , u )
^
x (39)
x ^ ( x ) = Dk x 2
quivaut lui aussi celui dune distribution a priori
Mais ce nest quune des solutions possibles. Cette estimation normale pour lobjet : p (x |Rx , I ) 1 (0, Rx ), avec R x ( D tk D k ) 1,
MAP correspond la minimisation dun cot de dcision moyen avec
en supposant bien sr que la matrice D tk D k soit dfinie positive.
une fonction de cot tout-ou-rien, limite (lorsque 0) du cot
moyen P ( ^ x x 0 > ) . Dautres fonctions de cot ont soulev lint- La rgularisation dterministe linaire quadratique est donc
rt dans le cadre de la modlisation des images par champs marko- rigoureusement quivalente lestimation linaire gaussienne. La
viens. Elles conduisent maximiser des probabilits marginales [4] solution est explicite :
[28].
x = ( A t R b1 A + R x1 ) 1 R b1 A t y
^
(43)
et prsente la caractristique remarquable dtre une fonction
4.5 Liens avec les mthodes linaire des donnes y. Il est donc intressant de ltudier dans le
domaine de Fourier dans le cas particulier o A dsigne une
dterministes convolution discrte (circulante) et o les signaux sont supposs
stationnaires ( corrlations circulantes) [1]. Si lon dsigne respecti-
Dans le cas qui nous intresse ici, cest--dire un problme inverse ^

en dimension finie, il est clair que rgulariser selon le principe vement par Y ( ), H ( ), X ( ) , gx ( ) et gb ( ) les transformes de
gnral indiqu au paragraphe 3.2, et donc minimiser un critre tel Fourier discrtes des donnes, de la rponse impulsionnelle du
que (25) est quivalent choisir limage qui maximise la loi systme dobservation, de la solution rgularise, de sa fonction de
a posteriori suivante : corrlation et de celle du bruit, on voit que :

& ( y Ax ) + ^ ( x )
5 6
^
p ( x | y, A , u ) exp --------------------------------------------------------
- (40) X () = W ()Y ()
2 2
o :
o 2 dsigne la variance du bruit. Cette loi de probabilit nest quun
H ( ) 2 gx ( ) 1
des choix possibles puisque toute fonction strictement monotone W ( ) = ------------------------------------------------------------
- --------------- (44)
autre que lexponentielle aurait convenu. Mais ce choix convient H ( ) 2 gx ( ) + gb ( ) H ( )

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 15
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

est analogue la fonction de transfert en frquence dun filtre de


Wiener. Le filtre de restauration est donc constitu de la mise en cas-

Log-vraisemblance
cade dun filtre inverse (fournissant une solution nave et inaccepta- 0
ble) et dun filtre de lissage (empchant lamplification incontrle -100
du bruit dans la bande de frquence o |H ( )2 gx ( ) << gb ( )). -200
Cette inversion linaire quadratique ou linaire gaussienne occu-
-300
pant une place prpondrante dans les problmes dinversion, une 3 2
raction courante est de dire : Les problmes inverses, ce nest pas 1 2
lg 0 -1 0,5 1 1,5
k
compliqu, il suffit de lisser les donnes avant dinverser. Cette -2 0
vision nest pas fausse et suffit pour beaucoup de problmes, mais
elle est rductrice, ne permet pas daller plus loin, et induit un Allure de la log-vraisemblance marginale en fonction des
schma cascad qui nest justifi que dans le cadre linaire quadrati- hyperparamtres k (ordre de la contrainte de douceur) et
que. Ainsi, dans notre exemple de dconvolution dimage, la fonc- (coefficient de rgularisation)
tion de transfert H ( ) est la rponse frquentielle du systme
dobservation prsente sur la figure 3. Cette rponse tant du type
passe-bas, le filtre de Wiener qui fournit la solution rgularise Figure 11 Modle AR-long
neffectue quune galisation spectrale dans une troite bande de
frquence, et ne peut donc restaurer le contenu spectral de lobjet
pour les frquences leves, ce qui est pourtant indispensable pour
restaurer les contours francs prsents dans limage originale. Nous Une telle intgrale conduit trs rarement un rsultat explicite.
verrons plus bas comment on peut y parvenir, mais il faudra sortir du Une exception remarquable est fournie par une distribution
cadre gaussien et la solution ne sera plus un filtrage linaire des don- conjointe p (x, y | u , A ) gaussienne, ce qui est justement le cas de
nes. lanalyse spectrale avec un modle autorgressif long [31].
On constate en effet, avec les mthodes usuelles du
paragraphe 3.1, que laugmentation de lordre d du modle AR
permet de mieux faire ressortir les pics correspondant aux trois sinu-
4.7 Choix des hyperparamtres sodes effectivement prsentes dans le signal de notre second
exemple, mais aux prix de lapparition de fluctuations importantes
Linterprtation baysienne permet dtendre de manire appr- dans le spectre. Pour contourner le problme de la dtermination
ciable la gamme des mthodes de dtermination des hyper- de lordre, mal rsolu avec les critres usuels, on retient un modle
paramtres. Toutes les mthodes dcrites dans les paragraphes dordre maximal d = N 1 (modle AR-long ), et on contrle les
prcdents ncessitent en effet, pour leur mise en uvre effective, fluctuations erratiques du spectre en lui imposant une contrainte de
de choisir la valeur du coefficient de rgularisation , et plus douceur en minimisant la mesure de rugosit dordre k :
gnralement, de tous les hyperparamtres u dfinissant les

E
mesures de distance ^ et & : la variance du bruit, les paramtres +1/2
def k B ( ) 2
de corrlation de lobjet, et les paramtres des fonctions dnergie ^ ( a ) = 5k [ B ( ) ] = ---------------------
- d (47)
locale. La dtermination de u est ltape la plus dlicate des
1/2 k
mthodes de restauration et de reconstruction dimage. Bien que ce
problme soit encore ouvert, lapproche baysienne fournit des o B ( ) est la rponse en frquence du filtre blanchisseur du
outils cohrents pour laborder. signal (23) :

Les hyperparamtres u constituent un second niveau de descrip- N1


def
tion du problme, indispensable pour rigidifier le premier niveau B ( ) = 1/ H ( ) = 1 a m exp ( 2j m ) (48)
constitu par les paramtres eux-mmes cest--dire lobjet x. Dans m=1
un problme mal-pos, la valeur des hyperparamtres est
importante pour obtenir une solution acceptable, mais ne prsente On aboutit ainsi un problme des moindres carrs sous
pas dintrt en soi. Dans une approche baysienne, on peut donc contrainte, ou de minimisation dun critre compos (25) qui
distinguer deux niveaux dinfrence. Le premier infre sur x, pour possde une interprtation baysienne simple (40). Les paramtres
une valeur donne de u , au travers de la distribution a posteriori de rglage de la mthode ne sont plus lordre d du modle, mais
de lquation (37). Le second infre sur u grce une relation le degr k de douceur de la solution et le coefficient de rgularisation
analogue : . La dtermination de ces deux hyperparamtres par maximum de
vraisemblance marginale permet dobtenir une mthode non super-
p (u A ) p (y u, A )
p ( u y , A ) = -------------------------------------------------------- (45) vise.
p (y A)
Les rsultats obtenus sont prsents figure 11. On observe que
On retrouve dailleurs l une caractristique de lutilisation de la la nappe de log-vraisemblance ne prsente pas de maximum bien
rgle de Bayes : la vraisemblance p (y | u , A ) attache aux donnes net, et quil existe plutt une ligne de crte sur laquelle la vrai-
dans le second niveau est le coefficient de normalisation dans le semblance varie peu. Autrement dit, sur cette ligne, une augmen-
premier. tation de lordre k de la contrainte de douceur, accompagne dune
diminution conjointe du coefficient de rgularisation , ne change
Si, comme cela est souvent le cas, ce terme est suffisamment pas notablement la valeur de la vraisemblance.
piqu , cest--dire si les donnes y contiennent suffisamment
dinformation, linfluence de la distribution a priori p ( u |A ) est On observe donc consquemment quil est possible dobtenir,
ngligeable, et le second niveau dinfrence peut tre rsolu par pour des valeurs diffrentes de lordre k, des spectres voisins, tels
maximisation de cette vraisemblance. Mais il faut pour cela rsoudre que celui qui est prsent figure 12. Ce phnomne peut sexpli-
un problme de marginalisation : quer qualitativement par le fait que la mthode doit raliser un
compromis entre la douceur ncessaire pour bien rendre laspect

E p x, y u , A x
rgulier du spectre du bruit, et labsence de douceur du spectre des
p (y u, A) = ( )d trois composantes harmoniques du signal. Avec ce type de signal
et ce mode de rgularisation, lamlioration attendue nest donc
(46)
= Ep y x u A p x u
( , , ) ( ) dx
pas vraiment convaincante, mme si le terme de rgularisation
permet effectivement de mieux contrler les fluctuations du spec-
tre dues laugmentation de lordre du modle.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 16 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

la marginalisation (on intgre simplement ce qui ne nous


10 intresse pas hors du problme, au lieu dtre oblig dimaginer
Spectre (dB)

0 une rptition virtuelle dexpriences alatoires ) ;


-10 la rgression (lesprance conditionnelle na pas dquivalent
-20 dans les autres approches) ;
-30 lchantillonnage stochastique (mthodes de Monte Carlo,
-40
algorithmes de recuit simul, algorithmes gntiques) qui ne peut
-50
se concevoir sans cela.
0 0,1 0,2 0,3 0,4 0,5 Cela dit, la conversion de cette information a priori en une
Frquence relative distribution de probabilit est un problme difficile, encore large-
k=1 = 0,005 ment ouvert en statistique. Pour les paramtres de lobjet x, la priori
est souvent choisi de manire pragmatique ( 4.8.1). Il existe
cependant des rgles formelles qui conduisent des choix raison-
Figure 12 Spectre obtenu avec un modle AR-long
nables [34] [35] [36], et sont surtout utilises pour les paramtres
de nuisance. Elles mnent souvent des a priori impropres, qui ne
posent pas de difficult particulire quand ils sont correctement
Pour contourner la difficult pose par le calcul explicite dune vrai- manipuls [37]. En voici quelques exemples.
semblance marginale, on peut introduire des variables caches
z qui viennent complter les observations y de manire que la Certaines mthodes reposent sur la thorie des groupes de trans-
nouvelle vraisemblance p ( y , z | u , A ) soit plus simple calculer. On formation pour dterminer la mesure de rfrence naturelle
est alors conduit maximiser des esprances conditionnelles par pour le problme et satisfaire certains principes dinvariance. Mais
des techniques itratives, dterministes ou stochastiques (algo- en pratique, cette approche na gure permis que de justifier aprs
rithmes EM et SEM) [32]. La ncessit de telles approches stochas- coup lemploi de la mesure de Lebesgue pour les paramtres de
tiques est apparue la suite de limpossibilit de mettre en uvre localisation (fournissant ainsi une extension au cas continu de la
des mthodes convergentes de maximisation de vraisemblance par distribution uniforme rsultant de lapplication du principe
les techniques doptimisation classiques, la vraisemblance ntant dindiffrence de Bernoulli dans le cas discret) et de la mesure de
pas calculable. Jeffreys dans le cas des paramtres dchelle [37].
On peut aussi remarquer que la distribution conjointe, ou vrai- Dautres mthodes reposent sur des principes informationnels. Il
semblance gnralise : sagit principalement des mthodes dites maximum dentropie
p (y, x |u, A) = p (x |y, u, A) p (y u, A) dans lesquelles on recherche une distribution qui soit la plus proche
dune distribution de rfrence (au sens dune distance de Kullback)
(49) tout en vrifiant une information incomplte connue a priori [26] [38].
= p (y | x, u, A) p (x u) Mais l encore, cette approche a surtout permis de justifier aprs
coup certains choix. De plus, elle nest vritablement praticable que
rsume toute linformation propre au premier niveau dinfrence,
lorsque cette information a priori est faite de contraintes linaires sur
et vouloir en faire la maximisation conjointe par rapport x et u .
la distribution recherche (moments). On travaille alors dans la
Le problme dintgration soulev par (46) est videmment va-
famille des distributions exponentielles.
cu. Par contre, la vraisemblance gnralise na pas, en gnral,
dinterprtation statistique claire, et il peut mme arriver que lesti- Un autre principe formel consiste utiliser des a priori conjugus,
mateur correspondant ne soit pas dfini, la vraisemblance pouvant famille de lois telles que les distributions a posteriori correspon-
ne comporter aucun maximum, mme local [33]. dantes soient aussi dans la famille [34]. Cela ne prsente dintrt
que si ladite famille est aussi petite que possible, et paramtre. Dans
ce cas, le passage de la priori la posteriori, par application de la
4.8 Modle a priori rgle de Bayes, se rduit la mise jour des paramtres. Lintrt de
cette mthode est essentiellement dordre technique puisque la pos-
Il est souvent reproch lestimation baysienne de dpendre de teriori est toujours calculable, au moins jusqu un certain point. On
la connaissance dun hypothtique vrai modle alatoire ayant peut aussi lui trouver une justification partielle par un raisonnement
engendr lobjet reconstruire. Implicitement, pour formuler ce dinvariance : si les donnes y modifient p (x | I ) en p (x | y, I ),
reproche, il faut admettre que la ralit peut tre enferme dans linformation apporte par y sur x est videmment limite ; elle ne
un modle mathmatique. Vaste dbat... Dans le cas de lapproche devrait pas conduire une modification de toute la structure de
probabiliste de linversion telle que nous la concevons, linter- p (x | I ), mais seulement de ses paramtres. Mais il est clair que la
prtation frquentiste des probabilits entretient une confusion principale motivation est sa commodit demploi. Les a priori
fcheuse : il nous semble important de prciser que nos hypothses conjugus sont habituellement associs des distributions directes
probabilistes ne sont pas des hypothses sur le caractre particulires qui permettent toujours de les tablir, ce sont les
alatoire de lobjet, ou du bruit affectant les donnes, mais des familles exponentielles [39]. Le caractre automatique de cette
choix dun mode de reprsentation dune information a priori mthode de choix est cependant trompeur, des hyperparamtres
incomplte ou dune connaissance incertaine compatible avec supplmentaires apparaissent invitablement, quil faut aussi rgler.
loutil dinfrence choisi. Cette situation na dailleurs rien de Nous allons plutt nous intresser ici une dernire classe trs
singulier puisquil est rare que dans un problme rel, linformation importante, celle des constructions faites la main , cest--dire
a priori disponible le soit sous une forme directement adapte au qui ne sappuient pas sur des principes de porte gnrale comme
cadre thorique choisi pour le traitement. les prcdentes, mais introduisent de manire pragmatique des
Les avantages de lapproche baysienne ne rsident pas dans modles probabilistes traduisant au mieux les proprits attendues
linformation supplmentaire introduite par la priori : les inter- des solutions, au cas par cas. Cest dans cette catgorie quentrent
prtations nergtiques, dterministes, de la fonctionnelle de rgu- les modles markoviens qui ont connu un dveloppement spectacu-
larisation ^ ( x ) du paragraphe 4.5 montrent quelle ne lui est pas laire en imagerie depuis 1984 [29], et qui permettent dincorporer
propre, et linformation introduite sur les paramtres de nuisance dans une distribution a priori des proprits locales essentielles que
est diffuse la plupart du temps. En revanche, lapproche baysienne doit possder lobjet. La construction de ces modles demande beau-
donne accs une couche doutils qui nexiste pas dans les autres coup de savoir-faire. Aussi, avant dillustrer ces derniers avec notre
approches : premier exemple ( 4.8.2), nous commencerons par reprendre le

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 17
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

second, celui de lanalyse spectrale ( 4.8.1), afin dillustrer simple-


ment quelle peut tre linfluence dun modle a priori sur le rsultat 10

Spectre (dB)
dune inversion. 0
-10
-20
-30
4.8.1 Analyse spectrale -40
-50
Le principal obstacle lobtention dune rsolution suffisante -60
avec les mthodes danalyse classiques du type priodogramme -70
0 0,1 0,2 0,3 0,4 0,5
tant le nombre limit dchantillons disponibles, une approche Frquence relative
trs diffrente de linversion gnralise du paragraphe 2.2, ou de
Extrapolation sur M = 1024 points
la modlisation autorgressive du paragraphe 3.1, consiste abor-
der le problme comme celui dune extrapolation de signal [40],
cest--dire rechercher un vecteur valeurs complexes Figure 13 Spectre obtenu avec un a priori de Cauchy
X = [X 1 , X 2 , ..., XM ]t, de dimension M >> N , et tel que lon ait :

y = FX (50)
o F est une matrice de Fourier rectangulaire dlments
20

Spectre (dB)
1
F n , m = ------- exp ( 2j nm / M ) et de dimensions (N M ). Ce problme
M
10
est donc toujours mal-pos puisque indtermin, mais cette fois de
dimension finie. Comme on peut, par TFD inverse, associer au 0
vecteur complexe recherch X un vecteur rel x de mme longueur
M, trs suprieure celle du vecteur des donnes y, le problme -10
peut tre effectivement vu aussi comme un problme dextrapolation
de signal. On choisit de la rgulariser de la manire dsormais -20
habituelle (40) :
-30
^
2
X = arg min { y F X 2 + ^ (X) } (51) -40
0 0,1 0,2 0,3 0,4 0,5
o ^ ( X ) est la fonctionnelle de rgularisation choisir. Cela est, Frquence relative
nous lavons vu ( 4.5), quivalent rechercher le mode (MAP)
dune distribution a posteriori :
Figure 14 Spectre obtenu avec un mlange dans la priori
p (X y, u) p (X u) p (y X, u)

o la vraisemblance p ( y X , u ) serait de la forme normale


habituelle : Un exemple de rsultat obtenu est prsent (figure 13). Les trois
frquences pures du signal sont trs bien localises et leurs ampli-
3 4
2 N /2 1 2 tudes respectives bien restitues. On remarquera aussi la dynami-
p (y X, u) = (2 d) - yFX
exp ------------
2 2
2 d que de lamplitude du spectre estim. Par contre, la composante
du spectre due au bruit nest pas trs bien rendue, mme si lenve-
X C M , y R N , mais il faut bien voir cependant quune telle vrai- loppe des pics correspondants en donne une ide correcte. Cela
semblance ne peut pas sinterprter comme une version dcentre provient bien sr du choix de la loi a priori pour X qui est spara-
dune distribution de probabilit pour des erreurs : ble, ce qui convient trs bien pour des composantes harmoniques
sans rapport entre elles, mais ne permet pas de traduire les pro-
p (y X, u) = q (y F X u) prits de continuit frquentielle et de variation douce de la
composante spectrale due au bruit. Il faudrait raliser un
puisquil ny a aucun bruit dans notre problme celui-ci scrit mlange dans la fonctionnelle de rgularisation. Cette voie a
en effet y = F X et non pas y = F X + b et, partant, aucune distribu- t explore [42], avec les rsultats prsents (figure 14) et on se
tion directe, sauf dans le sens rudimentaire o P (y (n ) | X ) = 1 ou reportera [42] pour la description de la mthode.
0 selon que X est, ou pas, compatible avec les donnes y (n ). Les
donnes observes y nous disent seulement que le vrai X 0 doit
tre dans la classe # pour laquelle P (y (n ) | X ) = 1. La vraisem- 4.8.2 Restauration dimage
blance prsente donc un plateau horizontal, pour tous les X # ,
ce qui explique que la recherche dune solution au maximum de vrai- Dans le cas de la dconvolution (premier exemple), nous avons
semblance soit sans issue. Cest le choix dune distribution a priori vu au paragraphe 3.2 que la rgularisation linaire-quadratique ne
pour X qui permettra, ventuellement, dobtenir une distribution a permettait pas de restaurer correctement les contours francs
posteriori p (X | y , u ) suffisamment pique pour pouvoir prendre prsents dans lobjet original. Linterprtation baysienne du
une dcision. paragraphe 4.6 nous en a fourni une explication : le choix dun
On a montr par (26) que le choix dun a priori gaussien pour X modle a priori implicitement gaussien et stationnaire pour limage
nous ramne la solution du priodogramme cest--dire une inconnue conduit effectuer, lors de linversion, un filtrage linaire
extrapolation par des zros et quil faut choisir une distribution des donnes, et celui-ci est finalement un compromis entre le filtrage
longue queue pour aller au-del. Plusieurs choix sont possi- inverse ncessaire pour restituer des contours francs et le lissage
bles [41], et [40] propose une loi de Cauchy, parfaitement utilisable accentu ncessaire pour limiter linfluence du bruit. Le rsultat
malgr la non existence de ses moments, caractristique bien aboutit, dans ce contexte linaire, neffectuer quune galisation
connue et lorigine de la maldiction dont elle semble frappe en spectrale dans une troite bande de frquences, en raison du carac-
statistique frquentiste. On choisit un coefficient de rgularisation tre passe-bas du systme dobservation. Il faut donc, pour aller
nul, et le seul hyperparamtre rgler est le paramtre dchelle au-del, quitter ce cadre linaire en adoptant un modle a priori plus
de la loi de Cauchy. appropri.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 18 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Un modle gaussien stationnaire nest effectivement pas bien


adapt la description dune image telle que celle de la figure 1,
constitue essentiellement de zones plutt homognes spares par
des contours plutt francs. De faon gnrale, la traduction
quantitative de proprits locales dune image (rgions homognes
spares par des contours, par exemple) peut tre envisage dans
le cadre trs large des fonctions dnergie qui ont t introduites
en traitement dimage en considrant que lobjet x est, comme le
bruit, une ralisation dune variable alatoire [28] [29]. Un pralable
consiste dfinir un systme de voisinages {di } dans lequel di est
la collection des pixels qui sont supposs interagir directement avec
le pixel i. Une caractristique frquente de nombreuses images est
quil est trs probable que les valeurs des intensits en des sites
voisins soient elles-mmes voisines. Pour traduire cette proprit
attendue, on peut choisir, titre dexemple lmentaire, des nergies
locales de la forme :

V ( xi , xj ) = xi xj 2 j di
(52)
= 0 sinon
Ces nergies de liaison, calcules sur tous les pixels voisins, sont
ajoutes pour dfinir lnergie de limage :
Figure 15 Dconvolution convexe L 21
9( x ) = V ( xi , xj ) = Vk ( x )
i j k

Vk est lnergie associe au k e ensemble de pixels voisins, et k indexe au prix dune certaine instabilit et dun cot calculatoire lev
lensemble de toutes les paires de sites voisins. Lide suivie dans [44].
cette construction est que 9 ( x ) doit tre faible pour les images qui Pour notre exemple en dconvolution dimages, la figure 15
vrifient les proprits que lon veut utiliser pour dfinir la priori, prsente un exemple typique de rsultats obtenu partir de
cest--dire dans cet exemple, les images dont les pixels voisins ont pnalisation convexe L 21 . Cette solution minimise un critre rgu-
tendance avoir les mmes valeurs dintensit. laris ( (x ) de la forme (25). La fonction & est la norme quadratique,
Mais les fonctions dnergie peuvent aussi traduire dautres le terme dadquation aux donnes demeure donc un terme de
proprits, telles que lexistence de rgions presque uniformes moindres carrs, comme nous en avons dj rencontr. En revanche,
spares par des contours marqus. Pour modliser ces ruptures la fonction ^ est btie sur la base dune fonction L 21 hyperbolique :
dhomognit, limage idale est alors considre comme une paire
(x, t ) associant un vecteur dintensit des pixels x, qui serait direc- ( (x ) = y Ax 2 + ( xi xj ) (53)
tement observable avec un instrument parfait, un vecteur t de i, j
variables supplmentaires caches traduisant des caractristiques
inobservables telles que la prsence dun contour, dune texture, etc. avec (u ) = s 2 + u 2 . Ce rsultat laisse apparatre sans quivoque
On dfinit ensuite une nergie globale de la forme : une amlioration par rapport la figure 10, obtenue par rgularisa-
tion quadratique. Les contours du manteau et de la chevelure du
^ ( x , t ) = 9x ( x ) + 9t (t ) + 9xt ( x , t ) personnage sont effectivement plus francs et les dtails de la camra
mieux rendus.
compose de trois termes : un terme dintensit 9x ( x ) , un terme
de contour 9t (t ) et un troisime terme 9xt ( x , t ) qui dcrit les
interactions ncessaires entre les contours et les pixels [29]. Ces 4.9 Choix de critres
nergies locales ont des liens troits avec la physique statistique
et les distributions de Gibbs qui ont la forme suivante :
p ( x , t ) = exp { 9 ( x , t ) / T } o T est un paramtre de tempra- Lapproche baysienne ramne linversion la dtermination
ture. Dans le domaine de la segmentation dimage, des formes dune distribution a posteriori. Comme il nest pas envisageable de
spcifiques de variables de contour ont t introduites pour obtenir calculer compltement de telles distributions, on se contente de
des contours ferms. Les variables caches constituent un moyen rechercher un estimateur ponctuel qui est souvent celui du maxi-
trs puissant dincorporer une information a priori labore [29]. mum a posteriori. Dautres alternatives existent (maximum a pos-
teriori marginal, moyenne a posteriori, etc.), mais il est important
Un autre moyen de mieux prserver les discontinuits dans un de bien valuer les consquences dun tel choix et de proposer, si
objet que ne le font les mthodes de rgularisation employant des ncessaire, des alternatives.
critres quadratiques, consiste employer des nergies non
quadratiques [43]. Le principe est dutiliser une fonction qui crot La question peut tre valablement souleve de labsolue ncessit
moins vite quune parabole, afin de moins pnaliser les variations dimposer que la solution soit continue par rapport aux donnes et,
importantes. Elles sont essentiellement de deux types : par consquence, de la convexit des critres de rgularisation. Alors
que les approches quadratiques et entropiques sont bien connues
les fonctions L 21 , cest--dire les fonctions convexes, pour rendre les problmes inverses bien poss, la minimisation
continment diffrentiables, de comportement quadratique dune fonctionnelle non convexe ne peut assurer que la solution soit
lorigine, asymptotiquement linaires, et dont un exemple typique continue : une petite variation dans les donnes peut induire un
est la branche dhyperbole ; saut dune valle une autre, et donc une perte de continuit.
les fonctions L 20 qui diffrent des prcdentes en tant Mais, dans beaucoup de problmes, ces transitions sont non
asymptotiquement constantes, et donc non convexes. seulement dsirables, mais ncessaires pour restaurer des dis-
Les premires offrent lavantage dtre convexes, si bien que les continuits, des frontires, des interfaces, des points brillants, etc.
techniques standards de minimisation sont assures de converger Un clairage diffrent peut tre donn ce problme en observant
( 5), et de fournir une certaine robustesse la solution [30]. Les que certains critres non convexes introduits en imagerie possdent
autres permettent de dtecter rellement les discontinuits, mais une expression quivalente impliquant des variables caches. Dans

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 19
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

^
ce cas, le problme quitte lanalyse convexe et incorpore une certaine La dfinition formelle de x comme minimiseur dun critre
dose danalyse combinatoire, ou de test dhypothse, ce qui relve cache principalement trois niveaux de difficult, en termes de mise
de la thorie de la dcision plus que de lestimation. Lanalyse en uvre, qui sont, par complexit croissante :
baysienne reste pertinente dans ce contexte de dtection-estima- ( est quadratique :
tion combines. Nombre de travaux rcents ont t engags dans
cette voie, combinant plusieurs niveaux de variables, mlangeant ( = x t Mx 2 v t x + cte et X = RM
descriptions bas et haut niveau, ou des donnes recueillies par
des modalits exprimentales diffrentes. Cest en ce sens que les ou bien X est affine :
concepts classiques de la rgularisation, comme la continuit par X = { x 0 + Bu , u RP , P < M } ;
rapport aux donnes, ne sont plus totalement appropris et quun
effort dextension doit tre fait. ( est une fonction convexe diffrentiable et X = R M ou un
sous-ensemble convexe (ferm) de R M ;
( na pas de proprit avre.

5. Mthodes de minimisation
de critre 5.2 Cas quadratique
Dans la situation , avec X = R M et en supposant M symtrique
^ ^
La plupart des mthodes dinversion reposent, dune faon expli- et inversible, x est la solution du systme linaire M x = v de taille
cite ou implicite, sur la minimisation dun critre. Suivant les M M, qui exprime lannulation du gradient ( ( x ^
) = 0 . Cest, par
proprits de ce dernier, le cot du calcul effectif de la solution peut exemple, le cas de lquation (43) obtenue dans le cadre linaire
varier dans des proportions trs importantes : typiquement, dun gaussien du paragraphe 4.6.
facteur 1 000 entre la minimisation dun critre quadratique par Dans la variante contrainte un espace X affine, il suffit de
inversion dun systme linaire et la minimisation dun critre remplacer x X par son expression en u pour revenir la mini-
multimodal par une technique de relaxation comme le recuit simul, misation non contrainte dun critre quadratique, dans R P .
toutes choses gales par ailleurs. In fine, le choix de la bonne
mthode dinversion doit donc dpendre des moyens de calculs
disponibles. Encore faut-il savoir, pour un problme doptimisation 5.2.1 Techniques non itratives
donn, quel algorithme mettre en uvre ; ainsi, dans la comparaison
prcdente, il serait possible, mais totalement inefficace, dutiliser Un nombre fini doprations suffit pour inverser tout systme
la technique du recuit simul pour minimiser un critre quadratique. linaire : de lordre de M 3 oprations (et M 2 casse-mmoire) pour
Un panorama non exhaustif des problmes doptimisation dans un systme M M. Si la matrice normale M = {mij } possde une
le contexte des problmes inverses en traitement du signal et de structure particulire, le cot dinversion du systme est susceptible
limage est ici propos, ainsi que des outils algorithmiques associs. de diminuer.
Elle ne prtend pas remplacer la littrature plus gnralement ddie Ainsi, en traitement de signal, la stationnarit se traduit par le
loptimisation, [45] ou [46] par exemple. caractre Tplitz de la matrice normale (cest--dire mij = j i ). En
traitement dimage sous hypothse stationnaire, la matrice normale
est doublement Tplitz (cest--dire compose de sous-matrices de
5.1 Minimisation de critre Tplitz, lagencement des sous-matrices tant lui-mme Tplitz).
Dans ces deux cas, on trouve des algorithmes dinversion cotant
pour linversion de lordre de M 2 oprations et M cases-mmoire (algorithme de
^
Levinson), et mme des algorithmes encore plus rapides utilisant
Par minimisation dun critre, on entend : trouver x qui mini- la transforme de Fourier rapide, cotant seulement de lordre de
mise ( (x ) parmi les lments de X . Dans la suite, on se place M ln M oprations. Lexpression spectrale du filtre de Wiener (44) se
dans le cas de vecteurs rels : X R M . prte ainsi particulirement bien une mise en uvre rapide, valable
Nota : le cas o x est une fonction (plus prcisment, le cas dun espace X de dimension dans le cas dune matrice normale circulante (cest--dire
infinie) pose des difficults mathmatiques qui sont du ressort de lanalyse fonctionnelle. mij = j i [modM ] ) [1].
Le critre ( et lensemble X peuvent dpendre : des donnes ;
de proprits structurelles (des termes additionnels dans lexpres- Le caractre creux de la matrice normale peut galement tre
sion de ( permettent de traduire des contraintes molles , tandis mise profit : si seulement ML coefficients de M sont non nuls, on
que la spcification de X est susceptible dimposer des contraintes peut esprer ramener lordre du cot dinversion M 2 L opra-
dures ) ; dhyperparamtres grant le compromis entre adqua- tions, et ML cases-mmoire. Par exemple, la matrice normale
tion aux donnes et rgularit. 1 1
A t R b A + R x associe (43) est bande ( m ij = 0 si j i > , < M )
Ainsi, dans le cas de linverse gnralise ( 2.2), ( (x ) = x , et si A correspond au filtrage par une rponse impulsionnelle finie de
X = { x , A t Ax = A t y } est lensemble des minimiseurs de petite taille, avec R b diagonale (hypothse de bruit blanc) et
||y Ax ||. Ou encore, dans le cas de la spcification de critres 1 t
composites aborde au paragraphe 3.2 : R x = D k D k . Une matrice bande est creuse, et L est du mme
ordre que , .
( (x ) = & ( y Ax ) + ^ ( x ) (54)
avec X= RM (cas non contraint) (55) 5.2.2 Techniques itratives
M
ou X= R+ (contrainte de positivit) (56) Si le nombre dinconnues M est trs grand (par exemple, les pixels
en restauration dimage, ou les voxels pour des objets volumiques),
Dans le cas du maximum a posteriori, lestimateur le cot de mmorisation des techniques non itratives devient sou-
maximise (40), donc il minimise lanti-log-vraisemblance a poste- vent prohibitif. Il est alors prfrable dutiliser une mthode point
^( i )
riori ln p (x | y , A , u ) , qui scrit encore (54), une constante fixe, engendrant itrativement une suite x de limite x ^
= M 1 v .
additive prs. En revanche, dautres estimateurs baysiens classi- Toutes les variantes classiques sont des techniques de descente,
ques, tels que la moyenne a posteriori, rsultent dun calcul dint- cest--dire quelles vrifient ( ( ^x (i + 1) ) < ( ( x ^( i )
) . On peut distin-
grale et non pas de la minimisation dune fonction. guer trois familles.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 20 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Techniques inconnue par inconnue dimages [43]. Commenons par rappeler quelques proprits fon-
Une seule composante diffre entre ^ x ( i ) et x
^( i + 1 )
. On balaye damentales des critres convexes [46] :
cycliquement les M composantes au cours des itrations. Cest le un critre continu convexe ( est unimodal : tout minimum
principe de la mthode de Gauss-Seidel, appele encore coordinate local est global et lensemble de ses minimiseurs est convexe ;
descent [46]. Elle peut tre gnralise un traitement par bloc des
si ( 1 ,( 2 sont convexes et 1 , 2 > 0 , alors 1 ( 1 + 2 ( 2 est
composantes, et est dautant plus intressante, et partiellement
convexe ;
paralllisable, que A est creuse.
Nota : cette proprit explique pourquoi on sintresse la convexit plutt qu
Techniques donne par donne lunimodalit : par exemple, le critre pnalis (54) est convexe (donc unimodal) si & et
^ sont convexes, alors que lunimodalit de & et de ^ ne suffirait pas pour garantir
Une seule composante de y est prise en compte pour calculer lunimodalit du critre.
x ( i + 1 ) partir de ^ x ( i ) . On balaye cycliquement les N donnes au si ( est strictement convexe, il existe un et un seul minimiseur
^
cours des itrations, ce qui rend cette approche incontournable si x dans tout X convexe ferm (cest--dire que la frontire de X
les donnes sont trop nombreuses pour tre traites simultan- lui appartient).
ment. Ainsi, les techniques de reconstruction algbrique (ART), his-
En revanche, si le critre est non quadratique, le minimiseur ^ x
toriques en imagerie mdicale par tomographie rayons X,
est une fonction des donnes qui nest gnralement ni linaire, ni
suivent ce principe pour minimiser le critre des moindres carrs
explicite. De ce fait, les techniques non itratives dinversion de sys-
|| y Ax || 2 [47]. Elles sont gnralisables au critre pnalis tmes linaires du paragraphe 2 nont plus cours. En revanche, les
|| y Ax || 2 + || x || 2 [48], peuvent traiter des blocs de donnes, et trois familles de techniques itratives, fondes sur la diminution suc-
^
sont dautant plus intressantes, et partiellement paralllisables, cessive du critre, engendrent des algorithmes convergeant vers x
que A est creuse. si ( est convexe et diffrentiable si X = RM . Le cas dun critre
convexe mais non diffrentiable est un peu plus dlicat : les tech-
Techniques globales niques modernes, dites de point intrieur, approchent la solution en
chaque itration, toutes les inconnues sont remises jour en minimisant une suite dapproximations convexes diffrentiables
fonction de toutes les donnes. Les algorithmes de gradient sont des [46].
prototypes dapproche globale : x ( i + 1 ) = x^( i ) ^( i )
(x ^( i )
) ( ( x ),
^
Dautres familles de techniques convergentes sont aussi
^( i ) ^( i )
avec ( ( x ) = 2 M x 2 v . Remarquons que la mthode de envisageables : moindres carrs repondrs, baptiss aussi algo-
Landweber ( 3.1) est en fait une technique de gradient minimisant rithmes semi-quadratiques [43], ou encore les approches fondes
le critre non rgularis ||y Ax || 2. Les algorithmes de gradient sur la maximisation dun critre dual [46] [49] [50]. La prsentation
conjugu ou pseudo-conjugu sont des variantes convergeant plus de ces approches dpasse le cadre de cet article.
rapidement, dans lesquelles les directions successives de descente Si X est un sous-ensemble convexe ferm de RM , des adaptations
combinent les gradients prcdemment calculs pour viter la sont ncessaires : gradient projet ou gradient conditionnel dans la
trajectoire en zig-zag du gradient simple [45]. Ces variantes sont du famille des techniques globales [46], techniques de projection sur
premier ordre, donc dun encombrement mmoire rduit : elles des ensembles convexes [51] [52] dans la famille des techniques
utilisent seulement les M drives premires (/ x m . donne par donne . Quant aux techniques inconnue par
Quant aux techniques du second ordre, telles que les algorithmes inconnue , elles restent particulirement simples si les contraintes
de Newton et quasi-Newton [45], elles sont trs rarement utilisables sont sparables, cest--dire si X est un produit cartsien ; par
car elles ncessitent le calcul (ou lapproximation) des M M exemple, la positivit correspond X = R + R + . Enfin, certains
drives secondes 2 (/ x i x j et linversion dun systme linaire problmes contraints sont quivalents un problme non contraint
chaque itration, ce qui est prohibitif pour la plupart des problmes dans le domaine dual, ce qui justifie le recours aux mthodes duales.
dinversion ralistes.

5.4 Cas gnral


5.3 Cas convexe
Dans le cas de critres non convexes, lexistence possible de
Les critres quadratiques font partie de la famille plus vaste des minima locaux rend lutilisation des techniques de descente hasar-
fonctions f convexes, cest--dire telles que : deuse, au sens o tout minimiseur local est un point fixe possible
^
pour la plupart de ces techniques. La convergence vers x plutt
x 1 , x 2 X , ]0, 1[ , que le pigeage par une solution locale dpend alors de linitiali-
( [ x1 + ( 1 ) x2 ] < ( ( x1 ) + ( 1 ) ( ( x2 ) sation. Plusieurs stratgies sont envisageables pour viter les
piges ; sauf exception, elles sont notoirement plus coteuses que
avec X R M . De mme, X est un ensemble convexe si : les mthodes de descente, sans pour autant garantir la convergence
vers le minimiseur global. Malgr labsence de garanties mathma-
x 1 , x 2 X , ]0, 1[ , on a x 1 + ( 1 ) x 2 X tiques de convergence, certaines techniques sont cependant suffi-
samment robustes pour viter les solutions aberrantes. Elles
La spcification de critres convexes, mais pas forcment produisent alors des rsultats qui ne pourraient tre obtenus par
quadratiques, offre un plus grand choix en terme de modlisation. minimisation dun critre convexe, pour des applications telles que
M la segmentation dimage automatique ou la dtection dobjet.
Ainsi, la pseudo-distance de Kullback (28) est convexe sur R + ; les
j = 1 ( xj xj + 1 )
fonctions de pnalisation markoviennes ^ ( x ) =
M On peut distinguer deux types dapproche. Dune part, les
mthodes dterministes privilgient la robustesse, faute de proprit
M
sont convexes sur R si est une fonction scalaire convexe comme mathmatique de convergence. Ainsi, le principe de la non convexit
2 2 graduelle [53] [54] consiste minimiser de proche en proche une
(x) = s + x . suite de critres, laide dune technique de descente classique, en
La minimisation de critres convexes non quadratiques, bien commenant par un critre convexe et en terminant par le critre
que plus difficile et plus coteuse que celle des critres quadrati- non convexe. La robustesse de cette technique provient de la qualit
ques, reste tout fait compatible avec les moyens de calculs de la solution initiale, pour une mise en uvre dun cot et dune
modernes, do le recours de plus en plus frquent aux fonctions complexit relativement faibles. Dautre part, les mthodes pseudo-
de pnalisation convexes en restauration de signaux et alatoires (recuit simul [29], mthodes de crible [55]) exploitent la

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 21
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

gnration dun grand nombre dalas pour chapper aux piges ; fragiles car dpendantes de modles a priori grossiers et dhyper-
le recuit simul possde des proprits de convergence (de type paramtres rgler. Deux voies de recherche ralistes sont en cours
probabiliste [29]), mais le cot de calcul lev de ces techniques dexploration :
explique leur usage encore limit dans le cadre de la restauration mthodes partiellement supervises o, par exemple, on utilise
de signaux et dimages. une information pertinente sur lobjet (prsence de quelques zones
polygonales uniformes dans limage) pour estimer avec une grande
fiabilit le noyau qui permettrait de lever lindtermination
fondamentale de la dconvolution aveugle ;
6. Questions plus avances mthodes dans lesquelles on cherche enrichir les donnes
acquises, avec lobjectif explicite de lever lindtermination. Il sagit
alors, par exemple de la dconvolution multicanal.

6.1 Inversion myope Imagerie optique par diversit de phase en prsence daberra-
tions (turbulence atmosphrique, dfauts optiques). Les aberrations
Dans les problmes que nous avons tudis jusqualors, nous de phase inconnues se traduisent dans le plan focal par une
avons suppos que le modle direct est parfaitement connu. En i 2
convolution z = h ( ) x + bruit, avec h ( ) = TF ( Pe ) (P est la
pratique, il arrive souvent que ce modle dpende de paramtres
fonction caractristique de la pupille). Le principe de la diversit de
mal ou pas connus. On se trouve alors devant un problme dit
phase est dacqurir une seconde image hors du plan focal
myope ou aveugle . Un exemple type est celui de dconvolu-
z = h ( + ) x + bruit , dphasage connu. Il faut souligner ici
tion noyau inconnu. La dconvolution aveugle comporte un
que la relation entre h ( ) et h ( + ) nest pas linaire. Les donnes
obstacle dordre informationnel encore beaucoup plus svre que
complmentaires z peuvent donc permettre de lever lindtermination
celui de la dconvolution noyau connu. En effet, en labsence de
fondamentale, y compris par les mthodes statistiques mentionnes
toute information a priori sur lobjet x et sur la rponse impulsion-
prcdemment [60].
nelle h, il est videmment impossible de discriminer le couple (x,
h ) de tout autre couple (h 1 x, h 2) tel que h 1 h 2 = h. lextrme, Imagerie en contrle non destructif utilisant les micro-ondes o
la solution dgnre (h x, I ) (o I est loprateur identit) joue lide est deffectuer deux acquisitions avec deux balayages, horizontal
le rle dune candidate indsirable mais naturelle , dont il nest et vertical, mais le mme guide donde. Le problme se formule alors
pas forcment facile de se dbarrasser. Il sy ajoute, en gnral, une comme gi (x, y ) = f (x, y ) hi (x, y ) + bi (x, y ), i = 1,2 avec h 1 (x, y ) =
indtermination sur la phase : frquence par frquence, objet et filtre h (x, y ) et h 2 (x, y ) = h (y, x ). Lobjectif est destimer h (x, y ) et f (x, y )
dobservation peuvent tre dphass dune quantit arbitraire partir de g 1 (x, y ) et g 2 (x, y ). Il faut l aussi mentionner que la relation
oppose sans affecter le rsultat de la convolution. entre h 1 (x, y ) et h 2 (x, y ) nest pas linaire.
Une revue de la littrature actuelle [56] [57] [58] [59] peut pourtant Nota : ces deux exemples sont tirs de notre propre exprience.
laisser penser que des solutions systmatiques, sans informations
a priori, existent.
Parmi les solutions souvent cites, [56] propose un estimateur de
maximum de vraisemblance joint (noyau, hyperparamtre) sous
6.2 Choix de modle
hypothse dobjet x gaussien AR 2-D et de noyau RIF 2-D. Cette
mthode repose sur lidentification des coefficients dun processus Lestimation des paramtres dun modle, suppos vrai , nest
ARMA, modle rsultant pour limage observe. Mais le fonctionne- souvent quune tape dans un problme dinversion, et lon peut
ment pratique dune telle mthode semble trs alatoire, car il est aussi avoir besoin de juger les mrites relatifs de diffrents modles
manifeste que ce sont les hypothses structurelles adoptes (lobjet a priori.
est un AR 2-D, le noyau est un filtre RIF 2-D) qui permettent ici de
Le problme consiste usuellement choisir un modle particulier
lever lindtermination. Or ces hypothses correspondent des
modles trs grossiers. Dailleurs, de nouvelles informations struc- M k f k ( y | x k ) , dans une famille candidate ( x k R pk , k = 1, , K ),
turantes apparaissent en cours de route dans [56], pour pallier des sur la base des donnes observes y. Une des mthodes de choix
difficults qui sont faussement attribues des aspects numriques les plus utilises en traitement du signal, le critre dinformation
ou algorithmiques. La source de ces difficults semble malheureuse- dAkaike (AIC), conduit pourtant une probabilit de surparamtri-
ment beaucoup plus essentielle : lindtermination fondamentale sation non nulle quand N = dim (y ) . Un autre critre populaire,
subsiste en labsence dinformations suffisamment structurantes. Si celui de Rissanen-Schwarz (BIC), apporte une amlioration par une
de telles informations sont effectivement accessibles, il est excessif estimation convergeant presque srement. Il en existe bien dautres,
de parler de dconvolution aveugle ; on pourra parler, par exemple, mais ils souffrent de dfauts qui deviennent particulirement vi-
de dconvolution myope. dents quand le contraste rapport entre le nombre n de donnes
On retrouve la mme ambigut dans des contributions plus rcen- disponibles et le nombre pk de paramtres utiliss dans le modle
tes. Ainsi, dans [59], un estimateur de maximum a posteriori joint est faible : ils tendent surestimer considrablement lordre,
(x, h )MAP est propos, et il est affirm en introduction : our algo- moins que de fortes restrictions ne soient mises la dimension maxi-
rithm can recover both the images and psfs without any a priori male des modles candidats. De plus, les rsultats obtenus avec un
information on the psf . Un peu plus loin, diffrents couples solu- faible nombre de donnes sont trs sensibles la forme de la pna-
^ lisation apporte la log-vraisemblance. Or, les problmes inverses
^
tions 1 x , h 2 sont obtenus pour diffrentes valeurs dun paramtre sont souvent caractriss par un faible contraste. Cest une situation
de rgularisation 2 , illustrant implicitement lindtermination qui met en dfaut les critres de choix les plus usits. Mais la difficult
fondamentale avec le commentaire : ... 2 can be chosen du problme fait que les tudes nombre fini de donnes sont trs
proportionately according to the amount of desired deblurring . rares.
Finalement, des informations a priori sont ncessaires pour choisir Dans un cadre baysien [37] [61] [62], les modles statistiques sont
2 , choix laiss loprateur. introduits pour reprsenter la probabilit des donnes en fonction
Selon notre propre exprience en dconvolution myope pour de chacun des modles (probabilits directes), et le thorme de
limagerie satellitaire, les rsultats pratiques ne peuvent tre que Bayes est employ pour calculer la probabilit a posteriori que lun
parcellaires, et les mthodes statistiques maximum de vrai- des modles soit correct. Llment central est le facteur de Bayes
^ dont le calcul, comme dans toute mthode baysienne, implique des
semblance h MV , maximum a posteriori joint (x, h )MAP sont trop intgrales et donc, souvent, des intgrations numriques.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 22 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

6.2.1 Facteurs de Bayes Lemploi da priori diffus (de grande variance) nest pas une
solution. De plus, la dpendance de la priori ne dcrot
Supposons pour commencer que les donnes y aient t quasymptotiquement (N ).
engendres sous lune ou lautre de deux hypothses M 1 et M 2 , Une difficult dun autre ordre provient du calcul analytique exact
selon une densit de probabilit f ( y | M 1 ) ou f ( y | M 2 ) . tant donn des intgrales des facteurs de Bayes qui est impossible la plupart
des probabilits a priori P (M 1 ) et P (M 2 ) = 1 P (M 1 ), les donnes du temps. On peut employer une expression approche, fonde sur
produisent les probabilits a posteriori P ( M 1 | y ) et P ( M 2 | y ) = la mthode dapproximation analytique de Laplace. On peut aussi
1 P ( M 1 | y ). Lvidence apporte par les donnes en faveur de lune utiliser des mthodes de Monte Carlo, simples ou amliores par
ou lautre des hypothses prend une forme particulirement simple chantillonnage prfrentiel, mais elles sont plus lourdes mettre
en utilisant lchelle des cotes (cote = probabilit / (1 probabilit)) : en uvre que les mthodes dapproximation analytique, et pas
ncessairement plus prcises dans le cas simple mais trs rpandu
P ( M1 | y ) P ( M1 ) f ( y | M1 )
- = -------------------- ---------------------------
--------------------------- (57) dun modle linaire en paramtres [64].
P ( M2 | y ) P ( M2 ) f ( y | M2 )
La cote a priori est donc simplement multiplie par :
6.2.3 Exemple
f ( y | M1 )
B 12 = --------------------------
- (58) Pour illustrer ces problmes de choix de modle, nous utilisons
f ( y | M2 ) lexemple de lanalyse spectrale. Le premier modle envisag M 1
qui est le facteur de Bayes [61]. Dans le cas le plus simple, quand est le modle autorgressif long du paragraphe 4.7 qui prsente la
les deux hypothses sont des distributions sans paramtre libre particularit davoir une distribution directe p ( y | a , u ) et une dis-
(hypothses simples ), B 12 est le rapport de vraisemblance usuel. tribution a priori p ( a | u ) toutes deux normales. La distribution
Sinon, quand lune ou lautre des hypothses implique des para- conjointe p ( y , a | u ) est donc normale, elle aussi, et le calcul de
mtres inconnus xk , le facteur de Bayes a toujours la forme dun lintgrale de Gauss (46) (59) est faisable analytiquement. Reste
rapport de vraisemblance, mais les densits p ( y | M k ) (k = 1,2) sont rgler la question des hyperparamtres u qui apparaissent dans la
obtenues en intgrant (et non en maximisant) sur lespace des vraisemblance marginale p ( y | u ) . Il faudrait, en toute rigueur, leur
paramtres : attribuer aussi une distribution a priori, diffuse mais propre, car ils

p ( y | Mk ) = Ep y M ( | k, xk ) p ( xk | Mk ) d xk (59)
ne sont pas ncessairement les mmes pour tous les modles
comparer, et les intgrer hors du problme pour obtenir p (y | M 1).
Mais si la vraisemblance marginale p ( y | u ) est pique autour de
Cette vraisemblance marginale nest rien dautre que le coefficient ^
de normalisation dans lexpression de la densit de probabilit son maximum en u , on peut crire :
a posteriori pour le paramtre xk donne par la rgle de Bayes, mais
contrairement beaucoup dautres applications de la vraisemblance, p ( y | M1 ) p ( y |^
u) (62)
tous les facteurs constants intervenant dans son expression doivent
tre conservs lors du calcul de B 12 . ce qui donne, avec les donnes y de la figure 5 et en utilisant le
logarithme nprien :
Sil y a K modles concurrents M 1 ,..., Mk , et si lon dfinit
lhypothse nulle M 0 : y = b, la relation (57) montre que la probabi- EV1 = ln p(y | M 1) = 80,3
lit a posteriori pour Mk est donne par :
Le deuxime modle envisag M 2 est le modle dextrapolation
wk Bk 0 de signal introduit au paragraphe 4.8, avec un a priori gaussien cir-
P ( M k | y ) = --------------------------------------------
- (60) culaire, et dont on sait quil conduit extrapoler le signal observ
k = 0 wk Bk 0
K
par des zros, et donc la solution du priodogramme pour le
spectre. Cet exemple ncessite un traitement particulier puisquil
o wk = P (Mk ) / P ( M 0 ). Quand les diffrentes hypothses Mk sont
ny a pas de bruit ( 4.8) et, partant, pas de distribution directe,
galement probables a priori, les probabilits a posteriori sont pro-
sauf dans un sens rudimentaire. Le problme doptimisation (51)
portionnelles aux facteurs de Bayes, avec pour toutes le mme
scrit donc en fait :
coefficient. Un passage au logarithme rend les relations (57) et (58)
additives et montre le rle essentiel de la log-vraisemblance ^ 2
marginale : X = arg max p 1 X | g 2 s.c. y = F X (63)
EV k = ln p ( y | M k ) (61) X CM
2
o g dsigne la variance de la distribution gaussienne circulaire
ou vidence pour le modle candidat Mk .
a priori pour X. Le calcul de la vraisemblance marginale (59) passe
par celui de lintgrale :

E
6.2.2 Difficults
2 2
p 1y | g2 = $(y)
p 1X | g2 dX (64)
On peut montrer [61] [63] que le critre de Rissanen-Schwarz est
une approximation grossire de la log-vraisemblance marginale,
ou vidence pour le modle candidat, correspondant des a priori o le domaine $ ( y ) = { X C M / F X = y } est dfini par la contrainte
varis. Il offre lavantage apprciable dviter davoir prciser la y = F X. Le calcul est plus simple quil ny parat puisquil suffit de
priori, au prix des inconvnients voqus au paragraphe 6.2.1. 1
faire le changement de variable z = ------- G X , z R M , o G est la
Mais tout affinage soulve une batterie de difficults. M
matrice de Fourier de dimensions (M M ) z est donc le vecteur
Lemploi des distributions a priori impropres nest pas permis ici, des chantillons du signal extrapol sur M points et dont le jacobien
contrairement lestimation de paramtres o la priori est sou- vaut lunit, pour obtenir :
vent choisi par commodit car on sait que si les donnes sont
assez nombreuses, alors son effet est faible. Pour le test dhypo-
thse, il nen va pas de mme car lintgration sur des espaces dif-
frents introduit un problme de mise lchelle des facteurs de
2
p 1y | g2 = E RM N
2
p 1 z | g 2 d z ( N + 1 )d z ( M )

Bayes, consquence du changement de la dimension du paramtre


dun modle lautre.
= 1 2 g 2
2 N /2
3
2 g
1
2
- y
exp ------------
2
2 4 (65)

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 23
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

Lestimateur au maximum de vraisemblance de lhyperparam- dinfrence dans une situation incertaine o lon dispose de plusieurs
2 2 2
g = y 2 / N , et un rai- sources dinformation : donnes exprimentales, modle direct, a
tre g est donc lestimateur empirique ^
priori. Outre le choix dun critre rgularis, elle permet aussi le
sonnement analogue celui fait pour le modle prcdent donne, dveloppement de techniques de calcul automatique des hyper-
avec les mmes donnes bien sr : paramtres et dalgorithmes doptimisation pseudo-alatoires, sans
EV2 = 88,3 quivalents dans un cadre non probabiliste. Ses limitations sont bien
connues, elles sont essentiellement dordre calculatoire. Il est clair
On voit donc que si lon se limite la question de choisir entre que lon ne peut pas esprer obtenir par cette approche de rsultats
le spectre du priodogramme et celui du modle AR-long, et que satisfaisants dans des problmes complexes, avec des modles
ceux-ci sont a priori indiffrents, le second a une vidence suprieure simplistes et des mthodes doptimisation approximatives. Cest ce
de 8 Nper celle du premier, soit environ 35 dB. Autrement dit, qui explique sans doute en grande partie lchec partiel des tenta-
leurs probabilits a posteriori sont dans un rapport denviron 3 000 : tives faites dans les annes 1980 en restauration dimage et en fil-
la cote du modle AR-long est suffisamment grande pour que lon trage de bruit, avec des modles gaussiens. Mais on a assist, dans
nhsite pas le retenir dans cet exemple. Mais attention aux erreurs le domaine de la vision par ordinateur, et depuis larticle fondateur
dinterprtation ! Cela ne signifie absolument pas que le modle AR- des frres Geman en 1984 [29], une renaissance spectaculaire des
long soit le vrai modle gnrateur du signal observ. Ce nest mthodes de cette famille, associant champs markoviens,
que le modle le plus vraisemblable dans lensemble des modles chantillonnage de Gibbs, techniques de recuit, paralllisation des
concurrents examins, et avec les donnes exprimentales calculs, dans des problmes de segmentation, de dtection de
disponibles. Dautres donnes ou dautres modles pourraient contours, dextraction de textures, etc. Ces travaux ont fourni une
conduire une conclusion diffrente. base rationnelle trs solide ce domaine et influencent de plus en
plus celui, beaucoup plus large, des problmes inverses.
Le modle dextrapolation du paragraphe 4.8, avec un a priori de
Cauchy sparable, pourrait justement constituer un modle M 3 Notre conviction est quil y a encore beaucoup faire dans cette
tester contre les deux prcdents. Le principe du calcul de la vrai- voie, tant dans la construction de modles probabilistes adapts aux
semblance marginale est le mme que pour le modle M 2 , mais problmes rsoudre, que dans la dtermination des hyper-
paramtres, ou que dans loptimisation de critre. Le travail se pour-
cette fois, lintgrale (65) nest plus calculable explicitement, le
suit donc actuellement dans plusieurs directions.
1
changement de variable z = ------- G X conduisant une distribu-
M Modlisation du problme direct
tion de probabilit dans R M non conventionnelle. Il nest pas Les problmes inverses sont souvent, par nature, non linaires.
possible non plus dutiliser des mthodes dapproximation analyti- Cest le cas, en particulier, de la tomographie de diffraction et de
que comme celle de Laplace puisque nous ne sommes pas dans limagerie de rsistivit. Il faudra donc introduire dans ce domaine
des conditions asymptotiques, bien au contraire ( M @ N ) . Il reste des modles non linaires du problme direct.
les mthodes de calcul numrique par chantillonnage stochas- Modlisation des objets tudis
tique [64], mais nous sortons l dfinitivement du cadre limit
donn cet article. Les proprits locales des images reconstruire (homognit,
contours, etc.) conduisent utiliser des modles a priori markoviens,
mais cela soulve des difficults nouvelles par rapport au cas de la
vision par ordinateur, en raison du caractre non local des oprateurs
linaires issus du problme direct.
7. Conclusion Choix des critres
Lapproche baysienne ramne linversion la dtermination
Nous avons prsent brivement les caractristiques essentielles dune distribution a posteriori. Comme il nest pas envisageable de
des problmes inverses, de la rgularisation et de son interprtation calculer compltement de telles distributions, on se contente de
baysienne. Nous nous sommes limits lestimation paramtrique rechercher un estimateur ponctuel qui est souvent celui du maxi-
et navons quvoqu le choix dun modle. Nous insistons mum a posteriori. Il est donc important dvaluer les consquences
nouveau sur le fait que la plupart des mthodes dinversion dun tel choix et de proposer, si ncessaire, des alternatives. De
classiques peuvent tre chacune tablie, ou rinterprte, dans mme, la question du choix dun critre de dtermination des
plusieurs cadres thoriques, et quil ny a pas de lien exclusif entre hyperparamtres nous semble encore largement ouverte.
les mthodes (plus prcisment les algorithmes de traitement des
donnes) et leurs interprtations thoriques. Ces dernires, par Algorithmes dextrmalisation de critres
contre, peuvent tre classes en fonction de leur degr de gnralit,
Les critres tant choisis, se pose encore la question de leur extr-
cest--dire leur capacit affronter tous les problmes soulevs lors
malisation, dautant quils sont souvent multimodaux. Il est donc
de la rsolution effective dun problme inverse.
important de continuer dvelopper des algorithmes stochastiques,
De ce point de vue, lapproche baysienne offre un cadre en particulier du type maximisation stochastique desprance
remarquablement cohrent et complet pour traiter de problmes conditionnelle .

Rfrences bibliographiques

[1] ANDREWS (H.C.) et HUNT (B.R.). Digital [3] KAK (A.C.) et SLANEY (M.). Principles of [5] BERTERO (M.), DE MOL (C.) et PIKE (E.R.).
Image Restoration. Prentice-Hall, Englewood Computerized Tomographic Imaging. IEEE Linear inverse problems with discrete data : II.
Cliffs (1977). Press, New York (1988). Stability and regularization. Inverse Problems
[2] HERMAN (G.T.), TUY (H.K.), LANGENBERG [4] MARROQUIN (J.L.), MITTER (S.K.) et POGGIO 4, 3 (1988).
(K.J.) et SABATIER (P.). Basic Methods of (T.A.). Probabilistic solution of ill-posed pro- [6] KAY (S.M.) et MARPLE (S.L.). Spectrum ana-
Tomography and Inverse Problems. Adam blems in computational vision. J. Amer. Stat. lysis a modern perspective. Proc. IEEE, 69,
Hilgers, Bristol (1987). Assoc., 82, 76-89 (1987). 1380-1419 (1981).

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 24 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

[7] CIUCIU (P.). Mthodes markoviennes en structure and problems. IEEE Trans. Acoust. [45] PRESS (W.H.), FLANNERY (B.P.), TEUKOLSKY
estimation spectrale non paramtrique. Speech, Signal Processing, ASSP-37, 2024- (S.A.) et VETTERLING (W.T.). Numerical reci-
Applications en imagerie radar Doppler. 2036 (1989). pes, the art of scientific computing. Cam-
Thse de doctorat, universit de Paris-Sud- [26] JAYNES (E.T.). On the rationale of maxi- bridge Univ. Press (1986).
Orsay, oct. 2000. mum-entropy methods. Proc. IEEE, 70, 939- [46] BERTSEKAS (D.P.). Nonlinear programming.
[8] NASHED (M.). Operator-theoretic and 952 (1982). Athena Scientific, Belmont (1995).
computational approaches to ill-posed pro- [27] COX (R.). The Algebra of Probable Inference. [47] GILBERT (P.). Iterative methods for the three-
blems with applications to antenna theory. Johns Hopkins University Press, Baltimore dimensional reconstruction of an object from
IEEE Trans. Ant. Propag., 29, 220-231 (1981). (1961). projections. J. Theor. Biol., 36, 105-117 (1972).
[9] BRZIS (H.). Analyse fonctionnelle : thorie [28] BESAG (J.E.). On the statistical analysis of [48] HERMAN (G.T.), HURWITZ (H.), LENT (A.) et
et applications. Masson, Paris (1983). dirty pictures (with discussion). J. R. Statist. LUNG (H.P.). On the Bayesian approach to
[10] NASHED (M.). Generalized Inverses and Soc. B, 48, 259-302 (1986). image reconstruction. Inform. Contr., 42, 60-
Applications. Academic, New York (1976). [29] GEMAN (S.) et GEMAN (D.). Stochastic 71 (1979).
[11] MURTAGH (F.), STARK (J.L.) et BIJAOUI (A.). relaxation, Gibbs distributions, and the Baye- [49] LUENBERGER (D.G.). Optimization by Vec-
Image restoration with noise suppression sian restoration of images. IEEE Trans. Pattern tor Space Methods. John Wiley, New York
using a multiresolution support. Astron. Anal. Mach. Intell., PAMI-6, 721-741 (1984). (1969).
Astrophys. Suppl., 112, 179-189 (1995). [30] BOUMAN (C.A.) et SAUER (K.D.). A genera- [50] HEINRICH (C.) et DEMOMENT (G.). Minimi-
[12] MOHAMMAD-DJAFARI (A.). Model selec- lized Gaussian image model for edge-preser- zation of strictly convex functions : an impro-
tion for inverse problems : Best choice of ving MAP estimation. IEEE Trans. Image ved optimality test based on Fenchel duality.
basis function and model order selection , in Processing, 2, 296-310 (1993). Inverse Problems, 16, 795-810 (2000).
Maximum Entropy and Bayesian Methods. [31] KITAGAWA (G.) et GERSCH (W.). A smooth- [51] YOULA (D.C.) et WEBB (H.). Image restora-
J.R.G. Erickson et C. Smith, Kluwer Academic ness priors long AR model method for spec- tion by the method of convex projection : Part
Publ., Eds. (1999). tral estimation. IEEE Trans. Automat. Contr., 1 theory. IEEE Trans. Medical Imaging, MI-1,
[13] KALIFA (J.), MALLAT (S.) et ROUG (B.). AC-30, 57-65 (1985). 81-94 (1982).
Restauration dimages par paquets [32] DEMPSTER (A.P.), LAIRD (N.M.) et RUBIN [52] SEZAN (M.I.) et STARK (H.). Image restora-
dondelettes in Actes 16 e coll. GRETSI, Gre- (D.B.). Maximum likelihood from incom- tion by the method of convex projections :
noble, 1339-1342, sept. 1997. plete data via the EM algorithm. J. R. Statist. Part 2 applications and numerical results.
[14] DEMOMENT (G.). Dconvolution des Soc. B, 39, 1-38 (1977). IEEE Trans. Medical Imaging, MI-1, 95-101
signaux. Cours de lcole suprieure dlectri- [33] GASSIAT (E.), MONFRONT (F.) et GOUSSARD (1982).
cit, no 3086 (1985). (Y.). On simultaneous signal estimation and [53] BLAKE (A.) et ZISSERMAN (A.). Visual
[15] LUCY (L.B.). An iterative technique for the parameter identification using a generalized reconstruction. The MIT Press, Cambridge
rectification of observed distributions. The likelihood approach. IEEE Trans. Inf. Theory, (1987).
Astronomical Journal, 79, 745-754 (1974). 38, 157-162 (1992). [54] NIKOLOVA (M.), IDIER (J.) et MOHAMMAD-
[16] LUCY (L.B.). Optimum strategies for inverse [34] ROBERT (C.). Lanalyse statistique bay- DJAFARI (A.). Inversion of large support ill-
problems. Astron. Astrophys., 289, 983-994 sienne. conomica, Paris (1992). posed linear operators using a piecewise
(1994). [35] BERNARDO (J.M.) et SMITH (A.F.M.). Baye- Gaussian MRF. IEEE Trans. Image Processing,
[17] TITTERINGTON (D.M.). Common structure sian Theory. Wiley, Chichester (1994). 7, 571-585 (1998).
of smoothing techniques in statistics. Int. Sta- [36] KASS (R.E.) et WASSERMAN (L.). The selec- [55] WALTER (E.) et PRONZATO (L.). Identifica-
tist. Rev., 53, 141-170 (1985). tion of prior distributions by formal rules. J. tion de modles paramtriques partir de
[18] TIKHONOV (A.) et ARSNINE (V.). Mthodes Amer. Statist. Assoc., 91, 1343-1370 (1996). donnes exprimentales. Masson (1994).
de rsolution de problmes mal-poss. di- [37] JEFFREYS. Theory of Probability. Clarendon [56] LAGENDIJK (R.), BIEMOND (J.) et BOEKEE
tions MIR, Moscou (1976). Press, Oxford (1939). (D.E.). Identification and restoration of noisy
[19] TARANTOLA (A.). Inverse problem theory : blurred images using the expectation minimi-
[38] LE BESNERAIS (G.), BERCHER (J.F.) et DEMO-
Methods for data fitting and model parameter zation algorithm. IEEE Trans. Acoust. Speech,
MENT (G.). A new look at entropy for sol-
estimation. Elsevier Science Publishers, Ams- Signal Processing, ASSP-38, 1180-1191
ving linear inverse problems. IEEE Trans. Inf.
terdam (1987). (1990).
Theory, 45, 1565-1578 (1999).
[57] YOU (Y.L.) et KAVEH (M.). A regularization
[20] THOMPSON (A.), BROWN (J.C.), KAY (J.W.) et [39] BROWN (L.D.). Foundations of exponential
TITTERINGTON (D.M.). A study of methods
approach to joint blur identification and
families. IMS Lecture Notes, Monograph
of choosing the smoothing parameter in image restoration. IEEE Trans. Image Proces-
Series edition, vol. 9, Hayward (1986).
sing, 5, 416-428 (1996).
image restoration by regularization. IEEE [40] SACCHI (M.D.), ULRYCH (T.J.) et WALKER
Trans. Pattern Anal. Mach. Intell., PAMI-13, [58] KUNDUR (D.) et HATZINAKOS (D.). Blind
(C.J.). Interpolation and extrapolation using
326-339 (1991). image deconvolution. IEEE Signal Processing
a high-resolution discrete Fourier transform.
Magazine, 43-64 (1996).
[21] HANSEN (P.). Analysis of discrete ill-posed IEEE Trans. Signal Processing, 46, 31-38
problems by means of the L-curve. SIAM (1998). [59] CHAN (T.F.) et CHIU-KWONG (W.). Total
Rev., 34, 561-580 (1992). variation blind deconvolution. IEEE Trans.
[41] DEMOMENT (G.) et IDIER (J.). Approche
Image Processing, 7, 370-375 (1998).
[22] GOLUB (G.H.), HEATH (M.) et WAHBA (G.). baysienne pour la rsolution des problmes
Generalized cross-validation as a method for inverses en imagerie in Problmes [60] BLANC (A.), MUGNIER (L.) et IDIER (J.).
choosing a good ridge parameter. Technome- inverses : de lexprimentation la modli- Identifiabilit et estimation myope daberra-
trics, 21, 215-223 (1979). sation . M. Bonnet, d., coll. Arago, vol. 22, tions optiques par diversit de phase. Actes
59-77. Observatoire franais des techniques 17e coll. GRETSI, Vannes, 63-66, sept. 1999.
[23] REEVES (S.J.) et MERSEREAU (R.M.). Opti-
mal estimation of the regularization parame- avances, Tec & Doc, Paris (1999). [61] KASS (R.E.) et RAFTERY (A.E.). Bayes fac-
ter and stabilizing functional for regularized [42] CIUCIU (P.), IDIER (J.) et GIOVANNELLI (J.F.). tors. Amer. Statist. Assoc., 90, 773-795 (1995).
image restoration. Opt. Engng., 29, 446-454 Markovian high resolution spectral analysis in [62] ZELLNER (A.) et SIOW (A.). Posterior odds
(1990). Proc. IEEE ICASSP, Phoenix, 1601-1604, mars ratio for selected regression hypothesis. In
[24] FORTIER (N.), DEMOMENT (G.) et GOUS- 1999. Bayesian Statistics, J.M. Bernardo et al., Eds.
SARD (Y.). GCV and ML methods of determi- [43] IDIER (J.). Regularization tools and models Valencia University Press, 585-648 (1980).
ning parameters in image restoration by for image and signal reconstruction in 3rd [63] PAULER (D.K.). The Schwarz criterion and
regularization : Fast computation in the spa- Intern. Conf. Inverse Problems in Engng., Port related methods for normal linear models.
tial domain and experimental comparison. J. Ludlow, 23-29, juin 1999. Biometrika, 85, 13-27 (1998).
Visual Comm. Image Repres., 4, 157-170 [44] GEMAN (D.) et REYNOLDS (G.). Constrained [64] EVANS (M.) et SWARTZ (T.). Methods for
(1993). restoration and the recovery of discontinui- approximating integrals in statistics with spe-
[25] DEMOMENT (G.). Image reconstruction and ties. IEEE Trans. Pattern Anal. Mach. Intell., 14, cial emphasis on Bayesian integration pro-
restoration : Overview of common estimation 192, 367-383. blems. Statistical Science, 10, 254-272 (1995).

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 25

Vous aimerez peut-être aussi