El problema lineal inverso en PDS y la descomposicin o en valores singulares

20 de abril de 2009
MSc. Miguel Santana Justiz, Dr. Roberto Henry Herrera Marrero email: (msantana, henry)@ucf.edu.cu
Resumen En este art culo se presenta una alternativa para la solucin del problema inverso inhero ente a la supresin de ruido (denoising) en seales directamente en el dominio temporal. o n El mtodo consiste, esencialmente en la transformacin del kernel en una matriz Toeplitz e o y su descomposicin en valores singulares SVD. Los resultados experimentales muestran o buenos indicadores de calidad de la seal en presencia de altos niveles de ruido blanco n gaussiano en sistemas LTI. Se realizan experimentos sobre seales simuladas con un kernel denido positivo. n Se realiza una comparacin con una variante del ltro de Tikhonov en trminos de la o e SVD tambin. e

Introduccin o
El proceso de degradacin de una seal se puede representar como un operador (o un sistema) o n h(t) que junto a un trmino aditivo de ruido (t) acta sobre una seal de entrada x(t) para e u n producir una seal degradada y(t) como se muestra en la Fig.1. La deconvolucin puede n o entenderse como el proceso de obtener de forma aproximada x(t), a partir de la observacin o y(t) y del conocimiento de la degradacin en la forma del operador h(t). Se supone que el o conocimiento del ruido (t) se limita a una informacin de naturaleza estad o stica.

Figura 1: Esquema del proceso de degradacin de una seal. o n

El modelo matemtico que representa este fenmeno f a o sico es, y(t) = x(t) h(t) + (t). (1)

El inters de un problema inverso es conocer o estimar la seal real x(t), de forma que el e n residuo (t), sea m nimo, donde x(t) h(t), representa el producto de convolucin discreto o de cada punto xt , con el pulso h(t). Dada la seal observada y(t) y una estimacin para el pulso o PSF h(t), se desea extraer la n o funcin de reexividad x(t) . La solucin del problema inverso que se enuncia previamente o o en (1) conduce a que la relacin entre estas seales se encuentra minimizando la funcin o n o convexa, (Vogel, 2002). 1 2 = m y(t) x(t) h(t) 2 . n (2) 2 Existen diversos enfoques para la solucin del problema inverso que encierra el fenmeno o o de la deconvolucin de seales unidimensionales o de la restauracin en el caso de seales o n o n bidimensionales. Estos se reeren a distintos criterios de optimizacin que intentan solucionar o el problema directamente sobre la seal en el dominio temporal y otros que lo hacen sobre n la seal en un dominio transformado. n

1.

Desarrollo

En (Vogel, 2002) se propone transformar el kernel h(t) 1D en una matriz de convolucin, H, o a partir de una matriz Toeplitz. Una matriz Toeplitz es una matriz cuadrada, simtrica respecto a su diagonal principal de e forma que se cumpla que: hi,j H; hi,j = hi+1,j+1 (3) de donde resulta una matriz fuertemente simtrica. e Los sistemas formados por matrices Toeplitz aparecen en una gran variedad de aplicaciones en matemtica e ingenier En el procesamiento de seales, la solucin de un sistema Toeplitz a a. n o se requiere con vista a obtener los coecientes de los ltros en el diseo de los ltros digitales n recursivos y en esta aplicacin. o

1.1.

Descomposicin SVD o

El problema matemtico que encierra la descomposicin en valores singulares se ha tratado a o por varios autores (Highan, 1996; Nash, 1990). De forma general, cualquier matriz A Rmn tiene descomposicin en valores singulares o 1 (SVD) (Nash, 1990), tomando cualesquiera valores positivos arbitrarios tales que: B = U o donde U T U = I, entonces para la matriz Amn existe una descomposicin SVD, tal que, T A = U V , donde es una matriz diagonal que contiene los valores singulares tales que: 1 2 . . . k 0 , para k = 1, n y U y V son los vectores singulares izquierdos y
1

SVD: del ingls, singular value decomposition e

derechos respectivamente. Expresando la solucin del Sistema Lineal mediante la SVD, o

n

xest =
j=1

uT y j vj j

j > 0.

(4)

Este sistema es bien-denido (well-posed ) si se satisface la condicin de Picard (Hansen, o 2002): n |uT y|2 j 2 ||xest || = < . 2 j j=1 Esta condicin fallar si j 0 porque no se puede garantizar una dependencia continua o a entre la estimacin y la observacin, esto se conoce como problema mal-denido (ill-posed ). o o De lo anterior se deduce que ser mal-condicionado el sistema cuyo operador H, tenga a valores singulares que decaen gradualmente a cero y la razn de su valores extremos sea o grande. max{j } cond(H) = (5) ; j > 0. min{j } Este representa el nmero de condicin de la matriz, valor por el cual se multiplicar cualquier u o a alteracin en la entrada del sistema. La solucin en (4) para un ruido aditivo presente en o o el sistema quedar (Lavarello, Kamalabadi, & OBrien, 2006): a
n

xest =
j=1

uT y j vj + j

j=1

uT j vj j

j > 0.

(6)

Si H = I, se estar en presencia de un problema de supresin de ruido (denoising) y si = 0 a o ser un problema de deconvolucin (deblurring) 2 . a o

1.2.

Mtodo de Regularizacin e o

La regularizacin consiste bsicamente en introducir alguna clase de informacin a priori o a o para estabilizar el problema en el sentido de Hadamard. En (Acar & Vogel, 1994) se muestran resultados en seales elctricas a partir de la regularizacin de Tikhonov y de la Variacin n e o o Total. (Stefan, Garnero, & Renaut, 2005) expone el uso de las mismas en la reconstruccin de o seales en estudios s n smicos, otros autores como (Herrera, Orozco, Moreno, & Calas, 2005b) utilizan la regularizacin a travs de una transformada wavelet con un ltro de Wiener y o e (Hansen, 2002) utiliza la regularizacin con matrices Toeplitz. o 1.2.1. Truncamiento de los valores singulares, TSVD

La manera ms natural de regularizar un problema inverso, ser eliminar los valores singua a lares menos estables, cuando el nivel de ruido en los datos se incrementa. Este mtodo es e conocido como Truncamiento de la Descomposicin en Valores Singulares (TSVD, Truncated o a o SVD) (Lavarello et al., 2006). Para ello se necesita un parmetro de regularizacin , que
2

El trmino deblurring es equivalente a desenfoque e

acte como nivel de umbral para los valores singulares. De esta forma la expresin siguiente u o (Vogel, 2002): 2 1, j > , 2 w ( ) = (7) 2 0, j , dene un ltro w , que acta sobre los valores singulares, dejando pasar slo aquellos mayores u o que , como se muestra en la Fig. 2, donde desplazamiento a la izquierda del ltro por la o disminucin del parmetro de regularizacin , implica que en la solucin del problema se o a o incluyen los menores valores singulares. Entonces la estabilidad del sistema depender en a gran medida de la seleccin apropiada del parmetro de regularizacin y an en ese caso se o a o u tiene la indeterminacin entre supresin del ruido y prdida de informacin util. Si incluimos o o e o
Funciones del Filtro para TSVD 1.2

1 =101 0.8 w(s2) =102 =103

0.6

0.4

0.2

0 5 10

10

10

10

10

10

10

s2

Figura 2: Filtro w ( 2 ), para la regularizacin TSVD. o la funcin del ltro w ( 2 ) en (4) se tendr o a:
n

xest =
j=1

2 w (j )

uT y j vj j

j > 0.

(8)

1.3.

Situacin experimental, Materiales y Mtodos o e

En todos los experimentos, se usa la misma arquitectura. No se emplea paralelizacin de los o mtodos, por cuanto los resultados obtenidos pudieran ser mejorados en trabajos futuros. Se e usan cuatro trminos que dan una medida comparativa del comportamiento de los algoritmos: e la relacin Seal a Ruido Desenfocada, BSNR (Raimondo & Stewart, 2007), la relacin o n o Seal a Ruido de la seal estimada, SNR (Ma, Wang, & Du, 2006), la mejora en la relacin n n o seal-ruido, ISNR(Neelamani, Choi, & Baraniuk, 2004) y el error cuadrtico medio, MSE n a (Donoho, 1995; Ma et al., 2006).

1.3.1.

Deconvolucin de se ales simuladas, caso 1D o n

En esta seccin se basa el anlisis en los resultados previos de (Vogel, 2002). El cdigo en o a o 3 MatLab est disponible en su sitio web , que es referencia en investigaciones actuales sobre el a tema (Cui, Lamm, & Scoeld, 2007). Para los experimentos, se considera la ecuacin integral o de Fredholm de primer tipo (Vogel, 2002):
1

g(x) =
0

h(x x )f (x )dx

def =

Hf (x);

0 x 1,

(9)

donde f (x ) es la seal original, representando en el ejemplo de (Vogel, 2002), la intensidad de n una fuente luminosa con respecto a la posicin x; h, es el kernel de la convolucin, que modela o o los efectos de la turbulencia atmosfrica en la propagacin de la luz, denido Gaussiano; y g e o que es la seal observada, representa la versin desenfocada y ruidosa. n o El modelo matemtico que describe al kernel Gaussiano tiene la forma, a 1 h(x x ) = exp 2 y f (x ) est dado por la funcin a o 0,75 ; 0,1 x 0,25 0,25 ; 0,3 x 0,32 f (x ) = 4 ; 0,5 x 1 sin(2x) 0 para otros y se le aade un ruido aleatorio con media = 0 y desviacin t n o pica = 103 , ver (Kerkyacharian, Picard, & Raimondo, 2005)), BSNR = 40dB. La matriz de convolucin, formada o u o a partir del kernel, tiene un nmero de condicin de 2,5450e + 016, lo que es indicador del mal-condicionamiento del problema inverso. La reconstruccin de la seal usando en Mtodo TSVD descrito en la seccin 1.2.1, se mueso n e o tra en Fig.3. El parmetro hace la funcin de ltro, dejando pasar a la solucin de la a o o deconvolucin, componentes ms contaminados en la medida en que est ms cercano a cero. o a e a Sin embargo en la medida que este crece hacia 1,las oscilaciones se parecen ms a funciones a suaves en forma de senos y cosenos. El MSE =0,0046 para el mejor caso en la seleccin del o parmetro ptimo; con este se obtuvo una SNR= 16,81 dB, y un ISNR = 3,9 dB. a o El cdigo del TSVD fue modicado con la funcin del ltro, para obtener la reconstruccin o o o de Tikhonov en las mismas condiciones del experimento anterior. El error en la estimacin o n es menor que en el TVSD (MSE= 0,0044), observe el seguimiento de la seal estimada con respecto a la original, sobre todo en el componente sinusoidal. En ambos casos (TSVD y Tikhonov) se ha recurrido a un algoritmo iterativo, variando , para encontrar el mejor caso, de forma similar a como se hizo en (Cui et al., 2007). La sensibilidad de ambos mtodos al parmetro de regularizacin, hace que sean poco robustos a e a o cambios de SNR, como se muestra en la Tabla 1.
3

1 (x x )2 2 2

http://www.math.montana.edu/vogel/Book/Codes/Ch1.

Norma del Error para TSVD 10 1.5 1 ||e|| 5 f(x) 0.5 0 0

2 0

= 0.034551

0.5

10

= 0.001

10

0.5 x normalizada = 0.83768

4 2 f(x) 0 2 f(x)

1 0.5 0 0.5

0.5 x normalizada

0.5 x normalizada

Figura 3: Deconvolucin usando TSVD o

Cuadro 1: Indicadores SNR, ISNR BSN R40 Mtodo e SNR ISNR MSE TSVD 16,84 3,92 0,0046 Tikhonov 17,08 4,16 0,0044

y MSE para diferentes BSRN = 40, 30, 15 dB. BSN R30 BSN R15 SNR ISNR MSE SNR ISNR MSE 17,08 2,78 0,0059 12,29 1,72 0,0131 16,24 3,23 0,0053 12,08 1,48 0,0138

Conclusiones
1. El estudio referativo realizado permite tratar el proceso de deconvolucin a partir o del prob lema inverso que este representa como un fenmeno con un marcado malo condicionamiento en el sentido de Hadamard. 2. El mal-condicionamiento tiene como consecuencia principal la amplicacin del ruido o en la extraccin de la seal, en la misma magnitud que indica el nmero de condicin o n u o de la matriz del kernel. 3. La descomposicin SVD permite determinar el nmero de condicin, en primer lugar, o u o y a partir de la seleccin de los vectores principales , o sea, aquellos que tienen asoo ciado valores singulares grandes, la reconstruccin de la seal dada una observacin o n o contaminada. o o 4. La implementacin de la descomposicin truncada de los valores singulares TSVD, sirve como un mtodo de regularizacin factible para la solucin del mal-condicionamiento e o o del problema inverso. o 5. Los resultados experimentales nos muestran la validez de este enfoque para la solucin de problemas inversos en el procesamiento digital, dado la comparacin con el ltro de o Tikhonov y sus resultados similares.

Referencias
Acar, R., & Vogel, C. (1994). Analysis of bounded variation penalty method for ill-posed problems. Cui, C., Lamm, P., & Scoeld, T. (2007). Local regularization for n-dimensional integral equations with applications to image processing. Inverse Problems, 23, 16111633. (doi:10.1088/0266-5611/23/4/014) Donoho, D. (1995). De-noising by soft-thresholding. IEEE Trans. Inform., Theory, 613-627. Hansen, C. (2002). Deconvolution and regularization with toeplitz matrices. Numerical Algorithms, 29, 323-378. Herrera, R., Orozco, R., Moreno, E., & Calas, H. (2005b). Deconvolucin de seales ulo n trasnicas por regularizacin wavelet del ltro de Wiener. En Simposio Ing. Elect. o o Santa Clara, Cuba. (ISBN: 959250201-3) Highan, N. J. (1996). Accuracy and stability of numerical algorithms. Dr. Dobbs Journal. Kerkyacharian, G., Picard, D., & Raimondo, M. (2005). Adaptive boxcar deconvolution on full lebesgue measure sets. Journal of the Royal Statistical Society B, 57 (3), 301-369. Lavarello, R., Kamalabadi, F., & OBrien, W. (2006). A regularized inverse approach to ultrasonic pulse-echo imaging. IEEE Transactions on Medical Imaging, 25 (6), 712 722. Ma, Q., Wang, X., & Du, S. (2006). Method and application of wavelet shrinkage denoising based on genetic algorithm. J Zhejiang Univ SCIENCE A, 7 (3), 361367. Nash, J. (1990). Compact numerical methods for computers. Adam Hilger. Neelamani, R., Choi, H., & Baraniuk, R. (2004). ForWaRD: Fourier-wavelet regularized deconvolution for ill-conditioned systems. IEEE Trans. Ultrason., Ferroelect., Freq. Contr., 52 (2), 418-432. Raimondo, M., & Stewart, M. (2007). The WaveD Transform in R: Performs Fast TranslationInvariant Wavelet Deconvolution. Journal of Statistical Software, 21 (2), 128. Stefan, W., Garnero, E., & Renaut, R. (2005). Signal restoration through deconvolution applied to deep mantle seismic probes. Geophysical Journal International, en revisin. o (http://math.asu.edu/rosie) Vogel, C. (2002). Computational methods for inverse problems. SIAM, Frontier in Applied Mathematics.