1

Sistemas sobredeterminados.

A un sistema lineal con ms ecuaciones que incgnitas se le denomina sobredeterminado. En general no tiene solucin, pero en muchas ocasiones es necesario dar una solucin que tenga cierto sentido con el problema planteado. Una de las posibles alternativas es la llamada solucin por mnimos cuadrados. Un ejemplo : = 2 + = 0 + 2 = 4 Consideramos la funcin :

J(, ) = ( + 2)2 + ( )2 + ( + 2 4)2

que mide lo cerca o lejos que estamos de la solucin. Si para una pareja de valores de , la funcin vale cero es que son solucin del sistema. Entonces se elije como solucin a la pareja de valores , donde se alcance el mnimo y se le denomina solucin en sentido mnimos cuadrados. El clculo diferencial nos dice que debemos calcular las derivadas parciales e igualarlas cero . Nos llevara a resolver un sistema lineal (en este caso 2 2 ). Problema : Hx = b El proceso anterior es equivalente a lo siguiente :  Sea H la matriz del sistema. Tamao m n  Sea b el vector columna con el trmino independiente.Tamao m 1  Sea x el vector columna solucin . Tamao n 1  El sistema a resolver es :

H T Hx = H T b
de tamao n n que se denomina ecuaciones normales.  Al vector b Hx se le denomina vector de residuos. Y a su norma (que es la raz cuadrada del valor mnimo de la funcin J ) error o error cuadrtico. Se ha minimizado

J(x) = ||b Hx||2 =< b Hx, b Hx >= (bT xT H T )(b Hx) 2 J = 2 < b Hx, H >= 2H T (b Hx)
que si igualamos al vector nulo quedan las ecuaciones normales.

Ajuste de curvas.

Se va a considerar un problema similar a interpolar una tabla de datos o una funcin. La particularidad ser que tendremos ms datos que parmetros por lo que el sistema de ecuaciones a resolver no es cuadrado.

xi yi

x1 . . . xm y1 . . . ym

Conjunto de funciones con el que ajustamos (aproximamos) la tabla V Problema de ajuste por mnimos cuadrados : Hallar u V tal que v V se verica
m m

yi u(xi )
i=1

i=1

yi v(xi )

que es un problema de minimizacin de un funcional. Se dice entonces que u es la mejor aproximacin en sentido mnimos cuadrados de la tabla (funcin) en V . A los valores yi u(xi ) i = 1, . . . , m se les denomina residuos y su norma, que es la raz cuadrada del mnimo del funcional, es el error cometido en la aproximacin
m

yi u(xi )
i=1

Cuando V es un espacio vectorial de dimensin nita se podr proceder de forma similar a lo que se hizo en interpolacin junto con lo visto en sistemas sobredeterminados. Este enfoque encuentra dnde se minimiza el funcional anterior y, por lo tanto, la solucin al problema. En el caso en que V no es un espacio vectorial, es necesario hacer algunos pasos previos. En el caso lineal haremos lo que viene a continuacin. Una base de V que denotaremos {v1 , . . . , vn } y cualquier elemento de V es de la forma v = n j vj para unos j (incgnitas). j=1 Ahora si se siguen los mismos pasos que en interpolacin tendremos un sistema lineal : n

j vj (xi ) = yi
j=1

i = 1, . . . , m

que, en general, ser sobredeterminado (m > n). A la matriz H = (hij ) = (vj (xi ))) con i = 1, . . . , m denomina matriz de Gram.

j = 1, . . . , n se le

Este procedimiento nos lleva al mismo problema que si se hubiese intentado minimizar directamente el funcional
m m n

J(1 , . . . , n ) =
i=1
Nota.

yi v(xi )

=
i=1

yi
j=1

j vj (xi )

El proceso de construccin de las ecuaciones normales H T Hx = H T b y su resolucin puede presentar problema de condicionamiento. Normalmente se lleva a cabo con factorizaciones ortogonales, en particular MatLab usa la descomposicin QR de la matriz H .
3 Pesos.

Muchas veces es necesario dar ms importancia a unos datos que a otros (bien por su relevancia o por arse ms de unos que de otros). En este caso se modica el funcional (y por tanto la norma y la distancia) mediante unos pesos wi que son nmeros estrictamente positivos (ms grande ms relevancia) .

xi yi wi
El problema es ahora :
m

x1 . . . xm y1 . . . ym w1 . . . wm
m

Hallar u V tal que

i=1

wi yi u(xi )

i=1

wi yi v(xi )

v V

A la hora de resolverlo (se puede observar la similitud entre este funcional y el anterior) podemos ver que es como si hubiramos multiplicado cada sumando por wi (que se traduce en multiplicar por wi dentro de cada cuadrado que a su vez implica multiplicar por wi cada ecuacin del sistema asociado). Entonces la nueva matriz asociada Hw es Hw = diag( wi )H donde diag() indica una matriz diagonal (slo los elementos de la diagonal pueden ser no nulos y toman los valores del vector) . Y el nuevo trmino independiente es diag( wi )b
4 No lineal.

Cuando V no es un espacio vectorial al buscar el mnimo del funcional no se llega a un problema lineal. En este caso es mejor manipular las ecuaciones (y/o los parmetros) para llegar a un problema lineal.

Ejemplo. Las funciones de V son de la forma v(x) = ex Solucin. Al evaluar en cada xi quedara una ecuacin de la forma

exi = yi
tomando logaritmos

Ln + xi = Ln yi
Si se llama = Ln estamos ante un problema lineal.
5 Notacin.

Los vectores son vectores columnas si no se especica lo contrario. J es el gradiente de la funcin J (vector que contiene las derivadas parciales). < , > designa el producto escalar de dos vectores, siendo el usual < x, y >= y T x = xT y ||x||2 =
6

< x, x > =

n i=1

x2 i

Bibliografa.