Aproximacin funcional por

mnimos cuadrados

Laboratori de Clcul Numric (LaCN)

Departament de Matemtica Aplicada III
Universitat Politcnica de Catalunya (Barcelona)
http://www-lacan.upc.es
 Introduccin
Interpolacin polinmica pura puede no ser la mejor opcin:
si el nmero de datos (n+1) es elevado, el polinomio
interpolador puede presentar oscilaciones importantes
(ejemplo paradoja de Runge),
poca flexibilidad para elegir el tipo de interpolante
(polinomio de grado n)
si los datos son experimentales o susceptibles de tener un
cierto error no tiene sentido imponer que el interpolante
pase exactamente por los datos, es suficiente exigir que
se acerque lo mximo posible

cambio de criterio de
aproximacin

2
Ejemplo: REGRESIN LINEAL

3
 Criterio de MNIMOS CUADRADOS
Mnimos cuadrados: se minimiza el cuadrado de la
distancia entre f(x) y p(x)

versin continua versin discreta

4
APROXIMACIN FUNCIONAL. INTRODUCCIN
4
 Producto escalar continuo

Producto escalar discreto

5
 Producto escalar y norma
Producto escalar <,>: es una forma
1. bilineal

2. simtrica

3. y definida positiva

6
 Todo producto escalar tiene una norma asociada

Norma || ||:

1. y

2.

3.

7
 Criterio de MNIMOS CUADRADOS
Mnimos cuadrados es un criterio de aproximacin que se
puede utilizar para ajustar cualquier tipo de funcin:
Aproximacin polinmica

Aproximacin trigonomtrica

otros, por ejemplo,

En cualquier caso, el aproximante se expresa en funcin de

un nmero finito de coeficientes (con dependencia lineal o
no lineal)
8
 Criterio de MNIMOS CUADRADOS
Criterio de mnimos cuadrados: minimizar el error

donde el aproximante p(x) depende de los coeficientes c0,

,cm

El mnimo se obtiene derivando respecto a los coeficientes

(sistema de ecuaciones m x m)

9
 Teorema de existencia de proyeccin
Sea V un espacio mtrico, y W un subespacio de dimensin
finita. Entonces, dado vV existe w*W tal que
||v-w*|| ||v-w|| para todo w W

10
 Mnimos cuadrados sobre un espacio vectorial:
ECUACIONES NORMALES
Caso particular: el espacio de aproximacin es un espacio
vectorial (el aproximante depende linealmente de los
coeficientes)

base

aproximante

buscamos los coeficientes c0, c1,...,cm que minimicen

11
 Para encontrar el mnimo derivamos respecto a los
coeficientes

12
 Proyeccin
p(x) es la proyeccin de f(x) sobre

13
 Sustituyendo

se obtienen las ecuaciones normales

(notacin)

14
 Teorema fundamental de Mnimos
Cuadrados
Si son linealmente
independientes, el problema de mnimos cuadrados,
planteado como solucin de las ecuaciones normales,
1. Tiene solucin nica
2. La solucin se caracteriza por la propiedad de
ortogonalidad

3. Si son una base ortogonal

(coeficientes de Fourier)
15
Ejemplo: regresin lineal

16
 Ejemplo: paradoja de Runge
Tipo aproximacin: polinmica
Criterios:
Interpolacin pura Mnimos cuadrados
1

0.8
0.5
0.6

0.4
0
0.2

-0.5
0

f(x) n=4 n=8 n=16 -0.2 f(x) n=4 n=8 n=16

-1 -1 -0.5 0 0.5 1
-1 -0.5 0 0.5 1

17
 Teorema

Si las funciones son linealmente

independientes, el problema de mnimos cuadrados tiene
una nica solucin.

demostracin:
basta comprobar que la matriz de las ecuaciones normales A es
regular
la matriz es regular si la nica solucin del sistema homogneo es
el vector 0 (hay que comprobarlo)

18
Consideremos un vector solucin del sistema homogneo,
es decir,

Por lo tanto, la norma de la funcin es

19
|| || norma

i linealmente
independientes

20
 Aproximacin polinmica por mnimos
cuadrados con datos discretos
n+1 datos: f(xi) con i=0,...,n
Aproximacin con un polinomio de grado m

donde es una base de Pm

(espacio de polinomios de grado menor o igual que m)

Condicin

21
 Si m>n el producto escalar discreto

es degenerado en Pm (no induce una norma)

cumple aunque

Si m=n el polinomio pn(x) es el polinomio de

interpolacin

22
 Malcondicionamiento de las ecuaciones
normales
Las ecuaciones normales pueden estar muy mal
condicionadas (depende de la eleccin de la base)
Por ejemplo, la matriz de las ecuaciones normales con base
natural de polinomios

y producto escalar continuo

se llama matriz de Hilbert

23
 Matriz de Hilbert de dimensin m+1

m Nmero de
condicin
2 1.9 101
3 5.2 102
5 4.8 105
10 1.6 1013
15 6.1 1020
24
 Bases ortogonales

Ecuaciones normales con matriz diagonal

25
 Familias de polinomios ortogonales

Polinomios de Legendre:

Polinomios de Gram:

con puntos equiespaciados en [-1,1]

Para intervalo [a,b] se hace un cambio de variable

26
 Paradoja de Runge
Interpolacin polinmica

5 9 17

27