Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ajuste mnimo cuadrtico de curvas

Mtodos Numricos Prof. Juan Alfredo Gmez Conferencia 19

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Conferencia 19

Motivacin Ajuste lineal Ajuste polinomial Ajuste exponencial Descomposicin

QR

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Puntos de una funcin sujetos a perturbaciones

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Polinomio de interpolacin de Lagrange

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Funcin linal con perturbaciones aleatorias

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Comparacin de ambas metodologas

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Problema de mnimos cuadrados

Denicin en el caso de una recta Dada una coleccin de datos {(xi , yi )}m i =1 encontrar los coecientes de la recta y = a0 + a1 x que mejor aproxima esos datos de acuerdo a la norma cuadrtica: m min E2 (a0 , a1 ) = [yi (a0 + a1 xi )]2
i =1

Solucin Condiciones de optimalidad de primer orden:

0

= =

E2 (a0 , a1 ) = 2 a0 E2 (a0 , a1 ) = 2 a1

m i =1 ( i m i =1 ( i

y (a0 + a1 xi )(1)

y (a0 + a1 xi )(xi )

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ecuacin Normal

De las condiciones de optimalidad

2

m i =1 ( i m i =1 ( i

y (a0 + a1 xi )(1) =

y (a0 + a1 xi )(xi ) =
m i =1 i

obtenemos la ecuacin normal

m i =1
1

a0 a1

m i =1 i

m 2 i =1 i

m i =1 i

m i =1 i i

xy

Solucin por Cramer

m x2 m i =1 yi )( m i =1 xi yi )( m i =1 xi ) a0 = ( i =1 i )( m 2 m x 2 m x
( i =1 i ) ( i =1 i )

m m i =1 xi yi )( m i =1 xi )( m i =1 yi ) a1 = ( m 2 )( m x )2 x ( m i =1 i i =1 i

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo

Clculos asociados
xi
1 2 3 4 5 6 7 8 9 10 55 1.3 3.5 4.2 5.0 7.0 8.8 10.1 12.5 13.0 15.6 81.0

yi

xi2
1 4 9 16 25 36 49 64 81 100 385

xi yi
1.3 7.0 12.6 20.0 35.0 52.8 70.7 100.0 117.0 156.0 572.4

m(xi ) = 1.538xi 0.36

1.18 2.72 4.25 5.79 7.33 8.87 10.41 11.94 13.48 15.02

[yi m(xi )]2

0.01 0.61 0.00 0.63 0.11 0.00 0.09 0.31 0.23 0.34

E2 (a0 , a1 ) 2.34474
385(81)55(572.4) 10(385)(55)2

m x2 m i =1 yi )( m i =1 xi yi )( m i =1 xi ) = a0 = ( i =1 i )( m x2 m x 2 m
( i =1 i ) ( i =1 i )

= 0.36

m m i =1 xi yi )( m i =1 xi )( m i =1 yi ) = a1 = ( m m x2 m x 2
( i =1 i ) ( i =1 i )

10(572.4)55(81) 10(385)(55)2

= 1.538

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo de ajuste lineal

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Otro ejemplo con ajuste lineal

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ahora ajustando una parbola

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Comparacin de los ajustes

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Problema de mnimos cuadrados

Denicin en el caso de una polinomios Dada una coleccin de datos {(xi , yi )}m i =1 encontrar los coecientes de una funcin polinomial

Pn (x ) = a0 + a1 x + + an x n
con grado n < m 1 que mejor aproxima los datos de acuerdo a la norma cuadrtica:
min

E2 =

m i =1

[yi Pn (xi )]2 =

m i =1

yi 2

m i =1

Pn (xi )yi +

m i =1

(Pn (xi ))2

Condiciones de optimalidad de primer orden: E2 n m j j +k 0 = = 2 m , i = 1 yi xi + 2 k =0 ak i =1 xi aj

j = 0, . . . , n

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ecuaciones Normales

Reescribiendo las condiciones de optimalidad

2
m j i =1 i i

y x +2 x

n k =0 k

m j +k i =1 i

= 0,

j = 0, . . . , n

m 0 i =1 i i

obtenemos las Ecuaciones normales

m 0 i =1 i

m 1 i =1 i m 2 i =1 i

. . .

m n i =1 i

a0

yx

m 1 i =1 i

m n +1 i =1 i

a1
. . .

. . .

. . .

. . .

m n i =1 i

m n+1 i =1 i

m 2n i =1 i

an

m 1 i =1 i i
. . .

yx

m n i =1 i i

yx

Observacin Las ecuaciones normales en el caso de ajuste polinomial tienen solucin nica siempre que los xi sean distintos.

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo de ajuste parablico

Clculos asociados
0.00 0.25 0.50 0.75 1.00 2.50

xi

0.0000 0.0625 0.2500 0.5625 1.0000 1.8750

xi2

0.0000 0.0156 0.1250 0.4219 1.0000 1.5625

xi3

0.0000 0.0039 0.0625 0.3164 1.0000 1.3828

xi4

1.0000 1.2840 1.6487 2.1170 2.7183 8.7680

yi

0.0000 0.3210 0.8244 1.5878 2.7183 5.4514

xi yi

0.0000 0.0803 0.4122 1.1908 2.7183 4.4015

xi2 yi

1.0051 1.2740 1.6482 2.1279 2.7129

q (x i )

Ecuaciones normales 5 a0 + 2.5a0 + 1.875a0 +

a1 + a1 + 1.5625a1 +
2 5

1 875

1.875a2 . a2 1.3828a2 1 5625

= = =

. . 4.4015
8 7680 5 4514

a0 = 1.0051, a1 = 0.86468, a2 = 0.84316 q (x ) = 1.0051 + 0.86468x + 0.84316x 2 E2 =

5 i =1 (yi

q (xi ))2 = 2.74 104

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo de ajuste polinomial

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Aspectos generales

Motivacin En ciertos casos es apropiado asumir que los datos tienen una dependencia exponencial del tipo y = be ax o del tipo y = bx a . El problema de mnimos cuadrados asociado Se minimizan en cada caso las funciones

E=

m i =1 [ i

y be axi ]2 ;

E=

m i =1 [ i

y bxia ]2
0 0

Ecuaciones normales no lineales! m axi 2 )(e axi ) = i =1 (yi be m axi 2 )(bxi e axi ) = i =1 (yi be y en el otro caso:
2

m i =1 ( i

m i =1 ( i ia )(

bx

bxia )(xia ) = b(ln xi )xia ) =

0 0

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Mnimos cuadrados logartmicos

Idea alternativa Si los datos son exponenciales, aplicar un ajuste de mnimos cuadrados lineal considerando el logaritmo de las ecuaciones aproximantes, o sea:

y = be ax y = bx a
Ecuaciones Normales (caso
ln

ln

y = ln b + ax

y = ln b + a ln x

( m i =1 xi2 )( m i =1 ln yi )( m i =1 xi (ln yi ))( m i =1 xi ) ln b = 2 m 2 m( i =1 xi )( m i =1 xi ) m x (ln y ) m x m m i =1 ln yi ) a = ( i =1mi mi )x 2 ( i =1mi )( ( i =1 i ) ( i =1 xi )2

= be ax )

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Mnimos cuadrados logartmicos

Idea alternativa Si los datos son exponenciales, aplicar un ajuste de mnimos cuadrados lineal considerando el logaritmo de las ecuaciones aproximantes, o sea:

y = be ax y = bx a
Ecuaciones Normales (caso
ln

ln

y = ln b + ax

y = ln b + a ln x

( m i =1 (ln xi )2 )( m i =1 ln yi )( m i =1 (ln xi )(ln yi ))( m i =1 ln xi ) ln b = 2 m 2 m( i =1 (ln xi ) )( m i =1 ln xi ) m (ln x )(ln y ) m ln x )( m m i =1 ln yi ) a = ( i =1m im (lni x) )2( i =1 m iln ( i =1 i ) ( i =1 xi )2

= bx a )

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo de ajuste exponencial (caso

y = be ax )
r (xi ) = 3.071e 0.5056xi
5.092 5.778 6.556 7.439 8.442

Clculos asociados
1.00 1.25 1.50 1.75 2.00 7.50

xi

5.10 5.79 6.53 7.45 8.46

yi

1.0000 1.5625 2.2500 3.0625 4.0000 11.8750

xi2

ln

1.629 1.756 1.876 2.008 2.135 9.405

yi

xi ln yi
1.629 2.195 2.815 3.514 4.271 14.424

m x (ln y ) m x m m i =1 ln yi ) = a = ( i =1mi mi )x 2 ( i =1mi )( 2 x

( i =1 i ) ( i =1 i )
ln

5(14.424)7.5(9.405) 5(11.875)(7.5)2

= 0.5056

m ln y m m x2 i =1 xi (ln yi ))( m i =1 xi ) b = ( i =1 i )( mi =1 m ix)2 ( m x 2

( i =1 i ) ( i =1 i ) = 1.122 = b = e 1.122 = 3.071

ln

b=

11.875(9.405)14.424(7.5) 5(11.875)(7.5)2

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo de ajuste exponencial

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Caso no Lineal

En general el problema a resolver El problema consiste en encontrar el mnimo de la suma de los cuadrados de m funciones no lineales; es decir

Minimizar

g (x ) =

1 1 r 2 (x ) = r (x ) 2 i =1 i 2

2 2

Donde ri (x ) representa el error en la prediccin que hace el modelo de la observacin i ,

ri (x ) = yi f (x , ti ),

i = 1, . . . , m

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Observaciones Un sistema de ecuaciones lineales Ax = b, con A Mmn , n < m, que tiene ms ecuaciones que incgnitas, se dice que es superdeterminado o sobredeterminado. Los sistemas superdeterminados aparecen en problemas que utilizan datos experimentales para aproximar una solucin, debido a que es habitual tomar ms datos empricos de los necesarios, para luego ajustarlos a una solucin que no verican de modo exacto. Denicin Sea el sistema de ecuaciones lineales Ax = b, superdeterminado. Entonces, se dice que Rn es una solucin en mnimos cuadrados del sistema Ax = b, si se verica

A b
Adems

2 2

Mn{ Ax b

2 2

x R}

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Continuacin Denicin 1 Si A b = 0, el sistema de ecuaciones Ax = b es compatible. 2 Si A b = 0, el sistema Ax = b es incompatible y la norma A b 2 es llamada a veces error de la solucin en mnimos cuadrados Observacin Si resolvemos el problema de mnimos cuadrados tenemos que buscar el mnimo de

f (x ) = (Ax b)t (Ax b) = f (x ) = (At A)x At b = 0

Obtenemos un sistema de ecuaciones llamados ecuaciones normales

At Ax = At b

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Descomposicin

QR

Teorema Sea V un espacio vectorial con producto interno y B = {v1 , . . . , vn } una base de V . Entonces existe B = {y1 , . . . , yn } tal que B es una base ortonormal de V y [v1 , . . . , vk ] = [y1 , . . . , yk ], k = 1, . . . , n. Observaciones Es claro que basta encontrar {u1 , . . . , un } base ortogonal de V tal que [v1 , . . . , vk ] = [y1 , . . . , yk ], k = 1, . . . , n ya que basta denir u luego yi = i . Para encontrar estos ui ortogonales se puede seguir el siguiente esquema: t v2 u1 u1 = v1 ; u2 = v2 u t u1 u1

ui

ui = vi

i 1

ci ,k uk , donde ci ,j =

k =1

vit uj ujt uj

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Observaciones El esquema anterior se conoce como el mtodo de Gram-Schmidt. Se puede construir la siguiente matriz:
B=

c u 0 u
21

1 2

0 . . . 0

c u c u 0 u
31 32

1 2 3

. . . 0

. .. . . . 0

cm u cm u cm u
1 2 3

1 2

um

3 . . .

donde B es una matriz triangular superior con diagonal positiva. Teorema Sea A Mnm (R) de rango m, entonces existe una matriz Q Mnm (R) que verica Q t Q = Inn y una matriz triangular superior R Mnm (R) tal que A = QR

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo Hallar la descomposicin

QR

1 0 1 de la matriz A = 0 2 1 1 1 0

Desarrollo Sea B = {v1 , v2 , v3 } = {(1, 0, 1), (0, 2, 1), (1, 1, 0)} las columnas de A. Aplicaremos el mtodo de Gram-Schmidt a la base B. Entonces u1 = v1 = (1, 0, 1)

u u

normalizando se obtiene:

v t u1 1 1 = v2 u2 t u1 = 2 , 2, 2 1 u1 v t u2 v t u1 = v3 u3 t u2 u3 t u1 = 2 u2 1 u1

2 3

,1 , 2 3 3

u u

1 1

1 = (1, 0, 1) 2

y
=

u u

2 2

2 1 1 , 2, 3 2 2

u u

3 3

1 1

2 1 2 , , 3 3 3

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Vectores ortonormales

1 = (1, 0, 1) 2

1 1 2 , 2, 3 2 2

u u

3 3

1 1

2 1 2 , , 3 3 3

Finalmente

1 1/ 2 3 2/3 2 = 0 /3 1/3 2 2 1/ 2 1/3 2 2/3

2 1/2 1/2 = 0 3/ 2 1/ 2 0 0 1

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Observacin Si A posee columnas l.i. y

A = QR .

At Ax = At b R t Q t QRx = R t Rx = R t Q t b Rx = Q t b
La ultima equivalencia debido a que R t es invertible por serlo R . Resolver la ecuacin Rx = Q t b, lo cual tiene dos ventajas, una es que R es triangular y la otra es que, en general, el error que se comete al resolver de esta manera mediante una computadora digital es menor que el que se comete empleando la ecuacin normal At Ax = At b.

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Ejemplo Encuentre la solucin del sistema de ecuaciones superdeterminado 1 1 1 1

1 0 1 2

0 1 1 1

x y z

1 0 = 2 4

Desarrollo Primero calculemos el sistema normal At A = At b, 4 4 3 4 6 3 3 3 3

x y z

7 = 11 16

Motivacin

Ajuste lineal

Ajuste polinomial

Ajuste exponencial

Descomposicin

QR

Calculando su descomposicin

QR tenemos que R=
6, 40312

Q=

0, 62469 0, 62469 0, 46852

0, 49975 0, 78086 0, 37481

0, 8

0, 6 0

0 0

7, 65251 1, 56173

5, 15373 0, 28111 0, 6

Reduzcamos el sistema a la forma

Rx = Q t b

6, 40312 7, 65251 5, 15373 0 1, 56173 0, 28111 0 0 0, 6

x y z

14.0556 = 2.8424 0.6

nalmente al hacer la sustitucin hacia atrs obtenemos que

x = 1, y = 2, z = 1, y el residuo es r (x ) = Ax b = 0
Con lo cual el sistema tiene solucin.