UNIVERSIDAD CATLICA BOLIVIANA SAN PABLO

UNIDAD ACADMICA REGIONAL COCHABAMBA

Algebra Lineal

Proyecto

Mnimos cuadrados

Daniela Garcia
Pamela Navia Aramburo
Victor Torrico
Miguel Pealoza
Valeria Callau Medrano

Dirigido a: Darlong Taylor

Cochabamba - Bolivia
1 Marzo de 2016
 MINIMOS CUADRADOS

En un sistema lineal donde Ax=B de M x N es inconsistente si no tiene un solucin.

Solo es consistente si solo si B pertenece al espacio de la columna A

CRITERIOS

E l mtodo consiste en modificar el problema de manera que no sea necesario

q la ecuacin matricial se satisfaga
Buscamos un vector x~ en que Rn talque A x~ sea tan cercano a b como sea
posible

W espacio generado por columnas A el vector mas cercano a b es proyw b = ll b w ll

donde w de W se minimiza cuando w= proyw b

Si encontramos x~ talque Ax~ = proyw b estamos seguros que ll b Ax~ ll ser mucho
mas pequea

Indica

b - proyw b = b Ax~ es ortogonal en todo vector W

b Ax~ es ortogonal a cada A

AT (Ax~ - b) = 0

AT Ax~ = AT b

X~ es una solucin para AT Ax= AT b

Para W = { w1,w2,,wn} orto normal produce

proyw b = (b . w1) w1 + (b . w2)w2 + +(b . wn)wn

Para esto rimero determinamos la base de W por medio de la transformacin de AT a

la forma escalonada reducida en filas no nulo

Luego aplicamos el proceso de Gram Schmidt para encontrar una base orto normal
de W

Otro mtodo es:

Despejamos x~ es la solucin lineal por mnimos cuadrados del sistema lineal Ax = b

Entonces Ax~ = proyw b

TEOREMA 7.2

Si una matriz de m x n tal que el rango de A = n AT es no singular y el sistema Ax =

b tiene nica solucin x minimos cuadrados dada por x~ = (AT A)-1 AT b tie nica
solucin

Demostracin
Rango A = n columnas de A linealmente independientes AT A es no singular si el
sistema es ATAx = 0 y por xT obtenemos:

0 = xT AT Ax = (A . x)T (A . x) = (A . x) (A . x)

Indica que Ax = 0 x = 0 en consecuencia ATA es no singular y la ecuacin tiene una

nica solucin x~ = (AT A)-1 AT b

Pasos:

1.- formamos AT A y AT b

2.- reduccin de Gauss Jordn resolvemos ATAx = AT b

Ejemplo 1

Determine una solucin por mnimos cuadrados de Ax=B donde

1 2 -1 3 1

2 1 1 2 5

A= -2 3 4 1 b= -2

4 2 1 0 1

0 2 1 3 3

1 -1 2 0 5

Reduciendo filas demostramos q el rango de A = 4

Formamos e sistema ATAx = AT b

26 5 -1 5 24

5 23 13 17 4

-1 13 24 6 x= 10

5 17 6 23 20

El teorema tine una nica solucin x lo que aplicamos gauss Jordan

La nica sol es

0.9990

-2.0643

X~ 1.1039

1.8902
Si W es el espacio de la columna A entonces

1.4371

4.81181

proyw b = Ax~ -1.8852

0.9713

2.6459

5.2712

Es vector W que minimiza ll b w ll, w en W. Es decir

Min ll b w ll = ll b - Ax~ ll

w en W

MINIMOS CUADRADOS MEDIANTE FACTORIZACION QR

Sea A = QR una factorizacin QR de A sustituyendo asi:

(QR)T (QR) x = (QR)Tb

RT (QTQ) Rx = RT QT b

Columnas Q conjunto orto normal tenemos que QTQ = Im

Tal que

RT R x = RT QT b

RT matriz no singular

R x = QT b

EJEMPLO 2

Resolver el ejemplo 1 del modo QR de A

Solucin

Q esta dada por: procesos realizados en MATLAB

 -0.1961 -0.3851 0.5099 0.3409

-0.3922 -0.1311 -0.1768 0.4244

0.3922 -0.7210 -0.4733 -0.2177

Q= -0.7845 -0.2622 -0.1041 -0.5076

0 -0.4260 0.0492 0.4839

-0.1961 0.2540 -0.6867 0.4055

R dada por :

-5.0990 -0.9806 0.1961 -0.9806

0 -4.6945 -2.8102 -3.4164

R= 0 0 -4.0081 0.8504

0 0 0 3.1054

Entonces:

4.7068

-0.1311

QTb = 2.8172

5.8699

Rx = QTb

0.9990

-2.0643

x= 1.1039

1.8902

= X~ del ejemplo 1
AJUSTE POR MINIMOS CUADRADOS

En la fabricacin del producto XXX la cantidad de compuesto beta presente es

controlada por la cantidad del ingrediente alfa utilizada en el proceso. al fabricar un
galn de XXX se registraron l cantidad de alfa usado y la cantidad de vetea presente
obtenindose los siguientes datos

Alfa usada 3 4 5 6 7 8 9 10 11 12
(onzas/galn)
Beta presente 4.5 5.5 5.7 6.6 7.0 7.7 8.5 8.7 9.5 9.7
(onzas/galn)

beta por galon

12

10

8
beta por galon
6

0
2 4 6 8 10 12 14

No se puede unir los puntos trazados x naturaleza probabilstica no son deterministas

ya que puede variar

Sin embargo tomamos en cuenta los valores como un lnea recta para nuestro calculo

N puntos (x1 , y1) (x2 , y2) ..(xn , yn) dnde dos xi son distintos

Recta de mnimos cuadrados y = b1x + b0

y = b1xi + b0 + di i = 1, 2 ,., n

di es la desviacin vertical (xi , yi) a la recta deseada

 (x3 , y3)

(x1 , y1)

(x4 , y4)

(x2 , y2)

Y1 x1 1 b1 d1

B= y2 A= x2 1 x = b0 d = d2

Yn xn 1 dn

B = Ax + d

Recordemos que x~ = (AT A)-1 AT b por lo tanto Ax~ estar mas cerca de b y como d =
b Ax~ d ser ms pequea

Afirma que ll d ll 2 = d12 + d22 +.+ d12

EJEMPLO 4

Determinar una ecuacin para la recta de mnimos cuadrados asociada a los datos del
ejemplo 3

Utilizar la ecuacin obtenida para el numero de onzas de beta en un galn del

producto XXX si se utilizan 30 onzas e alfa x cada galn

4.5 3 1

5.5 4 1

5.7 5 1

6.6 6 1

7.0 7 1 b1

B= 7.7 A= 8 1 X= b0

8.5 9 1
 8.7 10 1

9.5 11 1

9.7 12 1

645 75 598.6

ATA = 75 10 ATb = 73.4

X= b1 = 0.583

b0 2,967

y = 0.583 x + 2.967

si x = 30

y = 20.457

AJUSTE POLINOMIAL POR MINIMOS CUADRADOS

(x1 , y1) (x2 , y2) ..(xn , yn)

Donde m + 1 de los xi son distintos

Y = am xmi + am-1 xm-1i + +a1 xi + di i = 1, 2 , . N

Y1 x1m x1m-1
x1 1 am d1

B= y2 A= x2m x2m-1
x2 1 x = am-1 d = d2

A1

Yn xnm xnm-1
xn 1 a0 dn

d = Ax + d

ATAx = AT b

Garantizamos lldll = ll b Ax~ ll es minima

EJEMPLO 5

Los siguientes datos muestran los contaminantes atmosfricos yi en intervalos de

media hora ti

ti 1 1.5 2 2.5 3 3.5 4 4.5 5

yi -0.15 0.24 0.68 1.04 1.21 1.15 0.86 0.41 -0.80

1.5

0.5

0
0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5

-0.5

-1

Y = a2t2 + a1t + a0

1 1 1 -0.15

2.25 1.5 1 0.24

4 2 1 0.68

6.25 2.5 1 a2 1.04

A= 9 3 1 x= a1 b= 1.21

12.25 3.5 1 a0 1.15

16 4 1 0.86

20.25 4.5 1 0.41

25 5 1 -0.08
Rango de A = 3

1583.25 378 96 a2 54.65

378 96 27 a1 = 16.71

96 27 9 a0 5.36

-0.3274

X~ 2.0067

-1,9317

Y =-0.3274 t2 + 2.0067t -1,9317

EJERCICIOS

Determine la recta de mnimos cuadrados para los puntos dados

7.- (2,1);(3,2);(4,3);(5,2)

[] [ ]
1 2 1

b

2
3
2
, A=
3
4
1
1 , x= []
b1
b0
5 1

[
A t A= 54 14
14 4 ] , [ ]
A t b= 30
8

16 6 16 6
b1 = y b0 = y= x+
14 9 14 9

8.- (3,2);(4,3);(5,2),(6,4);(7,3)

[] [ ] [ ]
2 3 1
3 4 1 b
b= 2 , A= 5 1 , x= 1
b0
4 6 1
3 7 1

[ ]
A t A= 135 25 , A t b= 73
25 5 14 [ ]
 48 11
b1= b0 =
110 20

48 11
y= x+
110 20

9.- (2,3);(3,4);(4,3);(5,4);(6,3);(7,4)

[] [ ]
3 2 1
4 3 1
b= 3 , A=
4
3
4
5
6
1
1
b0[]
1 , x= b 1

4 7 1

[ ]
A t A= 139 27 , A t b= 86
27 6 21[ ]
59 6
b1= ,b =
112 0 21

59 6
y= x+
112 21

10.- (3,3);(4,5);(5,4);(6,5);(7,5);(8,6);(9,5);(10,6)
 [] [ ]
3 3 1
5 4 1
4 5 1
5
b= , A=
5
6
6
7
8
1 , x = b1
1
1
b0 []
5 9 1
6 10 1

[ ]
A t A= 380 42 , A t b= 267
42 8 39 [ ]

225 3
b1= ,b 0=
338 36

225 3
y= x+
338 36

En los ejercicios 11 y 12 determine un polinomio cuadrtico de mnimos cuadrados

para los datos dados

11. (0 , 3.2 ); (0.5 , 1.6 ); (1 , 2 ); (2 , -0.4 ); (2.5 , -0.8 ); (3 , -1.6 ); (4 , 0.3 ); (5 , 2.2 )

[ ] [ ][ ]
3.2 0 0 1
1.6 0.25 0.5 1
2 1 1 1
b= 0.4 , A= 4
0.8
1,6 9
2 1 , x= b1
6.25 2.5 1
3 1
b0 []
0.3 16 4 1
2.2 25 5 1
 [ ] [ ]
1018.125 240.75 61.5 41.2
A t A= 240.75 t
61.5 18 , A b= 6.4
61.5 18 8 2.3

a2=0.5718 , a1=3.1314 a0=3.4627

2
y=0. 5718 x +3.1314 x + 3.4627

12. (0.5 , -1.6 ) ; (1 , 0.4 ); (1.5 , 0.7 ); (2 , 1.8 ); (2.5 , 1.6 ); (3 , 2.2 ); (3.5 , 1.7 ) ; (4 ,
2.2 ); (4.5 , 1.6 ) ; (5 , 1.5 );

[][]
1.6 0.5 1
0.4 1 1
0.7 1.5 1
1.8 2 1
b= 1.6 , A=
2.2
1.7
2.5 1 x= b1
3 1
3.5 1
b0[]
2.2 4 1
1.6 4.5 1
1.5 5 1

[ ]
A t A= 72.5 21 , At b= 8.1
21 11 7.5 [ ]
342 1244
b1= , b0 =
910 1640

342 1244
y= x+
910 1640

15. Una organizacin obtiene los siguientes datos que relacionan el nmero
de agentes de ventas con las ventas anuales.
Nmero de 5 6 7 8 9 10
agentes de
ventas
Ventas 2.3 3.2 4.1 5.0 6.1 7.2
anuales
(millones de
dlares)

Sean x el nmero de agentes de ventas y y las ventas anuales (en millones

de dlares).

(a) Determine la recta de mnimos cuadrados que relaciona x con y.

(b) Utilice la ecuacin obtenida en (a) para estimar las ventas anuales
cuando se cuenta con 14 agentes.

2.3 5 1

3.2 6 1 b1

b= 4.1 , A= 7 1 , x=

5.0 8 1 b0

6.1 9 1

7.2 10 1

AT A x= AT b

AT A x = AT b

355 45 b1 226.3

45 6 b2 = 27.9

b1= 0.917

b0= -2.2227

a) y = b1x+b0
 y = 0.917x - 2.277

b) y = 0.917(14) 2.277
= 10.561 millones de dolares

16. El distribuidor de un nuevo automvil ha obtenido los siguientes

datos.

Numero de semanas Ventas brutas por

de la presentacin del semana (millones de
automvil. dlares)
1 0.8
2 0.5
3 3.2
4 4.3
5 4
6 5.1
7 4.3
8 3.8
9 1.2
10 0.8

Sean x los ingresos brutos por semana (en millones de dlares) y t las
semanas despus de la presentacin del automvil.

(a) Determine un polinomio cuadrtico de mnimos cuadrados para los

datos dados.

(b) Utilice la ecuacin del inciso (a) para estimar los ingresos brutos
12 semanas despus de la presentacin del automvil.

1 1 1 0.8
4 2 1 0.5
9 3 1 3.2
16 4 1 a2 4.3
A= 25 5 1 , x= a1 , b= 4
36 6 1 a0 5.1
49 7 1 4.3
64 8 1 3.8
81 9 1 1.2
100 10 1 0.8

AT A x= AT b
 AT A x = AT b

253333025 385 a2 1015.1

3025 385 55 a1 = 158.5

385 55 10 a0 28

a2= -0.213

a1= 2.396

a0= -2.183

a) y = a2t2 + a1t + a0
y = -0.213t2 + 2.396t 2.183

b) y = -0.2113(12)2 + 2.396(12) 2.183

y = -4.103 son los ingresos brutos despus de 12 semanas de
la presentacin del automvil.

17. Dado Ax=b, donde:

1 3 -3 1

A= 2 4 -2 y b= 0

0 -1 2 0

1 2 -1 1

(a) Demuestre que rango A=2.

(b) Como rango A diferente al nmero de columnas, no podemos
emplear el teorema 7.2 para determinar una solucin por mnimos
cuadrados Siga el procedimiento general analizado antes del
teorema 7.2 para determinar una solucin por mnimos cuadrados.
Esta solucin es nica?
 1 3 -3

a) A= 2 4 -2 F2= -2F1+F2

0 -1 2

1 2 -1 F4= -F1+F4

1 3 -3

A= 2 4 -2 F2= -2F1+F2

0 -1 2

1 2 -1 F4= -F1+F4

1 3 -3

A= 0 -2 4 F2= -(1/2)*F2

0 -1 2

0 -1 -1

1 3 -3

A= 0 1 -2

0 -1 2 F3= -F4 + F3
 0 -1 -1 F4= -F3+F4

1 3 -3

A= 0 1 -2 Rango (A)= 2

0 0 0

0 0 0

AT A x= AT b

AT A x = AT b

6 13 -8 x 2

13 30 -21 y = 5

-8 -21 18 z -4

6x + 13y 8z = 2

13x + 30y 21z = 5

-8x 21y + 18z = -4

Utilizamos reduccin de Gauss-Jordan para resolver la ecuacin, y as

veremos cuantas soluciones posibles tiene el ejercicio.

6 13 -8 | 2

13 30 -21 | 5 ...
-8 -21 18 | -4

b) Por lo cual este ejercicio cuenta con infinitas soluciones.