Quadrados Mnimos

Situao
Em diversas cincias com uma dimenso
experimental, necessrio modelizar os
fenmenos a partir de tabelas de dados
experimentais.
A modelizao consista em inmeros casos
em procurar a funo que expressa melhor a
relao entre os dados.
Problema
O objetivo do mtodo de mnimos quadrados
determinar uma funo, a partir de combinao
linear de funes simples, que aproxima um
conjunto de pontos.
Existem mtodos polinomiais (aproximao com
polinmio), mas elas no sempre fornecem
aproximaes aceitveis. O mtodo de mnimos
quadrados permite estender as aproximaes com
funes no polinomiais.
Exemplo 1
Esse conjunto de pontos aparece como uma parabola.
Exemplo 2
Caso discreto
A partir de uma tabela de valores (discretas),
que representam vrios pontos de uma
funo terica (f(x)), tentamos determinar
uma funo (x) combinao linear de
funes g
i
(x) ((x)=o
1
g
1
(x)+...+o
n
g
n
(x)) de
tal forma que o desvio de - f seja mnimo
para os valores da tabela.
O que significa mnimo nesse caso?
Caso contnuo
No caso contnuo, dada uma funo f(x)
contnua no intervalo [a,b] e escolhidas as
funes g
1
(x), .., g
n
(x), o objetivo
determinar constantes o
1
, ..., o
n
de tal forma
que (x)=o
1
g
1
(x)+...+o
n
g
n
(x) se aproxima ao
maximo de f(x) no intervalo [a,b].
O que significa aproximar nesse caso?
Mtodo dos quadrados mnimos
Caso discreto
Considerando um conjunto de valores {(x
1
,f(x
1
)), ...,
{(x
m
,f(x
m
))} e n (com nsm) funes g
n
(x), o objetivo
encontrar um conjunto de coeficientes o
1
, .., o
n
de
tal forma que a funo (x)=o
1
g
1
(x)+..+o
n
g
n
(x) se
aproxima ao mximo de f(x).
O criterio para decidir da aproximao minimizar a
soma dos quadrados da diferencia entre as duas
funes nos x
i
ou seja minimizar:
2
1
( ( ) ( ))
m
i i
i
f x x
=

Mtodo dos quadrados mnimos

Caso discreto
Minimizar minimizar a funo:


Para minimizar essa funo F, devemos
encontrar os pontos crticos da funo, ou seja os
valores (o
1
,...,o
n
) tal que:
2
1
( ( ) ( ))
n
i i
i
f x x
=

2
1 1 1
1
( ,..., ) ( ( ) ( ) ... ( ))
m
n i i n n
i
F f x g x g x o o o o
=
=

1
( ,..., ) 0, 1, 2,...,
n
i
F
para i n o o
o
c
= =
c
Mtodo dos quadrados mnimos
Caso discreto
Elemento de calculo:


Para derivar, considerando os termos com o
i
:


2
,
1
1
( ( ) ( ))
, ( ) ( ) ( )
m
i j j i k n k j
i
i i k k i
k
j
A x g x
comA x f x g x
o
o
o
= =
=
=
c
=
c

2
1 1
1
1
( ( ) ( ) ... ( ))
( ,..., )
m
i i n n
i
n
j j
f x g x g x
F
o o
o o
o o
=
c
c
=
c c

Mtodo dos quadrados mnimos

Caso discreto
Elemento de calculo:

2
1
1
1 1
1
1 1
1 1 1
( ( ) ( ))
2 ( )( ( ) ( ))
2 ( ) ( ) ( ) ( ) ... ( ) ( )
2 ( ) ( ) ( ) ( ) ... ( ) ( )
m
i j j i
m
i
j i i j j i
i
j
m
j i i j i i n j i n i
i
m m m
j i i j i i n j i n i
i i i
A x g x
g x A x g x
g x f x g x g x g x g x
g x f x g x g x g x g x
o
o
o
o o
o o
=
=
=
= = =
c
= =
c
=

Mtodo dos quadrados mnimos
Caso discreto
Com a condio:
obtemos assim o sistema a resolver:
1 1 1 1 1
1 1 1
1 2 1 2 2
1 1 1
1 1
1 1 1
[ ( ) ( )] ... [ ( ) ( )] ( ) ( )
[ ( ) ( )] ... [ ( ) ( )] ( ) ( )
....
[ ( ) ( )] ... [ ( ) ( )] ( ) ( )
m m m
k k n k k n k k
k k k
m m m
k k n k k n k k
k k k
m m m
k n k n k n k n k n k
k k k
g x g x g x g x f x g x
g x g x g x g x f x g x
g x g x g x g x f x g x
o o
o o
o o
= = =
= = =
= = =

+ + =

+ + =

+ + =

1
( ,..., ) 0, 1, 2,...,
n
i
F
para i n o o
o
c
= =
c
Mtodo dos quadrados mnimos
Caso discreto
As equaes desse sistema so chamadas
equaes normais. Ele pode ser escrito:




Onde e
A matriz desse sistema simtrica.
11 1 12 2 1 1
21 1 22 2 2 2
1 1 2 2
....
....
............................................
....
n n
n n
n n nn n n
a x a x a x b
a x a x a x b
a x a x a x b
+ + + =

+ + + =

+ + + =

1
( ) ( )
n
ij j k i k ji
k
a g x g x a
=
= =

1
( ) ( )
n
i k i k
k
b f x g x
=
=

Mtodo dos quadrados mnimos

Caso discreto
Considerando os vetores e
e o produto escalar de dois vetores:

Os coeficientes a
ij
podem ser escritos:
e b
i
:
Demontra-se que se as funes g
1
(x),...,g
n
(x) forem tais que
os vetores: sejam linearmente independentes, o
sistema admite uma soluo nica. Demonstra-se
tambm que esta soluo o ponto em que a funo F
atinge seu valor mnimo.
1
,
m
i i
i
k
x y x y
=
=

i i i
g (g (x1),...,g (xm))
1 m
f (f(x ),...,f(x ))
ij i j
a = g ,g
i i
= f,g b
1
,...,
n
g g
Mtodo dos quadrados mnimos
Caso discreto
Se os vetores tiverem a propriedade suplementar
seguinte: , nesse caso os vetores

so ortogonais entre si e a matriz A do sistema
diagonal.
Exemplo de funes ortogonais: seria de Fourier
(aproximao de funes peridicas), polinmios
de Legendre, Gram, Chebyshev.
0,
, :
0,
i j
i j
g g
i j
= =

= =

Mtodo dos quadrados mnimos

Caso contnuo
Para aproximar uma funo em um intervalo
[a,b] com uma combinao linear de funes
(g
1
,...,g
n
) de coeficientes (o
1
,...,o
n
), o mtodo de
quadrados mnimos prope de minimizar a rea
entre as curvas das duas funes, ou seja
minimizar:


2
( ( ) ( ))
b
a
f x x dx
}
Mtodo dos quadrados mnimos
Caso contnuo
Aplicando o mesmo princpio que no caso
discreto, trata-se de minimizar a funo:

Obtemos um sistema de equaes lineares:
Ao=b, onde A=(a
ij
), o=(o
1
,...,o
n
) e b=(b
1
,...,b
n
).
a
ij
=<g
i
,g
j
> e b
i
=<f,g
i
> com
2
1
( ,..., ) ( ( ) ( ))
b
n
a
F f x x dx o o =
}
, ( ) ( )
a
i j i j
a
g g g x g x dx =
}
Mtodo dos quadrados mnimos
Caso no linear
Existem casos que precisam ser aproximados por
funes que no so resultados de combinao
linear de funes simples.
Por exemplo, podemos precisar de aproximar
uma funo com:

2
1
x
e
o
o

Mtodo dos quadrados mnimos
Caso no linear
Para resolver o caso no linear, necessrio
linear a funo escolhida para a aproximao.
No caso de , se queremos aproximar f(x)
com essa funo, podemos tentar aproximar
ln(f(x)) com , ou seja , que
um caso linear.
importante notar que os parmetros obtidos
no so timos em relao com o critrio de
quadrados mnimos.
2
1
x
e
o
o

2
1
ln( )
x
e
o
o

1 2
ln( ) x o o
Mtodo dos quadrados mnimos
Teste de alinhamento
Uma vez a funo no linear em o
1
,..,o
n

escolhida, para testar se ela um bom escolhe
podemos:
Linearizar essa funo,
Fazer o diagramo de disperso dos novos dados
E observar se os pontos do diagramo estiverem
alinhados.
Exerccio
A tabela abaixo mostra as alturas e pesos de uma amostra de nove homens
entre as idades de 25 e 29 anos, extrada ao acaso entre funcionrios de
uma grande indstria:



a) Faa o diagrama de disperso dosdados e observer que parece existir
uma relao linear entre a altura e o peso.
b) Ajuste a reta que descreva o comportamento do peso em funo da
altura, isto peso=f(altura), e ajuste a reta que descreva o
comportamento da altura em funo do peso, isto altura=f(peso).
c) Estime o peso de um funcionrio com 175 cm de altura; e estima a
altura de um funcionrio com 80kg com cada uma das duas equaes.
Altura
183 173 168 188 158 163 193 163 178
cm
Peso
79 69 70 81 61 63 79 71 73
kg
Soluo
b) 52.7570x-20.0780 e 0.0159+0.6029
c) Com o primeiro ajuste: 1.75->72.2467 e
80kg->1.897
Com o segundo ajuste: 1.75->72.14 e
80kg->1.871
Exerccio
Ajuste os dados:



a) Usando a aproximao y~1/(a
0
+a
1
x). Faa o
grfico para 1/y e verifique que esta aproximao
vivel;
b) Idem para y~ab
x
;
c) Compare os resultados
x -8 -6 -4 -2 0 2 4
y 30 10 9 6 5 4 4
Soluo
y=1/(0.1958+0.0185x)
y=5.5199(0.8597)
x