Tema6 Metodo Minimo Quadrados

Metodos dos Mnimos Quadrados
Prof. Rafael Alves Bonfim de Queiroz

rafael.bonfim@ice.ufjf.br
Rafael Bonfim (DCC-ICE-UFJF) Curso de C

alculo Num
erico UFJF 1 / 52
Conteudo
1 Motivacao
2 Metodo dos mnimos quadrados
3 Caso Discreto: Linear
4 Caso Discreto: Nao Linear
5 Caso Contnuo
6 Referencias

alculo Num
erico UFJF 2 / 52
Motivac
ao
Introducao

alculo Num
erico UFJF 3 / 52
Motivac
ao
Existem duas classes de metodos para a aproximacao de dados, e a

distincao entre elas esta em considerarmos, ou nao, a existencia de
erro nos dados.
No primeiro caso, consideramos que nao existem erros nos dados e
podemos exigir que a curva passe pelos pontos dados. Como vimos,
esse problema e resolvido com interpolac
ao.
Nesse caso aproximamos uma funcao f (x) por uma funcao polinomial
p(x) que passa exatamente pelos pontos dados (x0 , y0 ), . . . , (xn , yn ).
Assim dado p(x) e possvel estimar o valor de f (x ) para um ponto x
diferente dos pontos xi , para i = 0, 1, . . . , n.
A outra classe de metodos leva em consideracao possveis erros
introduzidos na obtencao dos dados (limitac
oes do instrumento,
condicoes experimentais, etc).

alculo Num
erico UFJF 4 / 52
Motivac
ao
No segundo caso o m etodo dos mnimos quadrados tem sido

amplamente utilizado.
Para ilustrar a ideia, considere agora o problema de determinar a
constante de uma mola. A Lei de Hooke nos diz que o deslocamento
de uma mola e proporcional à forca nela aplicada. A questao e como
encontrar essa constante de proporcionalidade a partir de dados
experimentais.
Lei de Hooke F = kx
Suponha que possamos realizar varios experimentos medindo forcas

aplicadas à mola e os seus respectivos deslocamentos.

alculo Num
erico UFJF 5 / 52
Motivac
ao
x
O problema consiste em encontrar uma reta que melhor aproxime esses
dados. A inclinacao da reta ira nos fornecer a constante k da mola.

alculo Num
erico UFJF 6 / 52
Motivac
ao
Outro exemplo: f (x) = ae bx
O metodo dos mnimos quadrados e uma das tecnicas mais usadas em

problemas praticos porque em geral buscamos aproximacoes para dados
que sao medidas obtidas experimentalmente e possuem um certo grau de
incerteza.
alculo Num
erico UFJF 7 / 52
Motivac
ao
Interpolacao e Mnimos Quadrados
6 8
5
6
4
4
3
y
2
2
0
1
2
00.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.0 0.5 0.0 0.5 1.0 1.5 2.0
x
Figura: Interpolacao Figura: Mnimos Quadrados

alculo Num
erico UFJF 8 / 52
M
etodo dos mnimos quadrados
Vamos chamar de f (x) a funcao que queremos aproximar por uma

outra funcao g (x).
Nem sempre temos uma expressao analtica para f (x).
No metodo dos mnimos quadrados (MMQ) partimos da hipotese de
que temos algumas informac oes sobre a forma de g (x). Poderamos
saber, atraves da observacao dos dados, por exemplo, que g (x) e
uma reta,
g (x) = c0 + c1 x
ou que e uma parabola
g (x) = c0 + c1 x + c2 x 2
ou que tenha alguma outra forma especfica.

alculo Num
erico UFJF 9 / 52
M
De forma geral, no caso linear, vamos considerar que a aproximacao

sera por uma funcao do tipo:
g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)
onde 0 (x), 1 (x), . . . , n (x) sao func

oes pre-estabelecidas.
MMQ linear: a funcao g (x) que aproxima f (x) e linear nos seus
parametros c0 , c1 , . . . , cn .
Exemplos:
0 (x) = 1, 1 (x) = x, 2 (x) = x 2 , ...

0 (x) = sin (x), 1 (x) = sin (2x), ...
Veremos mais adiante como trabalhar no caso n

ao-linear, como por
exemplo quando g (x) = c0 e c1 x .

alculo Num
erico UFJF 10 / 52
M
A aproximacao sendo por uma funcao do tipo:
g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)
Para cada conjunto de coeficientes ci , i = 0, 1, . . . , n, o desvio ou

resduo da aproximac
ao no ponto xk e dado por
r (xk ) = f (xk ) g (xk )

= f (xk ) [c0 0 (xk ) + c1 1 (xk ) + . . . + cn n (xk )]
= r (xk ; c0 , c1 , . . . , cn )
Precisamos de estabelecer criterios de aproximacao para encaminhar o

problema da determinacao dos parametros c0 , . . . , cn que nos levarao
à melhor aproximacao.
Vamos ver um exemplo para comecar a discussao.

alculo Num
erico UFJF 11 / 52
M
Suponha que temos a seguinte tabela de dados

xi 0.3 2.7 4.5 5.9 7.8
yi 1.8 1.9 3.1 3.9 3.3
Vamos analisar os dados.
4.5
4.0
3.5
3.0
variavel y
2.5
2.0
1.5
0 2 4 6 8
variavel x

alculo Num
erico UFJF 12 / 52
M
Podemos considerar que existe uma relacao aproximadamente linear

entre as variaveis. Logo, podemos desprezar alguns pontos da tabela,
escolher 2 pontos e usar polinomios interpoladores lineares para
aproximacao. Ou seja g (x) = c0 + c1 x.
Para (0.3, 1.8) e (7.8, 3.3) temos g1 (x) = 1.74 + 0.2x.
Para (2.7, 1.9) e (5.9, 3.9) temos g2 (x) = 0.2125 + 0.625x.
6 6
5 5
4 4
3 3
2 2
1 1
00 1 2 3 4 5 6 7 8 00 1 2 3 4 5 6 7 8
Qual aproximacao e melhor? g1 (x) ou g2 (x)?

Como verificar a qualidade da aproximacao?
alculo Num
erico UFJF 13 / 52
M
Para obter as aproximacoes g1 e g2 desprezamos varios dados da

tabela para fazer a interpolacao, o que nao e muito conveniente de se
fazer.
Um modo de se verificar a qualidade da aproximacao e calculando a
soma de todas as distancias verticais de f (xi ) e g (xi ) ao quadrado,
isto e
6
5 m
X m
X
2 2
4
E = r (xi ) = [f (xi ) g (xi )]2
i=1 i=1
3 m
X
2
= [f (xi ) c0 c1 xi ]2
i=1
1
0
0 1 2 3 4 5 6 7 8

alculo Num
erico UFJF 14 / 52
M
Para g1 (x) = 1.74 + 0.2x Para g2 (x) = 0.2125 + 0.625x

i xi f (xi ) g (xi ) ri2 i xi f (xi ) g (xi ) ri2
1 0.3 1.8 1.8 0 1 0.3 1.8 0.4 1.96
2 2.7 1.9 2.78 0.144 2 2.7 1.9 1.9 0
3 4.5 3.1 2.64 0.2116 3 4.5 3.1 3.025 0.0056
4 5.9 3.9 2.94 0.9604 4 5.9 3.9 3.9 0
5 7.8 3.3 3.3 0 5 7.8 3.3 2.275 1.051
E 2 = 1.316 E 2 = 3.0166
Logo, g1 (x) e mais adequado de acordo com esse criterio de erros ao
quadrado.
Como escolher c0 e c1 de forma que E 2 seja mnimo?

alculo Num
erico UFJF 15 / 52
M
Ate entao falamos em aproximacao de dados discretos, isto e,

aproximar f (x) sabendo os valores de f em um conj. de pontos xi .
Podemos trabalhar com o caso de aproximar f (x), uma funcao
conhecida para todo x, por uma funcao mais simples como g (x). No
caso contnuo do metodo dos mnimos quadrados temos que
minimizar
Z b Z b
2
r (x) dx = (f (x) g (x))2 dx
a a
Vamos introduzir formalmente a definicao de produto escalar entre

funcoes para que possamos medir o resduo:
m
X
f (xi )g (xi ), caso discreto

i=1
< f , g >=

Z b

f (x)g (x) dx, caso contnuo
a

alculo Num
erico UFJF 16 / 52
M
O metodo dos mnimos quadrados consiste na procura de parametros

(c0 , c1 , . . . , cn ) que minimizem:
a soma dos quadrados dos resduos (caso discreto), ou,
a integral da funcao resduo ao quadrado (caso contnuo).
Desta forma, introduzindo a notacao do produto escalar temos
m
X m
X
< r , r >= [r (xi )]2 = [f (xi ) g (xi )]2
i=1 i=1
Como vimos < r , r > e funcao dos parametros c0 , c1 , . . . , cn , isto e,

< r , r >=< r , r > (c0 , c1 , . . . , cn ).
Antes de estudar o metodo de forma geral no caso discreto, vamos
ver um exemplo simples: regressao linear.

alculo Num
erico UFJF 17 / 52
M
O metodo dos mnimos quadrados consiste na procura de parametros

(c0 , c1 , . . . , cn ) que minimizem:
a soma dos quadrados dos resduos (caso discreto), ou,
a integral da funcao resduo ao quadrado (caso contnuo).
Desta forma, introduzindo a notacao do produto escalar temos
m
X m
X
< r , r >= [r (xi )]2 = [f (xi ) g (xi )]2
i=1 i=1
Como vimos < r , r > e funcao dos parametros c0 , c1 , . . . , cn , isto e,

< r , r >=< r , r > (c0 , c1 , . . . , cn ).

alculo Num
erico UFJF 18 / 52
Caso Discreto: Linear
Metodo dos mnimos quadrados: Caso Discreto (Linear)

alculo Num
erico UFJF 19 / 52
De forma geral, queremos aproximar f (x) por
g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)
onde j (x) sao funcoes conhecidas. Assim para encontrar os parametros

c0 , c1 , . . . , cn e preciso minimizar a funcao:
< r , r > =< f c0 0 . . . cnn , f c0 0 . . . cnn >

2
m
X Xn
= f (xi ) cj j (xi )
i=1 j=0
Derivando com relacao a cada um dos parametros ck e igualando a zero

temos

Xm n
X
< r , r >= 2 f (xi ) cj j (xi ) k (xi ) = 0
i=1 j=0

alculo Num
erico UFJF 20 / 52

m
X n
X
2 f (xi ) cj j (xi ) k (xi ) = 0
i=1 j=0

Xm X n
f (xi ) cj j (xi ) k (xi ) = 0

i=1 j=0

Xm Xn Xm
cj j (xi )k (xi ) =
f (xi )k (xi )
i=1 j=0 i=1
n m m
!
X X X
cj j (xi )k (xi ) = f (xi )k (xi )
j=0 i=1 i=1
Lembrando que
m
X
< f , g >= f (xi )g (xi )
i=1
alculo Num
erico UFJF 21 / 52
Usando a notacao de produto escalar podemos escrever

n m m
!
X X X
cj j (xi )k (xi ) = f (xi )k (xi )
j=0 i=1
| {z } |i=1 {z }
<j ,k >=<k ,j > <f ,k >=<k ,f >
n
X
cj < k , j >=< f , k > , para k = 0, 1, . . . , n
j=0
oes lineares (n + 1) (n + 1).

que e um sistema de equac
Exemplo para n = 2:
< 0 , 0 > c0 + < 0 , 1 > c1 + < 0 , 2 > c2 =< 0 , f >

< 1 , 0 > c0 + < 1 , 1 > c1 + < 1 , 2 > c2 =< 1 , f >
< 2 , 0 > c0 + < 2 , 1 > c1 + < 2 , 2 > c2 =< 2 , f >

alculo Num
erico UFJF 22 / 52
Escrevendo de forma matricial temos

< 0 , 0 > < 0 , 1 > < 0 , 2 > c0 < 0 , f >
< 1 , 0 > < 1 , 1 > < 1 , 2 > c1 = < 1 , f >
< 2 , 0 > < 2 , 1 > < 2 , 2 > c2 < 2 , f >
De forma geral o sistema e dado por

< 0 , 0 > < 0 , 1 > . . . < 0 , n > c0 < 0 , f >
< 1 , 0 > < 1 , 1 > . . . < 1 , n > c1 < 1 , f >
.. =

.. .. . . .. ..
. . . . . .
< n , 0 > < n , 1 > . . . < n , n > cn < n , f >
o qual e chamado de sistema normal ou equac oes normais.

Observe que a matriz e simetrica, pois < f , g >=< g , f >.

alculo Num
erico UFJF 23 / 52
Exemplo 1 de aplicacao do Metodo dos Mnimos Quadrados (MMQ)

Dada a seguinte tabela
xi 0 0.25 0.5 0.75 1

f (xi ) 1 1.2840 1.6487 2.1170 2.7183
aproximar f (x) por um polin

omio linear usando o MMQ.
Solucao do Exemplo
Queremos encontrar g (x) = c0 0 (x) + c1 1 (x), ou seja, g (x) = c0 + c1 x
onde temos que
0 (x) = 1, 1 (x) = x.
Sendo assim, vamos primeiro montar os vetores que correspondem a

avaliacao de cada j (x) nos pontos xi dados na tabela.

alculo Num
erico UFJF 24 / 52
O sistema que necessitamos resolver e

< 0 , 0 > < 0 , 1 > c0 < 0 , f >
=
< 1 , 0 > < 1 , 1 > c1 < 1 , f >

alculo Num
erico UFJF 25 / 52
Metodo dos mnimos quadrados
0 (x) = 1, 1 (x) = x, 2 (x) = x 2

1 0
1 0, 25

1 ,
0 = 0, 5
1 =

1 0, 75
1 1
Calculando os produtos escalares temos
< 0 , 0 > = 5
< f , 0 > = 8, 768
< 0 , 1 > = 2, 5
< f , 1 > = 5, 4514
< 1 , 1 > = 1, 875

alculo Num
erico UFJF 26 / 52
Logo temos o seguinte sistema

5c0 + 2.5c1 = 8.768
2.5c0 + 1.875c1 = 5.4514
Resolvendo encontramos
c0 = 0.89968
c1 = 1.70784 g (x) = 0.89968 + 1.70784x
3.0
2.5
2.0
1.5
1.0
0.5
0.0 0.2 0.4 0.6 0.8 1.0

alculo Num
erico UFJF 27 / 52
Exemplo 2 de aplicacao do Metodo dos Mnimos Quadrados (MMQ)

Dada a seguinte tabela
x -1 0 1 2
y 0 -1 0 7
aproximar f (x) por um polin

omio quadratico usando o MMQ.
Solucao do Exemplo
Queremos encontrar g (x) = c0 0 (x) + c1 1 (x) + c2 2 (x), ou seja,
g (x) = c0 + c1 x + c2 x 2 onde temos que
0 (x) = 1, 1 (x) = x, 2 (x) = x 2
Sendo assim, vamos primeiro montar os vetores que correspondem a

avaliacao de cada j (x) nos pontos xi dados na tabela.

alculo Num
erico UFJF 28 / 52
O sistema que necessitamos resolver e

< 0 , 0 > < 0 , 1 > < 0 , 2 > c0 < 0 , f >
< 1 , 0 > < 1 , 1 > < 1 , 2 > c1 = < 1 , f >
< 2 , 0 > < 2 , 1 > < 2 , 2 > c2 < 2 , f >

alculo Num
erico UFJF 29 / 52
Metodo dos mnimos quadrados
0 (x) = 1, 1 (x) = x, 2 (x) = x 2

1 1 1 0
1 0 0 1
1 ,
0 = 1 =
1 ,
2 =
1 ,
f =
0

1 2 4 7
Calculando os produtos escalares temos
< 0 , 0 > = 4
< 0 , 1 > = 2
< f , 0 > = 6
< 0 , 2 > = 6
< f , 1 > = 14
< 1 , 1 > = 6
< f , 2 > = 28
< 1 , 2 > = 8
< 2 , 2 > = 18
alculo Num
erico UFJF 30 / 52
Assim temos o seguinte sistema de equac

oes lineares (equacoes normais)

4 2 6 c0 6
2 6 8 c1 = 14
6 8 18 c2 28
Resolvendo o sistema encontramos a seguinte solucao
c0 = 85 , c1 = 51 , c2 = 2
logo a aproximacao pelo MMQ e dada por
g (x) = 85 + 15 x + 2x 2

alculo Num
erico UFJF 31 / 52
Solucao do Exemplo
2
1.0 0.5 0.0 0.5 1.0 1.5 2.0

alculo Num
erico UFJF 32 / 52
Caso Discreto: N
ao Linear
Metodo dos mnimos quadrados: Caso Discreto (Nao Linear)

alculo Num
erico UFJF 33 / 52
Caso Discreto: N
ao Linear
Vamos considerar agora que estamos interessados em ajustar uma curva

g (x) que e uma funcao nao-linear dos parametros.
Alguns exemplos:
g (x) = c0 e c1 x
g (x) = c0 x c1
1
g (x) =
c0 + c1 x
g (x) = c0 c1x
Uma das formas de tratar essa situacao e atraves da transformacao do

modelo nao-linear em um modelo linear (linearizac ao ou mudanca de
vari
avel). Vamos ilustrar o procedimento atraves de um exemplo.

alculo Num
erico UFJF 34 / 52
Caso Discreto: N
ao Linear
Exemplo
Seja f (x) = 20e 15x . Considere a seguinte tabela de dados
xi 0.0 0.1 0.2 0.3 0.4

yi 20.5 4.60 1.00 0.15 0.05
Solucao do Exemplo
Queremos fazer um ajuste da seguinte forma
f (x) g (x) = c0 e c1 x
Temos que fazer uma transformacao e linearizar o modelo
ln f ln (c0 e c1 x )
ln (c0 ) + ln (e c1 x )
ln (c0 ) + c1 x

alculo Num
erico UFJF 35 / 52
Caso Discreto: N
ao Linear
Exemplo
Assim temos
F (x) = a0 0 (x) + a1 1 (x)
onde
0 (x) = 1
1 (x) = x
com a seguinte mudanca
a0 = ln (c0 )
a1 = c1
F = ln f (x)

alculo Num
erico UFJF 36 / 52
Caso Discreto: N
ao Linear
Exemplo
Construmos os vetores

1 0.0 ln f (x1 ) 3.02
1 0.1 ln f (x2 ) 1.52

1 , 1 = 0.2 , F = ln f (x3 ) = 0
0 =
1 0.3 ln f (x4 ) 1.89
1 0.4 ln f (x5 ) 2.30
para montar o sistema precisamos calcular
< 0 , 0 >, < 0 , 1 >, < 1 , 1 >

< 0 , F >, < 1 , F >

< 0 , 0 > < 0 , 1 > c0 < 0 , F >
=
< 1 , 0 > < 1 , 1 > c1 < 1 , F >

alculo Num
erico UFJF 37 / 52
Caso Discreto: N
ao Linear
Exemplo
assim podemos montar o sistema

5 1.0 a0 0.35
=
1.0 0.3 a1 1.335
cuja solucao e dada por a0 = 2.88 e a1 = 14.05.

E assim, como
a0 = ln c0 e a0 = c0 c0 = e 2.88 c0 = 17.81
a1 = c1 c1 = 14.05
logo a funcao que melhor aproxima os dados do exemplo e dada por
g (x) = c0 e c1 x = 17.81 e 14.05x

alculo Num
erico UFJF 38 / 52
Caso Discreto: N
ao Linear
Exemplo
25
20
15
y
10
0.0 0.1 0.2 0.3 0.4

x

alculo Num
erico UFJF 39 / 52
Caso Discreto: N
ao Linear
Exemplo (1)
1 1
f (x) = c0 +c1 x F (x) = f (x) e F (x) = c0 + c1 x
Exemplo (2)
f (x) = c0 x c1 F (x) = ln f e F (x) = ln c0 + ln x c1

F (x) = ln c0 + c1 ln x
F (x) = a0 + a1 ln x
com 0 = 1, 1 = ln x, a0 = ln c0 e a1 = c1 .
Exemplo (3)
f (x) = c0 c1x F (x) = ln f e F (x) = ln c0 + ln c1x

F (x) = ln c0 + x ln c1
F (x) = a0 + a1 x
com 0 = 1, 1 = x, a0 = ln c0 e a1 = ln c1 .
alculo Num
erico UFJF 40 / 52
Caso Contnuo
Metodo dos Mnimos Quadrados: Caso Contnuo

alculo Num
erico UFJF 41 / 52
Caso Contnuo
Ate entao trabalhamos em como aproximar uma funcao f (x) por uma
funcao g (x) em um conjunto de pontos xi onde conhecemos o valor
de f (xi ). (caso discreto)
Vamos considerar agora o caso contnuo, onde queremos aproximar
f (x) que e uma funcao conhecida para todo x em um intervalo [a, b],
por uma funcao g (x) na forma
g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)
onde 0 (x), . . . , n (x) sao func

oes contnuas e conhecidas.
Para apresentar o metodo vamos considerar o seguinte caso
g (x) = c0 0 (x) + c1 1 (x)

alculo Num
erico UFJF 42 / 52
Caso Contnuo
Produto escalar
Lembrando que o produto escalar entre duas func

oes contnuas no
intervalo [a, b] e definido por
Z b
< f , g >= f (x)g (x) dx
a
podemos entao medir a distancia de f (x) a g (x) fazendo

Z b
< f g , f g >= [f (x) g (x)]2 dx
a
no caso discreto tinhamos

m
X
< f g , f g >= [f (xi ) g (xi )]2
i=1

alculo Num
erico UFJF 43 / 52
Caso Contnuo
Considerando que r = f g , temos

Z b Z b
2
< r, r > = [f (x) g (x)] dx = [f c0 0 c1 1 ]2 dx
a a
Z b
= [f 2 2c0 f 0 2c1 f 1 + c02 20 + 2c0 c1 0 1 + c12 21 ] dx
a
Z b Z b Z b
= f 2 dx 2c0 f 0 dx 2c1 f 1 dx
a a a
Z b Z b Z b
+ c02 20 dx + 2c0 c1 0 1 dx + c12 21 dx
a a a
No metodo dos mnimos quadrados procuramos o ponto de mnimo

da funcao < r , r >=< r , r > (c0 , c1 ).
Precisamos calcular as derivadas parciais de < r , r > com relacao a c0
e c1 .

alculo Num
erico UFJF 44 / 52
Caso Contnuo
Calculando as derivadas parciais e igualando a zero temos

Z b Z b Z b
< r, r >
= 2 f 0 dx + 2c0 0 0 dx + 2c1 0 1 dx = 0
c0 a a a
Z b Z b Z b
< r, r >
= 2 f 1 dx + 2c1 1 1 dx + 2c0 0 1 dx = 0
c1 a a a
organizando os termos, temos

Z b Z b Z b
c0 0 0 dx + c1 0 1 dx = f 0 dx
a a a
Z b Z b Z b
c1 1 1 dx + c0 0 1 dx = f 1 dx
a a a
Rb
usando a notacao < i , j >= a i (x)j (x) dx, podemos escrever

alculo Num
erico UFJF 45 / 52
Caso Contnuo
c0 < 0 , 0 > + c1 < 0 , 1 >=< f , 0 >

c1 < 1 , 0 > + c0 < 1 , 1 >=< f , 1 >
que e um sistema de equacoes lineares (equac
oes normais), o qual pode
ser escrito de forma matricial como

< 0 , 0 > < 0 , 1 > c0 < f , 0 >
=
< 1 , 0 > < 1 , 1 > c1 < f , 1 >
Obs: o procedimento e similar ao caso discreto, a diferenca e na forma de
se calcular os produtos escalares, pois no caso contnuo temos que calcular
as integrais
Z b
< 0 (x), 1 (x) >= 0 (x)1 (x) dx
a
Z b
< f (x), 0 (x) >= f (x)0 (x) dx.
a

alculo Num
erico UFJF 46 / 52
Caso Contnuo
Exemplo
Seja f (x) = x 4 5x, x [1, 1]. Vamos aproximar f (x) por um polinomio
de segundo grau usando o Metodo dos Mnimos Quadrados (MMQ).
Solucao do Exemplo
f (x) e contnua no intervalo [1, 1].
Queremos
f (x) g (x) = c0 + c1 x + c2 x 2
onde usamos as funcoes 0 (x) = 1, 1 (x) = x, 2 (x) = x 2 .
Precisamos resolver o sistema de equac oes normais

< 0 , 0 > < 0 , 1 > < 0 , 2 > c0 < f , 0 >
< 1 , 0 > < 1 , 1 > < 1 , 2 > c1 = < f , 1 >
< 2 , 0 > < 2 , 1 > < 2 , 2 > c2 < f , 2 >

alculo Num
erico UFJF 47 / 52
Caso Contnuo
Exemplo
Substituindo 0 (x) = 1, 1 (x) = x, 2 (x) = x 2 , temos
< 1, 1 > < 1, x > < 1, x 2 >

c0 < f , 0 >
< x, 1 > < x, x > < x, x 2 > c1 = < f , 1 >
< x 2 , 1 > < x 2 , x > < x 2 , x 2 > c2 < f , x2 >
usando o produto escalar usual em [1, 1] definido por

Z b Z 1
< f , g >= f (x)g (x) dx f (x)g (x) dx
a 1
temos Z 1
< 1, 1 > = dx = x]11 = 2
1
Z 1
x2 1
< 1, x > = x dx = ]
2 1
= 0 =< x, 1 >
1
Z 1
x3 1
< 1, x 2 > = x 2 dx = ]
3 1
= 2
3
=< x 2 , 1 >
1

alculo Num
erico UFJF 48 / 52
Caso Contnuo
Exemplo
Z 1
x3 1
< x, x > = x 2 dx = ]
3 1
= 2
3
1
Z 1
x4 1
< x, x 2 > = x 3 dx = ]
4 1
= 0 =< x 2 , x >
1
Z 1
x5 1
< x 2, x 2 > = x 4 dx = ]
5 1
= 2
5
1
e ainda
Z 1 i1
x5 5x 2
x 4 5x dx = 1 5
15 5 2

< f,1 > = 2
5 1
= 5
2 2
= 5
1
Z 1 i1
x6 5x 3
< f,x > = x 5 5x 2 dx = 6
3 1
= 10
3
1
Z 1 i1
x7 5x 4
< f , x2 > = x 6 5x 3 dx = 7
4 1
= 2
7
1

alculo Num
erico UFJF 49 / 52
Caso Contnuo
Exemplo
Assim o sistema de equac
oes normais e dado por
2 0 23
2
c0 5
0 2 0 c1 = 10
3 3
2 2 2
3 0 5 c2 7
resolvendo com o metodo de Cholesky, por exemplo, obtemos a seguinte

solucao
3 6
c0 = 35 , c1 = 5, c2 = 7
e assim
3
g (x) = 35 5x + 67 x 2

alculo Num
erico UFJF 50 / 52
Caso Contnuo
Exemplo
6
f(x)
g(x)
4
61.0 0.5 0.0 0.5 1.0

alculo Num
erico UFJF 51 / 52
Refer
encias
Referencias
Slides das aulas do Prof. Dr. Bernardo Martins Rocha,

DCC-ICE-UFJF.
Calculo Numerico, Neide B. Franco, Pearson, 2007.

alculo Num
erico UFJF 52 / 52

Tema6 Metodo Minimo Quadrados

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Tema6 Metodo Minimo Quadrados

Transféré par

Droits d'auteur :

Formats disponibles

Metodos dos Mnimos Quadrados

Prof. Rafael Alves Bonfim de Queiroz

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

2 Metodo dos mnimos quadrados

3 Caso Discreto: Linear

4 Caso Discreto: Nao Linear

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Existem duas classes de metodos para a aproximacao de dados, e a

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

No segundo caso o m etodo dos mnimos quadrados tem sido

Suponha que possamos realizar varios experimentos medindo forcas

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Outro exemplo: f (x) = ae bx

O metodo dos mnimos quadrados e uma das tecnicas mais usadas em

Interpolacao e Mnimos Quadrados

Figura: Interpolacao Figura: Mnimos Quadrados

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Vamos chamar de f (x) a funcao que queremos aproximar por uma

ou que e uma parabola

ou que tenha alguma outra forma especfica.

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

De forma geral, no caso linear, vamos considerar que a aproximacao

g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)

onde 0 (x), 1 (x), . . . , n (x) sao func

0 (x) = 1, 1 (x) = x, 2 (x) = x 2 , ...

Veremos mais adiante como trabalhar no caso n

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

A aproximacao sendo por uma funcao do tipo:

g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)

Para cada conjunto de coeficientes ci , i = 0, 1, . . . , n, o desvio ou

r (xk ) = f (xk ) g (xk )

Precisamos de estabelecer criterios de aproximacao para encaminhar o

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Suponha que temos a seguinte tabela de dados

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Podemos considerar que existe uma relacao aproximadamente linear

Qual aproximacao e melhor? g1 (x) ou g2 (x)?

Para obter as aproximacoes g1 e g2 desprezamos varios dados da

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Para g1 (x) = 1.74 + 0.2x Para g2 (x) = 0.2125 + 0.625x

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Ate entao falamos em aproximacao de dados discretos, isto e,

Vamos introduzir formalmente a definicao de produto escalar entre

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

O metodo dos mnimos quadrados consiste na procura de parametros

Como vimos < r , r > e funcao dos parametros c0 , c1 , . . . , cn , isto e,

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

O metodo dos mnimos quadrados consiste na procura de parametros

Como vimos < r , r > e funcao dos parametros c0 , c1 , . . . , cn , isto e,

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Metodo dos mnimos quadrados: Caso Discreto (Linear)

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

De forma geral, queremos aproximar f (x) por

g (x) = c0 0 (x) + c1 1 (x) + . . . + cn n (x)

onde j (x) sao funcoes conhecidas. Assim para encontrar os parametros

< r , r > =< f c0 0 . . . cnn , f c0 0 . . . cnn >

Derivando com relacao a cada um dos parametros ck e igualando a zero

Rafael Bonfim (DCC-ICE-UFJF) Curso de C

Usando a notacao de produto escalar podemos escrever

oes lineares (n + 1) (n + 1).

< 0 , 0 > c0 + < 0 , 1 > c1 + < 0 , 2 > c2 =< 0 , f >

Rafael Bonfim (DCC-ICE-UFJF) Curso de C