D - Silvio Jacks Dos Anjos Garnes

SILVIO JACKS DOS ANJOS GARNS
AJUSTAMENTO PARAMTRICO POR MNIMOS

QUADRADOS COM ANALISE NA
ESTABILIDADE DA SOLUO
Dissertao apresentada ao Curso de PsGraduao em Cincias Geodsicas da

Universidade Federal do Paran, como
requisito para a obteno do grtau de
M estre em Cincias.
ORIENTADOR: D r. Raimundo J. B. de Sampaio
CO-ORIENTADOR: Dr. Quintino Dalmolin
CURITIBA
1996
SIL VIO J A C K S D O S A N J O S G A R N S
A J U S T A M E N T O P A R A M T R I C O POR M N I M O S
QUADRADOS
COM
ANLISE
NA
E S T A B I L I D A D E DA S O L U O
Dissertao
apresentada
ao
curso
de
Ps-Graduao em Cincias Geodsicas da
Universidade Federal
do Paran como
requisito p a r a a obteno do grau de Mestre
em Cincias.
ORIENTADOR: Dr. Raimundo J. B. de Sampaio
CO-ORIENTADOR: Dr. Quintino Dalmolin
CU RITIBA
1996
AJUSTAMENT O PARAMTRICO POR MNIMOS QUADRADOS

ANLISE
COM
NA ESTABILIDADE DA SOLUO.
POR
SILVIO JACKS DOS AN JOS GARNS

ENGENHEIRO AG RIMENSO R
D i s s e r t a o a p r o v a d a como requisito p a r c i a l p a r a a obteno do grau de

Me stre em C in c ia s no Curso de P s - G r a d u a o em Cincias Geodsicas da
U niv e rsidade F e d e ra l do Paran, p e l a c o m isso form ada pe los seguintes
p ro f e s so r e s:
Prof. Dr. QUIMT'INO DALMOLIN - MEMBRO
Prof. MsC. ROMUALDO W ANDRESEN - MEMBRO
Curitiba, 03 de A bril de 1996
DEDICATRIA
D e d i c o este tra b a lh o a:
E t e l v i n a dos Anjos S o a r e s
M in h a me, p e lo amor e p e l o a p o io , que sempre me deu f o r a s nos
m omen tos mais d i f i c e i s de m inha v i d a .
A l c i d e s L o r c a Garns
F l v i o dos Anjos Ga rn s
GElany dos Anjos Ga rn s
M eu pai e meus irm os ,
pelo
co m panheris m o e c a r i n h o que mesmo
es ta n d o longe, estamos per to.
M a r i a A p a r e c i d a V a s c o n c e lo s dos Santos
R a f a e l V a s c o n c e lo s G ar ns
M a th e u s V a s c o n c e lo s Ga rn s
M in h a e s p o s a e meus f i l h o s p e l a co m p r e e n s o , e s p e r a n a , c arinho
amor.
AGRADECIMENTOS
D e se jo externar aqui meus sinceros agradecimentos:

ao Prof. Dr. Raimundo J. B. de Sampaio, pe la ajuda na definio da
meta, p e l a v a l i o s a orientao e p e la s c o rr e e s durante a r e a l iz a o deste;
ao C o -o rien tad o r Prof. Dr. Quintino Dalmolin, pelo apoio, c orre e s e
idias sugeridas;
ao Prof. Dr. Milton de Azevedo Campos, pelo apoio com re la o ao
tema no momento da esc olha do mesmo;
ao amigo Alfonso R. T. C r i o ll o p o r p r o p i c i a r discues a c e r c a do
assunto;
ao Dr. Luiz Danilo D. F e r r e i r a , p e la s dicas in dis p ensveis a res peito
do texto.
aos p r o f e s s o r e s do departamento de matemtica que m inistraram o curso
de e s p e c ia liz a o de matem tica a p l i c a d a durante o ano de 1993, os quais
muito contriburam p a ra o amadurecimento dos conhecimentos que foram
utilizados aqui;
e a todos aqueles que de uma form a ou de outra contribuiram p a r a a
rea liz a o deste trabalho.
SU M RIO
L I S T A DE F I G U R A S
L I S T A DE Q U A D R O S
xi
L I S T A DE S M B O L O S
xii
RESUMO
xiv
ABSTRACT
xv
1. I N T R O D U O
1.1 G E N E R A L I D A D E S
1.2 ES T R U T U R A DO TR ABA LHO
1.3 OB JE TIVOS D E S T A P ES Q U IS A
2. E L E M E N T O S DE A N L I S E E S I S T E M A S DE
EQ U A ES LINEARES
2.1 E SP A O S VETOR IA IS
2.2 N O R M A S
2.2.1 N o r m a s in d u z i d a s
2.3 ES P A O V E T O R IA L EUCLIDIANO
2.3.1 P ro d u to in te rn o
2.3.2 S u b e s p a o v e t o r i a l
10
2.4 S I S T E M A S D E EQ U A E S LI N E A RE S
10
2.4.1
12
Os s u b e s p a o s fu nd amentais
2.5 DERIV ADA DE M ATR IZ ES
14
2.5.1
D e r i v a d a p a r c i a l de m a t riz e s
16
2.5 .2 D e r i v a d a de e x p r e s s o l in e a r
17
2.5.3 D e r i v a d a da f o rm a b i l i n e a r
17
2.5.4 D e r i v a d a d a f o rm a q u a d r t i c a
18
2.6 FUNES CO NVE XA S
18
2.6.1
Conjuntos co nvexos
18
2.6 .2
Fun es c o nvexas
20
2.6.2.1
C o m b in a es de f u n e s c o n v e x a s
20
2 . 6 .2 . 2 P r o p r i e d a d e s de f u n e s c o n v e x a s d i f e r e n c i v e i s
2.6.3
Extremo de fu nes de v a l o r e s r e a i s
2.6.4
M in i m iz a o de funo c o n v e x a
...............
21
.............................................
24
......................................................
25
2.7 C O N V ER G N C IA DE S E Q U N C I A S DE N M E R O S R E A I S
26
3. S O L U O DO P R O B L E M A DE M N I M O S QUADR A DOS
L IN E A R
28
3.1 P R E L IM IN A R E S
28
3.2 SOLUO DO P R O B L E M A
30
3.2.1
32
I n te r p r e t a o g e o m t r i c a
3 .2 .2 P r o p r i e d a d e s da s o l u o de m n i m o s q u a d r a d o s
3 . 2 .2 . 1
3.3
C a r a c t e r i z a o do timo r e s i d u a l
........................
34
.................................................
34
SOLUO DE C O M P R I M E N T O M N I M O DO PR O B L E M A
DE M N I M O S QUA D R A D O S L I N E A R
3.3.1
38
Projees
3 .3.1 .1
38
P r o j e e s r e l a c i o n a d a s ao p r o b l e m a de mnimos q u a d r a d o s
3. 3.2
I n v e rs a s g e n e r a l i z a d a s e p s e u d o - i n v e r s a
3.3.3
I n te r p r e ta o g e o m t r ic a da s o l u o de com primento
mnimo e p r o p r i e d a d e s da p s e u d o - i n v e r s a
......................................
...................................
39
40
41
3 .3 .4 D e t e r m in a o da p s e u d o - i n v e r s a e d e c o m p o s i o de v a l o r
sin g u la r
3.4
42
O P R O B L E M A DE M N I M O S Q U A D R A D O S COM
PONDERAO
3.4.1
44
T r atam en to do p r o b l e m a
44
4. AN L IS E DO C O N D I C I O N A M E N T O DO P R O B L E M A
DE M N IM O S Q U A D R A D O S
4.1
50
ANL ISE DO C O N D I C I O N A M E N T O D E S IST EM AS DE
vi
E Q U A E S LINE AR ES C O N S I S T E N T E S
4.1.1
.....................................
50
..................................
51
................................................
53
S i s t e m a c o n s is t e n te com m at ri z i n v e r s v e l
4 .1.1 .1
V a r i a o no termo in d e p e n d e n te
4 . 1 .1 . 2
V a r i a o na matriz dos c o e f i c i e n t e s
4 .1 .2
das in c g n itas
.............
54
..........
55
................................................
56
C aso g e r a l do co n d icio n am en to de s i s t e m a s c o n s is te n te s
4 . 1 .2 .1
V a r i a o do termo in d e p e n d e n t e
4 . 1 . 2 . 2 P e r t u r b a o na m atriz A
57
4.2 A N L I S E DO C O N D IC IO N A M E N T O DO P R O B L E M A DE
M N I M O S Q UADR ADOS LINEAR
4.2.1
58
E q u a e s n o r m a is
4.2.1 .1
4 .2 .2
58
C o n d i c i o n a m e n t o qua drado das e q u a e s n o r m a is
................
59
.........................
61
............................................
63
A n l i s e do co n d icio n am en to do p r o b l e m a g er al
4.2.2.1
P e r t u r b a o do termo in d e p e n d e n te
4 . 2 .2 . 2 P e r t u r b a o na matriz A
4.3
64
A D E C O M P O S I O DE VALOR S I N G U L A R E BA SE S PAR A
OS S U B E S P A O S FU N D A M EN T A IS
66
4.4 E S T I M A O DO PO STO DE UMA M A T R I Z

4. 4.1 D i f i c u l d a d e na dete r m in a o do p o s t o
...............................
67
...........................................
67
4. 4.2 A d e c o m p o s i o de v a l o r s in g u lar na d e c i s o do p o s to
5.
............
68
M T O D O S NM R IC O S PARA S O L U O DO PRO B LEM A

DE M N I M O S Q U A D R A D O S L I N E A R
70
5.1 E L I M I N A O DE G A U S S - J O R D AN
70
5.1.1
72
O p e r a e s e le m e n t a r e s
5.1.2 S o l u o do s i s t e m a p o r G a u s s - J o r d a n
5.1.3
S u b r o ti n a p a r a a eli m inao de G a u s s - J o r d a n
5.2 " S U B R O U T I N E
5.2.1
............................
VERSOL "
Subrotina versol
73
74
75
R e g r a de Chi
76
5.2.2 D e s e n v o l v i m e n t o do mtodo
5.2.3
...........................................
...............................................................
77
.....................................................................................
80
vi i
5.3 D E C O M P O S I O DE CH OLE S KY
5.3.1
S u b r o ti n a " mtod o de C h ole s ky"
....................................................
80
...................................................
84
5.4 O M TO D O DA D E C O M P O S I O QR
85
5.4.1 T r a n s f o r m a o de H o u s e h o l d e r
85
5.4.2 A d e c o m p o s i o QR
87
5.4.3
O mtodo QR a p l i c a d o ao p r o b l e m a de mnimos q u a d r a d o s
lin e a r
88
S u b r o ti n a do mtodo QR
89
5.4.4
5.5 D E C O M P O S I O DE VALOR SINGULAR
....................................
92
5.5.1 T r a n s f o r m a o de Given s
92
5.5.2
94
O alg o r it m o QR
5.5.2. 1
O a lg o r itm o QR
5 . 5 .2 .2
O a lg o r itm o Q R - m o d i f i c a d o
5.5.3
94
.........................................................
C lc u lo d a d e c o m p o s i o de v a l o r s in g u l a r
.................................
5.5.3. 1
R e du o a f o rm a b i d i a g o n a l
5 . 5 .3 . 2
D e c o m p o s i o de v a l o r s in g u la r da m a triz b i d i a g o n a l
5.5.3. 3
Teste de c o n v e r g n c i a
5 .5.3 .4
F o r m a o da d e c o m p o s i o de v a l o r s in g u la r de A
5. 5.3 .5
S u b r o ti n a p a r a a d e c o m p o s i o de v a l o r sin gular
95
97
98
.........
100
105
..............
107
.................
108
6. T E S T E S R E A L I Z A D O S P A R A O P R O B L E M A DE
M NIM O S QUADRADOS LINEAR
113
6.1 D E S C R I E S P R E L I M I N A R E S
113
6.2 T E S T E S
115
7. P R O B L E M A D E M N I M O S Q U A D R A D O S N O - L I N E A R
128
7.1 M TO D O D E G A U S S - N E W T O N
129
7.2 M T O D O S D E M IN IM IZ A O SEM RE S TR I O
132
7.2.1
132
M to d o de N e w t o n
7.2.2 M to d o S t e e p e s t de s c e n t ou mtodo do g r a d i e n t e
7.2.3 M o d e l o s a p r o x i m a d o s p e l a r e g i o de c o n f ia n a
vi i i
...................
133
........................
134
7.2.4 Mtodo de L e v e n berg-M a rq uard t
136
7.2.5 CritrioB de p a r a d a
138
7.3 APLICAO PRTICA DO PROBLEM A DE MNIMOS

QUADRADOS NO-LINEAR
139
8. CONCLUSES E RECOM ENDAES
143
8.1 CONCLUSES
143
.............................................................................................
8.2 RECOMENDAES
......................................................................................
REFERNCIAS BIBLIOGRFICAS
ix
143
147
L IST A DE F I G U R A S
FIGURA 01
CASOS PARA O PROBLEMA DE MNIMOS

QUADRADOS LINEAR
FIGURA 02
.............................................................
03
REPRESENT AO GEOM TRICA DA CLASSIFICAO

DO SISTEMA LINEAR ...............................................................
15
FIGURA 03
CONVEXIDADE DOS CONJUNTOS
19
FIGURA 04
PROPRIEDADES DOS CONJUNTOS CONVEXOS
FIGURA 05
FUNES CNCAVAS E CONVEXAS PARA

O CASO UNIDIMENSIONAL
FIGURA 06
....................................
.........
19
................................................
21
DEFINIO DE FUNO CONVEXA POR

DIFERENCIAO
.........................................................................
FIGURA 07
REPRESENT AO DO RESDUO
FIGURA 08
INTERPRETAO GEOMTRICA DA SOLUO DE

M N IM O S QUADRADOS
.......................................
.........................................................
FIGURA 09
COMPO NE NTES DE UM VETOR EM
FIGURA 10
BASES PARA OS SUBESPAOS FUNDAMENTAIS A

PA RTIR DA SVD
( A ) E * ( T) ..
32
35
66
.........................
95
CONVERGNCIA DO ALGORITMO QR
FIGURA 12
FO RMA S PREPARATRIAS PARA O PROBLEMA DOS

AUTOVALORES DO ALGORITMO QR
..............................
FIGURA 13
FORMA BIDIAGONAL SUPERIOR DE UMA MATRIZ
FIGURA 14
PR OCE SS O "CHASING"
FIGURA 15
SOLUO DA QUADRTICA NU MA REGIO DE
FIGURA 16
29
...........................................................................
FIGURA 11
CONFIANA
23
..
............................................................
..................................................................................
COMPO RTA MENTO DE S(p.)
97
98
104
135
136
L I S T A DE Q U A D R O S
QUADRO 01
CONVERGNCIA DOS VALORES AJUSTADOS POR

GAUSS -NEWTON .........................................................................
QUADRO 02
141

LEVENBER-MARQUARDT ......................................................
141
QUADRO 03 N O-CONVERGNCIA DOS VALORES AJ USTADOS POR

GAUSS-NEWTON .........................................................................
QUADRO 04
141

LEV ENBERG-MARQUARDT ....................................................
142
L I S T A DE S M B O L O S
(m.n)
M a triz A com m-linhas e n-colunas.
C(A)
N m ero de condio de A.
C1
D ifere n cia v el continuamente.
C2
dA
dt
Duas vezes diferenciavel continuamente.
H(x)
Hess iana.
inf
nfimo.
L(X,Y)
Espao vetorial das transfo rm aes lin eares de X em Y.
max
Mximo.
minCm.n)
Mnimo entre m e n.
P osto(A )
Posto da matriz A.
Conjunto dos nmeros reais.
E sp a o vetorial m-dimensional.
Espao Vetorial n-dimensional.
A e R"
M a t r iz A com elementos r e a i s de m-linhas e n-colunas.
sup
Supremo.
T ra o (A )
Soma dos elementos da diagonal de A.
D e r i v a d a de A com r e s p e i t o a t.
N o rm a de vetor ou matriz.
*.
D e r i v a d a parc ial de Y com r e s p e ito a x.
vflM
Gradiente da funo f(x).
(A )
Esp ao coluna da matriz A.
*(A T )
Esp ao nulo de AT ou esp ao nulo a esq u erd a de A.
*(A)
E sp ao nulo de A.
* (A T)
E sp ao linha de A.
< x,y >
Produto interno dos v e to re s x e y.

Xll
Leva em.
P a r a todo.
Diferente.
Aproximadamente.
I nfi nito.
Igual ou aproximadamente.
Exite.
Donde.
Conjunto vazio.
Unio.
I n terse c o .
Pertence.
No pertence.
RESUMO
Este tra b a lh o tem como
objetivo
es tu d a r a s o l u o
do aju sta men to
p a r a m t r i c o pel o mtodo de m nim os q u a d r a d o s e os p r o b l e m a s que podem

o c o r r e r na b u s c a d e s s a s o lu o quanto a e s t a b il i d a d e .
F o r a m fe ita s as c o m p a r a e s de cinco mtodos de s o l u o p a r a sistem a
de e q u a e s lineares r e d u n d a n t e s ,
m o s tr a n d o as va ntang ens e d e s v a n ta g e n s
de c a d a um atr a v s de te stes .
Quando as equaes r e s i d u a i s so n o - l i n e a r e s ,
so
utilizados
dois
m to d o s p a r a ob ter a s o lu o , um com c a r a c t e r s t i c a s de c o n v e r g n c i a local e

outro
com
aplicao
caracterstica
em
um
de
ex em plo
convergncia global,
prtico
da
Geodsia
e no
para
fin a l
feita
m ostrar
essas
caractersticas.
N a co n c l u s o so c o m e n t a d o s os r e s u l t a d o s e f e i ta as r e c o m e n d a e s
s o b r e os m todos a serem u t i l i z a d o s em d eter m in a d o s tipo de p r o b l e m a s .
xiv
ABSTRACT
The p urp ose o f this work is to a p llie
least squares methods for
adjustment para m eter problem that a p p ea r from Geodesy.

It w a s made comparison o f five methods o f solution for systems o f
redundant lin ear equations, point out the advantages and disadvantages from
each one o f them.
When the res id u al equation is no nline ar, they were a p plied two methods
to get the solution, one with local c h ar a c te r istc o f convergence and
another
with global convergence. In the end, it is made aplicatio n to a practic al

exemple o f Geodesy to show those charac teristcs.
In
the
conclusion
we
comment
recommendations about the methods
to be
problems.
xv
the
results
applied
and
made
same
in different kind o f
1.
INTRODUO
1.1
GENERALIDADES
problema
ou
mtodo
de
minimos
quadra dos
nasceu
independentemente com dois grandes nomes da matemtica; Gauss (1809) e

Legendre (1806). A p a rt i r dai, a m etod o lo g ia ganhou cre sc en te importncia
e ap lica e s de m aneir a que hoje a p ri n c i p a l t c n ic a de ajustamento de
o b se rv a es utilizado em Cincias como: Geodsia , T o po g rafia, Astronomia
e outras.
Tambm, tem concep es di ferentes de pendendo da C incia que o
estuda. Por exemplo: em Matemtica, o p r o b l e m a in te re s s a do ponto de v ista
da exis t ncia da soluo e dos mtodos que podem f o r n e c e r esta soluo.
Em E statstic a, o p r o b le m a de corre de o b se r v a e s e tem na sua concepo
a d istrib ui o de p r o b a b ilid a d e s.
As notaes
utilizadas
em torno
do
p r o b le m a
diferem
tanto
do
contexto em que tratado, como tambm dos autores que tratam dum mesmo
contexto. Neste traba lho
se r u t il i z a d a a notao usual
dos textos
program a o matemtica.
O p r o b le m a de minimos quadrados pode se r enunciado como:
Minimizar
(1 .1 )
onde:
V: RD-+R
: a funo residu al;

: norma e u clid ia n a ao quadrado.
de
Autores como DENNIS e SCHNABEL (1 9 83 ) tratam o problem a (1.1)

de duas fo rm as; prim eir o : quando V lin ear, chamam (1.1) de pro b lem a de
mnimos q u a d r a d o s linear; segundo: quando V n o -l i n e a r , chamam (1.1) de
p rob lem a de mnimos quadrados no-linear.
N e ste tr ab alh o se r feita e sta
distino p a r a m aio r c la r ez a no entendimento dos mtodos de soluo.

No c a s o do p ro b lem a de mnimos qu a dra d o s linear, autores como
LAWSON e HANSO N (1974), o definem:
D a d a um a matriz real A
x Q) de p o s t o ( k ) ^ m i n ( m , n ) 1 e um vetor real
b m -dim ensional, encontrar um vetor real x* que minimiza o quadrado da

norma e u c l i d i a n a de Ax-b.
No fazem distino quanto ao tamanho r e l a ti v o de m e n. Neste caso
o p r o b le m a p o d e ser formado por q ualq uer um dos casos ilustrado na
fig. 01 (LAWSON e HANSON 1974).
Neste tr a b a lh o sero enfatizados os casos 2a e 2b, ou seja, soluc iona r
um sistema
de
equaes
lin eares
in consiste nte
(impossvel
ou
inco m patvel), com m>n, sem a co n sid erao de que o sistema seja formado
por o b se r v a e s .
Foi e s c o l h i d o , t rab a lh a r somente com a parte da soluo do p ro blem a
de mnimos q u a dra d o s, apenas fazendo menso quando necessrio a parte
das o b s e r v a e s , porque a grande m a i o r i a das
lite ra turas na rea de
ajustamento, tratam a soluo de um p r i s m a muito elementar, quando podem

oco rr er p r o b l e m a s graves nos re sulta dos enco n trad o s usando tal pri sm a
(pro blem a do mal-condicionamento como s e r visto ad iante), alm de que,
por si s a p a rte da soluo j um assunto bastante extenso.
1 p o s t o , r a n k o u c a r a c t e r s t i c a de u ma m a t r i z , s o t e r m o s u t i l i z a d o s p a r a d i z e r
quantas linhas ou c o lu na s s3o l ine a r me nte i n d e p e n d e n t e s nesta.
FIGURA 01 -
CASOS PARA O PROBLEM A DE MNIMOS QUADRADOS

LINEAR.
caso l a
Ax = b
po sto(A )= m=n
caso 2a
caso lb
Ax = b
posto(A)=k<m=n
caso 2b
0 =
Ax = b
posto (A )= n<m
caso 3a
Ax = b
posto(A)=k<n<m
caso 3b
Ax b
Ax = b
p o s t o ( A ) a*m<n
posto(A)=k<m <n
Outra questo a ser l e v a n ta d a com r elao ao ttulo do trabalho.

Sa b e -se que p a r a a a p licao do c ri tr io de mnimos quadrados existe trSs
t cnicas muito comuns utiliza d as em ajustamento de o bse rv a es , as quais
so:
b)
a)
Mtodo
das o b se r v a e s
indiretas
ou mtodo paramtrico;
Mtodo das o bservaes diretas condic io nadas (LUGNANI 1983) ou
mtodo dos corre latos ;
c) Mtodo combinado.
O nome ajustamento p aram tric o no titulo r e f e r e - s e ao caso da tc nica

(a), isso porque a m aio ria dos pro blem as formulados p a r a serem r es olv id o s
p e la t c n ic a (b) podem se r formulados p a r a serem r e s o l v id o s p e l a tc nica
(a). Mesmo utilizando as tc nicas (b) e (c)
p a r a pro blem as lineares ou
mesmo no -lin eares, conforme tratou DALMOLIN (1976), o prob lem a

re s o lv id o atravs da soluo de uma seqncia de siste m a lineares o que
acaba sendo o caso l a
mostrado na fig.01.
Os mtodos de soluo do
pro b lem a de mnimos quadrados linear p a ra os casos 2a e 2b, so tambm

ap licados a esse caso ( p a r a o caso l b , dos mtodos expostos aqui, somente
o mtodo utilizando a decom posi o de v a lo r singular pode ser usado).
1.2
ESTRUTURA DO TRABALHO
No captulo 2 so c o lo c a d o s os conceitos b sic o s a serem utilizados

no de c o r r e r do trabalho.
O captulo
3 fornece
as
soluo
p a ra
o problema
quadrados linear por d iv er s o s caminhos, inclusive quando as
de
mnimos
equaes so
ponderadas.
O captulo 4 trata da anlise do condicionamento do problema. L
m o strad a a desvantagem em so lu c io n a r o p rob lem a atr avs das equaes
normais e o que ocorre no p r o b le m a de mnimos q u a dra dos linear quando
so perturbados a matriz de c o eficien te s das incgnitas e o ve to r dos termos
independentes.
O captulo 5 traz os mtodos numricos p a ra a so luo do pro b lem a de
mnimos quadrados linear, onde cad a mtodo vem com uma subrotina. Os
mtodos c o n sid e r a d o s p a ra obter a soluo do p ro blem a foram: GaussJorda n com pivtamento completo; su bro utin a Versol; decomposio
de
Cholesky; deco m po sio QR; e d eco m p o si o de V alor Singular.

O c apitu lo 6 mostra alguns tes tes r e a l iz a d o s com os mtodos acima
quanto a e s t a b i li d a d e e a v e lo c id a d e n a soluo, a fim de tirar algumas
concluses
para
serem
a p lic a d a s
ao
caso
do
problem a de mnimos
quadrados n o - l i n e a r tratado no capitulo 7.

O cap itu lo 7 traz dois mtodos de soluo do problem a de mnimos
quadrados n o -lin ea r, so eles:
o mtodo de Gauss-Newton e o mtodo de
L evenberg-M arquardt. O mtodo de G a u ss-N ew to n porque o mais b sic o ,

tem c a r a c t e r s t i c a s de c o nvergncia local (os tipos convergncia sero
definidos
ad iante)
caractersticas
mtodo
de
L ev e n b erg-M a rq u ardt
de convergncia g lo bal.
A in d a no mesmo
porque
tem
captulo,
utilizado um exemplo prtico e os r e s u l ta d o s da aplica o de um pr ogram a

computacional p a r a mostrar tais c a r a c t e r s t i c a s .
P o r ltimo f e ita uma conclus o a r e s p e i t o de todo o trabalho e
algumas r ecom end a es quanto aos mtodos de soluo a utilizar p a r a
r e s o l v e r o p r o b l e m a de mnimos qu adra dos.
1.3
OBJETIVOS DESTA PESQUISA
O ob jetiv o final deste trabalh o i d e n t i fi c a r os problemas que podem

surgir na so luo do pro blem a de mnimos qu a dra dos e fornecer mtodos
numricos a ltern ativ o s p a ra a soluo do mesmo, quanto a estab ilid a de,
v e lo c id a d e e con v ergncia (no caso n o - l i n e a r ) p a r a a soluo.
2.
ELEMENTOS
DE
ANLISE
SISTE M A S
DE
EQUAES
L IN E A R E S .
Neste captulo se ro a p re s e n t a d a s as ferramentas e s s e n c i a is usa das no

d e c o r r e r do trabalho. Sero f o r n e c id o s os conceitos de eBpao ve to riai,
espao
normado,
si stem a
de
conjunto e funes conv exas,
equaes
lineares,
derivada
de
matrizes,
c o ndi es de otim alidade e c o n v e r g n c ia de
se quncia de nmeros r e a is.
2.1 ESPAOS VETORIAIS
Definio: Espao v e t o r i a i , um conjunto V, n o -v a zio , sobre o qual

esto definidos as o p e ra e s de adio (+) : VxV ->V e m u lt i p li c a o por
e s c a l a r () : RxV V , tais que com estas operaes se cumpre os seguintes
axiomas:
a)
b)
Em rela o adio
i)
(u+v)+w = u + (v + w ) , V
u,v,nr
ii)
u+v = v+u , V u ,v e V ;
iii)
3 0 e V , V u e V, u + 0 = u ;
iv)
V n V , 3 (-u ) e V , u+(-u)=0.
Em relao a m u ltip lic a o p o r e sc a la r

P a r a qualquer u,v e V e V a , P e R
vi)
( a p ) u = ct(pu);
v i i) ( a + P ) u = a u + p n ;
v iii) a ( u + v ) = a u + a v ;
ix)
la = a .
V;
7
Os elementos pe rtencente s ao esp ao v e to r ia l
V so chamados de
vetores, no importando sua natureza.

Quando, p a r a o conjunto dos e s c a l a r e s da definio acima for tomado o
conjunto C dos nmeros complexos, o esp ao v e to r ia l
V chamado de
espao veto ri al complexo.
2.2 N O R M A S
Seja V um espao v e to r ia l real. D iz -s e que cp:V R uma norma em

V, se:
i)
<p(x) ^ 0, V x e V e
cp(x) = 0 se, e somente se x=0 ;
ii)
<p(*.x) = |X|.cp(x) , V X R , x e V ;
i)
<p(x+y) ^ <p(x)+q>(y), v x >y e v
Define-se a d ist n c ia entre dois pontos quais quer do espao como:

d(x,y) = <p(x-y).
claro que o v a lo r vai depender de qual for a norma e sco lh id a j que
existem infinitas normas.
Aqui a norma de um vetor se r de no ta da p or ||-||. Algumas das normas
mais comuns em R a so:
Hi = N
( 2 . 1)
( norma-l)
i- l
ii)
||x|2 = > i | 2)1/2
( norma-2 ou e u clid ia n a)
( 2 .2 )
i- l
"*)
H L = m a x ( Kl ) ( norma mxima ou infinita)

ISiSfl
(2 .3 )
iv)
l*lp = ( Z l xi|P)I,P *
(2 .4 )
(norma P)
i- i
A norma de uma matriz tambm se r denota da por |)-||.

Se ja W = L(X,Y), e A e W. A norma de A d e fin id a como :
ii H
||Ax|l
llA ll= s u p - j n p
#o
(2-5)
If IIx
Uma s im p le s v erificao m o stra que a norma de A satisfaz s seguintes

condies:
2.2.1
i)
||A|| 0 , V A e W
ii)
| | ^ A | | = |X|.||A|| , V X e R , V A e W
iii)
||A+ B|| * ||A||+||B|| , V A , B e W.
N o rm as induzidas
D e fin i o : P a r a qualquer matriz A e uma norma de v e to r ||*||, a norma

de matriz in d u z i d a ou subordinada ||A|| de fin id a por:
||A||= i n f ( M e R
:||Ax|<;M|xj|} .
(2.6)
algumas vezes mais conveniente e x p re ss a r a definio acima como:
A||= n j | x ||Au||, onde

, o
u=p
ou
(2.7)
IlAxII
<2 -8 >
As normas de matrizes subordinadas ou induzidas mais comuns so:
Ajjj = m;ax { ija.jlj } (mx.absoluto da soma de col.)
(2.9)
A||2 = cr^Â)
(2.10)
(maior v a lo r singular de A)
||A||a) = m ax { llaj.jlj } (mx. absoluto da soma de lin.)
(2.11)
A norm a de um vetor e a norma de uma matriz su b o rdinada so sempre

compatveis.
A c o m p a tib ilid a d e entre a norma de uma matriz ||'||' e a norma de uma
vetor ||||, p o s s i v e l se for s a tis f e ita a seguinte condio:
l|A x || * | | A | r . || x | | .
(2.12)
Cabe destacar mais duas normas importantes que no so induzidas p e ia

norma de vetores. So elas :
||A||a = max{ |a4j| }
( norm a ab solu ta )
MIf = ( Z Z | a f )ia
(2 .1 3)
(norm a Frobenius)
(2.1 4)
M j-
e sta ltim a satisfaz a re la o
|( | = trao(ATA).
(2.1 5)
A norma de Frobenius co mpatvel com a norma de v e to r euclidiana,

isto , p a r a qualquer A e x
<21<>
2.3
ESPAO VETORIAL EUCLIDIANO
Chama-se
espao v e t o r i a l
e u c l id i a n o ,
a um esp ao
v e to r i a l
real
normado de dimenso finita, no qual e st definido a norma-2.
2.3.1 Produto interno
Produto
interno
em um esp ao
v eto rial
real
V uma funo de
VxV R que a todo par de v e to r e s (u,v) e VxV a s s o c i a um nmero real,

ind ic ad o por n.v ou (u,v), tal que os axiomas a seguir se v e rifiq u em :
i)
u.v = v.n ;
ii)
n.(v+w) = u .v+ u.w ;
iii)
(au)v = a(u.v) , V a e R ;
iv)
a . a ^ 0 e a . a = 0 se, e s se u=0 .
10
2.3.2 Subespao vetorial
S e ja V um espao v e to rial , e W c V. W subespao ve to rial de V se:
2.4
i)
P a r a quaisquer dois v e to r e s x , y e W , sua soma x+y e W;
ii)
V X e R, x e W, .x e W.
SISTEMAS DE EQUAES LINEARES
Uma equ ao linear uma equao d a forma:

a i * l + a 2 * 2 + - + a n *n = b >
(2.17)
onde:
x,,x2,...,xn R
so vari v eis;
a ,^ ,...^
so coeficientes das v a ri v e is; e
b e R
Os
e R
o termo independente.
valores
das
v a ri v e is
que
tornam
verdadeira
equao
so
chamadas r a i z e s da equao linear.

Um siBtema de equaes lineares um conjunto de equaes lin eares da
forma:
a11 x, +aj2 x 2 +
+ am*n = b i
a21X1^"a22 *2 ^
+ a2n*n=b 2
(2.18)
a ml X1 + a xn2 X2 +
*n = b
Os v a l o r e s das va ri v eis que sa tisfazem as equa es do sistema so

chamadas r a i z e s do sistema de equaes l in e a r e s (soluo do sistema).
Os sistemas podem ser c la s s if i c a d o s segundo suas solues , como:
i)
Siste m a p o s s v e l (consistente ou c o m p a tv e l) e determinado;
11
ii)
Sistema po ss v el e indeterminado;
iii)
Sistema impossvel ( incons istente ou incompatvel
).
Um sistem a possv el se admitir raizes ou solues.

O sist ema po ss v el de terminado quando admite soluo nica.
O siste m a poss v el indeterm inado quando admite infinitas solues.
O sistem a impossvel quando no admite soluo.
Dois sistemas so equ iv ale ntes quando admitem as mesmas raizes ou
solues.
O siste m a de equaes
lin e are s
(2.18) pode
ser escrito na forma
matricial como:
a
a21
12
a 22
X1
X
2
la
2n
1
b2
(2.19)
a ml, am2V
X
n
mn
b
m
e r ep re se nta d o por Ax=b.

A c la s s ifi c a o de (2.19) usualmente feita analisando o posto de A, o
posto
de
A=[A,b]
( co nh ecid a como matriz ampliada ) e o nmero
de
v ariveis.
A seguir s e r feito um breve resumo d esta c la ssif icao .
Se ja um sistema de equaes lin eares Ax=b, com A(nwn), x (n>l) e b (nU) ou
mais explicitamente como em (2.19). A matriz ampliada ser:
11
12
a 21 a 22
b
ln 1
a
b
2a 2
=
a
a m2
a mn bn
( 2.20)
12
Uma man eira de c a l c u l a r o posto de uma matriz r e d u z i - l a forma

e s c a d a atravs de o p e ra e s elementares. O posto da matriz s e r o nmero de
linhas com elementos no t od o s nulos de uma matriz e q u iv a le n te red uzid a
form a escada.
Uma c la s s if i c a o g e ra l no importando a dimenso do siste m a p o der
ser feito da seguinte forma:
i)
se p o s t o ( A ) = p o s t o ( ) = k , o sistema p o ss v e l;
ii) se p osto(A ) < p o s t o ( ) , o sistema im possvel;

se o sistema for p o s s v e l , p o d e r ser:
iii) determinado se k=n ;
iv) indeterminado se k<n.
2.4.1 Os sube spaos fundamentais
As afirmaes
a n te r io r e s
quanto
a c la s s if i c a o
dos
sistemas
de
equaes lineares, faro maiB sentido depois desta se c o , p ois se r dada

uma interpr etao g e o m tr ic a p a r a a soluo dos sistemas.
Considere
os
seguintes
subespaos
obtidos
das
matrizes
dos
coeficientes:
1) O espao l i n h a
de A; se for
eliminao, reduzindo A f o r m a
aplicado
em A o p r o c e ss o
de
eBcada, o nmero de linhas com elementos
no todos nulos se r o p o s t o fA)=k e essas linhas for maro uma base p a ra o

espao linha de A.
2) O espao n u l o de A\ O espao nulo de A tem dimenso n-k, que o
nmero de v a r i v e i s l iv r e s do sist em a Ax=0. Uma base p a r a esse subespao
obtido atribuindo v a lo r e s a e s s a s v a ri v e i s livres.
3) O espao c o l u n a de A\ tem dimenso igual ao e sp a o linha de A,ou
seja, posto(A)=k. Uma base p a r a esse espao pode ser o b t id a verificando-se
13
na matriz red u z id a
forma
e sca d a
quais
das
colunas
tem p iv s,
aB
c orre sp o nd e nte s colunas em A formaro uma base p a r a esse Subespao.

4)
O esp ao n u l o de AT; Este su bespao constitudo dos ve to res y
tal que ATy = 0 . A dimenso p a r a esse subesp ao m-k. Uma base pode ser
fo rm ad a das ltimas m-k linhas de L-IP, onde : L uma matriz de operaes
ele m entares e P uma matriz de permuta o que quando ap lica d as a matriz A,
g e ra a matriz U, re d u z id a forma eBcada (d ec o m p o si o LU).
A s i m b o lo g ia p a r a os subeBpaos acima bem como suas dimenses so
resu m id a s abaixo:
i)
91 ( A T) = espao linha de A ; dimenso k.
ii)
x(A)
= esp ao nulo de A ; dimenso n-k.
iii)
91(A)
= espao coluna de A; dimenso k.
iv)
* ( A T) = espao nulo de AT; dimenso m-k.
Uma
vez
relacionadoB
ao
de
poss e
sistema
dos
Ax=b,
con ceito s
p o d e -s e
sobre
os
checar
quatro
subespaos
c la ss ifica o
dada
anteriorm ente, utilizando agora os subespaos.

Foi dito que um sistema p o s s v e l se o p o s t o ( A ) for igual ao p o s t o ( K ) .
Analisando esse fato, segue que po sto(A ) s i g n if ic a exatamente o nmero de
linhas
ou
colunas
linearmente
independentes
da
matriz
A.
mesmo
aco ntecen do com a matriz , pois, p o s t o ( ) equiv ale ao nmero de linhas ou

colunas linearmente independente de .
D a afirm ao acima, conclui-se que uma linha (uma coluna) de
deve
se r linearmente dependente p a r a que o Bstema s e j a p o ss v e l. Em pa rticular o

v e to r b j que o mesmo foi acrescid o as colunaB de A p a r a formar .
Da,
c o n clu i- se
c l a s s if i c a o que:
sobre
as
a firm aes
(i)
(ii)
no
critrio
de
14
a) Se o vetor b for combinao lin ear das colunas de A, ento o sistema

p o ss v e l;
b) Se o ve to r b no fo r combinao linear das colunas de A, o sistema
impossvel.
Do
b e
ponto
de
vista
g eom trico
isso
quer
dizer
que
se
W(A), ento o sistema s e r p o s s v e l e se r im p o ssv el caso
vetor
contrrio
( v e r fig. 02).
Caso b
9 l( A ) , ento, as co n d i es (iii) e (iv) devem se r v erificad as,
ou se ja, se b formado unicamente ou no.

O sistem a p o s s v e l s e r de te rminado se o espao c o lu n a t iv e r dimenso
total, ou seja, todas as colunas de A forem linearmente independente (posto
completo). Isto si gn ific a que s existe uma maneira de com b in ar as colunas
de A (atra v s de um v e to r x ) p a r a fo rm ar b.
Se alguma coluna de A for linearmente dependente, isso im plica numa
d e f i c i n c i a de posto,
e o e spa o
coluna se r gerado p o r uma base de
dimenso menor do que (n) . N e ste caso as colunas de A fo rm aro apenas um

espao de dimenso k<n. Assim sendo, b p o d e ria se r e scrito de infinitas
maneiras.
Observe que p a r a estas inte r p re ta e s foi utilizado somente o espao
coluna de A, de modo que suficiente. J os demais se ro estudados na
anlise do pro b lem a de mnimos quadrados.
2.5 DERIVADA DE MATRIZES
Se ja x e R " com elementos xi funo de t
R e pe lo menos uma vez
d ifere n ciav e l em t. Ento, a d e r i v a d a de x com res peito a t ser:
FIGURA
02
- REPRESENTAO
GEOM TRICA
DA
CLASSIFICAO
DO SISTEMA LINEAR.
2.a Sistema possvel
2.b Sistema impossvel
De m an e ir a anloga a d eriv ad a de uma matriz A(J1U1) com re speito a

ser:
dau da
dt dt
da
dt
dA
dt
( 2 .2 2 )
da da
ml__
dt dt
da
dt
exemplo:
x =(e sen(t)
cos(f) )7
=(e' cos(t) + e1sen(t)

dt
- sen(t) )T ;
16
cos(t)
A=
sen(t)
e 2
-set(t)
cos(t)
2e21
dA
'
dt
Sejara agora duas matrizes A e B. Suponha ser p o s s v e l o produto entre

elas. Ento, a d e ri v a d a do produto de A por B escreve-s e:
tf(B) d(A)
A d(B)
---- - =
^B + A ^
dt
dt
dt
(2.23)
K
}
2.5.1 D e r iv a d a p a rc ial de uma matriz
S e ja y e R m e x e R com y; funo de Xj ento as d e riv a d as p a rc iais de

yx com respeito a Xj escreve-se:
(2.24)
xx x2
xn
a (2.24) conhec ida como matriz j a c o b ia n o .

Exemplo :
3x 1 + 4x2 +5
10x2 + 3x3
1
2
3
,
-T
20x
x' + 2x
1
2
o diferencial de y pode ser esc rito como:
3x2i
4
i
9x2
2
4 x2
17
d y - dx
x
2.5.2
De riv a d a de express o linear
Se ja y - Ax
(2 .2 6)
onde:
y e R ;
A e R ", com elementos constantes ;
xeR",
vetor das variveis independentes.
Ento:
dy = d(Ax)= W dx ,
x
(2.27)
logo a d eriv ad a de y com res p eito a x ser:

(2.28)
2.5.3 D e riv a d a da forma b ilin e a r
Chama-se forma b ilin e a r a e xpre sso:

u=xTAy
(2.29)
onde:
u e R;
A e R " 1", cora elementos constantes;
yeR" ;
x e R , v e t o r das variveis independentes.
O diferencial se exp ressa (LUGNANI 1983) por:
du=xTA d y + d x TAy
(2.30)
18
2.5.4
D e r i v a d a da forma quadrtica
A form a q u a dr tic a defida p e la ex p re ss o :

q = x TAx
(2.31)
onde:
q e R;
A e R nn, simtrica;
x e R n.
O c lculo da d e riv a d a (MIKHAIL e GRACIE 1981):
4 r-=2 x TA
x
2.6
(2.32)
FUNES CONVEXAS
As p r o p r i e d a d e s que esta cla sse de funes possui so de grande

im p o rtn cia na t e o r i a de otimizao. Uma vez que a funo iden tificada
a -p r io r i,
certos resulta dos ficam ass egu rad os. No caso do pro blem a de
mnimos q ua dra dos linear, a funo r e s i d u a l a se r minimizada
pertence a
classe das funes convexas. Este o motivo d e s t a seco.

Para
introduzir
alguns
conceitos
sobre
funes
convexas,
til
primeiram ente definir conjuntos convexos.
2.6.1 Conjuntos convexos
D efin i o : Um conjunto C no E* (esp ao eu clid ian o ) dito ser convexo

se p a r a q ualq uer
x, +(1- a)x2 C.
Xj,x2 C e qualquer nmero re a l
a , 0 < a < l , o ponto
19
E sta definio pode se r i nte rp retad a geomtricamente como: se dois

pontos
quaisquer
pertencente
ao
conjunto
forem
unidos
atravs
de um
segmento de reta, qualquer ponto tomado ao longo deste segmento pertence ao

conjunto, v e r fig.03.
FIGURA 03 -
3.a
CONVEXIDADE DOS CONJUNTOS
Conjunto no-convexo
Existem
algumas
3.b Conjunto convexo

o p e ra e s
que
pr eservam
convexidade
conjuntos. So elas:
i)
Se C um conjunto convexo e p um nmero real, o conjunto

PC = {x: x=Pc , c C 1 , convexo.
ii)
Se C e D so conjuntos convexos, ento o conjunto

C+D= {x: x=c+d, c e C, d D} , convexo.
iii)
A interse o de um nmero a rb itr r io de conjuntos convexos um

conjunto convexo.
FIGURA 04 - PROPRIEDADES DOS CONJUNTOS CONVEXOS
4.a propriedade i
4.b propriedade ii
4.c propriedade iii
dos
20
2.6.2 Funes convexas
Uma funo f definida em um conjunto convexo 2 dita se r convexa se,

V x, , x 2 e 2 e V , O^^l, o c o rr e r que:
f^ X j+ l-A jx Â ftX jH l-^ !) .
(2.33)
Se
(2.34)
ento, f dita se r estritamente convexa.
Geometricamente, uma funo convexa se a linha que une os pontos
(x,4(x,)) e (x2,f(x2)) , no fica r abaixo do grfico da funo.
Uma funo f cncava se -(f) for convexa.
2.6.2.1
Combinaes de funes convexas
P r o p o s i o 1.
Se ja f, e f2 funes convexas em um conjunto convexo
2. Ento a funo f, + f 2 convexa em 2.

Prova: s e j a x, , x 2 e2 e 0 < a < 1, ento:
f,(ox2 - K l- a j x ^ f 2(ax2 - K l - a ) x ^ 4 f , ( x 2)+f2(x2)]-K l- ^ ( x , ) ^ ^ ) ] =
= o(f, + f 2)(x2)+(l-Q:)(f1 + f 2)(x,) .
P r o p o s i o 2.
2.
Se ja f uma funo convexa em um conjunto convexo
Ento, a f convexa p a ra qualquer aÔ.

Prova: imediata.
A p a rt i r das duas p r o p o si e s acima pode ser demonstrado que uma

combinao p o s i t i v a de funes convexas re s u l ta numa funo convexa.
P r o p o s i o 3.
2.
Se ja f uma funo convexa em um conjunto convexo
O conjunto Tt = { x :x e 2 , f(x) c} convexo p a ra qualquer nmero real c.
21
Prova:
S e ja
x, , x 2 eTt . Ento
(ax, +(1 - <z)x2) f l ^ x , ) - ^ - or)f(x2) c. Assim
f(x,) c, f(x2) c
p a ra
0x<l
oxj +(1- a)x2 e Tt .
FIGURA 05 - FUNES CNCAVAS E CONVEXAS PARA O CASO

UNIDIMENSIONAL.
>1
tf
5.b Funo cncava
5 . a Funo convexa
Note que, como consequ ncia tambm convexo o conjunto de

pontos satisfazendo a: f ^ x ^ c , , f2(x)c2 , . . . ^ ( x ^ c ,,, , onde cada , l ^ i m ,
uma funo convexa.
Como caso p a r t i c u l a r di sso, obtem-se que o conjunto
soluo de um si stema de equaes lin e are s um conjunto convexo.
2.6.2.2
P r o p r i e d a d e s de funes convexas d if e r e n c i v e is
Uma de finio
d ifere n cia o de funo.
equivalente
a (2.3 3)
pode
se r
formulada usando
A pro po sio 4 a seg uir formulada p a ra funes
de c la sse C1 * e a p ro p o si o 5 p a ra funes de class e C2 ** .

*
U m a f un &o c u j a d e r i v a d a s p a r c i a i s e x i s t e m e s S o c o n t i n u a s di t a s e r de c l a s s e
22
P ro p o s i o 4.
Se ja f e
C1. Ento, f convexa em um conjunto
convexo Q, se e somente se
, V x,,x2 e D .
(2.35)
Prova: primeiro suponha f ser convexa. Ento, a p a r t i r da definio

(2.33) tem-se que :
f(^x2 +(l->)Xi)Âf(x2) + ( l - A)f(Xj) ou
f(Xj + A(x2 -Xj))^f(xi)f^(f(x2)-f(x1)) , assim p a ra 0<2,^1
levando ao limite com X
0, vem que
f t x ^ f x , ) ^ VfT(x,)(x2 - x , )
ou
f(x2)^f(x)>fVfT(Xi)(x2 - x ]) .
Com isso fic a de m onstrada a pa rte " somente se ".
Assuma agora
f(x2)>f(x1)4-VfT(x,)(x2 - x , ) , V x, , x 2 e Q.
Tomando
dois
pontos
fixos
y2 e y2 g Q
Xj = A ( y j ) f ( l - A ) ( y 2) , sendo que alternativamente
x2 = yt
ou
chamando
x 2 = y 2 , tem-se
que :
f(yi)^f(Xj}fVfT(xi)(yj -Xj)
(2.36)
%2)^ f(Xi)+VfT(Xi)(y2 - X,)
(2.37)
multiplicando (2.36) por X , (2 .3 7 ) p o r (1-2.) e somando ambas r e s u lta

H l- }y2- x j
substituindo x, , tem-se
+0 - ^ 2)
Com isso completa-se a demonstra o da pro p osio 4.
23
FIGURA 6 - DEFINIO DE FUNO CONVEXA POR

DIFERENCIAO
j '(')
(><3)
A p r i m e i r a definio afirma que a in te rp o la o line ar entre dois pontos

su perestim a a funo, enquanto que a se gunda afirma que a aproximao
lin e ar b a s e a d a na d e riv a d a local subestima a funo.
P a r a funes duas vezes continuamente d i f e r e n c i v e i s , existe uma outra
cara c te r iz a o de convexidade.
P r o p o s i o 5. Se ja f e C2. Ento f convexa em um conjunto convexo
contendo
um ponto
interior*,
se
somente
se,
a matriz
h e s s ia n a
ii xi
Prova : Do teo rem a de Taylor , tem-se:
p a r a algum X,
Da
definio
de
m atriz
se m i-d e fin ida
positiva,
(x2 -X j^ H x, +/l(x2 -x,))(x2 -Xj)^0, sendo que na desigualdade estrita, H

de fin ida positiva.
V-se claramente que se H em (2.38) se m i-d e fin id a p ositiv a , r esulta
que :
*
U m p o n t o i n t e r i o r q u a n d o t o d a s as d i r e e s s o f a c t v e i s .
24
H x^ x^V f^x.X xj-x,)
(2.39)
e com v i s t a na p r o p o s i o 4, im p lica que f convexa.
Suponha a gora que a matriz h e s s ia n a no s e j a se m i-d e fin id a p o s i t iv a em

algum ponto
xt
2. P e l a continuidade da h e s s ia n a pode ser assumido sem
p e r d a da g e n e r a lid a d e , que x, um ponto in te r io r de 2. Existe um ponto x 2

g
Q tal que
da h essian a,
(x2 - x ^ H f c , +A(x2 - x 1))(x2 - X

x2
j)<
0. Novamente p e la continuidade
pode se r se lec io n a d o de modo que X,
( x 2 - X t ) TH (x + A (x 2 ~ X j))(x 2 - X i ) < 0 .
Com v i s t a em (2.38), im plica que (2.39) no ocorre e p e la proposio

4, i m p lic a que f no-convexa.
2.6.3
Extremo de funes de v a lo r e s reais
E sta se c o e st sendo in troduzid a com o objetivo
de definir os
conceitos sobre maximizao e minimizao de funes de v ria s variveis.

N o se preten de aqui demonstrar as co n d i es de otimalidade, mas to
somente r e l e m b r a r essas condies p a r a a p li c a o no p ro b lem a que ser
tratado.
Defin io: Se f : U c R ->R uma funo de v a lo r r e a l , um ponto
x*g
chamado um m l n itn o l o c a l de f se existe uma v izin hana V de x* tal que

p a r a todo ponto
V, f ( x ) ^ f ( x ' ) .
l o c a l se existe uma vizinh a a V de
Sim ilarmente,
x*
um
tal que f(x)f(x*) p a r a todo x
m x im o
g
V.
x*
g U dito se r e x t r e m o l o c a l ou r e l a t i v o se ele for um mximo local ou um

mnimo local. Um ponto
x*
um p o n t o c r i ti c o de f se Vf(x')=0. Um ponto
critic o que no extremo local chamado p o n t o de sela.
25
Um ponto x* c r tic o se Vf(x*)=0, isto quer dizer que ele p o d e r ser

ou um ponto de mximo, ou um ponto de mnimo, ou um ponto de sela.
P a r a sa b er qual a cla sse que o ponto x* pertence, pode ser feita a
seguite anlise na matriz de d eriv as se gunda ( h e s sia a a ) d a funo.
1. O ponto x* se r um ponto de mnimo se a matriz h e s s i a n a for definida
p o s i t i v a (au tovalo res todos p ositiv o s ).
2. O ponto x* se r um ponto de mximo se a matriz h e s s i a n a for definida
n e g ativ a (au tovalo res todos negativos).
3. O ponto x se r um ponto de s e l a se a matriz h e s s i a n a fo r indefinida
(au to v a lo re s positiv os e negativos).
4. Se a matriz hessiana for ou se m i- d e f in id a p o s i t iv a ou se m i-definida
negativa, o ponto c rtic o x* chamado d e g e n e ra d o e uma anlise da
funo nas vizinhanas do ponto x* deve ser feita p a r a sa b e r que tipo
extremo ser.
2.6.4 Minimizao de funo convexa
P r o p o s i o 1.
S e j a f uma funo convexa definida em um conjunto
convexo 2. Ento, o conjunto T onde f alcana seu ponto de mnimo,

convexo e qualquer mnimo local de f mnimo global .
Prova:
v acuidade.
Se f no
tem mnimo
local,
a p ro p o si o
ace ita por
Assumindo se r C0 o mnimo de f, pe la p r o p o s i o 3 da seco
( 2 . 6 .2 . 1 ) , o conjunto Tc = {x:xe2, f(x)^C0} convexo.

Suponha agora,
x*
ser
um ponto de mnimo local de f e que
e xista outro ponto y e 2, tal que f(y)<f(x*).

0<X<1, tem-se :
%y -Kl->l)x)
f(x*)
contradizendo ao fato de que x* mnimo local.
Ento, na linha y+(1-)x,
26
P r o p o s i o 2.
Se ja f 6 C1 e convexa em conjunto convexo Q. Ento,
todo ponto de mnimo local em f ponto de mnimo global.

Pro va:
Suponha que x e y e Q sejam pontos de mnimo local
Alm di sso, sup onha ser f(y)<f(x).
de f.
Assim, p e l a p r o p o si o 4 da seco
(2.6.2 .2 ),
(y)-f(x) ^ V f T(x)(y - x).
Isto i m p l i c a que V fT(x)(x-y)<0, o que si g nific a que a funo f pode ser
d e c r e s c i d a a p a r t i r do ponto x, contradizendo ao fato de que x ponto de
mnimo local.
M a i o r e s deta lh es a respeito da seco 2.6, podem se r encontrados em
LUENBERGER (1 973) e RAO (1979).
2.7
CONVERGNCIA DE SEQUNCIAS DE NMEROS REAIS
se ja x*
R e xj e R, i= 0 , l ,2 , . .. , ento
se qu nc ia de nmeros
reais {xj} = {xo,xi,X 2 , . . } d ita convergir p a r a x* se
lim|xi -jc*| = 0
-MO
Alm d isso , se existe uma constante c
R e um inteiro i 20 tal que
V i2i
| xj + 1 -x*|<;c|xi-x*|
(2.40)
ento, {xj} d ita se r q-linearmente convergnte p a r a x*.

Se p a r a alguma se quncia {c j } que converge pa ra zero
|x;+1 -x*|cj|xj-x*j
(2.41)
ento {x jj converge q-superline armente p a r a x*

A
Se existe p > l , cÔ e i 20 tal que ( x j ) converge p a r a x* e V i i

|x + i-x*|^ c|x -x *|P
(2.42)
ento ( x j ) d ita co n verg ir p a ra xj cora pelo menos q-ordem p.
27
No caso pa rtic u la r de p=2, a co n verg n c ia da se quncia {xj} dita ser

de ordem q-quadrtica.
M ais detalhes a r espeito d e sta seo so encontrados em DENIS e
SCHNABEL (1983).
28
3. S O L U O DO P R O B L E M A DE M N I M O S QU ADRA DOS L I N E A R
pr oblem a de mnimos qu a d ra d o s linear foi definido na introduo
como: minimizar o quadrado do r esdu o (Ax-b) na norma e u clid ia n a, ou seja,
?llA x - b 2 = m i n lV llr
(3 1 )
onde:
V = Ax- b
3.1
A e
R mxn;
Rm
P R E L IM IN A R E S
Antes de encontrar a soluo em si, se r feito um breve comentrio
em
torno do significado do resduo Ax-b. J se sabe do captulo a n te r io r que um

sistema de equaes lineares s po ssu i soluo se o ve to r b fr combinao
lin e ar das colunas de A, ou seja, se o v e to r b e
91 (A). Caso
c ri tr io de mnimos quadrados t o r n a r - s e - i a irrelevante, pois
b e 91 (A), o
o pr oblem a
r e s u l t a r i a em apenas r e s o l v e r um siste m a de equaes lin e are s compatvel.

Uma vez que
b 91(A), o s iste m a impossvel e a a p lica o do
cri t r i o de minmos quadrados to rn a-se
re le vante, pois tra ta - s e de escolher
dentre as solues aproximadas ex is tentes, aquela que minimiza o quadrado

de uma certa norma .
Como qualquer vetor Ax
do R " , ento em geral
91 (A), b
R m , e 91 (A) su bespao prprio
b 9t(A). Ao v e to r Ax-b denomina-se resduo.
29
FIGURA 07 - REPRESENT AO DO RESDUO
Da p r p r i a ilu str ao pode ser o b se rv ad o que existe infinitos resduos

V . A questo e s c o l h e r aquele de menor norma.
Eis uma outra questo; qual a norma a u t il i z a r e p or que ? j na p r p r i a
definio
do p r o b l e m a foi proposto
a norm a-2.
Abaixo
segue
algumas
j u s t if i c a t iv a s da e sc o lh a de ssa norma.
a)
A norm a-2 d ifere n ciav e l para todo x
b)
E sta norma tem interpretao g eo m tr ica sim p le s e as leis de projeo
R n, tal que Ax-b*0.
so v lid a s p a r a ela.
c)
Tem j u s t i f i c a o estatstica; um e s tim a d o r no-tendenc ioso e fornece
v a ri n c ia mnima. Alm disso, se as o b s e r v a e s seguem uma distribuio

normal, a e s tim a tiv a de mnimos quadrados, tambm estimativa de mxima
v e ro s sim ilh an a (mxima pro b ab ilid a d e ).
Cabe apenas c ita r que minimizar Ax-b na norma-1 ou na norma infinita,
equivalente a r e s o l v e r um problem a da p ro g r a m a o linear.
30
3.2
SOLUO DO PROBLEMA
Se ja
f : R - R uma funo definida por f(x) = | | Ax- b
. O problema
(3.1) pode ser eBcrito como:
min fl[x)= ||Ax-b|g
(3.2)
UBando a defini o da norma-2 tem-se:

f(x) = < A x-b,A x-b> = <Ax,Ax> -2<A x,b> + <b,b>.
(3.3)
a p lica n d o a condio de otim a li dade em f(x) (Vf(x)=0), tem-se:

V f( x )=2(A TA ) x - 2 (ATb)=0 , donde
(AtA) x* = ATb
(3.4)
onde: x , a soluo de timo p a r a
oprob lem a (3.2) . A expre sso (3.4)
c o nh ec id a como equao n o r m a l de m n i m o s quadra dos.

Uma vez a p li c a d a a
co n di o de otimalidade ao p r o b l e m a e obtida a
so lu o x* de timo, deve Ber f e i t a uma anlise p a ra sa b e r de qual ponto esta

so luo Be refere (mximo, mnimo, ou
sela).
Baseado nas afirmaes da
se c o (2.6.3 ), deve ser c a l c u l a d a a matriz hessiana da funo f(x), a qual

ser:
H( x)=2(A tA).
(3.5)
A go ra ficou bastante sim ple s p a r a analis ar x , h a ja visto que H(x) no

mnimo se m i-d e fin id a p ositiv a.
Pro va : Por definio, uma m atriz H e R
V x R n, com xÔ
xtH x ^
s e m i- d e f in id a
p o s i t iv a se
0, sendo que na desigualdade e strita, H definida
p ositiv a .
Assim
xtA tA x = < Ax,Ax
Ento, Ax=0
>=||Ax ||j 0.
se e somente
(3.6)
se,
as colunas
de A so
linearmente
depe ndente s, o que si gn ific a que A no tem posto completo. Logo, para
qualq uer
Bistema de
eq u a es
lin e are s
redundantes,
onde
a matriz
dos
31
c o eficien te s das incgnitas t iv e r posto completo, e nele for aplicado o

c ri tr io de mnimos quadrados, a soluo x* se r ponto de mnimo, salvo em
sistemas
" m al-condicio nados"
(ser
definido
adiante
os
termos
mal-
co n dic io n ad os e bem -c o n d ic io n ad o s), onde devido a erros de arredondamento

do computador a matriz b essiana pode to r n a r - se se m i-defn ida p o s i t i v a ou at
indefinida.
A eBta altura j se sabe que x c o rresponde ao ponto que minimiza a
funo res id u al f(x) de finida em (3.2) e (3.3). ReBta sa b e r se este ponto
ponto de mnimo local ou mnimo global.
N a s p r o p o s i e s 1 e 2 da se c o (2 .6 .4 ) ficou demonstrado que Be uma
funo f convexa em um conjunto convexo, ento, todo ponto de mnimo
local ponto de mnimo global. Em v irtude desse fato, de v e-se p rov ar que
f(x) convexa em um conjunto convexo.
Pro va: o R" de fato convexo, p a r a v e rif ic a r basta ligar dois pontos
q uais quer do conjunto por uma reta, que qualquer ponto tomado ao longo
d e ssa r e t a p e rte n c e r ao conjunto.
A convexidade de f(x) a s s e g u r a d a p e l a proposio 5 da
seco
(2.6 .2 .2 ), uma vez que a h essiana s e m i- d e f n id a p o s itiv a atravs do R n .

R e s t a p a ra concluir esta seco , s a b e r quanto da u nicidad e de x*. Isto
pode se r v e rif ic a d o p e l a p r o p o s i o a Beguir:
P r o p o s i o 1. Numa funo convexa f e C2, onde f : R >R, se existir

mais de um ponto de mnimo x , ento n e sta funo existiro infinitos pontos
de mnimo.
Prova:
Se Xj e x2 so pontos de mnimo ento toda combinao convexa de
xt e x2 ponto de mnimo, pois o conjunto dos pontos de mnimo como foi
visto na p r o p o si o 3 (se c o 2 .6.2 .1 ) um conjunto convexo.
32
3.2.1 Interpreta o geomtrica
A soluo do p ro b lem a de mnimos quadrados linear tambm pode ser

obtida por meio da geometria.
FIGURA
08 -
INTERPRETAO
GEOMTRICA
DA
SOLUO
DE
MNIMOS QUADRADOS.
A (Fig.08) mostra trs dos infinitos r esd uo s que podem ocorrer. Na

pr p r ia figura pode ser observado que o resduo de menor comprimento
aquele no qual obtido p e la projeo ortogonal de b em
V- . = | A x - - b | . Como qualquer vetor do tipo Ay e
9i(A), ou seja,
93 (A) V y e R n, e p a ra
que Ay se ja p e r p e n d i c u l a r ao resduo de comprimento mnimo, deve-se ter
< Ay,Ax* - b >= |Ay)jjAx* -b|cos90= 0 ,
ou
yTA TAx' - y TA Tb = yT(ATAx* - A Tb)= 0
(3.7)
como y pode se r esc olhido a rb ritrrio , ento

ATAx* - ATb = 0
A tAx * = ATb
que a mesma (3.4) encontrada anteriormente.
(3.8)
33
Quanto a questo de uniciade de x*. N a seco anterior foi visto que se

ATA for
definida
posi tiv a,
x*
nico
ponto
de
mnimo
da
funo
f(x )= ||A x-b | e se ATA for s e m i- d e f in i d a positiv a (extremo degenera do),

e xis tiram infinitos pontos de mnimo x* p a r a a funo f(x).
Por causa da soluo atr av s das de composies o rtogonais( resolvem
op r o b le m a
diretamente
sem
usa r
as
equaes
normais),
importante
d emons trar que po6to (A) e p o s t o ( A TA) so iguais.
P r o p o s i o 1.
Para qualq uer matriz A(mxn) de p osto(A)= k, o produto
m atric ial ATA resulta numa matriz si m t r i c a e seu posto tambm k.

Prova:
P rim eira parte - v e rif ic a o da si m e t r i a de ATA.
Se
At A
simtrica,
ento
(ATA)T= A TA.. pelas
propriedades
de
tran s p o si o da6 matrizes, tem-se

(AtA)t = A t(At )t = tA.
Segunda parte - v e ri fica o do p o sto ( A ) e p o s t o ( A TA).
Se for verificado que A e ATA tem o mesmo espao nulo, ento fica
de monstrado a igualdade entre o p o s t o ( A ) e p o sto ( A TA), j que a dimenso
do e spao nulo o nmero de colunas menos o posto, e tanto A como ATA
tem (n) colunas.
Se x est no espao nulo de A, ento Ax=0 e se x est no espao nulo
de At A , ento ATAx = 0. Como Ax=0
im p l i c a que A 0 = 0 , mostrando que x
est em ambos espaos nulos.

Outro caminho para a v e r i f i c a o s e r i a tomando o produto interno com
x T, assim
x t A tA x
||A x | =
= xt
x tA tA x
= 0 , o que nada mais que
0 , logo Ax=0.
Se po8to(A)=k=n , ento ATA no-singular e com isso inv ersiv el,

podendo assim fornecer uma soluo a lt e r n a t iv a para (3.8), ou seja,
34
x* = ( A TA ) 1 <ATb ) .
3.2.2
( 3 . 9)
P r o p r i e d a d e s da soluo de mnimos qu adra dos
N e s t a se c o se r feito o estudo do p r o b l e m a de mnimos quadrados

utilizando os su be spa o s envolvidos, a fim de t i r a r alguns res ultados
para a
anlise do problem a.
R e cord a n d o que o espao coluna de A
(91 (A)) ,c onsiste de todos os
v eto re s m -dim ensionais que so combinaes lin eares das colunas de A. O

subespao complem entar o espao nulo de AT ( x ( A T)), ou seja, contm
todos
os v e to r e s
m-dimensionais
que
so
ortogonais
as
colunas
de
( A Ty = 0).
A dimenso do espao coluna de A igual ao p o s to A J^ k e a dimenso
do esp ao nulo de AT igual a m-k.
3.2.2.1
C a rac te riz a o do timo residual
D ada uma matriz A, qualquer veto r no nulo c m-dimensional pode ser

expresso como a soma de um vetor cR e
91 (A) e um c* e x ( A T), ou mais
simplesmente
c = c R+ c N
(3.10)
onde:
cR = componente de c em 91 (A)
c* = componente de c em x ( A T)
com , c / c * = 0 .
Os componentes
cR
cn
A ca
=0 .
cR
c*
so nicos e satisfazem
para algum
cA e R n ;
35
M ais
facil
s e r ia
compr eender
a unicidade
dos
veto res
cR e
observando a figura abaixo.
FIGURA 09 - COMPONENTES DE UM VETOR EM 9t(A) E a ( A T)
cR a p r o j e o de c no espa o coluna de A e cN a projeo de c no

espao nulo de AT, desta man eira s existem um cR e um cw .
Embora cR s e j a nico, cN s s e r nico se as colunas de A forem
linearmente independentes.
Devido as p r o p r i e d a d e s que a norma-2 tem na g eo m etr ia euclidiana,
(3.10) pode ser e s c r i t a como:
(3.11)
Estas o b s e r v a e s
so de extrema r e l e v n c ia p a r a o problema de
mnimos quadra dos, uma vez que b e V
so veto res
m-dimensionais e esto
rela cio nado s com os 6ubespaos mensionados. D e sta forma, b e V podem ser
escritos como:
b = b R+ b N , com b R = A b A ;
(3.12)
v = vr + vw
,(3.13)
> com
vr
= A va .
36
E sc re v en d o o residual V em termos de V=Ax-b

v =
como
vr + vn
= A x - b R- b N
(3.14)
Ax 91(A), V x e R \ ento
vR = A x - b R e
v ) = - b N .
(3.15)
Observando (3.14), po d e -s e notar
que aosutrair Ax de b, no se altera
o componente de b que est no espao nul o de AT, assim
IIa * - bll! = IM l! = K l ! + K l! =Ia * - M ! + K l!
<3 16>
o que im p l i c a ser
IM I^ IM
(3.17 )
logo, minimizar j)Ax b c o r r e s p o n d e em minimizar | A x - b R| . Como

e W (A) , ento deve existir algum v e to r x n-dimensional tal que
b R=0 e d esta forma 0 resduo (V) atinge seu mnimo quando Hvfl* = ||bN
bR
Ax
Isto conduz a duas importntes c ar ac ter iza e s equivalentes , as quais

so:
x minimiza jjAx-b| se e somente se AT(Ax-b)=0 ;
x minimiza j]Ax b s e
e somente se A x = b R e jjAx b = | | b N||!
Um p r o b le m a de mnimos q ua dra do s dito ser compatvel se 0 res idual

timo ( b N)
zero , isso si g nific a exatamente que 0 vetor b esta^ no espao
coluna de A. Caso s e ja b N 71 0 0 p r o b le m a dito ser incompatvel.

i lu s tra r essas p r o p r ie d a d e s con sid ere o seguinte exemplo:
S e ja
1
A=
1 0
0 1
3
b=
5
1
Um v eto r pertencente ao espao coluna de A tem a forma
P a ra
37
c + c
1 1
1 0
L . 2J
0 1
p a ra qualq uer e s c a l a r c, , c2 .
1 1 0
1 0 1
[
sendo
que
o"
0
II
^0 .^0 .'
1
Um v e to r pertencente ao espao nul o de AT dado por
_d3_
d 2 =- d ,
0
e
d3 = -dj . Assim
para
um
e scalar
pertencente ao e spao nulo de AT ser (c3 -c3 -c3)T . Como
c3 o vetor
=
b R+ b N
entao
c +
i
5
1
c
_
+
i
-C3
_'C1
ou
1 1 1
1 0 -1
0 1 -1
cuja soluo p a r a
ct , c2 e c3 : Cj = 4 ? c2 = 0
componentes de b so:
b R =(4 4 0)T
e c3 = -1.
resulta em
x* = (4 4) t
os
b N =(-1 1 1)T .
A so lu o de Ax = b R , trar o timo r e s i d u a l
modo que
Assim
V = b N =(-1 1 1)T de
38
3.3
SOLUO DE COMPRIMENTO MNIMO DO PROBLEMA DE

MNIMOS QUADRADOS LINEAR
Foi visto anteriormente que no sistema Ax=b incompatvel, a soluo

de mnimos quadrados o b tid a a tra v s da6 equaes normais de mnimos
qu adra dos, cuja uniciadade s se v e r i f i c a r se A tiver posto completo, caso
co n tr rio t e r - s e - a infinitas solues.
O estudo desta seco t r a t a exatamente de quando A no tem posto
completo e busca escolher dentre as infinitas solues existentes, aquela que
tem menor comprimento na norma-2.
O p ro b lem a pode ser formulado como:
Dado
R mxa,
R m , sendo posto(A)<n
m i n { | W l 2: IA x - b ^ A x - b
V x e R n}
(3.18)
veR *
Uma vez formulado o p ro b lem a, se r fornecido alguns conceitos para

f a c i l i t a r a compreenso da soluo do mesmo.
3.3.1 P r o je e s
D e fin i o :
Se ja E um esp ao v e to r i a l , E e
E"
dois subespaos
v e to r i a i s complementares em E e P a p r o j e o sobre E p a ra lelam e n te a E M. A

imagem por P de um ve to r b de E denomina-se p r o je o de b sobre E*
p ara lelam e n te a E " .
P a rtic ula rizando a definio geral
S e ja R = E , S=E* e
acima
S1 = E " , onde
Sx
para:
pode ser melhor rep resen ta d o
p or
S1 = {t e R / t Ts= 0 V s
Uma vez que
S).
S e Sx so com plementares em R m , ento
39
S + S1 = R m
S r\ S--={ }.
Qualquer ve to r b m-dimensional pode ser rep re senta do como b = b 8 +b j ,

,onde b g e S
b^
A p r o j e o P(nun)
S1 .
sobre S , denotado
por
Ps
a n ic a matriz
que
possui as trs seguintes prop rieda des.

i)
Qualquer vetor do subespao S pode ser esc rito como combinao
linear das colunas de P3 , isto , b s e S se e somente se b s = Ps v, p a r a algum v

g
R m;
ii)

m i
P.T= P S
2
Ps = P
( a matriz Ps sim trica);
( a matriz Ps idempotente).
O signific ado d a projeo Ps conforme definio, diz que p a r a qualquer

vetor b m-dimensional, a a p licao Psb = b s e P5b5 = b5
A p r o j e o sobre o complemento ortogonal
eainda P5bs l =0.
de
S pode ser obtido
facilmente , fazendo
b = b + b sl
b^ = b - b , ,
mas
( I - P 5)b = b - P 5b = b - b s = bjX , logo conclui-se que a matriz (I-P) a

pr o je o sobre
S1 , a qual tambm cumpre com as trs p r o p r i e d a d e s acima
descritas.
3.3.1.1
P r o je e s rela cio n ad a s ao p r o b le m a de mnimos quadrados
Atrav s da seco (3 .2 .2.1 ) foi visto que x minimiza ||Ax-b|

somente se Ax = bR e
se e
V = b N , sendo b R o componente de b em 9 (A) e b N o
componente de b em %(AT).
Em v i s t a disso, pode-s e dizer que existe uma p ro jeo P sobre o espao
coluna SR(A) que pr oduz
b R e uma p r o j e o ( I - P ) sobre
x ( A T) que produz
*>*
Tais p r o j e e s podem ser facilmente obtidas. Lembrando que
x =Â7AylA Tb
Ax* = b R , ento:
40
P*(A) = A(A tA ) 'A t
P>r(A,) = I - A ( A tA) A t ,
= ^R > f (A )K = ^R
assim
e
3.3.2 Inversas g e n e r a liz a d a s e p se u do-inversa
De fine-se B como sendo a inversa de uma matriz qua dra da A
quando
AB=I=BA, onde B de notada por A'1.

Existem v r i a s condies equivalentes p a ra a ex ist n cia de A'1 , uma
delas que det(A)*0.
Quando A q u a d ra d a com det(A)=0, ou A retangular,
a definio
usual acima de in versa no pode mais ser usada, dando lugar a um novo
conceito de in versa, as chamadas inv ersas g e n e r a liz a d a s .
Usando
uma
in versa
g e n eralizada
G,
sist em a
Ax=b
pode
ser
representado explicitam ente por x=Gb mesmo quando no existe a inversa

ordinaria A'1. A i n v e r s a g e n eraliza da G no nica, existindo, dependendo
de suas p r o p r i e d a d e s denominaes como: inv ersa a esquerda, inversa a
d ireta e outras v e r GEMAEL (1977).
Em p a r t i c u l a r existe uma inversa g e n e r a l i z a d a capaz de r es o lv er o
problema (3.18). E sta nica, sendo tambm a n ic a que satisfaz totas as
condies de Penrose (LAWSON e HANSON 1974)
i)
AGA=A ;
ii)
GAG=G ;
iii)
(AG)T= AG ;
iv)
(GA)t = GA ;
denotada p or A + e conhecid a p or pse udo-inversa . Assim a soluo de (3.18)

pode ser r ep re se n ta d o por
x = A"T>
41
3.3.3
Interpretao ge om tric a da soluo
de comprimento
minimo
p r o p r i e d a d e s da pse u do -in v ersa .
Um dos caminhos p a r a entender o efeito da p s e u d o - i n v e r s a atravs da

geometria, o qual se r visto a seguir.
Lembrando que x e R pode se r eBcrito como
x = xR+xN ,onde
xR o
componente de x em 9 t ( A T) e xN o componente de x em * (A ).
Conside rando a soluo de comprimento .mnimo como x' = x R+xl
sendo 9 t ( A T) e x ( A ) complementos or togonais, o teorem a de pit gora s pode

ser aplicado usando da norma-2. Assim,
Donde conclui-se facilmente que a soluo de comprimento mnimo

(min I x ^ ), equivale em tornar igual a zero o componente a rbitrrio
espao nulo de A. D e sta feita, a p r o j e o
mnimo ( bN ) e Ax = b R
do
P*(A)b = b R = Ax* , fornece resduo
A(xR+xJ,)=bR ,
tem
soluo
de
comprimento mnimo quando AxR= b R , donde xR = A*bR.

Esse exatamente
o efeito
da p se u d o - i n v e r s a
quando
se
escreve
x = A*b, ou mais claramente, sua a p li c a o em b corresp on d e ao efeito

conjunto de p r o j e t a r b em 9t(A) obtendo b R (fornece o resduo mnimo),
depois
buBca o
componente
de
que
esta
inteiramente
em
9 t ( A T)
desprezando a p a r t e a r b i t r r i a de x* em x ( A ) , fornecendo assim a soluo de

comprimento mnimo
x*. STRANG ( 1 97 6 )
faz uma ilustrao
p a r a essa
interpretao.
A p s e u d o - i n v e r s a tem vriaB p r o p r i e d a d e s importantes, algumas delas
so listadas abaixo:
i)
Se
A(nv>) ento
produz um x R";
A^.m) ,
A+ quando a p lica d a a um vetor b R
42
ii)
0 espao coluna de A + o espao linha de A, e o espa o linha de
A+ o espao coluna de A, im plicando ser p ost o(A)=posto( A+);

iii)
A p se u d o - in v e r sa de A+ a p r p r i a A;
iv)
Em geral AA+* I , uma vez que A pode no ter a Ad(inversa
d ireita ), mas AA+ sempre a p r o j e o PK(A) ;
3.3.4
v)
(ATr = ( A T ;
vi)
Se A e
R nxn e p o sto(A )= n ento A+ = A.
Determinao da p s e u d o - i n v e r s a atravs da de com posio de valor
singular
Existem vrios caminhos p a r a determinar a p se u d o -in v ersa , em geral

atravs de decomposies e em p a r t i c u l a r com quase unanimidade entre os
autores, atravs da decom posio de v a lo r singular (SVD),
a qual ser
d e s c r i t a a seguir.
Definio: Seja A e R raxn e k=min{m,n}. A d eco m p o sio de valor

singular de A A=UDVT, onde U
or togonais,
R mxra
R nxn so matrizes
R m,n d e fin id a por d11 = cri ^ 0 , i = l , . . . , k , 0^ = 0, i*j. As
quantidades <7...,<Th so chamados v a lo r e s singulares de A.
P r o p o s i o 1:
elementos diagonal
Se ja A
R mxn. Ento a SVD de A existe, os
o[ de D so as raizes
quadradas no-n egativas dos
au to valo res de AAT se m^n, ou de ATA se m>n , e as colunas de U e V so os

autovetores de AAT e ATA, respectiv am ente. O nmero de v a lo r e s singulares
no-nulos posto(A).
Prova: A p rova da e x is t n cia da SVD de A pode ser enco ntrad a em
(LAWSON e HANSON 1974). O res tante segue; uma vez que AAT = UDDTUT e
43
At A = VD tDV t tem-se (AAT)U = U(DDT) , (ATA)V = V(DTD). Assim, se Uj e Vj so

respec tiv a m e n te as j-s im as colunas de U e V , ento:
( A A T)Uj=/lj Uj , j = l , . . . , m ;
(ATA)Vj=^ Vj , j = l , . . . , n ,
onde os X}3 so os elementos da diagonal
de
DDT e DTD , Xj =(<Tj)2 ,
j = l ,. ..,m in { m ,n } ; e X- = 0, j=min{m,n} + l ,. . ., m a x { m , n ) . Assim a multiplicao

por uma matriz no-sigular no muda o posto, posto(A )= p o sto (D ), o nmero
de <jis n o-nulos.
P r o p o s i o 2.
Seja A
R raxn com SVD A = UDVT, com U,D,V como
d e fin id a acima. S e j a a p se u do -inv ersa de A d e fi n i d a como

A+ = VD^7 , com
1/ 0 ~ i,
/ d:
i> 0
i= 0
D += S
cC =
D+ e R nxw . Ento a nica soluo p a ra o p r o b le m a (3.18) x= A*!).

Prova: A p a r t i r de A = UDVT o p r o b l e m a (3.18) equivalente a
m in
xeK
fazendo
l |v H
1 !D v T * - ' u H
DVTx - U Tb| V x e R }
(3.19)
z = V Tx vem
D z - U Tb
k K
Seja
Vz e R n}.
(3.20)
k o nmero de cr^ no-nulos em D. ento
| D z - U Tb f = (<7lZ,-(U Tb),)!+ f((W>)i)'

M
i-h + l
( 3.2 1)
44
0 qual minimizado p or algum z tal que
^ =(UTb)Jeri , i = l , . . . , k .
todos z, Hzljj minimizado p a r a aquele no qual
Dentre
z {=0 , i= k+l,...,ra , como
z = D +U +b x=Vz , ento, x = VD+UTb , logo x = A l o .

Esta p r o p o si o , alm de m ostrar uma maneira p a r a obter a
inverBa,
Berve p a ra d e m osntrar
so lucio nado o que at aqui
3.4
que
atravs
dela
o problema
pseudo(3.18)
se tinha afirmado.
O PROBLEMA DE M N IM OS QUADRADOS COM PONDERAO
Nas cincias o b s e r v a c i o n a i s a pondera o muito comun, uma vez que

tais pesos podem ser obtidos a tra v s da p r p r i a p rec is o dos instrumentos de
m edidas utiliza dos, o que evidentemente traz maior confiana ao trabalho que
e st sendo realizad o. Porm, como este trabalho no b usc a lig ao direta com
a t e o r i a das o b se rv a es, o p r o b l e m a somente tratado quanto a soluo.
3.4.1 Tratamento do p rob lem a
O p rob lem a de mnimos qu adra dos ponde rado pode se r tratad o por dois
cominhos diferentes;
um de le s p o n d e ra r todas as equaes e p ro ce d er da
m an eir a usual. O outro m inim izar o comprimento do r e s d u o segundo uma

de terminada norma ( d e r i v a d a a p a rt i r da norma-2).
Por ser mais usual o p r im e ir o caso, se r iniciado p or ele.
Considere o sistema Ax=b definido como:
Cuja soluo x ( A TA ) l ATb, a m d ia aritmtica dos elementos de b ,

assim
Mu ltip lican d o ambos os lados de (3.22) por um e s c a l a r diferente de

zero,
w,
o que
c o rresponde
que
todas
as
equaes
tiveram
a mesma
T
w 1
1
1 1
1___ 1
po ndera o, logo (3.22) f icar:
b11"
b2
(3.24)
_b 3_
donde com uma sim p lificao de w, v o lta r ia - se novamente em (3.22) tendo

como soluo (3.23).
Isto serve p a r a m ostrar que se todas as equaes forem
igualmente, a soluo no so f r e r mudana.
Uma man eira geral de v e r isso e sc r e v e r (3.24) na forma
b
1
0 w 0
0 0 w
w 0 0
1 0 0
0 1 0
0 0 1
1
2
b
_ 3_
1 0 0
b1
0 1 0
b2
0 0 1
ou
( 3 .2 5)
Lb.
que sim plificand o r es u lta

b1
(3.26)
L b 3.
que o sistema original.
ponderadas
46
Suponha
agora
que
cada
equao
em
(3.22)
seja
p o n d e ra d a
diferentemente, ou seja:
w 1
1
w
2
W
_ 1
wl b i
1 1
vb,
H -
cuja soluo se r
(3.28)
que a mdia po ndera da, onde os pesos so os w^2. A soluo x w, neste caso
se ria maior influ enciada pelo maior dos \vf3, resulta ndo um va lo r diferente
para x w daquele obtido em (3.23).
Uma forma mais comun de e s c r e v e r (3.27)
0 0 w.
w 0 0
i
0 w 0
2
0 0 w
L_
aJ
1
b2
(3.29)
1___
0 w 0
II
1
X
w 0 0
a qual no pode se r sim plificada como no caso anterior.

Tanto
(3 .25 )
como
(3.29)
podem
ser
rep re se n ta d a s
numa
form a
c ompactada como:
WAx=Wb
Generalizan do
(3.30)
o
problem a
usando
as
R n, b
dimenses,
(3.30)
seria
dimensionada, onde:
W e
R , A R mxn, x
R m.
Suponha se r A quadrada e n o-sin gu la r, ento (3.30) ter como soluo
xw= ( W A ) Wb = A 1b.
(3.31)
47
Uma vez que W Bempre qua dra da e in versiv el, tal pon d e ra o no
m udaria em nada a solu o, mesmo sendo diferentes os v a l o r e s da diagonal
de W; infelizmente esse no o caso geral. No caso geral, A retangular com
mais linhas que colunas e no po ss ui a inversa o r d i n r i a A'1, mas sim a
pse u d o -in v ersa A+, logo
xw=(WA)+Wb
(3.3 2)
a Boluo de (3.30).
Olhando p a r a (3 .32), porque no fazer
inv ersive l a
Boluo
(WA)+= A +W + e como W
de (3.30) f i c a r i a
xw = A+b
(3.33)
e a ponde rao novamente no inf lu e n c ia ria na soluo.

Acontece que Bto no v e rd a d e e pode ser visto quando se compara
(3.23) e (3.28). O que de fato oc orre que
em geral ( W A ) V A +W + como
ficou demonstrado acima, po is x ^ x , quando w ^ w ^ j .

P a r a fechar esBecaminho, p o d e -s e ge neralizar ain da mais o problema.
Considere W em (3.31) s im tr ica ,
onde
os elementos
f o r a da
diagonal
r eprese ntam o grau de d e p en d n cia entre as equaes.

J foi visto
anteriormente
que
em qualquer
s iste m a
inconsistente
b < W(A) e a soluo o b t id a r e s o lv e n d o p a ra x o sistema:
AtAx = ATb .
(3.34)
P a r a o caso do sistema (3 .3 1 ) , se Wb W(WA) , a so lu o se r obtida

p e lo mesmo caminho e p o d e r se r t i r a d a a pa rtir do sistema
ATWTWAxw= ATWTWb.
Denominado o produto W TW p or P, tem-se
(3.35)
48
ATPA x w = ATPb
a
qual
r e p r e s e n ta
(3.36)
as
equaes
norm ais
de
minimos
quadrado s
com
ponderao.
O segundo caminho p a ra tratar do p rob lem a de mnimos quadrados
com p o n d e ra o uBar uma nova definio p a ra o comprimento do vetor

residual.
Se ja W
R *1 uma matriz n o -s in g u la r e v um ve to r m-dimensional.
Denotando p o r x o produto de W por v tem-se

x=Wv.
O comprimento euclidiano de x obtido fazendo
fx]^ = v/< x,x> = V< Wv,Wv > .
(3.37)
C on side re agora uma nova norma p a r a vetores denotada p or |]-j

d efinida como
IM l= V < w v ,w v >
(3.38)
D a mes ma forma, podemos definir um novo produto interno, ou seja:

<x,y >w=< W x,W y>
(3.39)
onde: x e y r ep resen ta m vetores quais quer de iguais dimenses.

E sc re v e n d o novamente (3.38) atr av s do novo produto interno
(3.40)
sendo que a nova norma obedece as mesmas trs cond ies das demais
0
]i)
IHL >0 , v x * 0 ;
tem-se
49
IM L ^ IW U W l-
D e sta m a n e ir a fica g e n eralizado o p r o b le m a de mnimos quadrados

linear, podend o a gora ser formulado como:
m in I M t = m i n l l Ax- b = m in < v >v > w
(3.41)
icE1
R ele m bra nd o que a p e rp e n d i c u l a r i d a d e de dois veto res acontece quando

o produto interno deles nulo, ento x e y so perp e n dicu lare s quando
< x , y > w= 0
Voltando ao pro b lem a original de mnimos quadrados. L tinha-se que o
timo r e s id u a l acontece quando b p r o je ta d o ortogonalmente no espao
coluna de A. Aqui se r o mesmo s que o comprimento do resduo deve ser
medido p or uma no v a e s c a l a
( |j Jw ) e a p e r p e n d i c u l a r i d a d e por um novo
produto interno ( < , > * ) .

Denotando p or pw=Axw a p ro jeo ortogonal de b em 91 (A) medida por
< > , q ualq uer ve to r Ay e 91 (A) deve ser p e r p e n d i c u l a r a b-Axw . Assim
< Ay,b - Axw >w= 0
(WAy)T(Wb - WAxw) = 0
ou
e
yT(ATW TWb - A tW tWAxw)= 0
V y * 0, im p lica que
A TW TWb = A tW tWAxw , denotando
W TW - P , r e s u l ta
A TPAxw= A fPb
(3.42)
que a mesma equao normal obtida anteriormente.

Como o b s e r v a o final cabe dizer que a matriz P conhecida nas
c i n cias o b s e r v a c i o n a i s como matriz dos p e so s, a qual corresponde a inversa
da matriz de c o v a r i n c ia das o b se rv a es m u lt i p li c a d a p e la v a ri n c ia da
unidade de peso.
50
4.
ANL ISE
DO
CONDICIONAMENTO
DO
PROBLEMA
DE
M N IM O S Q U A D R A D O S
O problem a
do
matemtica aplicada.
mal-co ndicio namento

O corre
tanto
p a ra
um p r o b l e m a
sistemas
l in e a r e s
crucial
quanto
da
para
sistemas n o -linerares, principalm ente devido a limitaes da p r e c i s o , seja

dos meios de formao do si stema,
s e j a dos meios de obteno da soluo.
Por exemplo:
o sistema forem
se
os
dados
para
c olhid os
atravs
de
o bse rva es, haver lim itao na p r ec is o dos equipamentos e na acuidade

visual do operador. Se no o c o r r e r tal problema neste estgio, ele poder
surgir na soluo do sistem a (formado a partir de um determ inado modelo),
uma
vez
que
c alcu lad ora s
computadores
tem
lim ita o
de
preciso
numrica.
Neste trabalho foi d e sp r ez ad o o fato dos dados se rem obtidos atravs
de observaes. No entanto, f i c a a in d a a parte concernente a limita o de
p r e c i s o dos computadores.
P a r a analis ar o condicionam ento do p rob lem a de mnimos quadrados,
vantagem primeiro
a n a l is a r
o condicionamento
de
sitem as
de
equaes
lin e are s consistentes p a r a id e n t i f i c a r as diferenas com o p r o b l e m a de

mnimos quadrados.
4.1
ANLISE DO CONDICIONAMENTO DE SISTEMAS DE EQUAES

LINEARES CONSISTENTES.
A anlise p a ra o condicio nam ento de sistemas lin eares s e r d i v id id a
51
em duas p a rte s; a p r i m e ir a p a ra quando A no-singular e a segunda p a r a
quando A retangular.
4.1.1
Sistema consistente com matriz in v ers v e l
S e j a o sistem a
Ax=b
(4.1)
onde :
A e R 1
x,b e
R"
e post o(A)=n , ento a soluo pode se r e s c r i t a como:

x = A"*b
(4.2)
ou atravs do determinante e adjunta, como:

_ _ Adj(A)
x- n ^ r
>
Em (4 .3 ), p o r imposio de que po sto(A )= n , im p lica que |Aj*0 ou que

i * 0 , i = l , . . . , n .
Por d e finio, quando |A|=0, s ig n if ic a que a matriz A singular e que x
tem infinitas so lues ou que o siste m a incompatvel. Geomtricamente
falando;
Suponha primeiramente
sistem a
incgnitas, ento as retas formadas no plano

so breporia m p a r a o
de
duas
equaes
a p a rt ir das equaes
duas
se
caso indeterminado ou se riam p a r a l e l a s p a r a o caso
incompatvel.
Suponha
a g ora
ser
o sistema form ado
por
trs
equaes
e trs
incgnitas, uma equao linear em duas v a r i a v e i s rep r e se n ta um plano no R 3.

P a ra o caso indeterminado, os trs p lano s se in te rce ptariam atravs de uma
linha comum e qua lque r ponto d e ssa linha s e r i a soluo p a r a o sistema. Para
o caso in co m patvel, qualquer dois p lan os se in te rce ptariam ao longo de uma
linha p a r a l e l a a linha de interseo com qualq uer outros dois planos e desta
52
forma
no
h a v e r ia
nenhum
ponto
em
comum
para
os
trs
planos
simultaneamente.
Suponha agora que |A| s e j a prximo
de zero
e imagine
que
isso
si gn ific a ser as linhas ou colunas de A quase linearmente dependentes. Se

fosse penssa do nas duas retas, essas se riam quase p a r a l e l a s havendo assim
uma di ficuld ade muito grande em de termina r o ponto de interse o das duas
retas e qualquer erro de arredondamento na busca da soluo do sistema
t r a r i a consequncias na determinao exata d e s t a interseo.
Olhando por esse lado, a n a lis a r se um sistem a merece ou no confiana
s e r i a muito simples, ou seja, se o determinante prximo de zero a soluo
do sist ema no confivel.
Relembrando que o determinante de uma matriz q u a d ra d a triangular ou
de uma matriz esca lar dado pelo produto dos elementos de sua diagonal
p ri n c i p a l ( p a r a este caso so
seus au to v a lo re s). F aa, ento o seguinte
r ac io cn io ; suponha uma matriz q u a d ra d a e s c a l a r onde os seus elementos da

diagonal so: a^ = 1(T10 V i=j , o det(A)=10'10n que praticamente zero e o
menor auto valo r A ^ I O 10 .
Atravs d e ssa simples anlise p o s s v e l afirmar que este sistema no
merece confiana?
Se a r e s p o s t a for sim, experimente m u lt ipli c ar todas as
equaes por uma constante IO10, o c o r r e r i a que a matriz dos coeficientes das
incgnitas se t o rnaria identidade. Sa b e -se da lgebra lin ear que a matriz
identidade forma a base
cannica do
e spao
que g e ra sendo
portando
perfeitamente c ondic io nada (todas as linhas e colunas ortogonais umas com as

outras). D e sta forma uma sim ples ad eq u ao de e sc a la t o r n a r i a um sistema
m al-condicio nado
(a
soluo
no
merece
confiana)
em
um
sistema
perfeitamente condicionado.
Em resumo; to da e ssa di sc uo foi no sentido de m ostrar que nem o
determinante
nem
menor
a u to v a lo r
so
condicionamento de um sistema de equ aes lin eares.
bons
indicadores
do
53
Uma definio um tanto g r o s s e i r a p a r a
o condicionamento
de um
sistema pode ser enunciada como:

Um sistema de equaes
lin e a re s
dito
ser m al-co nd ic io n a d o
se
"pequenas" va ria e s nos elementos do termo independente ou nos elementos

da matriz
dos
coeficientes,
g e ra r
uma
" grande"
v a ria o
na
soluo
c om parada com a soluo no p ertubada. O sistema dito ser
bem-
condic io nado se essas v a ria e s no p ro v o ca rem d isc r e p n c ia s significativas

entre as solues.
4.1.1.1 V aria o no termo independente.
Fazendo uma variao no termo independente de 5b, o sitema Ax=b

pode ser escrito como :
A ( x + 5 x ) s(b+5 b)
(4.4)
operando vem
Ax+A5x=b+5b
subtraindo b de Ax re sulta
(4.5)
D e se ja - se sber qual o v a lo r mximo que o erro rela tiv o da soluo
||<3x|j/|jxj pode alcanar. Para conhecer isso , ||<x|| deve ser tanto maior quanto
p ossiv e l.
P a r a ||x|| ser mximo b a s t a a p l i c a r em (4.5) uma norma compatvel
(tendo em mente a definio de norma, e q .(2 .8 )), ou seja
(4.6)
e p a r a |jx|| mnimo
INI* M M
donde
(4.7)
54
H 2 iiA i r
(48)
De (4.6 ) e (4 .8) res ulta
4.1.1.2
V a ria o na matriz dos co eficiente s das incgnitas
P a r a uma v a r i a o em A de 5A sem mudar o p osto(A ), Ax=b torna-se

(A+5 A ) ( x + 5 x ) = b
(4.10)
Ax+Afi x+5 A(x+5 x)=b
(4.11)
subtraindo Ax de b tem-se:
Afix+5 A(x+fix )=0
(4.12)
onde
. = - A ' 1A(x + c) , assim p a ra qualq uer norm a subordinada
jl&l^ljAÎJlIAjllx+dxJ
x+
U
iA " l i A | 1 '
m ultiplicando e div id in d o o segundo membro p or IlAll re s u l ta

||x+<fc||
11
|A
Chamando jjA'1jjjjA| = C(A), ento (4.9) e (4.13 ) tornam-se:
Z C (A ? L - J
N
xii
m
11 C ( 4 ) i i
fx+tj
||A j|
(4.1 4)
(4.15)
A quantidade C(A)" chamada n m e r o de c o n d i o de A e fornece a

mxima am p lia o que o erro r elativ o da soluo pode sofrer baseado na
mudana r e l a t i v a do vetor b ou da matriz A.
55
O v a lo r do nmero de condio C(A) vai depender da norma utilizada,
mas p e la e q uiv al n cia na magnitude das normas, os v a lo r e s entre os nmeros
de condies so comparveis. Existe tambm certas denominaes p a ra o
nmero de condio dependendo da norma utilizada, ver LUGNANI (1975).
Facilmente pode se r demosntrado que o nmero de cond io C(A)
maior ou igual a unidade, po is p a r a qualquer norma de matriz subord inada a
matriz I
tem norma igual a 1. De fato, como
consistente | A' a J
I = A ' ]A e p a r a uma norma
j||A|| , logo C ( A ) l .
Em v ista de que a matriz I perfeitamente b e m -c o n d ic io n ad a e seu

nmero de condio
C(I)=1 , pode-s e por analogia de duzir que toda matriz
b e m -c o nd ic ion ad a possui o nmero de condio prximo da unidade.

Observando (4.14) e (4 .1 5 ), pod e -s e tir a r duas importntes concluses,
quais so:
a)
Se for conhecido o nmero de condio da matriz A p o d e -s e saber qual
se r o limite superior que o erro r e la tiv o vai alcanar em funo da variao

r e l a t i v a em A ou em b.
b)
Pod e -se num sistema e s t ip u l a r qual se r o valo r mnimo que o nmero
de condio da matriz A pode ter, a p a rtir do erro re l a ti v o e da variao

r e l a t i v a na matri A ou veto r b.
Uma outra forma de i d en tific ar se a matriz m a l- c o n d ic io n a d a
v e r i f i c a r se p a r a x d ife r e n te s m as de mesmo c o m p rim e n to , o comprimento do
ve to r Ax v a r i a "dramaticamente". Se essas variaes forem "dramaticamente
diferentes" ento a matriz A m al-co nd icio n ad a. Se a matriz dos coeficientes
das incnitas de um sistema de equaes lineares m al-co n d ic io n a d a, ento o
sistem a dito ser m al-condicio nado.
4.1.2
Caso geral do condiciona mento de sistemas consistentes
S e j a o sistema
56
Ax=b
(4.16)
onde
6 R mxn } com po sto ( A ) n ;
x e
R n;
b e
R m , com b e
91 (A).
Este p r o b l e m a s difere do p ro b l e m a de mnimos q ua dra dos p or se r

e
91 (A) e uma r p i d a olhada em seu condicionamento no p o d e r i a p a s s a r em
branco, j que o passo antecedente a anlise do p r o b le m a de mnimos

quadrados.
Uma vez que p o s t o ( A ) n , a soluo de comprimento mnimo de (4.16)
ser:
x* =
(4.17)
onde: A+ a p s e u d o - in v e r sa de A.
4.1.2.1
Variao do termo independente
Considere
Suponha que
2b um vetor m-dimensional de pertubao do veto r b.
b+Sb mantenha a c o m p a tibilid a d e de (4.16) , ento o novo
sist ema s e r
A(x+fix)=b+Sb
(4.18)
subtraindo Ax de b re sulta
<&.= A +<5b
(4.19)
Considerando as desig u ald ad es
(4.20)
e
( 4 .2 1 )
com uma sim ples combinao r e s u l t a
Que o mesmo resultado obtido na se c o an te rio r
s que agora a
soluo a de comprimento mnimo (ob viamente se A tem posto completo a

soluo nica) e o nmero de condio obtido com auxilio da
pseudo-
inversa.
4.1.2.2
Pe rtub a o na matriz A
Suponha ser SA uma matriz com mesma dimenso de A e que A+5A

tenha o mesmo esp ao coluna de A. Ento o novo sistema se r
(A+2 A)(x+ 5 x)=b
(4.24)
de maneira que
5 A f ix - b
=>
<5k=\.V
(4 25)
Um procedimento anlogo ao da seco an te rio r conduz a
11 C ( A ) L f
jx* + &|
(4.26)
sendo x* a soluo de comprimento mnimo e C(A)= |A+J||A|| .

As in te rp reta e s de tais condies so idnt icas ao da seco (4.1.1),
apenas com a o b s e r v a o de que um sist ema pode ser m al-condicionado pa ra
quando posto(A)=k mas pode no ser quando p o s t o ( A ) = k - l .
58
4.2
ANLISE DO CONDIC IONAMENTO DO PROBLEMA DE MNIMOS

QUADRADOS LINEAR
Foi visto acima v r i a s m an e ira s p a r a iden tificar se um sistem a de

equaes lineares consistente m al-co nd icio n ad o ou no.
Primeiramente
a tr av s das v aria es na matriz dos co eficien te s das incgnitas e no veto r de

termos independentes, depois a tr a v s da magnitude do nmero de condio da
matriz dos coeficientes das incgnitas e por ltimo atravs da a p li c a o de A
v e to r e s diferentes de mesmo comprimento.
O pro blem a de minimos q u a d ra d o s um pouco mais complexo de ser
a n a l is a d o , pois tanto as p e rt u b a e s quanto o nmero de c o ndi o deixam
falhas ( a no ser que s e ja form ado o siste m a de equaes normais).
Quando
se ut iliza
o sistema
compativel
formado
p e la s
equaes
no rm ais p a r a reso lver o p r o b l e m a , o condicionamento f i c a na ordem do

quadra do com rela es ao s iste m a original.
A seguir se r visto d e ta lh e s de tais afirmaes.
4.2.1 Sistemas de equaes norm ais
J se sabe que qualq uer so lu o do p ro blem a de mnimos quad rad os

tambm soluo do sistema de e q u a es normais
ATAx = ATb
(4.2 7)
sendo este sempre compatvel (o v e to r ATb e 9 l ( A TA)).

A anlise p a ra ver o condic io nam ento j foi feita no c apitu lo anterior,
b a s t a encontrar o nmero de co n di o C(A TA), se este for e le vado com
relao
a unidade quase certo
e qu a es normais.
o mal-condicionamento
do
sistema de
59
O que deve ser mostrado agora a desvantagem em se r e s o l v e r o
p ro b lem a atravs das equaes normais quando comparado com os mtodos
que reso lv em o p r o b le m a diretamente do sistem a original.
4.2.1.1. O condicionamento quadrado das equaes normais
O nmero de condio de uma matriz A definido como
C(A)= |A-J|A|
(4.28)
p a ra uma norma consistente tem-se
!ATA | k | |A T||||A
c (a ta )=
, logo
||(a ta )1||| a ta I | a -1 Hâ 1)"1||| a t | | a ||=
c (a )1
C(AtA)^C(A)2.
(4.2?)
(4.30)
E xemp lo :
Seja a matriz A definida como
1.00001
1.00001
usando trs digitos sig nificativos, os v a lo r e s si ngulares de A sero

<7j = 2,45
<y, = 5.77.10"6, a norma e u c l id i a n a ser
J|A||2 2,45 e o nmero de condio se r
C(A)= - = 433102.25.
<72
A matriz A TA arr e do n dad a na quinta c asa decimal se r
60
AT A
3.00002
3.00002
3.00004
seus valre8 singulares (au to va lore s nesse caso) sero
= 6,00 e
a 2 = 3,33.10'11
sua norma e u c lid ia n a se r
A ta |, =6,00 e o nmero de condio se r
C(ATA)=-^- = 1,80.10.
<r2
No exemplo a cim a mostrou-se atravs da norma-2 que o nmero de
condio de ATA aproximadamente o quadrado do nmero de condio de
A.
Se
sistem a
original
fosse
compatvel,
anlise
atravs
da
s e c o (4 .1 ) mostra que se este fosse moderadamente mal-condiciona do a

formao das equaes normais o deixariam terri velm en te mal-condicionado.
Esse o p ri n c i p a l motivo de se evitar r e s o l v e r o p ro b lem a de mnimos
quadrados atravs
da
equaes
normais
quando
no
se tem certeza do
condicionamento do sistem a a-priori.

O mesmo exemplo pode ser usado p a ra mostrar a p e r d a de informao
p e la formao do produto ATA.
Atravs dos v a lo r e s singulares de A po de -se ver que A tem posto
completo
em
se
utilizando
um
computador
que
tenha
unidade
de
arredondamento u = IO"8, mas a matriz ATA com e ssa p r e c i s o sigular, para

comprovar basta olhar p a ra seu menor v a lo r singular. Uma outra forma de
checar c alcular seu determinante que se r zero, pois o valo r exato na
posio (2,2) 3 ,0 0 0 0 40 0 00 2 u ltrapassando a p r e c i s o u.
61
A seguir ser feita uma te n t a t i v a em fixar um va lo r p a ra o nmero de
condio
de
A p a ra r e s o l v e r
com
segurana
o p ro b lem a
de
mnimos
quadrados atravs das equaes normais.

Supondo primeiramente se r a unidade de arreondamento do computador
u, con si derando o nmero de con d i o na norma-2, ento
C(A)=
^min
e
, donde quando
crmin -> 0
=>
C(A) -> oo
A posto deficiente (o smbolo p a r a esse caso l-se " tende para").

O nmero de condio de ATA
C(ATA)=
(4.31)
^rair
^min
A singularidade de ATA vai se r afetada somente p e l a pequenez de

e p a r a ser reconhecida a n o -s in g u la r id a d e deve ocorrer que
>u.
Sendo
assim, deve-se ter
C(ATA ) < u
(4.3 2)
e p a ra o pro b lem a original
C(A)<-L
vu
(4.33)
P a r a o exemplo anterior onde C(A)=433 102,25 s p o d e r ser r e s o l v id o

atravs das aquaes normais se for utiliza d o um computador com unidade de
arredondamento u = 1012, pois (4 .3 3 ) f i c a r i a
4 .2.2
433102,25<1 000 000.
Anlise do condic io nam ento do problema geral
Foi visto acima que quando o p r o b l e m a de mnimos quadra dos tratado

atravs das equaes normais a a n lis e pode ser feita com base no nmero de
condio
de
ATA
que se r sempre da ordem do quadrado do nmero de
62
condio
A,
isto
sugere
usar os mtodos
baseados
em decompo sio
ortogonal,
como o QR e o SVD. Suponha ain da que mesmo usando tais
mtodos d e se ja -se conhecer o comportamento do problema, ento, qual tipo

de
anlise
deve-se
condicionamento
do
proceder
p a ra
problem a?
dete ctar
se
exatamente
existe
esta
ou
no
anlise
mal-
que
se r
apre se ntada n e ssa seco.

A
parte
introd utria
caracterizo u-se
timo
p a ra
r esid ual,
tal
anlise
seco
foi
(3.2.2.1).
anunciada
L
foi
quando
visto
que
dependendo da direo que o vetor de pertubao, 5b, tomar, ou ocorre

variao s na soluo ou s no residuo.
anlise
com
mais
detalhes
Aqui s e r dada continuidade nessa
incluindo
tratamento
do
pro blem a
de
comprimento mnimo.
O p r o b le m a de mnimos quadrados formulado em (3.18) :
Se ja
Ax=b
(4.34)
onde
A 6 R m*n , com posto(A)n e m>n;
b e R , com b 93 (A) ;
x e Rn ;
cujo objetivo
/ w w < H :HA x - b A x - b
xeR*
V x e R n).
Vale r e l e m b r a r a cara cterizao de timo p a r a esse problema, que

x = A 4! , ou em termos dos componentes
**=> ;
*=0;
v = b.
(4.35)
N o t a : xR e xN so os componentes de x em 93 ( A T) e x( A ) respectivamente
e b R e b N so os componetes de b em 93(A) e x ( A T) respectivamente.
63
O problem a pode ser tratad o de v r i a s formas: A n a lis ar de uma s vez

as consequncias das p ertu ba es em A e em b com a ltera o do posto(A), ou
sem alterao do posto(A), ou ain da com pertubao em b sem pe rtubao em
A
ou
sem pertubao
em
com
p ertu bao
em A,
enfim
como
for
conveniente.
Achou-se conveniente tratar c a d a caso separadamente e
mantendo o
p osto(A ) sem mudana. Quando o tratamento envolve muitos efeitos de uma s

vez, f i c a complicado uma i n te rp reta o de man eira que p refe riv e l uma
anlise mais simples com inte rpretao.
4.2.2.1
Pertubao do termo independente
O p ro blem a (4.34) pertubado f i c a r

A(x+5x)-b+5b.
(4.36)
Considerando os componentes de b e Sb em 9t(A) e x ( A T) e os

componentes de x em 9 t ( A T) e x ( A ) , tem-se
(xR+ x N)f(<iR + <iN)= A (bR + b N)+A (R + A N)
(4.37)
da c arac teriza o de timo obtm-se

= 0 ; x R - A*b R + A ^
= 0 ; & R = A+<5bR + A +dbN.

Por ser
(4.38)
(4.39)
fl(A+)= >ÂT), i m p lic a
xR A 1b R e
& R At. db R.
(4.40)
Usando uma norma compatvel em (4 .4 0 ) e (4.35) obtm-se
II&rN
aI
IM
(4.41)
(4.42)
sendo ||bR|| 0 , ambas podem ser combinadas fornecendo
64
(4.43)
onde:
O efeito da pertubao ob no res id u al ser

(4.44)
V +5VA(x+8x)-(b+5b)
como
Ax = b g
V = bN
5V=A5x-5b
=>
A<5x*=dbR e
<5V=<ibM.
(4.45)
Analisando (4.4 3) e (4 .4 4 ) p o d e - s e ver que o nmero de condio da

matriz A, causa efeito somente no erro r elativ o da soluo, isso ainda se o
veto r de pertubao tive r componete no espao coluna de A. Se 6b estiver
inteiramente em x ( A T), a soluo no s o f r e r variao. T a i s v a r i a e s sero
a ssim iladas somente pelo res id u al (v er teste 04).
4.2.2.2
Pertubao na matriz A
Suponha ser 6A uma matriz de mesma dimenso de A e que A+8A

mantm o posto de A. Assim (4.3 4) pode ser escrito como:
(A+5 A ) ( x + 8 x ) BSb.
Como agora o sistema incom patvel pois b
(4.46 )
<t
9t(A),
deve-se
p e rm itir ocorrer v a ria e s no e spao coluna de A e no esp ao nulo de AT, de

forma que suas dimenses permane am as mesmas, uma vez que o posto o
mesmo.
Suponha ser
(4.47)
65
a m ed id a do efeito relativo da pertubao <54.p no espao coluna de A e <SVN
no e spao nulo de AT.
Se o componente b R de b for no-nulo demon stra-se que o erro r elativ o
da soluo sa tis f a z (GILL et alii 1991)
H 2 C ( A K + 4 C ( A ) !e * j j ^ + 0 ( 4 ) .
f* II
(4.48)
p r II
As qu an tid ades <SVR e

\ R = G T \
em (4.47) so obtidas fazendo
SAV = K T \
(4.49)
onde:
G: uma base ortonormal de 91 (A) ;
K: uma base ortonormal de n (AT) ,
adiante se r visto como se obtm tais b a se s a p a r t i r da SVD.
Do r e s i d u a l pertubado V + V = b -(A + M.)(x* + c) , resulta
||<5V||
,
^ ^ "^2C(A)eN+ 0(6^,).
A qua ntidade
O(e^)
(4.50)
em
(4.48) e (4 .5 0 )
significa ter ordem
magnitude igual ou possivelmente in ferior ao c orrespondente
de
e^.
Olhando p a r a (4.48) e (4.50) p o d e - s e concluir, que se a matriz de

pertubao a fe tar somente o espao c olu na de A, ou b no tiver componente
no espao nulo de AT, ento o condicionam ento quadrado
no afeta oerro
r elativo d a so lu o e o residual p e rm a n e c e r inaltera do. Em compensao
se
SA p e rt ub a r o espao nulo de AT, o erro r e l a t i v o da soluo passa a ser

ampliado pelo nmero de condio ao q u a d ra d o conforme mostra (4.48) e o
residual s o f r e r alterao.
66
4.3
A DECOMPOSIO DE VALOR SINGULAR E BASES PARA OS

SUBESPAOS FUNDAMENTAIS
Foi
visto
atravs
das seces
conhecer a forma e a base p a r a
antecedentes
a importn cia
em
se
os subespaos fundamentais. No capitulo 2foi
comentado alguns meios de se obter as bases p a r a tais subespaos mas no se

falou em b a ses ortonormais. A decomposio de v a lo r singular pro vid n c ia
automaticamente tais bases. Aba ixo segue uma explanao de forma resumida.
Se ja
AÛDV7
(4.51)
onde
u (.m)
ortonornial;
V(n_n)
ortonornial;
D(mx)
diagonal com
v a lo r e s singulares a xV i=j.
observao: Se U ou V no e stiv erem norm alizadas pe lo algoritmo, pode-se

facilmente
nor m aliza-las d i v id in d o cada elemento do v e to r coluna por seu
comprimento.
FIGURA
10
BASES
PA RA
OS
A PARTIR DA SVD
k
m-k
SUBESPAOS
FUNDAMENTAIS
67
Se
posto(A)=k<n, ento (4.53) tem a forma da fg.10 e a interpretao
c a r a c t e r i z a d a p e la s condies:
4.4
i)
As colunas de U(bU) fornecem uma base ortonormal p a ra 91 (A);
ii)
As coluna de U(nWB.k) formam uma base ortonormal p a r a
iii)
As colunas de
iv)
As colunas de
ti
(At );
V(lU) formam uma base ortonormal p a ra 91 (AT);

V(n>B_k) formam uma base ortonormal p a ra
ti
(A).
ESTIMAO DO POSTO DE UMA MATRIZ
Quando se f a l a que uma matriz tem posto=n, isto s ig n if ic a que existe n

linhas
(ou
colunas)
consequentemente
dependncia"
linearmente
uin nmero
entre
qualquer
independente
inteiro.
dessas
na
matriz
que
Supondo que ex is ta uma "quase
linhas
ou colunas,
como
f i c a r ia
co n sid era o desse "quase", j que o posto diz ou no , uma vez que um
nmero inteiro.
Foi visto tambm que p a r a probl em as com posto deficiente o que
in te r e s s a a soluo de comprimento mnimo, ou melhor dizendo, se a
e sc o lh a do posto' estiv er e r r a d a as
solues
podem
se r
completamente
diferentes daquelas esperadas.
4.4.1 D ificu ldade s na determinao do posto
A indagao acima s se constitui devido ao fato da p r e c i s o finita,

pois caso contrrio qualquer informao por menor que fosse s e r i a de grande
importncia. O que acontece que no se sabe a origem d e ssa pequena
informao, sua causa pode
ter
oco rrid o
devido a um arredondamento,
desp rezo de certas quantidades, ou mesmo serem v e rd a d e i r a s ,
ou ainda
68
podendo se origin ar da incerteza de o b s e r v a e s se os dados assim fossem

obtidos.
O sim pie s exemplo abaixo pode e lu c id a r melhor isso.
Co nsidere
1 0 1
A =
0 1 1
4.52)
1 1 2+g
se 5=0 a t e r c e i r a coluna a soma das duas p r i m e ir a e posto(A)=2, mas se 5

for rela tiva m e n te pequeno, como fica o p o sto(A )? se os elementos de A
fossem c o le ta d o s de o b se rva es e essas tivess em p rec is o menor que 5,
obviamente p o d e r i a - s e d esp rezar 5 e c o n s id e r a r post o(A)=2. 5 p o d e r i a ainda
ser pro v en ien te da soma das duas prim eiras colunas calculad as com pouca
preciso. Isto j t r a r i a dificuldade na d eciso do posto de A, pois f i c a r ia a
dv ida se realmente aconteceu alguma im pre cis o no clculo ou se este
e sta r ia realmente correto.
4.4.2
A de co m p osi o de v a lo r singular na decis o do posto
A d e co m po si o de v alo r singular atualmente a tcnic a mais segura

na determina o do posto de uma matriz, sendo utiliza d a para esse fim em
importantes pa co tes de anlise numrica, como por exemplo: O MATLAB.
J se sabe que o posto de uma matriz pode se r obtido pelo nmero de
valo re s singulare s n o-nu los fornecidos p e la SVD.
Suponha e xis tir um desses valo re s sing u lares relativamente pequeno
com r e l a o a unidade e discrepando grandemente dos demais. Por exemplo:
na matriz (4 .5 2) dois v a lo r e s singulares so de ordem 1 e o terceiro na ordem
69
de 5. Dependendo se 6 c o n s i d e r a d o "neglignciavel" ou nfto como vai ser

carac teriza d o o posto.
O termo n eglignciavel p o de se r relacio n ad o com a p r e c i s o que sero
efetuados os clculos mas mesmo assim inerente ao p r o b l e m a em questo.
P o r exemplo: suponha
<r, = 1, cr2 = 10l, <r3 = 10'2, . . .,
singulares de uma matriz

singulares
abaixo
da
mxn.
un idad e
Se fosse
de
c r ^ l O " os va lores
de sprezado
arredondamento
aqu eles
va lo res
poderia-se
estar
desp rezando informaes p r e c i o s a s e a soluo se ria p r e ju d ic a d a .

Com a breve disc usso a c i m a j se pode ter uma i d i a de quo ambiguo
este assunto, p a r a o p r im e ir o caso s e r i a razoavel de sp r ez ar 5 se este fosse
relativamente pequeno, mas p a r a o segundo muito q u estio nvel desprezar
qualq uer informao.
P a ra e ssa anlise e la b o r a m o s um progr am a no qual foi d ivid id o em
duas partes. Primeiro fo rnece a d ecom posio em si p a r a se r analisada,
de p ois permite calcu lar a so lu o com valo res alterados se efetivamente
forem alterados. Esta situao m o s t r a d a nos testes 4 e 5 do cap itu lo 6.
70
5.
M T O D O S N U M R I C O S PA RA A S O L U O DO P R O B L E M A DE
M N I M O S Q U ADRA DOS L IN E A R
Neste c apitu lo se r descrito 5 dos mtodos que podem se r usados p a ra

a obteno da soluo do prob lem a de mnimos quadra dos linear.
Os trs
p rim e iro s res o lv em o sistema consistente formado pelas equaes normais de

minimos q u a d ra d o s e os dois ltimos se utilizam da p r o p r i e d a d e esp ecial das
matrizes ort ogonais (conservam o comprimento de ve tores sob a norma-2) e
resolvem
diretamente
o problem a
inconsistente
(formado
por
equaes
redundantes) original.
5.1
ELIMINAO DE GAUSS-JORDAN
Este mtodo foi escolhido p a r a fazer p arte do conjunto de mtodos que

reso lvem o p r o b le m a de mnimos q u a dra dos linear pe los motivos: primeiro;
ser simples, direto e
quanto
to estvel quando a p lica do o pivotamento completo
qualq uer outro mtodo direto que r e s o l v a um sistema de equaes
lineares consistente. Segundo; se utiliza d a elim inao de Gauss que a base

da m a io r ia dos mtodos de soluo de sistemas de equaes lineares. Uma
outra vantagem que ao final do pro ce d im e n to dos clculos, o mtodo
fornece a i n v e r s a da matriz dos c o eficien te s das incgnitas que por certo
pode ser a p r o v e i ta d a ( matriz de c o v a r i n c ia , ou r e s o l v e r novamente
sist em a com outros veto res de termos independentes ).

O mtodo de Gauss -Jo rdan pode so lu c io n a r um sistema de equaes
lin eares com v r i o s vetores de termos independentes simultaneamente. Isto
71
uma vantagem, mas se for olhado em termos de armazenamento computacional,

to r n a - s e - i a uma desvantagem.
O desenvolvimento do mtodo feito
sob forma geral e segue-se
abaixo.
C on sid ere os sitemas abaixos
Axj bj
A x 2 b2
(5.1)
Ax - b .
AY - I
onde:
A
6 R" ;
x'. e R";
V.
e R n;
R nin,
Cujas solu es podem ser esc ritas como:
XjÂ^bj
x 2=A
Jb2
(5.2)
x > A 1ba
Y = A I
C onsidere a gora
ob
sistemas (5.1) e sc r ito s na forma:
72
11 a i2
X .l
_ nl
"b
=
ii
:
b
. .. a
b
U.
. U
bnm
nl
*1.
y,2
- y i n -
y r
u
X
lxn
lm
b ,3
u
'
A l
kl
nm
-i
...0 ~
(5.3
ou de m an eir a compacta, como:
[A]-[x1 x a U - ^ * . U Y ] = [b1U k , - k . U I ]
(5 .4 )
onde U signific a o agrupamento das colunas. facil v e r em (5 .3 ) que

i = l , . . . , n signific a o i-simo elemento do vetor soluo x a s s o c i a d o ao
,
j-
simo , j = l , . . . , m , ve to r b. A matriz y claramente v ista se r A -1 quando tiver

seus elementos determinados.
5.1.1
O p era es elementares
As opera es elementares a p li c a d a s ao mtodo de G a u ss - Jo r d a n so:

i)
Permutando duas linhas de A e suas correspon de ntes linhas em b s e I,
tanto as sol u es x 's como Y no s o fre ro alteraes (isto c orresponde em

apenas tr o c a r a ordem das
ii)
equaes lin e are s no sistema).
O conjunto soluo no muda no processo de escalonam en to quando
m u lt i p li c a - s e qualquer linha de A p o r um e scalar diferente
de zero ou
su bstitu i-s e qualquer linha de A p or sua soma com outra linha previamente
m u l t i p li c a d a
por
um
escalar
diferente
de
zero,
desde
de
que
as
73
c orre sp o nd e nte s op e ra e s so tambm realizadaB naB corre spondente linhas

doB b's e I.
iii)
A p erm u tao de qualquer duas colunas de A no muda o conjunto
soluo se Bmultaneamente for permutadas as correspondente s linhas dos x s

e y. Em outras p a l a v r a s , a soluo so f r e r a lte r a o de sua posio original.
interes sa nte ao final v olta r sua p o si o original e p a r a isso devem ser
gua rdadas as p o s i e s das permutaes r e a l iz a d a s .
5.1.2 Soluo do sistem a por Gauss-Jordan
O mtodo
op er a e s
da
eliminao
elem entares
acima
de
Gauss-Jordan
para
transformar
usa uma
a
matriz
ou mais
na
das
matriz
identidade (I). Quando isto alcanado, I torna-Be A -1 e os vetores b's

tornam-se
ob
v e t o r e s s o lu e s x s.
Chama-se pivotamento a c olo cao a tra v s de permutaes do maior

elemento da lin h a ou coluna em sua co rr e spo n de nte p o si o na diagonal
p rin cip al. Se no for realiz ado o pivotam ento, somente a
operao (ii) se r
usada.
Quando h ouver permutaes somente nas de linhas A, de modo a lev a r o
m aior elemento d a linha que no foi e s c a l o n a d a ain da p a ra a diagonal
p r in cip al, se e st rea liz an do um pivotamento p a rc ia l.
Quando as permutaeB so feitas nas linhas e colunas, ento, diz-se
estar realizando um pivotamento completo.
A elim ina o de Ga uss-Jordan , sem o pivotamento pode se tornar

instvel devido aos erros de arredondamento (com um elemento piv grande
no denominador h um maior nmero de d igit o s sig nific ativos na hora da
d iv iso ,
o casion an d o
menor p e rd a
da
preciso).
Com
o pivotamento
completo este mtodo torna-se bastante estv e l, apesa r de que com apenas o
pivotamento p a r c i a l ele quase to bom quanto com o pivotamento completo.
74
5.1.3
Subrotina p a ra a eliminao de GauBS-Jordan
Abaixo segue uma subrotina em linguagem "Fortran" da eliminao de

G auss -Jo rdan, t i r a d a a p a rt i r de PRESS et alii (1986)
S UBROUTINA OAUSSJ (A, N, NP, B,M, MP)
A soluo do sistema de equaffes pel a eliminao de Oeuss-Jordan, equao (5.4). A a
matriz de en t ra d a de N x H elementos, guardados em um array de dimenso fisica NP x
NP. B uma matriz de ent rada contendo N x M vet ores de termos independentes,
guardados em um array de dimenso fisica de NP x MP. Na sada, A substituda por sua
matriz i n ver sa e B substitudo pelos corres po nd en te s conjuntos de vetores soludes.
PARMETROS (NMAX=50)
DIMENSO
A (N P , NP ) , B( NP .M P) , IP IV( NM AX) . 1NDXR (N MAX) , 1NDXC (N MAX)
Os v et ores IP1V.1NDXR e INDXC, so usados par a ma rc a r o pivotamento. NMAX deve
ser igual ao valor pr-det er mi nado N.
DO 11 J = 1,N
IPIV(J)=0
11 C ONTINUE
DO 22 1=1,N
BIO=0
DO 13 J= 1,N
1F (IPI V( J) , NE. 1) THEN
DO 12 K=1,N
1F (IPIV(K). EQ. O) THEN
IF (ABS (A( J ,K) ) .O E. BI O) THEN
BIO=ABS(A( J,K) )
IROW=J
ICOL=K
ENDIF
ELSE IF (IP1V(K).OT. 1) THEN
PAUSE ' Matriz singular 1
ENDIF
12 CONTI NUE
ENDIF
13 CONTI NUE
IP IV ( I COL )=IP IV ( I C O L ) + 1
Temos agora o elemento piv, se n e c e s s ri o houve per mut ao de linhas para colocar o
elemento pivd na diagonal. As colunas do i-simo elemento pivd no foram fisicamente
permut adas, mas sim anot adas em IND X( l) , enquanto INDXR(I) m a r c a a linha na qual o
elemento pivd foi originalmente colocado. Se INDXR(I)*1NDXC(1) existe uma permutao
de colunas implicita. Com esta forma de guardar as mudanas, as soludes B s e A*
t erminariam na ordem correta.
IF (I ROW.NE.1COL) THEN
DO 14 L=1,N
DUM=A(IROW,L)
A(I RO W, L) =A( I CO L, L)
A(I COL,L) =DUM
14 CONTINUE
DO 15 L=1,M
DUM = B(IROW,L)
75
B ( I R 0W , L )= B (1 C 0L , L )
B(1C0L,L)=DUM
15 CONTINUE
ENDIF
1 NDX R( I )=I R0W
Agora est amos pronto para dividir a linha do
localizado em
I ND XC (I )= IC OL
IROW e ICOL.
1F (A( ICOL, ICOL). EQ.O) PAUS E ' Mat ri z singular '
PIVINV=l/A(ICOL,lCOL)
A ( I CO L, I COL )=l
DO 16 L=1,N
A ( I C OL, L) = A( IC OL, L) *P I VI NV
16 CONTINUE
DO 17 L=1,M
B(ICOL, L) =B (I COL ,L) *P IV INV
17 CONTINUE
DO 21 LL=1,N
Agora r eduzi remos as linhas exceto para o
1F ( LL. NE. ICOL) THEN
el emento piv.
DUM=A(LL, ICOL)
A(LL,ICOL)=0
DO 18 L=1,N
A (L L ,L )= A( LL , L) -A (1 C0 L, L) *D UM
18 CONTINUE
DO 19 L=1,M
B (LL, L) =B (LL, L) -B (I CO L, L) *D UM
19 CONTINUE
ENDIF
21 CONTINUE
22 CONTINUE
Este o fim do loop principal de reduo de colunas
DO 24 L=N,1.-1
ele ficaria par a t r o c a r a soluo no caso de per mut aao
IF ( I N DX R (L ) .N E. I ND X C( L )) THEN
de colunas. Isto feito
DO 23 K=1,N
permutando as colunas aos pares na ordem
DUM=A(K,1NDXR(L)) i n ve rs a de que foram permutadas.
A ( K , I N D XR (L )) = A( K , IN D XC (L ))
A( K,INDXC(L)) =DUM
23 CONTINUE
ENDIF
24 CONTINUE
RETURN
END
5.2
elemento
piv6,
" SUBROUTINE VERSOL "
A Subroutine Versol "
um algoritmo para i n v ers es de matrizes
q ua d ra das com elementos r e a i s , cujo autor desconhecido. O motivo da

introduo deste algoritmo neste tr a b a lh o devido ao fato de ter sido e ainda
e st sendo usado em muitos t r a b a lh o s de ajustamento a p lic a d o nas Cincias
G e o d s ic a s no Brasil. Isto nos le v a a confront-lo com os demais no intuito
de t i r a r algumas concluses a r e s p e i t o do mesmo.
76
Este mtodo s e r desenvolvido segundo (MODRO 1981), mas anteB se r

feita uma b reve r e c o r d a o da regra de Chi p a ra reduzir a ordem do
determinante.
5.2.1
R e g ra de Chi
i) E s c o lh e r um elemento igual a 1 (ca so no exista, transformar por

o pera es ele mentares).
ii) Su p rim ir a linha e a coluna que se cruzam no elemento de valo r 1
c onsiderado, ob ten do -se o menor complementar do r e f e r id o elemento.
iii) S u b tra ir
de
cada elemento
do m enor
complementar obtido,
produto dos elementos que ficam nos ps das p e rp e n d i c u l a r e s traadas do

elemento c o n s id e r a d o s filas suprimidas.
iv) M u l t i p l i c a r o determinante obtido no ( i i i ) itm por ( - l ) i+j , onde i e
j designam a ordem da linha e da coluna as quais p erten ce o elemento 1.
Exemplo:
13
23
31
a 32
d e t A ^ - l j 4 *det
33
77
5.2.2
Desenvolvimento do mtodo
O pro cesso da " Subroutine
Versol
" ser desenv o lv id o p a r a uma
matriz A de dimenso l x l e po sterio rm en te com A
de dimenso 2x2. Com
isso e sp e ra - se ser suficiente a compre enso do algoritmo.

Considere A(11) , ou seja
(5.5)
-1
(5.6)
d i v id in d o a prim e ira linha por a , tem-se.
1 l/a
-1
(5.7)
a p lica n d o a regra de Chi em (5.7) de senvolvido p e la p r im e ir a linha e

p r i m e ir a coluna, resulta
d e A " M - l ) w .[ 0 - ( - l ) . ] = ^11
2-11
(5.8)
que a in v e r s a de A=[a11].
Considere agora A(2;2) , ou s e j a
a
A= a
li
21
a 12
a
(5.9)
22
e suponha uma nova matriz da for m a
78
a ii
=
12 1
a21 a22 0
-1 0
0
(5 .1 0)
divid indo a p r i m e ir a linha pelo elemento an , obtm-se:
1 a
l =
21
-1
12
/a
11
1/ a
11
(5.11)
22
aplicando a re g r a de Chi em (5.11) desen volvido p e l a p r i m e i r a linha e

p r i m e ir a coluna, resulta
a22
a21
a 13
+i
det(A ) = (-!)
A
0
a21 1
_
11
o - ( -1 U -
o - (-1) a
an
11
12
=
21
Fazendo novamente
22
,111
A'
(5.12)
79
11
c22
12
c21
V =
- 1 0
( 5 .1 3 )
dividindo a p r i m e i r a linha por cn , obtm-se
c
c
Av =
11
11
c21
c22
-1
(5.14)
aplicando a r eg ra de Chi desenvolvido p e l a p r i m e ir a linha e p rim eir a

coluna, res u lta
c 22
+i
det( ) = (-!)
c21
c 17
s,-1
11
- {-ixlsL .
o - (-1)
II
C
22
21
C
11
1+
11
(5.15)
12
a qual pode facilmente se r demonstrado ser A ^ 2) . Pro c e d e n d o - se desta forma,

pode ser e ncontrada a matriz inversa de qualque r matriz n o-singular A(nn),
aplicando n vezes o p r o c e s s o acima descrito.
80
5.2.3
Subrotina
" ve rsol "
E sta subrotina em linguagem " Fortran" foi tira da de MODRO (1981).

SUBROUTINE VER SOL (A, B. 1)
IMPLICIT REAL (A-H, 0-3)
DIMENSION A(I,I); B(I)
IF ( I . E Q . l ) 0 0 TO 10
IM=I-1
2
3
4
5
10
5.3
DO 3 K=1,I
DO 2 J=1,IM
B(J)=A(1,J+ 1)/ A(1, 1)
B ( I) = 1 / A ( 1 , 1)
DO 4 L=1 ,1M
DO 3 J=1,IM
A(L,J)=A(L+ 1,J+ 1)- A(L+1,1)*B(J)
A(L,I)=-A(L+1,1)*B(I)
DO 5 J=1,I
A(I ,J )=B( J)
RETURN
A (l,l)=l/A (l,l)
RETURN
END.
DECOMPOSIO DE CHOLESK Y
Quando A si m trica e d e f i n i d a positiva* , A pode se r f a t o r a d a na

form a A = L L T, onde L uma m atriz tria n gu la r inferior com elementos reais.
A fato rao de A = L L T cham ada f a t o r a o de Cholesky (ou decom posio
de Cholesky). Existem v ria s m a n e ir a s
de se obter a d eco m p osio
de
Cholesky ( por exemplo: usando a de com posio LU e Q R ). Aqui se r

d e sc r ito o mtodo da raiz q u a d r a d a o qual a p lica diretamente a definio,
sendo que a matriz L
encontrada
simplesmente
esc re v en d o
(n2 + n ) / 2
eq uaes expressando cada elemento da parte triangular in ferior de A em

term os dos elementos de L. Assim:
A d e f i n i o de m at r iz d e fin id a p o s i t i v a p o d e s e r en c o n tra d a em (STRAN G 1 9 7 6 ) ,

(G I L L et alii 1 9 9 1 ) , ( L U EN BE R GE R 1 9 7 3 ) , (RAO 1 9 7 8 ) e o u tro s .
81
a
a
11
a ln
12
a
2n
a22
21
-1
11
. ann
anl
21
F ..
1
nl
. I n2
22
1
1
nl n2
1
nn
1
nn
__
__
onde:
an = ifi
a2i = ^11^21
a nl -
1(1 ^nl
a22 =(^2l) "Kl22)

a 32 = ^21 ^31 + ^22 ^32
an2 ~ ^21 ^nl + ^22 ^n2
a 33 = d 31) 2 + ( l 3 2 ) 2 - K l 3 3 ) 2
R esolvendo na ordem p a r a 1 ,122 , . . . , l nl , \n ,\32 , . . . , l n2 > 133> ->ln3
desta forma f i c a r i a determinada.

P a r a conduzir a alguns detalhes importantes em torno de ssa fatorao,
sero citadas
po sitiv as.
algumas p r o p r ie d a d e s
das matrizes simtricas
e definidas
82
Suponha se r A sim trica e definida p o sitiv a , ento:

i)
a^ > 0 , p a ra todo i;
ii)
Os maiore s elementos esto na diagonal;
iii)
T odos a uto v a lo r e s de A so reais e estritamente po sitiv os .
iv)
Qualquer matriz s e le c io n a d a simtricamente
dentro de A deve ser
d e fin id a p o sitiv a .
v)
Se a elim in ao de Gauss sem permutao de linhas ou colunas for

aplicada
em
A,
a matriz
equivalente
ser
d e fin id a
p o s itiv a
em
qua lquer passo.

De poss e d e ssa s p ro p r i e d a d e s , j se pode a n a lis a r alguns passos dessa
fatorao.
Como
ln =
, p e la
p ro p r ie d a d e
i , o elemento
lu fica bem
determinado ( p o r conveno toma-se o v a lo r po sitiv o da raiz).

Os demais elementos da p r i m e ir a coluna de L
podem ser calculados
p e la frmula
la = - p ,
*n
i= 2 -------- n.
(5.16)
O elemento 122 fornecido p e l a express o:
^22
= V22 fla)
(5.17)
Com isso p a r a que 122 fique determinado ^ - ( l , , ) 2 deve ser positivo,

isso assegurado devido ao fato desta quantidade ser exatamente o elemento
da diagonal da matriz equivalente quando a p lica d o o primeiro passo da
eliminao de Gauss em A ( p r o p r ie d a d e v).
Os demais elementos da segunda coluna de L so clculados p e la
frmula
Continuando desta forma c olu na p o r coluna obtem-se a form a fato ra d a

A = LLt
P a r a re solu o do sistema de e qu a es normais usando a fatorao de
Cholesky p ro ce de-s e:
Ax = b
LLTx = b
(5.19)
fazendo L y = b , r e s o lv e-se p a ra y e LTx = y r eso lve-se p a ra x, que a soluo

do sistema.
D ev id o A ser definida p o s i t i v a no se faz necessrio perm utaes p a ra
r e t e r a e s t a b i li d a d e na formao da f a to r a o de Cholesky. Isto vem do fato
de que existe uma limitao p a ra os elementos de L. P a ra c o m pro va r isso,
c o n sid ere que o elemento lkk no k-simo passo da fatorao obtido p e la
e x pre ss o
= a kk _ ^kl ~ ^K2
^h-l
(5.20)
+ 1 kk
(5.21)
e assim
a KK = Jkl + 1 k2
Como todos os termos da soma do lado direito so p o s i t iv o s , implica

que
(5.22)
Dess e modo todos os elementos da k-sima coluna de L ficam limitados

p e l a magnitude da raiz qu adrada do k-simo elemento da diagonal de A.
Mesmo quando A m a l- c o n d ic io n a d a , os elementos de L se comportam
bem no sentido da sa tisfazer o limite a - p r i o r i
Apesar
desse fato fav o r v el,
c aso s
(5.22).
extremos podem acontecer.
elemento lkk pode no ser definido p o r c ausa de erros de arrendondamento,

ou seja, em (5.20) o segundo membro to rn a-se negativo.
Mesmo ga ra n tid a p e la teo ria, a e st a b i li d a d e do mtodo de Cholesky no
man tida na p rtica (ver testes). P a ra que exista a e stabilidade neste mtodo,
A alm de ser definida p o s i t iv a deve ser bem-condicionada.
84
5.3.1
Subrotina " mtodo de Cholesky "
Abaixo
um
"pr ocedur e"
em
"Algol"
tirado
apartir
de
GASTINEL (1 971) p a r a calcu lar a decom po sis o de Cholesky e soluo do

sistema de equaes lineares.
p r o c e d u r e CHOLESK Y(A) LADO DIREITO: (B) ORDEM:(N) RESULTADO; (X) FALHA E SAl:
(IMPOSSVEL); V A L O R E S A,B;
a r r a y r e a l A,B,X; i n t e g e r N; l a b e i IMPOSSVEL;
c o m e n t r i o RESOLVE AX=B (ONDE
A
SIMTRICA EDEFINI DA POSITIVA) PELA
DECOMPOSIO
A=R.RT (ONDE
R
TRIANGULAR INFERIOR) E
ENTO
SOLUCIONANDO RY=B E R TX=Y. A MATRIZ R DEP OS ITADA NA PARTE TRIANGULAR
INFERIOR DE A;
b e g i n i n t e g e r I,J,K ; r e a l S,TX; i f A[1,1]S0 t h e n go to
IMPOSSVEL ; A[ 1,1 ]: =SQRT(A[ 1,1 ]);
for I:=2 t ep 1 u n t i l N do A [ 1,1]:=A[1,1]/A[ 1,1 ];
f or j:=2 t e p 1 u n t i l N do
b e g i n S:=0; f or I:=l s t e p 1 u nt i l j - 1 do
S:=S+A[J,I]*A[J,I];
S;=A[J,J]-S;
l f S 0 t h e n go to IMPOSSVEL;
A[J ,J ]: =S QRT( S) ;
for 1:=J + 1 s t e p 1 u n t i l N do
b e g i n S:=0; f o r K>1 s t e p 1 u n t i l J - l do
S;=S+A[1,K]*A[J,KJ;
S:=A[I,J]-S;
A[1,J ]:=S/A[ J,J ];
e nd ;
end;
f o r I:=l s t e p 1 u n t i l N do
b e g i n TX:=0; for J: = l s t e p 1 u n t i l 1-1 do
TX:=TX+A[I,J]*X[J];
X[I ]; =(B[1]-TX)/ A[I,I]; B[I]:=X[I];
end;
f o r I:=N s t e p -1 u nt i l 1 do
b e g i n TX:=Q; for J:=N s t e p -1 u n t i l I +1 do
TX:=TX + A[ J, I]*X[J];
X[I ]; =(B[1]-TX)/ A[I.I];
e nd ,
end;
85
5.4
0 MTODO
DA DECOM PO SIO QR
O mtodo da decom posio QR consiste em transfo rm ar a matriz dos

coeficientes
das
incgnitas
em
uma
triangular
transfo rm aes ortogonais, este mtodo vem
s u p e r io r
atravs
de
sendo ultimamente bastante
utilizado na soluo do p r o b le m a de mnimos quadrados. N o to potente

quanto o SVD mas em e s t a b i li d a d e
transfo rm aes
ortogonais
podem
so praticam ente
se r
obtidas
ou
equivalentes .
p e lo
processo
As
de
Gram-Schmidt ou p e la s transfo rm aes de Househ older, sendo a l tim a mais

recom endada p o r questes de eco nom ia computacional e estabilid a d e.
5.4.1 Transform ao de Householder
A transform ao de H ou seho lder tem utilid ad e p a r a muitos propBitos

da lge b ra linear. Consiste basicamente em transformar um v e to r em outro de
meBmo comprimento euclidiano. A form aliz a o pode ser o b tid a da seguinte
pro p osio .
P r o p o s i o 1: Dado um ve to r n o-nulo
m-dimensional, existe uma
matriz sim trica ortogonal Q tal que

Q a = -o e ,
(5.23)
onde:
e, =(1 0 0)T
P rim e ir a parte:
p r o v a de (5.23)
de fina Q como
(5.24)
e tomando
86
v = a + oe,
( 5 .2 5 )
ento
w T
2vTa
) a = a - v j =
V V
V V
2(aTa + oe7a)'
aTa + a T0 Cj + 06^ + o5
.
____ y
(aTa + aTa + 2cRe7a)

1
a Ta + 2oejra + <?
como
tfW a
ento
Qa= a - v = a - a -
crb,
= -ocj.
(5.26)
o b serra o : O v a lo r de Q a pode tambm se r representado p or

Q a=-oj|a|e, , comv = a + oj|aj)e1
(5.27)
onde
/+i *
~ V-l k aj<0
sendo a, o elemento de a correspo n dente ao elemento 1 de
el5 d esta forma o
componte de v correspondente s e r sempre a crescido conservando o sinal de

aj sem o r i s c o de tornar-se nulo.
Segunda parte: prova da o r t o g o n a l id a d e e simetria de Q
Consi dere o vetor normalizado u como
u = v/jjvj , ento Q pode ser
d e fin id a como
Q = I-2uT
(5.28)
Por definio de simetria Q = Q T, ento

K - 2
=(!,-
- T 2)=
Por definio de ortogonalidade
- 2uT
(5.29)
QQT = I, ento
(^m 2*T)(^m ~~2UT)= I

I ^ - 2 u n T- 2 u u T+4uT = 1
matriz
definida
1=1.
na
proposio
(5.30)
acima
conhecida
como
tran sfo rm ao de Householder p o r t e r sido utilizada por A . S. H o useh old er
87
p e la p r i m e ir a vez em pr oblemas de a uto va lo re s.
O v e to r particular v
chamado v e to r de Hou seh older.
5.4.2 A d e c o m p o s i o QR
P r o p o s i o 1: S e j a A e R 1 como p osto(A)=n. Ento existe uma matriz

ortogonal
Q(ltvn0 tal que
QTA=R, sendo R (nvn) com zeros abaixo da diagonal
principal.
v vT
Qj = Im- 2 - M - , onde
Prova: P e r m i t a
v, = a, + oja,||i , sendo c definido
IME
como em (5 .2 7 ),
a,
e,
pr im e ir a coluna da matriz A e matriz I
resp ectiv am en te, ento
rn
0
(5.31)
A a p li c a o de Qj sobre A resu lta r Q jA = A{2) , da forma
ln
a
2n
(5.32)
m2
xnn
Formando uma matriz ortogonal P ^ ^ com a se gunda coluna de A(2)

p a rt ir do elemento p iv , forma-se assim Q2 da forma
88
1
. 0
0
( 5 .3 3 )
a p lic a n d o Q 2AP) = ACT , da forma
11 r 12 r 13
0
a O
0 a
P ro c ed e n d o
33
ln
r 2n
a
(5.34)
3n
m3
desta
m ane ira
com
no
mximo
a p lic a e s
da
tra nsfo rm ao de Hous eholder p o d e -s e transformar A em R, isto :
QQnl. Q,A = R
chamando
(5.35)
QT = Q nQ-i~Qi> tem-se
A=QR .
5.4.3
(5.36)
O mtodo QR aplicado ao p r o b l e m a de mnimos quadrados linear
P r o p o s i o 1: Se ja m^n>0, b e R " , A e R com posto completo. Ento,

existe uma decomposio A = Q R , onde
Q(mm) matriz ortogonal, R e R com
zeros abaixo da diagonal p rin cip al. S e j a ainda
R n a matriz fo rm ada pela s n
p r i m e i r a s linhas de R de modo que R n n o-singula r e triang ular superior.
89
Assim
a soluo
nica de
(QTb)n= [(QTb)i,.>(QTb)n3 8^ 08
r e s id u a l V = IjAx-b)^ se r
Prova:
xeR"
dada por
n p r im e ir o s componentes de QTb;
da
d ecom posio
QR
transform ao de Hou seh older e a no-singula rid ade
10^
=H
onde
o vetor
V = ^ [ ( Q Tb)j]2.
1
ih-1
ex istncia
i n d ep e n d n c ia das
x = R n1(QTb)n ,
linhas
de
A.
Da pro p ried a d e
segue
partir
da
de R n a p a r t i r da
da norma
euclid ia n a
vem
IlA i-b lH lC flfc-b lH I^ -Q H
(5' 37>
e o p r o b le m a pode ser escrito como

s i ? l Rx" QTbl!
<5-3 8 )
Denotando (QTb)L= [(QTb)n+1,. . . ,(QTb),J, os componentes de QTb a pa rtir

de
n+1
at m, tem-se
= ||RI - ( Q Tb ) ^ + |(QTb ) , |
(5.39)
o qual minimizado quando

R , i - ( Q Tb)=0
Rx=(QTb),
(5.40)
e o timo resid ual ter comprimento
concluin do-se assim a p r o v a da p r o p o si o .
5.4.4
Subrotina do mtodo QR
A subrotina abaixo foi t i r a d a a a p artir de (DENNIS e SCHNABEL

1983) p a ra matrizes quadradas e n o -sin gu la res, mas pode facilmente ser
implementada p a r a o pro b lem a de mnimos quadra dos como descrito acima.
D E C O M P OS I O - Q R (QRDECOMP)
Propsito:
calcula a decomposio
QR de uma matriz
S te war t[ 1973] no final do algoritmo a decomposio
quadrada
e Z (conjunto
oalgoritmo
de
ar mazenada em M, Ml e M2 como descrito
abaixo.
P ar me t ro s de entrada: n
M usando
dos nmeros inteiros)
90
Parmet ros de ent ra da e sada: M e R B( na salda, Q e R so embutidas em M, Ml e M2 como
descrito abaixo)
Parmet ros de sada: Ml R , M2 e R , sing e boolean
ConsideraGes sobre o ar mazenament o
1)
No t n e c e ss r io nenhum vet or ou matriz adicional
2)
Na sada Q e R sfio g uar dadas
como descrito por
Stewart:
R e st a contida na parte
triangular superior de M excet o a diagonal principal que e st a em M2, e Q T = Q n.i,-..>Qi onde

Qj
, U j [ i ] = 0 , i = l ....... j-1, Uj[i]= M [ i j ] , i=j...... n , Xj = M l [ j ] .
Descrio:
A decomposio QR de M realizada usando a t r a n sf o r m a o
8lgoritmo de St ewar t[ 1973]. A decomposio retorna
de Householder pelo
sing=true se a singularidade
de M
det ect ada, sing=false caso contrrio. A decomposio se completa mesmo com a singularidade
detectada.
Algoritmo:
1
sing <- false (sing t or na - se true se a singularidade
for k=l ro n - 1 do
2.1
ii
m ax { | M [ M c ] l }
2.2
XSiSn '
If ti=0
2.2.T
Then (*matriz singular*)
d et ec t ad a)
2.2.T.1 M 1 [k] <- 0

2.2.T.2 M2[K] <- 0
2.2. T. 3 sing - true
2.2.E
Else
(*Forma Q k e premultiplica M por ela *)
2.2. E. 1 For i=k t o n d o

2.2. E. 2 o
M[i,k] <M[i,k]/r)
sign (M[k,k])* ( ] M [ , k ] 2)IQ
i-x
2 . 2 . E . 3 M[k,k] <- M[ k, k] +a
2 . 2 . E. 4 M 1[k] < a * M[k,k]
2.2.E.5 M2[k] <-
- ij o
2.2.E.6 For j =k +l to n do
2.2.E.6.1
M[i,k]* M [ i j ] / M l [ k ] )
i- X
2 . 2 . E . 6.2
For i=k to n do
M[i,j] <- M[i,j]-i*M[i,k]

3
M2[n] <- M[n,n]
(* Retorno do algoritmo QRDECOMP *)

(* END do algoritmo *)
Subrotina RSOLVE
91
Propsito: Resolve
Rx=b para b, onde R tri angul ar superior ar mazenada como descrito na
subrotina QRDECOMP
P a r me t ro s de entrada: n e Z, M e
R ",
M2 e
(M2 contm a diagonal de R, o r e s ta n t e de R
es t a contida na parte superior de M )

P ar me t r o s de ent rada e sada: b e
( na sal da , b sobreposto pela soluo x)
P a r m e t r o s de salda: nenhum
C ons id er a o de armazenamento:
1)
No nec es sri o nenhum vetor ou mat ri z adicionais
Algoritmo
1.
b[nJ
b[n]/M2[n]
2.
For i=n-l downto 1 do
b[i]-M[ij]*b[j]
b[i]<-------- i5------------1
M2[i]
(* Retorno do algoritmo RSOLVE *)
( END do algoritmo RSOLVE )
Subrotina
QRSOLVE
Propsito: Resolve (QR)x=b para x, onde a mat ri z ortogonal Q e a triangular superior R so

a r ma z en a da s como descrito na subrotina Q RDEC OMP .
P a r m e t r o s de entrada: n e Z, M e
R'1Xn,
Ml e
R ,
M2 e
R"
(Q R so
embutidas em M, Ml e
M2 como descrito na subrotina QRDECOMP )

P a r m e t r o s de salda: nenhum
C o n s i d e r a e s sobre o armazenamento:
1)
Nenh uma matriz ou vetor adicionais so n e c e s s r i o s
De scri o:
1)
Multiplica b por Q T, Q T armazenado como Q T= Q n l ,...,Q[ .
t r a n s f o r m a o de Householder implcita como

passo consiste de pr-multiplicar b por Q j , j = l
Algoritmo
( b <- Q Tb +)
1.
For j= 1 to n - 1 do
(* b <- Qjb*)
1.1
<i;M[ij]*b(j]/Mi[j])
i-i
1.2
For i=j to n do
b[i] <- b[i].t*M[i,j]
descri to na
n-1.
onde cada
subrotina ORDECOMP.
Q j uma
Assim este
92
(* b <- R b )
2.
CALL RS0LVE(n.M,M2,b)
( alg. RSOLVE*)
(* Retorno do QRSOLVE )
(* END, QRSOLVE *)
5.5
DECOMPOSIO DE VALOR SINGULAR
N e sta
seco
Ber
descrito
ob
p rocedim entos
de
como
obter
de com posio de v a l o r singular e uma subrotina em linguagem Fo rtran para

c alcul-l a. Sua a p li c a o ao p r o b le m a de mnimos quadrados lin ear j foi
m o strada p e la s p r o p o s i e s da seco (3.3.4).
Antes de estud ar este fantstico algoritmo n e c e s s r io p rim eir o dar
uma olhada no algoritmo QR p a r a o p r o b le m a de a u to valo res e por causa da
estrutura esp ec ial daB matrizes que se r u tilizada, tambm se r
usada a
transformao de Givens* .
5.5.1 Transform ao de Givens
A transform ao de Givens uma matriz ortogonal que utiliza da para

quando se d e s e j a to rnar
nulo
apenas
um dos
elementos
do vetor.
As
m o dificaes no v e to r o c o rre ro somente em dois de seus componenteB.

A transfo rm ao de Givens pode ser d e fin id a p e l a seguinte proposio .
P r o p o s i o 1:
S e j a o v e to r
v = (v, v2 v3 ... vffl)T com pelo menos dois
componentes no nulos, existe uma matriz G(nvm) ortogonal
* Tr a n sf o r m a B o de Gi ve ns : dev ido a Givens 1954.
93
C
8 0
-8
0
. . . 0
c 0 ... 0
0 1 ... 0
(5.42)
G =
0 0 ... 1
tal que
G \ = ( J v l2+vl 0 v3 . . . v J T.
(5.43)
Prova
p r i m e ir a parte: fazendo em G
c=
V vF ^ i
s=
a/vi+vT
(5.44)
e m ultiplicando G p o r v (como de finido na p r o p o si o ) r e s u l t a r em (5.43).

Begunda parte: Ortogonalidade de G.
P e l a definio de ortogonalid ade GGT =1 e tomando s a parte superior
e sq u e r d a de G j que o restante j e sta sob a forma de I, tem-se
+ i
0
(5.45)
GG =
como
vf+vj
g g T=[ o
v^ +v
_ 1
=
im p lica
l]
(5.46)
O b s e r v a o : G pode se r e s c o l h i d a p a r a ser sim trica e ortogonal, p a ra isso

b a s t a em (5.42) c o lo c a r o sinal negativo em um dos c's
Bf8 com sinais positivos.
deixando ambos os
94
5.5.2
0 algoritmo QR
Foi visto na se c o (5.4) como decompor uma m atriz A(in^ com mn,
po sto completo e r e s o l v e r d e s t a fo rm a o problem a de minimos quadrados.
Aqui como uma p r e p a r a o p a r a a de composio de v a l o r singular, Ber
mostrado que uma se q u n c ia de de co m p osi e s do tipo QR com A e R M" leva
a obteno do a u to v a lo re s de A.
5.5.2.1
O algoritmo QR
Suponha A^ = A ser de co m p o sta em

A0 = QoR0
(5 .4 7)
e uma nova matriz semelhante
a A0, d e fin id a invertendo a ordem do segundo
membro ( 5 . 4 7 ) ,ou seja

A , = R 0Q0
(5.48)
e s s a nova matriz c o n s e r v a os a u to v a lore s de A0 .

P a ra p r o v a r e s s a afirmao b a s t a fazer
Q X Q o = QlQ oRoQo = RoQo = A,
(5 .4 9)
lembrando que o produto no p r im e ir o membro da igualdade no altera os

autovalores.
Montando uma Bequncia e denotando k e k+1 o algoritmo fic a
Ak = QkR k
(5.50)
Ak+1= R*Qh-
(5.51)
Procedendo
desta
m an e ira y o
algoritmo
sob
cir c un stnc ia s
gerais
convergir, ou seja, Ak se ap rox im a da forma tria n g u la r superior e os

elementos de sua diagonal se aproximam de seus autovalores.
95
5 . S.2.2
O alg oritm o QR - modificado
O puro e simpleB algoritmo QR p a r a en con trar
ob
autovalores bom e
te r um a c r s c i m o adicional na v e l o c i d a d e de convergncia se for d a d a a

seguinte implementao.
0 =
(5.52)
(k-<rkIn) = Q kR k
(5.53)
Ah+1 = R kQ k +o-kI n
(5.54)
onde k = 0 , l , 2 , 3 , . . .
e crk um escalar.
A m atriz
A k+1 conserva os a u to valo res
de A k pe lo mesmo motivo de (5.48), p a r a v e r i f i c a r faa
Q X Q k = Q l(Q ,K + o-A , = KQ+o-A = Am
(5.55)
a qua ntidade <rk escolhido p a r a Ber um a u to v a lo r aproximado de A k, na

p r t i c a o que se faz tomar o elemento
no canto inferior direito da matriz
que e sta sendo u tilizada para ser e s s a ap rox im a o . Aps alguns p a s s o s do

algoritmo e sse elemento c o rr e sp o n d e r
a um autova lor aproximado de Ak.
Assim que este elemento for de signado p a r a se r um autovalor, toma-se a

submatriz de A k desprezando a linha e c o lu n a deste autovalor, como m o stra a
figura abaixo.
FIGURA 11 - CONVERGNCIA DO AL G O R ITM O QR

* * *
* * *
0 * *
')
o
o
1
R e p e t e - s e o process o acima d e s c r i t o at r es tar
a submatriz 2x2 no
canto s u p e r i o r eBquerdo. Se ainda f o r n e c e s s r i o faz-se ainda mais alguns

p a s s o s , com
bso
os dois elementos d a diagonal tornam-se os dois ltimos
au to v a lo re s aproximados de A .
96
Dem ostra-se que o algoritmo QR-modificado con verge quadraticamente

(LARSON e HANSON 1974) p a r a os autovalores de A.
Para se ter uma i d i a da razo de co n verg n cia de cada mtodo,
consi dere a seguinte m atriz
A =
cujos autovalores com 14 decimais so:

Xx = 9 ,4 1 7 8 1 4 3 2 3 7 9 4 5 6 ;
X2 = 2 ,7 0 0 1 5 8 4 7 3 4 3 1 5 9 ;
A, = - 0 .1 1 7 9 7 2 7 9 7 2 2 6 1 6 .
Pa ra o sim ples algoritmo QR comeando com k = 0 , 1,2,3,... , e truncando
na 6 casa decimal, os elementos da diagonal de A9 foram:
X = 9,417825 ;
X2 = 2,700147 ;
X =-0.1 1 79 7 2 .
Para
o algoritmo
QR-m odificad o,
truncando na 6 casa decimal o elemento

elementos da submatriz
A6 foram
comeando
de
com
k = 0 ,l , 2 , 3 , . .. ,
A5 foi X3= - 0 . 117972 e os
X2 = 2,700158 e
X{ = 9 ,4 17 8 14 . Se for
comparado os re s u lta d o s e a ra p id e z na convergncia, no ta - s e claramente a

maior e fici ncia por pa rte do algoritmo QR-modificado.
Atravs do exemplo po d e -se ver a melhora t r az id a ao algoritmo QR com
o parmetro de v a r i a o a , mas e ssa melhora pode ser a m p l i a d a ainda mais
se a matriz A fo r p r e p a r a d a p a ra tal problema. Tal p r e p a r a o pode ser
r e a l iz a d a
He ss enbe rg
p e la
ou
tr ansfo rm ao
de
t rid iago n a l.
forma
mostradas na figura 12.
Householder
de
deixando
Hessenberg
na
forma
trid iagonal
so
97
FIGURA 12 -
FORMAS PR EPARAT RIAS PARA O PROBLEMA DOS

AUTOVALORES DO ALGORITMO QR
1
* * * *
*
0
* * * *
* * * *
* * *
* * 0 0
* * * 0 0
0 * * * 0
0 0 * * *
* *
0 0
12.a Forma de Hessenberg
* *
12.b Forma tridiagonal
C onsiderando A0 uma matriz com qualq uer uma d e ssa s formas obtida
fazendo
A0 = Q TAQ, onde Q uma matriz ortogonal ( a l c a n a d a atravs do
produto das transformaes de H o u s eh o ld er) e aplicando o algoritmo QR a

essa matriz cujos autova lores so os mesmos de A (garantido por construo)
a se qu n c ia de matrizes
Ak mantm a forma de A0 , convergindo p a ra
tringular su p e rio r p a ra o caso de A0 ter a forma Hess enberg e p a r a diagonal

(se A si m trica ) ou bidiagonal s u p e r io r ( s e r definida adiante) p a r a o caso
de A0 se r tridiagonal. Os autovalo res se ro os elementos da diagonal dessas
matrizes.
5.5.3
C lculo da decomposio de v a l o r singular
O procedimento p a r a a obteno da decomposio de v a lo r singular

ser d esen v o lv id o segundo descrito p o r LAWSON e HANSON (1974) e
GOLUB e REINSCH (1970),
a subro tina p a r a o clculo s e r t ir a d a a apartir
de PRESS et alii (1986).

O cculo feito em dois estgios. Prim erio , faz-se a reduo de A a
forma b idia gonal (ver fig. 13) e d e p o is atravs duma v a ri a n te no algoritmo
QR-modificado se obtm os v a lo r e s singulares da forma bid ia gonal.
98
5.5.3.1
Re duo a forma bidiagonal
Foi dito na seco (5 .5 .2.2 ) como p r e p a r a r uma matriz para o p ro b lem a

dos a u to v a lore s d eix ando-a sob a forma de He ss enbe rg ou tridiagonal. Aqui a
matriz
AeR
p osterio rm ente
deve ser r ed u z id a a forma bidiagonal superior p a r a que

a pr-m ultip lic a o p or sua transposta gere uma matriz
sim trica e trid iag on a l. A forma bidiagonal superior mostrada na figura

abaixo.
FIGURA 13 - FORM A BIDIAGONAL SUPERIOR DE UMA MATRIZ
0 0
0 0
A form a bidiago nal

pri ncipal
e uma diagonal
consiste
de
imediatamente
elementos
no-nulos
acima da p rin cip al,
na
os
diagonal
demais
elementos da matriz so nulos.

A reduo de A a forma bidiagonal a lc an ad a por uma seq un cia de
no mais do que 2n -l transformao de H o u s eh o ld er do tipo.
Q K= I m- 2 x ^
(k=l,2,...,n )
(5.56)
H k = I, - 2 y , y J
(k-l,2,...,n-2)
(5.57)
onde os ve to re s x e y j esto norm alizados. Ento

B = Qn...((Q2((Q1AJH1))H2)...Hn,2
cuja forma s e r re p r e se n ta d a por
(5.58)
99
qi !?
<2 e3
(5.59)
0
B
(m-n)
Denotando A, = A e definindo
A(k4)= Q kAk
( k = l , 2 ..... n)
(5.60)
A(k+1) = A(k^ H k
(k=l,2,...,n-2)
(5.61)
ento Qk definido tal que

A j^ = 0
(i= k + l , . .. , m )
(5.62)
(j=k+2,...,n).
(5.63)
e H k como
Ag+1)=0
Procedendo d e sta m a n e ir a os v a lo r e s singulares de B sero os mesmos

de A. P a ra v e ri fica r faamos
B = QnQn, . . Q !AH,..HIh2
(5 .6 4)
B t = H I 2...HAtQ...QI1QI
(5.6 5)
o produto BtB ser

BTB = H^2...HÂTAH1...Hn.2 .
(5.6 6)
Observe que (5 .6 6 ) c o n s e r v a os autovalores de ATA mostrando assim a

v e ra c id a d e da afirmao acima.
Uma Yez que os Yalores singulares de A so os mesmos de B, a
dec om posio
de
Yalor
singular
de
pode
ser
ob tid a
dec om posio de valor singular de B.
Considere a de com posio de Y a l o r s i n g u l a r de B como

A
B=USVt
(5.67)
atravs
da
100
onde
U e V
so
ortogonal
diagonal.
Ento
p e la
condio
de
o rto go n alid a de e sim etria de H, a d e c o m p o si o de v a lo r singular de A se r

A
A = (QU)S(HV) t
(5.68)
A = USVt .
(5.69)
ou
5.5.3.2
D e c o m p o s i o de v a lo r Bingular da matriz bidiagonal
N a s e c o (5.5.2.2) foi v isto a e f i c i n c i a do algoritmo QR-modificado

na d ete rm in ao dos autovalores de uma matriz quadrada. Ora, sendo B
b id ia gonal s u p e r i o r, o produto BTB t r id i a g o n a l , caindo exatamente na forma
c o b i a d a p a r a a a p licao do algoritmo QR-m odiflcad o o qual f i c a r i a mais
econmico se foss e utilizadas as tra n s fo r m a e s de Givens em vez das
tras form a e s de Householder, po is r e s t a r i a
um componente abaixo da
diagonal p r i n c i p a l p a r a ser zerado.

Pensando d esta forma nosso p r o b l e m a j e sta r ia res o l v id o , b a s t a r i a
fazer o pro d u to B TB e a p lica r o alg oritm o QR-modiflcado p a r a a matriz
t rid iag o na l si m t r i c a e ainda com g a r a n t ia da co nv erg n c ia quadrtica. O
algoritmo d e s t a forma j s e r i a timo, mas melhor ain da se no housse a
n e c e s s i d a d e de e x p licitar BTB , p o is este p roduto pode conduzir a p e r d a de
informaes p o r causa de erros de arreondamento. A SVD p revin e -se tambm
desse fato, sendo um dos motivos p o r se r a tc nic a r ecom end ad a p a r a a
determina o dos va lo re s singulares de uma matriz.
O p roce d im e n to p a ra obter a d e co m p o si o de v a lo r singular de B um
p r o c e s s o i te r a tiv o da forma
(5.70)
k - 1 , 2 ,3 ,. . .
onde
Uk e
(5.71)
VK so ortogonal. As m atriz es Vk so esco lhidas de modo que a
seq u n cia M k = B kB k convergem p a r a a fo rm a diagonal, enquanto as matrizes
101
Uk so e sc o lh id a s de modo que Bk p e rm a n e a bid ia gonal supe rior p a r a todo
k.
Um paBso deste algoritmo d e sc r ito como segue.
D a d a B k> o algoritmo determina
in f e r io r d i r e i t a
in feri or
os a u tovalo res
e 2 da submatriz
de M k, aquele que mais se apro xim ar do elemento
d i r e i to
de M k
ser
e sco lh ido
para
se r
<7k
do
algoritmo
usual do
algoritmo
QR -m odific ado .
A
matriz
Vk
determ inda
pelo
p r o c e ss o
QR -modificado
(M k-V n^V kR x
(5.72)
onde R k tria ng u la r superior.

A m atriz Uk determinada de m a n e ir a que
B* = D B kV,
(5.73)
s e ja b id ia g o n al superior.
O p a s s o detalhado
(5.73) , na ve rda de
deste algoritmo no feito como sugere (5.72) e
M k nunca f orm ada e os a uto v a lo re s
de
so
calcu lad o s implicitamente.

Abandonando
o ndice k p o r
co m o didade
de notao
e formando
M = Bt B onde B tem a forma (5.59) , a submatriz M (W) s e r
t i
e n-l
eA - l
(5.74)
eA - i
< + e2
cuja equao c a r a c t e r s t i c a se r
t r r * ) ( q f r ^ ) - M . . i ) 2= o.
Como p r o c u r a - s e o
fazer a sub stitui o
(5.75)
que mais se ap rox im a de q+e^ , conveniente
102
= q2+e2 - X
z>
X = q2+e2 - 5
(5 .7 6)
e BubBtituindo X de (5 .7 6) em (5 .7 5 ) resulta
f Kq+L1--<!)*-
(5.77)
d iv id in do to da a e xp resso p o r (enqn.j)2 tem-se
j - + (g-L+e.-i ~.q"
~
(e q-i)
(enqn-i)(enqfl-i)
i=o
(5.7 8)
chamando
r= ~ ~ i
M n-l)
(5-79)
.2 _2 , J2 _2
f _ (qn- q n - i + e n- g n-i)
2(enqu-i)
(5.80 )
e substituindo em (215) obtem -se

/ - 2 f /- l =0.
(5.81)
Aplicando B a s k a ra p a r a obter as raizes tem-se
TF.
(5.82)
Analisando (218), p e r c e b e - s e que uma raiz se r sempre ne gativ a e outra

p ositiv a , alm disso, uma vai s e r menos o inverso da outra, com base nisso
p od e -se esc rever
( 5 .8 3)
onde
-f-o-tf1)1* . r
t={
ao
. st f<0
levando (5.83) em (5 .7 9 ) e p osterio rm ente em (5.76), r e s u l t a
(5.84 )
A
a=.
(5.85)
103
obse ry a o: com t escolhido da for m a a cim a o , se r Bempre o v a l o r maiB

prximo do elemento inferior d ireito de M(2^ .
A d e d u o acima forneceu o v a l o r de o a se r UBado em (5.72). A seguir
s e r dado o procedimento p a r a oter U e
V, mas antes porm deve ser
e nunciada uma p ro p o si o (LAWSON e HANSON 1974).
P r o p o s i o 1.
Se M t ridiago n a l com todos elementos no-nulos, V
ortogonal, o um esca lar a rb i t r r i o ,

VtM V
tridiagonal
e a p r i m e i r a coluna de VT(M-cd) zero

ento V t( M -
tI) =
abaixo
do prim eiro
elemento,
R triangular superior.
Note que a pr im e ir a coluna de ( M - o I )
q e2
(5.86)
e p e l a c o n d i o da pro po sio 1 de VT(M-of) ter zeros embaixo do p rim eir o

elemento e VT( M - o rl) = R , im p lica que VT deve anular o segundo componente
de (5.86). P a r a isso b a sta VT se r uma tras fo rm a o de Givens.
A co ntece que esta tras formao vai tir a r B da forma bidiagonal, pois
isto f a r i a g e r a r um elemento na p o s i o
b21 . P a r a manter B na forma
bid ia go n al e conseqentemente as co n d i es da p ro p o si o 1, uma seq un cia

de t ran s fo rm a e s de Givens devem Ber a p li c a d a s na ordem
B= U n(...U3((2(BV2))V3)...Vn
onde
=k+l
B=Bk ;
(5.87)
104
Vk=V2V3...Vn ;
UkT=Un...U3U2
com
1 0
0
\
1
=
i
e Vj
-8
(i-1)
(i)
, i = 2,3,...,n
n-dimensional d e fin id a de form a anloga
p a r a i=2,3,4,...,n. A V2
determinada p a r a z e r a r o segundo componete de (5.86), as demais p a r a manter

as condies m ensiona das anteriormente.
O comportamento d e ssa s transfo rm aes no p r o c e s s o de transio de
Bk- * B k+1 so m ost rados p e l a figura abaixo.
FIGURA 14 - PROCESSO " CHASING "
as quais tem a seguinte interpretao:

V2 no a n iq u ila n ada e g e r a b21 ;
105
U2 a niq u ila b21 e g e ra b13 ;

V3 a niq u ila b,3 e g e ra bK ;
U* a niq u ila b ^j e no g e r a nada.

O
procedimento
d e sc r ito
a cim a
um
passo do
algoritmo
da
deco m posio de va lo r sin gular de B, a sua aplicao r e s u l t a na transio

de B k- > B k+1, lembrando que a co n v erg n c ia se d quando (5.70 ) alcanada.
Existe
ainda algumas
observaes
com respeito
ao
p r o c e ss o
de
algoritmo
da
co n verg n cia e sero tratad os a seguir.

O
procedimento
de scrito
acima
um
passo do
decom posio de valo r singular de B, a sua aplicao r e s u l t a na transio

de Bk- > B k+1, lembrando que a c o n v e r g n c ia se d quando (5.70 ) alcanada.
Existe
ain da
algumas o b s e r v a e s
com
respeito ao
p ro ce ss o
de
c onvergncia e sero tratados a seguir.
5.5.3.3
Teste de con v ergncia
Suponha ser uma c e r t a to le rn c ia, se |en|^< a c e ita- s e |qn| como um

v a lo r sigular de A.e toma-se a submatriz
de ordem n-1
de B k (no estgio
questo) p a r a p rosseguir os c lculos. Entretanto, se |ek| ^ Jpara k^n
em
,matriz
d i v i d i d a em duas e os v a l o r e s singulares de cada b l o c o podem ser

tratad os independentemente.
Suponha
que
em
algum
estgio
|qk|^<5V ento
por
convenientes
transform aes de Givens a matriz pode ser d i v id i d a em dois blocos. O

pro cedimento mostrado por:
=
Tj^+jBjj
(5.8 8)
sendo que
ek+1 aniquilado por T ^ , mas bu+2 e J k+U so gerados ;
bw+2 an iq u ilad o por TKk+2 , bu+3 e 4 +2Jl so gerados ;
bM aniq u ilad o por TM mas ^ gerado.
A matriz Bk f i c a r com a forma

(k)
0
V>1e*+2
Se
fo r
(5.89)
(k)
e scolh id o
:c
ûjjB oL
computador) ento os elementos
(u
unidade
de
arredondamento
qk,Jk+1,...,5n podem ser desprezados e
pode se r d i v i d i d a em dois blocos como
B k=
B 1
(5.90)
e tra tados independentemente.

sendo
qk de
B! considerado nulo
ek p o d e r ser zerado por
seq u n cia de transformao de Givens da forma

b ;tw...t , = b ;
e qk p a s s a a se r um v a lo r singular de A.
(5.91)
107
Se qk=0 , ento p e lo menos um v alo r singular zero e a mesma

s equ n cia (5.88) pode se r a p l i c a d a ( a diferena a no g e ra o dos <?u ,
i = k ,k + l ,...,n ) p a r a re d u z ir a ordem da matriz ou p a r c i o n - l a conforme seja a
p o s i o de k.
5.5.3.4
Formao da d e co m p o si o de v a lo r Bingular de A
A decom posio de v a l o r sin gular de A

A = USVt
(5.92 )
fo rm ad a a p a r t i r d a SVD de B ,ver (5.67)

A
B=UBVt .
(5 .9 3 )
Uma vez que os elementos d a
diagonal de B tende p a r a Beus valores
singulares, ou seja, a diagona l de S a c ad a passo do procesBo iterativo pela

a p lic a o do produto das tr ansfo rm a e s de Givens, ento o produto de
todas as transformaes a p l i c a d a s tendero p a ra os a uto v e to re s de B.
Um detalhe que a tra vs da a p li c a e s das t rans fo rm a e s de Givens
os elementos da diagonal de S podem v i r com sinais p o s i t i v o s ou negativos
e p o r se r BTB
no mnimo se m i- d e f n i d a p o sitiv a e sse s d e v er iam ser ou
nuloB ou p ositiv o s p a r a t o r n a r p o s i t iv o s os que esto n e g ativ os, deve-se

usar uma matriz diagonal D com elementos +1 e -1 conforme seja o
re s p e c t iv o sinal do elemento de S. Ento
S=SD
A
(5 .9 4 )
A
a matriz U e V de (5 .9 3 ) s e r fo r m a d a p or
U = U j...U j
(5 .9 5 )
V = Vj... Vv
(5 .9 6 )
a matriz Q e H de (5 .6 8) 6er fo r m a d a p or
Q = QnQ ,1.. Q1
(5 97)
H = H,H3
(5 .9 8 )
de (5.68) :
A = (QU)S(HV)T
(5 .9 9 )
108
assim
(5.100)
(5.10 1 )
e finalmente
=USVT
5.5.3.5
(5 .1 02 )
S u b ro tin a p a r a a decom posi o de v a lo r singular
Como men8onado anteriormente e s s a subrotina foi t i r a d a a apart ir de

PRESS et a lii (1986). Nenhuma m o d if ica o foi f e ita .
S U B R O U T IN E S V D C M P (A .M .N .M P .N P .W .V )
dada
a m a t ir z
c lc u la
m a t r iz
su a
A,
com
d im e n s lo
d e c o m p o s i lo
d ia g o n a l
de
v a lo r e s
a rm a ze n a d a com o V. M
l g ic a
de v a l o r
deve
por
d im e n s lo
s in g u la r . A - U . W . V
s in g u la r e s
. A
arm aze n ad a
no
PARAM ETER
(N M A X -1 0 0 )
m x im o v a l o r a n t e c i p a d o d e N
D IM E N S IO N
A (M P ,N P ),W (N P ),V (N P ,N P ),R V 1 (N M A X )
I F ( M . L T . N ) P A U S E ' v o c e d e v e a u m e n t a r l i n h a s e x t r a s em A '
r e d u t o de H o u s e h o ld e r p a ra a fo rm a b id ia g o n a l.
0-0.0
SC A L E -0 .0
A N O R M -0 .0
D O 25 I - l . N
L = I+ 1
RV1 ( I) - S C A L E + O
0-0.0
S -0 .0
SC A L E -0 .0
IF 0 L E . M ) T H E N
II
K - I.M
SC A L E -S C A L E + A B S (A (K ,Q )
11 C O N T I N U E
IF
( S C A L E . N E . 0 .0 ) T H E N
DO
12 K - I . M
A ( K , I) - A ( K , I) / S C A L E
S = S + A ( K .I)* A (K . I)
12
C O N T IN U E
F -A O .D
0 -- S IO N ( S Q R T ( S ) . F )
H = F *0 -S
A O , I) - F - 0
IF O .N E .N ) T H E N
DO
v e to r
MP
15 J - L . N
S -0 .0
DO
13 K - I . M
por
s u b s t it u i
W.
s e r m a io r o u i g u a l a N . S e f o r m e n o r e n t l o A
a t f i c a r q u a d r a d a c o m l i n h a s z e r o s .
DO
fis c x
m a t r iz
NP,
A
m a t r iz
deve
e sta
na
r o t in a
s a id a .
V (n lo
V )
s e r c o m p le ta d a
109
S S + A (K .I)*A (K . / )
13 C O N T I N U E
F -S/ H
DO
14 K - l . M
A ( K . .1) = A ( K . / ) + F A ( K . J)
14 C O N T IN U E
15 C O N T I N U E
E N D IF
DO
16 K - I . M
A (K . I) S C A L E * A ( K . I)
16 C O N T I N U E
E N D IF
E N D IF
W ( I) - S C A L E * 0
0-0.0
S -0 .0
SC A L E -0 .0
IF
( ( I. L E . M ) . A N D . G -N E .N )) T H E N
DO
17 K - L . N
SCALE-SCALE+ABS(A(I.K))
17 C O N T I N U E
IF
(SC A L E .N E .0 .0 ) T H E N
DO
18 K - L . N
A ( I, K ) A (I.K ) / S C A L E
S = S + A ( I, K )* A (I,K )
18 C O N T I N U E
F -A (I,L )
0 - - S IO N ( S Q R T ( S ) , F )
H = F *G -S
A G .L )-F -0
DO
19 K - L . N
R V 1 (K )= A 0 .K )/ H
19 C O N T I N U E
IF
( I. N E . M ) T H E N
D O 23 J - L . M
S -0 .0
D O 21 K - L . N
S S + A ( J , K ) mA ( I . K )
21 C O N T I N U E
D O 22 K - L . N
A ( J . K ) - A (J .K ) + S * R V 1 (K )
22 C O N T I N U E
23 C O N T IN U E
E N D IF
D O 24 K - L . N
A (I,K ) S C A L E *A O .K )
24 C O N T IN U E
E N D IF
E N D IF
A N O R M - M A X ( A N O R M , ( A B S ( W ( I ) ) + A B S ( R V 1 ( I) ) ) )
25 C O N T IN U E
a c u m u la ; lo d a s t ra n s f o r m a ?6 e a a d ir e it a
D O 3 2 I N . l . - l
IF G -L T .N ) T H E N
I F ( O . N E .O . O ) T H E N
D O 26 J - L . N
d u p la d i r i s l o
V ( J . I) -( A G ./ )/ A G . L )) / 0
26 C O N T I N U E
p/ e r it a r s u b f lu x o
110
D O 29 7 = L .N
S = 0 .0
D O 27 K = L .N
S S + A (1 .K ) *V (K ,7 )
27 C O N T IN U E
D O 28 K = L ,N
<r(K.7)=V(K.7)+S*V(K.I)
28 C O N T IN U E
29 C O N T IN U E
E N D IF
D O 31 7 = L , N
V G .7 ) 0 .0
V (J.0 = 0 .0
31 C O N T I N U E
E N D IF
V ( 1 . D = 1 .0
G = R V 1 ( I)
LI
32 C O N T IN U E
ic u m u t t ; lo
d i e t r a t f o r m i f O ea d a e s q u e r d a
D O 39 I- N . l. - l
L-I+l
G - W ( I)
IF
G -L T .N ) T H E N
D O 33 J= L .N
A G .0 = 0 .0
33 C O N T IN U E
E N D IF
IF
(O .N E .0 .0 ) T H E N
IF
G -N E .N ) T H E N
0=1.0/0
D O 36 7 = L ,N
S -0 .0
D O 34 K = L , M
S = S + A (K .I)*A (K .7 )
34 C O N T IN U E
F = (S / A G .0 )*G
D O 35 K = I, M
AG C .O =A G C .O +F*A (K .O
35 C O N T IN U E
36 C O N T IN U E
E N D IF
D O 37 J = I. M
A ( 7 ,I) = A ( 7 , I) *G
37 C O N T IN U E
ELSE
D O 38 7 = 1 .M
A ( J , I) = 0 . 0
38 C O N T IN U E
E N D IF
A G .0 = A G .0 + 1
39 C O N T IN U E
d ia g o n a liz a f lo
D O 49 K N .1 .-1
lo o p
da fo rm a b id r a g o n a l
e o b re r a lo r e s
D O 48 I T S = 1 .3 0
s in g u U r e t
n u m . de it e rffle c p e r m ie s iv e is
D O 41 L - K . 1 , - 1
N M = L -1
rv l(l)
p e r m it d o s e r z e ro
IF ( ( A B S G ^ V 1 G O ) * A N O R M ) - E . Q . A N O R M )
OO TO 2
Ill
I F ( ( A B S ( W ( N M ) ) * A N O R M ) .E Q . A N O R M )
41 C O N T I N U E
C -0 .0
S -1 .0
D O 43 I - L . K
F S * R V 1 ( I)
IF ( ( A B S ( F ) + A N O R M ) . N E . A N O R M )
THEN
0 -W (I)
H S Q R T (F *F + 0 *G )
W ( I)- H
H -l.O / H
C -(0 *H )
S = -(F *H )
D O 42 J - l . M
V A (J ,N M )
Z = A ( J . I)
A (J ,N M )= (y *C )+ (Z *S )
A ( j , i) "- ( y * s ) + ( z * c )
42 C O N T IN U E
E N D IF
43 C O N T IN U E
2
Z -W (K )
IF (L .E Q .K ) T H E N
c o n v e r g n c ia
IF (Z .L T .O .D ) T H E N
v a lo r s in g u la r
f e it o p o s it iv o
W ( K ) = -Z
D O 44 - 1 . N
V (J .K )= -V (J .K )
44 C O N T IN U E
E N D IF
00
TO 3
E N D IF
IF
( IT S . E Q . 3 0 ) P A U S E 'N l o
X = *W (L )
c o n v e rg e
em 3 0 i t i r a f e s '
v a r i a I o a p a r t ir d a m a t r iz 2 x 2
MM'K-1
Y *= W (N M )
0 - R V l(N M )
HRV1 (X)
F -((Y -Z )*(Y + Z )+ (0 -H )*(0 -H )/ (2 .0 *H *Y )
G -SQ R T (F *F + 1 .0 )
F - ( ( X - Z ) * ( X + Z ) + H * ( ( Y / ( F + S IO N ( O . F ) ) ) -H ))/ X
p r x im a t r a n s f o r m a o Q R
C -1 .0
S -1 .0
D O 47 J -L .N M
I=J+1
0 = R V 1 (D
Y = W ( I)
H * S *0
G =C *0
Z -S Q R T (F *F + H *H )
R V 1 ( I) = Z
C -F / Z
S=H /Z
F = (X *C )+ (0 *S )
0 = -(X *S)+ (0 C )
H "Y *S
Y -Y * C
D O 45 j ; - l , N
00
TO
112
X *= V (J J .J )
Z (J J .J )-(X *C )+ (Z S )
V ( J J . I) *- ( X * S ) + ( Z *C )
A5
C O N T IN U E
Z SQ R T (F *F + H *H )
W (J ) Z i o U I o pod e s t i iibiViiii s t Z -0
I F ( Z . N E . 0 .0 ) T H E N
Z -1 .0 / Z
C = F *Z
S -H *Z
E N D IF
F -(C Q )+ (S *Y )
X = -(S *0 )+ (C *Y )
D O 46 J J - l. M
V = A (J J .J )
Z -A (J J .I)
A (J J ,J )= (Y *C )+ (Z *S )
A C JJ.O ( Y * S ) + ( Z C )
46 C O N T IN U E
47 C O N T IN U E
R V l(L )-0 .0
R V IO O - F
W (K )*= X
48 C O N T IN U E
3
C O N T IN U E
49 C O N T IN U E
RETURN
END
113
6.
TESTES
REALIZADOS
PARA
PROBLEMA
DE
M N IM O S
QUADRA DOS L I N E A R
Este dedicado exclusivam ente aos testes p a ra c o m p r o v a r o que foi

de scrito ao longo do dese nvolvimento terico. Para isso escolhe u -se nove
testes a fim de e lucid ar os p r i n c i p a i s pontos a enfatizar.
Os resultados dos tes tes foram obtidos atravs da execuo de um
program a computacional em linguagem "Turbo Pascal - v e rs o 6.0" em uma
computador
386-Sx.
Este
programa
foi
confeccionado
utiliza ndo
as
subroutinas de scritas ao longo do captulo 5, algumas so fre ram algum tipo de

implementao, mas nada que mude
a velocidade
e a e s t a b i li d a d e
das
6ubroutinas originais. O p rog ram a no se r anexado neste, mas se r for necida

uma c pia do mesmo ao Curso de Ps-G rad uao em C incias G e o d s ic a s que
p o d e r ser consuntado quando so licitad o.
6.1
DESCRIES PRELIMINARES
N e s t a seco s e r f e i t a uma b rev e descrio dos o b j e t i v o s de cada

teste.
I o. teste: Este teste tem o sim p le s ob jetivo de mostrar a v a r i a o na soluo
quando as equaes so po n d e ra d a s p o r pesos iguais e por p e so s di ferentes .
2o. teste:
Este teste m ostra a e q u iv a l n c i a das solues entre os mtodos
deBcritos neste trabalho, quando o p ro b lem a be m-condicionado.
114
3o. teste:
Este
teste mostra a p e r d a de
informaes
ao se formar
as
equaes normais de mnimoB qua drados p a r a a soluo do problema.
4 o. teBte:
Este teste tem por fin alid ad e m ostrar o comportamento da soluo
e res duo quando o v e to r b pertur ba do no pro blem a de mnimos quadrados

linear.
5o. teste:
Este teste tem por objetivo mostrar o comportamento da soluo e
resduo quando a matriz dos coeficientes perturbada.
6o. teste:
Este teste caracteriza v ri o s pontos; ele mostra a desvantagem em
se formar as equaes normais, c a r a c t e r i z a a dificuld ade na determinao do

posto de uma matriz, mostra a e q u iv a l n c i a na soluo p a ra os mtodos
ba seados na d eco m p osio ortogonal, QR
SVD (quando no se cogita a
soluo de comprimento mnimo).
7o. teste:
N e ste teste, Cholesky de te cta a de fic i n c ia de posto( enquanto
que os demais fornecem uma soluo e rrada). A SVD usada na anlise e

fornece a soluo de comprimento mnimo.
8o. teste:
N e ste
teste
a matriz
dos
Cholesky nao d e te cta a deficincia,
coefi cientes
tem posto
deficiente,
enquanto que os demais dectectam. A
anlise feita p e l a SVD que fornece a soluo de comprimento mnimo.
9o. teste:
Este teste
no
ser
im press o
completamente
no trabalho,
colocado p a r a m ostrar o tempo gasto em cada mtodo p a ra obter a soluo e

matriz de c o v a r i n c i a em um sistema inconsistente de 38 equao e 34
incgnitas.
115
6.2
TESTES
TES TE 01:
D ifere n a entre as solues do problem a pon d erad o p or pesos
iguais e por pesos diferentes.
a) p e s o s iguais:
M atriz A
3
4
2
3
v e to r b
2 1
5 9
1 0
4 5
desv. pad re s
1
2
4
7
5
5
5
5
V e t o r x ( s o l u o p o r QR)
l|V||w =c omp. de r e s d u o
- 2 . 1 9 3 5 4 8 387 1
5 . 8 7 0 967 741 9
- 2 . 0 6 4 5 16 129 0
0 . 6 6 0 4 0 0 660 40
b) p e s o s d i f e r e n t e s
desv. p a d r e s
V e t o r x ( s o l u o p o r QR)
5
7
8
- 3 . 0 9 3 515 3 5 8 3
6 . 7 7 9 5 2 2 184 3
-2.1 69 283 2 7 6 5
comp. r e s d u o
0 . 4 8 0 32 9 807 06
1
T E S T E 02:
E qu iv a l n c ia dos mtod os p a ra um problema bem-condicionado.
MAT RI Z A
3
5
2
3
1 7
4
2
Vetor b
1
9
3
1
1
2
5
3
Os resulta dos obtidos p e lo p ro g r am a esto na t a b e la abaixo:

GausB-J
X
l|V||
0.14393627249
0.50089273451
0.05892047795
2.7053742035
Versol
0.14393627249
0.50089273451
0 05892047795
2.7053742035
Cholesky
0.14393627249
0.50089273451
0.058920477956
2.7053742035
QR
0.14393627249
0.50089273451
0.058920477935
2.7053742035
SVD
0.14393627249
0.50089273452
0.058920477955 .
2.7053742035
116
T ESTE 03:
Perda de informaeB em se formar as equaes normais de
mnimos quadrados e cuidados na Boluo.

Matriz A
Vetor b
1
1
1.02
1
7
3
a) P re cis o com un idade de a r r e d o n d a m e n t o u = J .0 E - J 2
M a t r i z At A
3. 0
3.02
V e t o r A^b
3.02
3.0404
V e t o r soluBo
12
12 .14
-222.50
225.00
b) P re cis o com unidade de a r r e d o n d a m e n t o u - 1 . 0 E - 0 4

M a t r i z AÂ
3. 0
3.02
V e t o r A^b
3.02
3.04
Comentrio:
V e t o r soluBo
12
12 .1 4
45 7
-450
P a r a a p rec is o do p rim e iro caso, a matriz ATPA definida
p o s i t i v a e a soluo ve rd a d eir a , isso j no acontece com a p r e c i s o reduzida

do segundo caso, a matriz ATPA to rna-se ind efin id a pois seus autovalores
com trs digitos .significativos so:
A]=-6,62 E -0 5
e A2=6,04 e a soluo
completamente errada.
Este teste mostra o cuidado que se deve ter ao se l e c io n a r um mtodo de
soluo p a r a o pro blem a de mnimos quadra dos linear. P a r a o segundo caso
r e c o m e n d a r - s e - i a utilizar, QR ou o SVD. Por Cholesky o p r o b le m a seria
de te ctado mas p o r Qa uss-Jordan e Versol a soluo f o r n e c i d a s e r i a errada.
T ES TE 04:
Este teste tem a f in a l id a d e de m ostrar o comportamento da
soluo e do residual quando o v e to r b pertuba do inteiramente no espao

coluna de A e no espao nulo de A T.
117
a)
P roblem a o r i g i n a l ( sem p e r t u b a o )
MATRIZ A
1
1
0
Vetor b
1
0
1
1
0
-5
Vetor x (so lu o p o r QR)
Comp. do r es du o
2.0 00
-3 .0 0 0
3.464 101 615 1
b) O p r o b l e m a com o v e to r b p e r t u b a d o i n t e i r a m e n t e no esp ao coluna de A.
Vetor b+b
Vetor x (soluo p o r QR)
1.002000
0.001000
-4.999000
Comp. do resduo
2.001
-2.999
3.464 101 615 1
comentrio: O c o rreu modificao na soluo mas no no resduo.
c)
P e r tu b a o no v e t o r b i n te i r a m e n te no e sp a o n ulo de AT.
Vetor
Vetor x (soluo por QR)
1.001
-0.001
-5.001
Comp. do resduo
2.000
-3.000
3.465 833 665 9
Cometrio: N o o c o r r e u mudana na soluo , mas houve mudana no resduo.
Comentrio final: Este teste mostra o c u id a d o que se deve ter ao analis ar se

um p r o b l e m a
ou no mal-con diciona do. Se fo r v o l t a d a a ateno somente
p a r a a so lu o, v iu -se que dependendo da v a r i a o f e i t a no vetor b esta no

sofre mudana, mas isto no garante que o
resduo
poder
ficar
muito
elevad o
problema
(nas
c i n c i a s
bem-condionado, o
ob se rv acionais,
c o n seq u ncia s e r i a n a v a r i n c i a da unidade de p e so a -p o s te r io r i ).
118
T ESTE 05:
Este teste tem p o r o bjetiv o mostrar o comportamento da soluo
e do resduo quando a matriz A pertubada.

a) P r o b le m a o r i g i n a l sem p e r t u b a o
MATRIZ, A
Vetor b
1
1
1
1
2.000 00
0.000 01
4 . 0 0 0 01
M E T O D O
DA
D E C O M P.
D E
VALOR
MATRIZ U
S I N G U L A R
MATRIZ V
- 8 . 1 6 4 9 7 9 4 1 75E-01 - 5 . 7 7 3 4 8 3 4 4 6 9 E - 0 1
4 . 0 8 2 4 6 9 2 9 6 4 E - 0 1 -5 .7 7 3 5 1 23 14 4 E - 0 1
4 . 0 8 2 4 6 9 2 9 6 4 E - 0 1 - 3 . 7 7 3 5 1 23 1 4 4 E - 0 1
- 7 . 0 7 1 0 9 1 3 8 2 0 E - 0 1 - 7 . 0 7 1 0 4 4 2 4 1 6E-01
7 . 0 7 1 0 4 4 2 4 1 6 E - 0 1 - 7 . 0 7 1 09 1 3 8 2 0 E - 0 1
V e t o r W (v al o r es s i n g u l a r e s )
V etor X (soluo)
5.77 3 4 8 2 2 2 5 7 E - 06
2 . 4 4 9 4 9 7 9 0 7 8E+00
9 . 9 9 9 9 9 1 17 26E-01
1.0000008827E+ 00
C o m p r im . do r e s d u o = 2 . 8 2 8 4 2 7 1 2 4 8 E + 0 0
b)
M a t r i z A p e r t u b a d a s o m e n t e no seu e s p a o coluna de A (a co lu n a no
nula da m a tr iz de p e r t u b a o
m l t i p l a da s egu nda
c o lu n a
de
U no
p r o b l e m a (a) ).
MATRI Z A+A
1.00001
1.00001
1.00001
1.00000
1.00001
1.00001
M E T O D O
DA
DECOMP.
DE
MATRIZ U
- 5 . 7 7 3 4 8 3 4 4 7 lE -0 1
-5.7735123143E-01
- 5 . 7 7 3 5 1 23 143E-01
VALOR
S I N G U L A R
MATR IZ V
8.1 6 4 9 7 9 4 1 7 4 E - 0 1
-4.0824692965E -01
-4.0824692965E-01
-7 . 0 7 1 0 7 95 96 8 E- 0 1 7 . 0 7 1 0 5 6 0 2 6 9 E - 0 1
-7 .0 7 1 05 6 0 2 6 9 E - 0 1 - 7 . 0 7 1 0 7 9 5 9 6 8 E - 0 1
V e t o r W ( v a l o r e s s in g u l a r e s )
Vetor x (soluo)
2 . 4 4 9 5 1 01 5 5 2E+ 00
5.77 351 1 093 l E- 0 6
9.999890921 9 E -0 1
1 .0 0 0 0 0 0 9 0 7 9E+00
Co m p rim . do r e s d u o = 2 . 8 2 8 4 2 7 1 2 4 8 E + 0 0
119
c) P e r t u b a o em A som en te no e s p a o c olu n a ( a c olu n a no nula da m atriz

de p e r t u b a o m l t i p l a da p r i m e i r a co lu na de U do p r o b l e m a (a) ).
MATRIZ A+ SA
100000
100000
100000
0.99998
1.00002
1.00002
METODO
DA
D E C O M P.
D E
MATRIZ U
VALOR
S I N G U L A R
MATRIZ V
-8.1650202420E-01
4.0824284714E-01
4 . 0 8 2 4 2 8 4 7 14E-01
- 5 . 7 7 3 4 2 5 7 1 1 6E-01
- 5 . 7 7 3 5 4 1 1 8 1 6E-01
- 5 . 7 7 3 5 4 1 1 8 16 E- 0 1
-7.07 1 091 3 8 2 6 E - 0 1
7 . 0 7 1 0 4 4 2 4 1 0E-01
- 7. 07 1 0 4 4 2 4 1 OE-01
-7.0710913826E-01
Vetor W (valores singulares)
Vetor x (soluo)
2.3093932540E-05
2 . 4 4 9 4 9 7 907 9 E + 0 0
1. 7 5 0 0 0 4 6 9 9 5 E + 0 0
2.5 0 0 0 0 3 0 0 4 7 E - 0 1
Comp rim . do r e s i d u o
d)
= 2 .8 28427 12 4 8 E + 0 0
P ert ubao em A somente no espao nulo de AT ( a coluna no nula da
matriz de p e rtu b a o m ltipla da ltim a coluna de U, a qual no calculada

pelo algoritmo apresentado. Tal pertubao foi ob tid a conforme exposto no
exemplo da pg. 36).
MATRIZ A
1.00000 1.00000
1.00000 1.00000
1.00000
1.00002
METODO
DA
DECOMP.
DE
VALOR
MATRIZ U
- 4 . 0 8 2 5 0 9 5 5 0 8E-01
-4.0825106914 E - 0 1
8.1649385926E-01
MATRIZ V
5.7734834468E-01
5.7734834468E-01
5 .7 7 3 5 4 1 1 8 1 8 E - 0 1
-7.0710913821E-01
7.0710442415E -01

1.1546966064E-05
2 . 4 4 9 4 9 7 907 8 E + 00
Comprim. do r e s i d u o
S I N G U L A R
7 . 0 7 1 0 4 4 2 4 1 5E- 01
7 . 0 7 1 0 9 1 3 8 2 1 E-01
Vetor X (solucao)
-1 .4999926775E+05
1.5000026776E+05
1.414206491 3E+00
120
comentrio: quando a pertuba&o se d somente no eBpao coluna de A, o
reBduo no Bofre a lte r a o (ver equao (4.50 ), mas a soluo sim. A maior
v a ri a o na soluo quando a p ert ub ao em A m ltip la do menor v a lo r
singular. Quando a pertubao ocorre no esp ao nulo de AT, ambos sofrem
a ltera e s, a soluo e o resduo.
TESTE 06: Este teste reune v ria s c a r a c t e r s t i c a s de uma s vez. Ele mostra
a desvantagem em Be formar aB equaes normais, c a r a c t e r i z a a dificuldade
na determinao do posto e mostra a e q u iv a l n c i a das sol ues pelo mtodo
QR e SVD.
obs.: neste e nos prximos dois testes a segu ir s e r im pre ssa a matriz de
c o v arin c ia s dos p ar m etro s ajustados ( ver GEMAEL 1974) a fim de tornar
este trabalho mais a p lic a tiv o e m ostrar uma c a r a c t e r s t i c a a mais na anlise.
O program a foi implementado p a ra fazer esses clculos.
MATRIZ A
-1 .3 4 0 5 5 5 0 0 0 0 E -0 1
-2 .0 1 6 2 8 3 0 0 0 0 E -0 1
-1 .6 9 3 0 7 8 0 0 0 0 E -0 1
-1 .8 9 7 1 9 9 0 0 0 0 E -0 1
-1 .7 3 8 7 2 3 0 0 0 0 E -0 1
-1.O 3794800O O E-01
- 1 .5 7 6 6 3 4 0 0 0 0 E -0 1
-1.33462 60O 0 O E -01
-1 .4 8 4 8 5 5 0 0 0 0 E -0 1
-1.359769O 0O O E-O 1
- 8 .7 7 9 5 9 7 0 0 0 0 E -0 2 - 1 .2 8 8 3 8 7 0 0 0 0 E -0 1
-1 .0 6 8 3 0 1 0 0 0 0 E -0 1
- 1 . 2 0 1 1 8 0 0 0 0 0 E -0 1
-1 .0 9 3 2 9 7 0 0 0 0 E -0 1
3 .3 5 3 3 1 0 0 0 0 0 E -0 3 -1 .6 4 1 2 7 0 0 0 0 0 E -0 2
7 . 8 6 0 6 0 0 0 0 0 0 E -0 4
2 . 7 1 6 5 9 0 0 0 0 0 E -0 3
4.1O 639O O 000E-O 3 - 1 .4 0 5 8 9 4 0 0 0 0 E -0 2
-1 .3 8 4 3 9 1 0 0 0 0 E -0 2
2 .0 3 8 5 5 4 0 0 0 0 E -0 2
-3.248O 93O 0OO E-Q 2 -1 .8 7 6 7 9 9 0 0 0 0 E -0 2

5 . 9 6 7 6 6 2 0 0 0 0 E -0 2
6.667714O O O O E-02
4 .3 5 2 1 5 3 0 0 0 0 E -0 2
5.740438O O 0O E-O 2
5.024 9 6 2 0 0 0 0 E - 0 2
6 .7 1 2 4 5 7 0 0 0 0 E -0 2
7 . 3 5 2 4 3 7 0 0 0 0 E -0 2
4 . 4 8 9 7 7 0 0 0 0 0 E -0 2
6 . 4 7 1 8 6 2 0 0 0 0 E -0 2
5 . 8 7 6 4 5 5 0 0 0 0 E -0 2
8 .6 8 7 1 8 6 0 0 0 0 E -0 2
9 .3 6 8 2 9 6 0 0 0 0 E - 0 2
5 .6 7 2 3 2 7 0 0 0 0 E -0 2
8.14 1 0 4 3 0 0 0 0 E -0 2
7 .3 0 2 3 2 0 0 0 0 0 E -0 2
2 .1 4 9 6 6 2 0 0 0 0 E -0 2
6.2226620O O O E-O 2
7 . 2 1 3 4 8 6 0 0 0 0 E -0 2
6.200069O 0O O E-O 2
5 . 5 7 0 9 3 1OO0OE-O2
6 .6 8 7 4 0 7 0 0 0 0 E -0 2
1 .0 3 4 4 5 1 0 0 0 0 E -0 1
9 .1 5 3 8 4 9 0 0 0 0 E -0 2
9.5 0 8 2 2 3 0 0 0 0 E -0 2
8 .3 9 3 6 6 7 0 0 0 0 E -0 2
1 .5 8 7 9 0 7 0 0 0 0 E -0 1
1 .8 0 8 8 3 4 0 0 0 0 E -0 1
1 .1 5 4 0 6 9 0 0 0 0 E -0 1
1.616 0 7 3 0 0 0 0 E -0 1
1 .4 7 9 6 4 8 0 0 0 0 E -0 1
1 .7 6 4 2 8 9 0 0 0 0 E -0 1
2 .0 3 6 1 8 3 0 0 0 0 E -0 1
1 .3 0 5 7 8 6 0 0 0 0 E -0 1
1 .8 3 8 5 7 3 0 0 0 0 E -0 1
1 .7 0 0 5 5 5 0 0 0 0 E -0 1
1 .1 4 1 4 0 8 0 0 0 0 E -0 1
1 .7 2 5 9 6 1 0 0 0 0 E -0 1
1 .4 8 1 6 4 7 0 0 0 0 E -0 1
1 .6 0 0 7 4 7 0 0 0 0 E -0 1
1 .4 3 7 4 1 0 0 0 0 0 E -0 1
7 .8 4 6 0 3 8 0 0 0 0 E -0 2
1 .4 6 6 9 5 6 0 0 0 0 E -0 1
1 .4 3 6 J 8 0 0 0 0 0 E -0 1
1 .4 0 0 3 8 4 0 0 0 0 E -0 1
1 .2 5 7 1 180OO0E-O1
1 .0 8 0 3 1 8 0 0 0 0 E -0 1
1 .6 9 9 4 6 2 0 0 0 0 E -0 1
1.49715 2 0 0 0 0 E -0 1
1 .5 8 8 5 3 1 0 0 0 0 E -0 1
1 .4 3 0 1 5 5 0 0 0 0 E -0 1
121
Vetor b
desv. p a d r e s
-0 .4 3 6 1 0 0
- 0 .3 43 7 00
- 0 .2 65 7 00
-0.039200
0.01 9 30 0
0.07 4 70 0
0.09 3 50 0
0.10 7 90 0
0.19 3 00 0
0 .2 05 8 00
0 .2 60 6 00
0.31 4 20 0
0.35 2 90 0
0 .3 61 5 00
0.36 4 70 0
1.000000
1.000000
1.000000
1. 000000
1.000000
1.000000
1.000000
1.000000
1.000 000
1.000000
1.000000
1.000000
1.000000
1.000000
1.000000
M E T O D O
DA
ELI M.
DE
G A U S S - J O R D A N
VETOR X ( s o l u c a o )
- 6 . 3 5 5 4 9 7 7 127E-01
- 2 .4 5 3 6 9 4 8 3 96 E+ 00
2.0545839088E+00
-2.4429301 733E+00
6.5 0 8 6 4 9 2 2 4 9 E + 00
C o m p r im . do r e s d u o = 1 .3 92 63 1 1 2 0 8 E - 0 4
V a r i a n c i a da unidade peso a - p o s t e r i o r i =
1.9394214386E-09
M ATR IZ CO VARIANCIA
1.1572290549E+03 1.6070657777E+03 -1.2752070849E+03 1.4832983693E+03 -1.3481476116E+03
1.6092387117E+03 -2.2322645150E+03 1.7740784638E+03 -2.0692511446E+03 1.87S2342029E+03
-1.2745334034E+03 1.7707484479E+03 -1.4042286634E+03 1.6316147406E+03 -1.4837181109E+03
1.4776132562E+03 -2.0585709253E+03 1.6262135403E+03 -1.8767367706E+03 1.7122187088E+03
1.3451201753E+03 1.8714985226E+03 -1.4811668562E+03 1.7149612776E+03 -1.5621537109E+03
M E T O D O
DA
'SUBROT.
V E R S O L*
VETOR X ( s o l u o )
- 2 .2 5 OOOOOOOOE+OO
O.OOOOOOOOOOE+OO
2 .- 5 0 0 0 0 0 0 0 0 0 E - 0 1
-1.0000000000E+00
4.7 5 OOOOOOOOE+OO
C o m p r im . do r e s d u o = 1 . 4 7 8 8 3 6 2 2 1 6 E - 0 1
V a r i a n c i a da unidade pe so a - p o s t e r i o r i = 2.1 8 6 9 5 6 5 7 0 4 E - 0 3
122
MATRIZ CO VARI N CIA

9.3282762505E+08 1.2968386265E+09 -1.0274931333E+09 1.1919963570E+09 -1.0847694497E+09
1.2955086700E+09 -1.7982087964E+09 1.4278595897E+09 -1.6628652123E+09 1.5104783275E+09
-1.0279054639E+09 1.4298977448E+09 -1.1319469553E+09 1.3111882164E+09 -1.1941082220E+09
1.1954759624E+09 -1.6694021007E+09 1.3144940514E+09 -1.5081938694E+09 1.3798557355E+09
-1.0866224 090E+09 1.5146009385E+09 -1.1956697317E+09 1.3781771307E+09 -1.2581069067E+09
M T O DO
DE
C H O L E S K Y
A m a t r i z ATP A n a o e de fi n i d a p o s i t i v a e a s o l u c a o fo ge ao a l c a n c e do
m t o d o de CH OLE SKY . Pa r a e s te caso , a s o l u c a o do p r o b l e m a de m i n i m o s
quad rad os l i n e a r a tr a v s das e q u a c o e s n o r m a i s nao e c o nf i ve l.
ME T O DO
QR
V e t o r X ( so lu & o)
-8.3 7 43 4 27 23 4 E + 00
8.292250941 9E+00
- 6 . 4 7 3 4 9 8 3 0 2 0 E + 00
7.47 9 1 7 9 3 8 8 9 E + 0 0
-2.508361691 9E+00
Comprim. do r e s d u o =
1. 39 2 3 3 1 0 9 8 8 E - 0 4
Va riancia da un i d a d e p e s o a - p o s t e r i o r i = 1. 9 3 8 5 8 5 8 8 8 7 E - 0 9
MATRIZ CO VARI N CIA

1.3909023107E+04 -1.9307891586E+04 1.5329458090E+04 -1.7848618743E+04 1.6214630675E+04
-1.9307891586E+04 2.6804875492E+04 -2.1278897545E+04 2.4770089112E+04 -2.2504932802E+04
1.5329458090E+04 -2.1278897545E+04 1.6895194108E+D4 -1.96734 16645E+04 1.7871607401E+04
-1.7848618743E+04 2.4770089112E+04 -1.9673416645E+04 2.2921269324E+04 -2.0816428075E+04
1.6214630675E+04 -2.2504932802E+04 1.7871607401E+04 -2.0816428075E+04 1.8907302042E+04
M T O DO
DA
DECOMP.
V e t or W ( v a l o r e s s i n g u l a r e s )
1.00000001 92E+00
1. 0 0 0 0 0 0 0 3 6 2 E - 0 1
9.9999558899E-03
1.3963999608E-07
9.99896067 93E-06
DE
VALOR
S I N G U L A R
123
Vetor X (solucao)
-8.3740741 624E+00
8 . 2 9 1 8 7 8 2 6 3 4 E + 00
6.47 3 2 0 2 2 7 5 8 E + 0 0
7.478834431 9E+00
-2.5080484386E +00
Co m p r im . do r e s d u o =
1.39233 10 9 2 4 E -0 4
V a r i n c i a da u ni dad e p e s o a - p o s t e r i o r i =
1. 9 3 8 5 8 5 8 7 0 8 E - 0 9
MATRIZ CO VARINCIA
1 .3 9 0 8 9 9 6 5 4 8 E + 0 4 - 1 . 9 3 0 7 8 5 4 8 1 7 E + 0 4
-1 .9 3 0 7 8 5 4 8 1 7 E + 0 4
2 .6 8 0 4 8 2 4 5 8 8 E + 0 4
1 .5 3 2 9 4 2 8 7 8 8 E + 0 4 - 2 . 1 2 7 8 8 5 6 9 7 9 E + 0 4
1 .7 8 4 8 5 8 4 4 0 3 E + 0 4
1.53294 2 8 7 8 8 E + 0 4 - 1 . 7 8 4 8 5 8 4 4 0 3 E + 0 4
-2 .1 2 7 8 8 5 6 9 7 9 E + 0 4
1 .6 2 1 4 5 9 9 5 7 7 E + 0 4
2 .4770 041570E+O 4 -2 .2 5 0 4 8 8 9 7 4 8 E + 0 4
1 .6 8 9 5 1 6 1 7 8 0 E + 0 4 - 1 . 9 6 7 3 3 7 8 7 5 9 E + 0 4
1 .7 8 7 1 5 7 3 0 9 0 E + 0 4
2 .4 7 7 0 0 4 1 5 7 0 E + 0 4
-1 .9 6 7 3 3 7 8 7 5 9 E + 0 4
2 .2 9 2 1 2 2 4 9 2 6 E + 0 4
-2 .0 8 1 6 3 8 7 8 6 7 E + 0 4
1 .6 2 1 4 5 9 9 5 7 7 E + 0 4 -2 .2 5 0 4 8 8 9 7 4 8 E + 0 4
1 .7 8 7 1 5 7 3 0 9 0 E + 0 4
-2 .0 8 1 6 3 8 7 8 6 7 E + 0 4
1 .8 9 0 7 2 6 5 6 2 9 E + 0 4
TESTE 07: Neste teste, Cholesky detecta a d e fi c i n c i a de p o sto na matriz A,

enquanto que Oa uss-Jo rdan e Versol fornecem uma soluo e rr a d a p a ra o
problema. A SVD u sa d a p a r a a determinao do posto e fornece a soluo
de comprimento mnimo.
MATRIZ A
1
7
4
2
6
4
1 0
vetor b
2
10
6
6
8
M E T O D O
DA
ELI M.
DE
-8.5714285714E-01
2.37 1 4 2 8 5 7 1 4 E + 0 0
-1.42857 14284E-01
C o m p rim . do r e s d u o =
5 . 2 9 1 50 26 22 1E+ -0 0
V a r ia n c ia da unidade p e s o a - p o s t e r i o r i = 2 . 8 0 0 0 0 0 0 0 0 0 E + 0 1
MATRIZ CO VARIANCIA
2 . 7 4 8 7 7 9 0 6 9 4 E + 1 1 1. 3 7 4 3 8 9 5 3 4 6 E + 1 1 - 2 . 7 4 8 7 7 9 0 6 9 4 E + 1 1
1. 3 7 4 3 8 9 5 3 4 6 E + 1 1 6.87 19 4 7 6 7 5 5 E + 1 0 - 1 . 3 7 4 3 8 9 5 3 4 8 E + 11
* 2 .7 4 8 7 7 9 0 6 9 4 E + 1 1 - 1 . 3 7 4 3 8 9 5 3 4 8 E + 1 1 2 . 7 4 8 7 7 9 0 6 9 5 E + 1 1
124
M E T O D O
DA
3UBROT.
V E R S O L*
2. OOOOOOOOOOE+OO
3.0000000000E+00
- 2 . OOOOOOOOOOE+OO
Co m p r im . do r e s d u o = 7 . OOOOOOOOOOE+OO
V a r i a n c i a da unidade p e s o a - p o s t e r i o r i 4 . 9 0 0 0 0 0 0 0 0 0 E + 0 1
MATRIZ CO VARIANCIA
8 . 4 1 8 1 3 5 9 0 0 4 E + 1 1 4 . 2 0 9 0 6 7 9 4 9 9 E + 1 1 - 8 . 4 1 81 3 5 9 0 0 2 E + 1 1
4 . 2 0 9 0 6 7 9 4 9 9 E + 1 1 2.1 0 4 5 3 3 9 7 5 3 E + 1 1 - 4 . 2 0 9 0 6 7 9 5 01 E + 11
- 8 . 4 1 8 1 3 5 9 0 0 2 E + 1 1 - 4 . 2 0 9 0 6 7 95 01 E + 1 1 8.4 1 81 3 5 9 0 0 2 E + 1 1
METODO
DE
C H O L E S K Y
A m a t r i z ATPA nao e d e fi n i d a p o s i t i v a e a s o l u c a o foge ao alcance do

m e t o d o de CHOLESKY. P a r a e s te c a so , a s o l u c a o do p r o b le m a de m i n i m o s
q u a d ra d o s l in e a r atravs das e q u a c o e s n o r m a i s nao e confivel.
METODO
QR
Vetor X (solucao)
1 . 5 3 1 5 2 9 4 0 0 6 E + 10
7 . 6 5 7 6 4 7 0 0 5 8 E + 09
-1 .53 1 5 2 94 0 07 E+ 1 0
C o m p rim . do r e s d u o = 5 . 27 6 0 9 3 0 S 14 E + 0 0
V a r i a n c i a da unidade pe so a - p o s t e r i o r i = 2 . 7 8 3 7 1 5 8 2 0 3 E + 0 1
MATRIZ CO VARIANCIA
5 . 2 5 3 1 6 0 4 7 5 6 E + 2 3 . 2 . 6 2 6 5 8 0 2 3 7 8 E + 2 3 -5 .25 3 1 6 0 4 7 5 6E+23
2. 62 65 80 237 8E+2 3 1 . 3 1 3 2 9 0 1 1 8 9 E + 23 - 2 . 2 6 5 8 0 2 3 7 8 E + 2 3
-5 .2 5 3 1 604756E+23 -2.6265802378E+23
5. 25 31 6 0 4 7 5 5 E + 23
M E T O D O
DA
DECOMP.
DE
VALOR
V e t o r W ( v a l o r e s s in g u l a re s )
1.62 07 9 64 87 7 E + 01
7.7397363334E -12
1 . 1 4 0 9 9 7 1 6 7 1 E+ 00
Num. de c o n d i c a o na n o r m a 2 = 2 .0 9 4 1 2 3 6 4 7 0 E + 1 2
V etor X (solucao)
1 . 0 4 8 6 9 2 6 3 5 7 E + 11
5 . 2 4 3 4 63 1785E+1 0
- 1 . 0 4 8 6 9 2 6 3 5 7 E + 11
S I NGULAR
125
Comprim. do r e s i d u o
= 6.1 0 9 6 7 4 7 0 4 9 E + 0 0
Var ian cia da u ni da de p e s o a - p o s t e r i o r i = 3 .7 3 2 8 1 2 5 0 0 0 E + 0 1
MATRIZ CO VARIANCIA
2 . 7 6 9 4 9 9 7 2 0 6 E + 23 1 . 3 8 4 7 4 9 8 6 0 3 E + 2 3 - 2 . 7 6 9 4 9 9 7 2 0 6 E + 2 3
1 . 3 8 4 7 4 9 8 6 0 3 E + 23 6 . 9 2 3 7 4 9 3 0 1 3 E + 2 2 - 1 . 3 8 4 7 4 9 8 6 0 3 E + 2 3
*2.7 6 9 4 9 9 7 2 0 6 E + 2 3 - 1 . 3 8 4 7 4 9 8 6 0 3 E + 2 3 2 . 7 6 9 4 9 9 7 2 6 E + 2 3
M T O D O
DA
DECOMP.
DE
VALOR
S I N G U L A R

1.6207964877E + 0 1
7.7397363334E-1 2
1 .1 4 0997167lE+00
Num. de c o n d i c a o na n o r m a 2 = 2.0 94 1 2 3 6 4 7 0E+ 1 2
1. 6 2 0 7 9 6 4 8 7 7 E + 01
O.OOOOOOOOOOE+OO
1.1409971671 E+00
Vetor
( s o l u c a o de c o m p r i m e n t o m in im o)
- 1 . 1 1 1 1 1 1 1 1 1 1E + 0 0
2 .4 4 4 4 4 4 4 4 4 5 E+00
1 . 1 1 1 1 1 1 1 1 1 OE-01
Com prim. do r e s d u o
= 5.291 5 0 2 6 2 21 E+00
Varia nc ia da u ni da de p e s o a - p o s t e r i o r i = 2 . 8 0 0 0 0 0 0 0 0 0 E + 0 1
MATRIZ CO VARIANCIA
6 .5 2 2 4 1 7 1 5 3 9 E + 0 0 -9.7 1 5 3 99 6 1 OOE+OO 1. 6 6 4 7 17 3 4 8 9 E + 0 0
-9.7 1 53 99 6 1 OOE+OO 1 . 4 6 2 7 6 8 0 3 1 2E+01 -2 .4 01 5 5 9 4 5 4 2 E + 0 0
1 . 6 6 4 7 1 7 34 8 9 E + 0 0 -2 .4 01 5 5 9 4 5 4 2 E + 0 0 4 .6 3 93 7 62 1 8 5 E - 0 1
TESTE 08: Este teste aplicado a uma matriz de posto deficiente p a ra

mostrar que nem sempre Cholesky detecta o problem a, tambm mostra a
vantagem d a SVD p a r a a anlise e fornece a soluo de comprimento mnimo.
MATRIZ A
5
5
5
5
5
5
Vetor b
6
4
4
126
ELIMIN.
DE
Pa u s a 2 em G a u s s J - A m at r iz A nao tem p o s t o c o m p l e t o e a e l i m i n a c a o
nao pode c o n ti n u a r.
ME T O DO
DA
"SUBROT.
V E R S O L"
E s t e p r o b l e m a nao pode s e r r e s o l v i d o pela ' s u b r o t i n a v e r s o l ' , p o i s a

m a t r iz A nao t e m p o s t o c o m p l e to .
M E T O D O
DE
C H OL E S KY
Vetor X (solucao)
-6.6666666666E-02
l.OOOOOOOOOOE+OO
Co mprim. do r e s d u o = 1 .6 3 2 9 9 3 1 61 9E+ 0 0
V a ria nc ia da un i d a d e p e s o a - p o s t e r i o r i = 2 . 6 6 6 6 6 6 6 6 6 7 E + 00
MATRIZ CO VARIANCIA
2 . 2 9 0 6 4 9 2 2 4 5 E + 10 - 2 . 2 9 0 6 4 9 2 2 4 5 E + 10
-2.2 9 064 9 2 2 4 5 E + 1 0 2 . 2 9 0 6 4 9 2 2 4 5 E + 1 0
M E T O D O
QR
Est a m a t r i z nao p o s s u i p o s t o c o m p l e t o e nao se ra p o s s i v e l

c o n t i n u a r ate a s o lu c a o ,
METODO
DA
DECOMP.
DE
VALOR
S I N G U L A R
V e t o r W ( v a l o r e s s in g u l a r e s )
1.4551915 2 2 8 E - 1 1
1 . 2 2 4 7 4 4 8 7 1 4E+ 01 .
Num. de c o n d i c a o na no r m a 2 = 8.4 1 6 3 8 2 6 6 9 7 E + 1 1
Vetor X (solucao)
- 7 . 9 3 5 0 4 1 67 8 4 E + 3 0
7.93 5041 67 8 5 E + 1 0
Co mprim . do r e s d u o
= 2 .5 9 8 0 7 6 2 1 14E+00
V a ria nc ia da u n id ad e p e s o a - p o s t e r i o r i = 6.7 5 OOOOOOOOE+OO

MATRIZ CO VARIANCIA
1 . 5 9 3 7 9 S 6 S 8 0 E + 2 2 - 1.5 937 9 8 8 8 0 E + 2 2
-1.5 937 9 8 6 8 8 0 E + 2 2
1.59 3 7 9 8 6 8 8 0 E + 2 2
127
ME T O DO
DA
DECOMP.
DE
VALOR
S I N G U L A R
V e t o r W ( v al o r es s i n g u l a r e s )
1. 4 5 5 1 9 1 5 2 2 8 E - 1 1
1 . 2 2 4 7 4 4 8 7 1 4E+01
Num. de c o n d ic a o na n o r m a 2 8.41 6 3 8 2 6 6 9 7 E + 1 1
0.0000000000E+00
1 . 2 2 4 7 4 4 8 7 14E+01
V e t o r X ( s o l u c a o de c o m p r i m e n t o m i n i m o )
4.6666666667E-01
4.6666666667E-01
Comp rim . do r e s d u o =
1 . 6 3 2 9 9 3 16 19 E + 0 0
V a ri a n c ia da unidade p e s o a - p o s t e r i o r i = 2 . 6 6 6 6 6 6 6 6 6 7 E + 0 0
MATRIZ CO VARIANCIA
8 . 8 8 8 8 8 8 8 8 8 8 E -03
8 . 8 8 8 8 8 8 8 8 8 8E-03
8.8888888888E -03
8.8888888888E-03
TESTE 09: Este teste faz compa rao do tempo gasto p e lo s mtodos em se
obter a soluo e posterio rm ente p a r a obter a matriz de c o v a r i n c ia s dos
parmetros. Foi colocado no intuito de compa rar a v e lo c id a d e de cada um dos
mtodos. Os tempos na obteno dos r esulta do s so m ed id o s atr av s de uma
subroutina c olo cada no prog rama (su broutina V E R H O R A S ) . Sua localizao
no program a principal determina a igualdade de cond ies na comparao da
medio dos tempos. Neste teste a matriz A tem 38 linhas p o r 34 colunas, os
tempos obtidos esto r e l a c i o n a d o s na t a b e la a seguir
Mtodo
Ga uss -Jordan
VerBol
Cholesky
QR
SVD
Tempo p/ ob ter a
soluo e ||V|J
3.52 s
3.29 s
1.76 8
1.97 8
12.86 8
Tempo p/ obter a
matriz cov arin c ia
1.98 s
2.04 s
2.64 8
2.64 8
8.02 8
Tempo Total
5.50 s
5.33 8
4.40 8
4.61 8
20.88 8
128
7.
P R O B L E M A DE M N I M O S Q U A D R A D O S N O - L I N E A R
At aqui foi discutido amplamente o p ro b lem a de mnimos quadrados

linear. Conclu i-se que p a r a manter a e s ta b ilid a d e na soluo quando o
sistema suspeito de se r m al-con d icio n ad o deve-se u t il i z a r a decomposio
de v a lo r sin gular (SVD) ou a decom posi o QR. Tambm vi u-se que na
soluo do p rob lem a,
o mtodo mais rpid o
o mtodo
utilizando
decomposio de Cholesky.
T ais c o nclu ses devem serem re t i d a s na mente quando for tratado o
problem a
de
mnimos
quadradoB
iterativamente e em c a d a ite rao
n o -lin ea r,
deve
pois
este
ser r e s o l v id o
solucionado
um p r o b le m a de
mnimos q ua dra dos linear.

O p r o b l e m a de mnimos qua drados equao (1.1) generalizad o atravs
da p o nd e ra o po de ser definido como:
(7.1)
onde:
f : Rn->R , funo objetivo
V : Rn->Rm > n o -l i n e a r em x ;
I
' : a nor ma como d e fin id a em (3.40).
Uma m a n e ir a equivalente em defin ir o p r o b le m a :
min
onde:
= VTPV
(7.2)
129
P : matriz dos pesos;

V : funo de x (fica im plcito).
P a r a a soluo
progamao
de
o o-linear.
(7.1)
O
s e r prop o sto
mtodo
de
dois
mtodos
GauBs-Newton
tirados
da
mtodo
de
L evenberg- Marqu ardt.

O mtodo de Ga uss-New ton o mtodo mais b sico e mais comumente
usado, principalm en te
em G e o d sia .
O mtodo
de
Levenberg-M arq uardt
porque um mtodo de con v ergncia global* e utiliza o que de maiB recente

vem sendo p e squ isa d o p a r a minimizao de funes n o -lin ea r es , que a
regio de confiana.
A seguir s e r descrito c a d a um deles e ao final sero feitaB algumas
comparaes quanto a con v erg n c ia e nmero de ite raes que cada leva p a ra
a lc a n a r a soluo dentro de uma de term inada p r e c i s o , aplicdoB a um
p ro b lem a simples da Geodsia.
7.1 MTODO DE GAUSS-NEWTON
O mtodo de Gauss -New ton utiliza um modelo afim de V em um ponto

aproximado, x 0. Pe rm ita que V ( x 0 ) rep re se nte a equao residu al a v alia d a
no ponto aproximado xo. O modelo afim de V(x) ento de finido por:
V(x )= V ( x 0)+ J ( x 0) ( x - x 0 )
(7.3)
onde:
V c(x) :
a aproximao lin ear p a r a V(x) no p o n t o ( x 0 );
J ( x 0) :
a matriz j a c o b i a n o c alcu lad a no ponto x 0
Se en te n d e p o r m t o d o de c o n v e r g n c i a g lo ba l, aq uele m t o d o que a p a r t i r de qualquer

p o n t o in ic ia l c o n v e r g e para um m i n i m o l o c a l , que po de n#o s e r o m n i m o gl obal da
funS o ( m n im o s doa m n i m o s ) .
130
( x - x 0 )=Ax :
vetor das correeB aos parmetros aproximados.
O probem a de mnimos
q u a d ra d o s
no-linear torn ou-se
agora um
p r o b l e m a de mnimos quadrado s lin ear, pois (7.3) rep r e se n ta um sistema de

eq u a es lineares inconsistente e o caminho agora r e s o l v e - l o UBando o
c r i t r i o de mnimos quadrados.
m ia ||V X = VCTP v c
(7.4)
A solu o p a ra (7.4) pode ser o b t i d a p e la s decomposie s QR ou SVD

ou a in d a p or qualquer dos mtodos que se utilizam das equa es normais,
p a r a e ssa s a soluo p a ra o p r o b l e m a torn a-se :
A x = - [ J ( x 0) T p j ( * 0 ) ] - l J ( x 0 )Tp V ( x 0 )
(7.5)
desde que [ J ( x 0 )TP J ( x 0 )] tenha i n v e r s a o rdinria, x ento c alculad o como:

x = x 0+Ax
(7.6)
O parmetro x s se r ponto de mnimo de f(x) se V(x) for linear, caso

co n tr rio x corresponde apenas a um v a lo r melhorado de x 0> numa d ireo de
d ecrescim ento f(x) (desde de que J ( x 0 ) tenha posto completo).
Em muitas ap lica e s da G e o d s i a e s s a pri meira ite rao j fornece
par&metros considerados como bons, mas isso vai depender muito do valo r
apro xim ado inicial x 0.
Quando busca-se a soluo p a r a que a condio de ot im alidade de f(x)
no ponto de mnimo se ja sa tisfeito , ou se ja, Vf(x*)=:0, n e c e s s r io um
procesBo iterativo.
P a r a r e a l iz a r esse p r o c e s s o ite r a tiv o , considere xj como sendo o va lo r
de x numa iterao i e xj+i> o v a l o r de x na iterao consequente.
E sse pasBO calculado por:
131
x i + ] = xj - [ J ( x i ) T p j ( x i ) ] * l J(xi)Tp V (Xi)
(7.7)
para quando P = I, (7.7) torna-se:
* i + l = * i - (H*i)TJ ( * i ) ] - , J<*i>TV(xi)
(7.8)
Resta sa ber agora, como o comportamento desse mtodo quanto a sua

convergncia. DENNIS e SCHNABEL (1983) diz isso atravs das seguintes
vantagenB e desvantagens do mtodo, so elas:
Vantagens
1.
Se o p r o b l e m a de mnimos quadrados
linear,
o mtodo res olve
p rob lem a com apenas uma iterao;

2. Se V(x*)=0, o mtodo de Gauss-Newton localmente q-quadraticamente
convergente;
3.
Se as equaes
pequenos,
residuais V(x) so pouco
mtodo
de
Gauss-Newton
n o -lin ea res
localmente
e V(x*) so
rapidamente
q-linearmente convergente
Desvantagens
1. Se J ( x j ) no tem posto completo a seq un cia {xj} no bem definida;
2. No tem co n v ergn cia global;
3.
No
converge
localmente em problem as
com
grandes residuais
ou
altamente n o-lineares;
4. Para p ro blem as com res iduais razoavelmente grandes ou razoavelmente
n o -lin eares a convergncia lentamente localmente q-linearmente.
N o t a : O termo grande residual para quando a funo objetivo f(x) atinge

valor grande no ponto de timo, o inverso se d p a r a pequenos residuais.
132
Algumas d e ssa s c a r a c t e r s t i c a s sero mostradas no exemplo do final

desse captulo.
7.2. MTODOS DE MINIMIZAO SEM RESTRIO
P a ra melhor entender como funciona o mtodo de Levenberg-M arquardt,

se r
muito
rapidamente
apre se ntado
mtodo
de
Newton,
mtodo
Steep est-Descent ( ou mtodo do gr adiente) e os conceitos sobre regio de

confiana.
7.2.1 Mtodo de Newton
O mtodo de Newton p a r a r e s o l v e r o problem a (1.1 ), utiliza-se da

aproximao q u a d r tic a da s rie de T aylor em ura ponto aproxim ado x 0 . Isto
:
m (x)=f(x0) + V f (x 0 ) ( x - x 0 )+-^ (x-x 0) V 2f ( x 0) ( x - x 0)
(7.9)
onde:
H ( x 0)=V 2f ( x 0 ) : matriz h e ssia n a .
Aplicando as condies de otim alidade em (7.9) obtm-se um passo do

mtodo de Newton
x i+1=x; - [ H ( x i ) ] - i V f ( x i )
(7.10)
O mtodo de Newton tem como vantagem de se r q-quadraticamente

convergente prximo da soluo, razo porque a grande m a i o r i a dos mtodos
g lo b ais de soluo de equaes n o -l i n e a r e s ou mtodos de miniminizao de
133
funeB no- lin ea re s sem restrio* procuram quando prximos da Boluo

utilizar o p ass o de N ew t o n (a demostrao da conve rg n cia quadrtica do
mtodo de N e w t o n pode ser encontrado em DENNIS e SCHNABEL (1983)).
As desvantagens do mtodo de N e w ton que a matriz h e s s ia n a H(x)

em ge ral im praticvel de ser o b t id a analiticamente e muito c a r a do ponto de
v ista computacional de ser a v a l i a d a p or diferenas finitas.
Uma ou tra desvantagem do mtodo
de Newton,
que
ele
no
globalmente convergente.
7.2.2 M todo Steepest descent ou mtodo do gradiente
Dem onstra-se que a direo -Vf(x) a direo de m aio r decrescim ento

da funo, "d ir e o Bteepest descent" ( RAO 1978).
Com base nisto Cauchy em 1847, criou o mtodo steepeBt descent para
minimizao de funes.
O algor timo p a r a esse mtodo dado abaixo:

Dado f: R ->R , difere nciave l continuamente em xi e R n p a r a cada
iterao i.
1. co m ece com X) , faa i = l ;
2. encontre a d ire o Si=-Vf(xj);

3. encontre Xj* que minimiza f(xi+XSj);
4.
Faa Xi+]=Xj+Xj*Si;
5. v e rifiq u e se xj timo
se sim, fa a
x o p t = X j +1
e pare; Beno
fa a i = i + l e v o lte para 2.
O t e r m o r e s t r i f i o c o m o e s t a m o s t r a d u z i n d o co nstra int*. Em G e o d s i a tal t e r m o

t r a d u z id o c o m o injun&o.
134
0 mtodo acima apesa r de caminhar sempre na mxima direo de

decrescimento da funo, dependendo da topolo gia da funo a convergncia
d {*i> pode ser extremamente lenta. J se a funo tem uma top olo gia
regular e a funo bem comportada,
a se quncia {xj} converge rapidamente
p a ra a soluo.
A
propriedade
do
mtodo
de
caminhar
sempre
na
dire o
de
decrescimento da funo apro ve ita d a na implementao de algoritmos de

convergncia global mais sofisticados.
7.2.3 M o d e los a pro xim ados p e l a regio de confiana
Suponha que s e j a p o s s v e l conhecer um 5c no qual po de -se adequar com

confiana um modelo qu adr tic o m(x) funo f(x) e ento, utilizando tal
modelo quadrtico n-di mensional, calcu lar a dire o do passo S c a ser
dado
a p a rtir do ponto aprox im ado x c e assim calcu lar oprximo ponto x+, restrito
a i|Sc!l2= 5 c . Assim,
x+ = x c+ S c
(7.11)
O prob lem a acima pode se r enunciado como:
min m (x c+S) = f ( x c) + V f ( x c)TS + ^ S T H C S
(7.12)
sujeito a: ||S||2 c
A seguir se r dada a i d i a p rin cipal p a r a a soluo do p r o b l e m a (7.12).
Chamando o p a sso de Newton de
e lembrando que ele minimiza uma
funo qu a dr tic a na p r i m e r ia ite rao, ento se
l|S?||,=||- H ( i c ) ' 1Vf(xc )||2
(7.13)
135
x*=sx c+ g 14, sendo x* o ponto de mnimo da quadrtica

Agora, se c^||Sf||2 , ento d e v e - s e encontrar um p a sso S tal que
l|S|la*c.
FIGURA 15 - SOLUO DA QUADRTICA NUMA REGIO DE

CONFIANA
Se
soluo
do
p r o b le m a ,
ento
para
qualque r
d istn cia
a rb itrariam e nte pequena a p a r t i r de x c-fg, a distncia com r e l a o a x c deve

aumentar. Se p rep resen ta r uma d i r e o de decrescimento de m a p a rt ir de
x c+g. Ento a condio
pT Vm(xc+ S )=pT[ H ( x c ) S + V f(x c )]<0
(7.14)
deve se r s a tis f e ita e ainda, p a r a que um a d ire o p a p a rtir de x c+ s aumente

a d i s t n c ia em relao a x c . O ngulo entre os vetores S e p deve se r menor
do que x/2. da
PTS>0.
(7.15)
As sim p a r a S soluo do p r o b l e m a (7 .12), qualquer p que satis faa

(7 .1 4) deve sa tisfazer (7.15), o que s i g n i f ic a que a direo S a mesma de
-V m (xc+ s )
136
Ago ra p a r a uma constante p>0

p.S=-Vm(xc+j})=-[H(xc)S+ V f(xc)]
donde
p.S+H(xc) S = - V f ( x c) , r esulta
S(p.)= -[H (x c)+ p .I ]'1Vf(xc)
que a soluo p a r a o problem a (7.12) flg. 15.
(7.16)
A in d a pode ser demonstrado
que tal soluo nica.

O comportamento de S(p) mostrado na figur a 16. Observe que, S(p.)
v a ri a d a d i r e o de Newton p a ra a direo do gradiente conforme s e ja ji. e o
comprimento de c
FIGURA 16 - COMPORTAMENTO DE S(|i)
7.2.4 M tod o de Levenberg-M arquardt
Considere o p r o b le m a de encontrar x+ p e l a aproximao da regio de

confiana a p a r t i r d e x c
137
(7.17)
sujeito a: jjx'*'- Xj J| <?c

Cuja soluo (DENNIS e SCHNABEL 1983) :
x + = x c - [ J ( x c) T j ( x c)+fi cI ] - l J ( x c)TV(Xc)
onde !Lc=0 se 6 c ^lI(J(x c)^,^(x c)) ^J(x c ) ^ ^ ( x c)
(7.18)
2 e M-c>0 caso contrrio.
Quando o p r o b le m a ponderado a frmula (7.18) torn a-se :
x + = x c- [ J ( x c)Tp J ( x c )+p.cI J - l J ( x c )Tp V ( x c ).
(7.19)
A utilizao da frmula (7.18) e (7.19) foi s u g e r i d a por Levenberg

(1944) e M a rq u ard a t (1963), o Bignificado do p a sso S(p.) j foi visto na
seco anterior. O p a sso S= x + - x c , v a r i a suavemente da d ire o do mtodo
do gradiente "Steep est d escent quando x c est longe da soluo p a ra o paBso
de Newton quando x c est prximo da soluo. Tal mtodo conhecido como
mtodo
de
Lev enb erg -M arq uard t
(tambm
conhecid o
por
mtodo
de
marquardt).
Existem muitas estratgias p a ra esco lh er p.c e c . No entanto, neste
trabalho ser e s c o l h i d a a e stratgia tr a z id a em PRESS et a lii (1986), que
m ost ra da pelo seguinte algoritmo.
1. adote como v a lo r p a r a Px=0,001;

2. avalie f(x c ) e J ( x c );
3. r e s o l v a o sist em a de equaes lineares
[JX ^JX cJ+ M cIlS = * J ( x c )TV ( x c ) p a r a S ; e a valie f ( x c+S);
4. se f ( x c+ S ) f ( x c ), aumente p.c por um fator de 10 e vol te p a r a 3 ;
138
5. Be f ( x c+ S ) < f ( x c ), diminua
jjlc
p or um fator de 10, atualize a soluo
x c= x c+S, verifique se e l a tima. Se sim faa x 0p t = x c> seno volte

p a ra 2.
A ordem
de
co n v erg n c ia
do
mtodo
de L e v e n b erg -M a rq u ard t,
semelhante a do mtodo de Gauss -New to n. P a r a problem as gran d e s r esid uais

ou pro b lem as muito n o -l i n e a r e s
o mtodo
de M a rq u ard t
lentamente
convergente.
Uma vantagem do mtodo de M a r q u a r d t que mesmo se J ( x c ) no tem
posto completo, o mtodo bem definido. Outra vantagem quando o passo
de Ga uss -New ton muito longo, o p a sso de Marquardt aprox im adamente na
d ireo "steepest deBcent''e com comprimento superior ao p a s s o dado usando
busca unidimensional. N a p r t i c a tal mtodo segundo autores como DENNIS e
SCHNABEL (1983), PRESS et alii (1 98 6 ), tem tido c o n v e r g n c i a global
sendo tambm o mtodo atualmente recom endado por eles p a r a r e s o l v e r o
p ro b lem a de mnimos quadrado s n o-linear.
7.2.5 C r it r io s de p a ra d a
Existe
algnB
c ri t r i o s
especiais
para
o mtodo
de
Levenberg-
Marq u ardt quanto a constante p.c e p a r a o pro blem a de mnimos quadrados

n o -l in ea r em si, mas se r c o lo c a d o aqui apenas os c r i t r i o s utiliza d o s de
uma m an e ir a geral p a r a minimizao de funes no-lineares .
Os c ritrio s mais comuns so:
2.
< to le rn c ia 2;
139
3. |V f l ^ iJ L < t o le r n c i a 3.
P a r a uma maior c erteza de que realmente se encontrou o ponto de

mnimo da funo f(x) ou se e st prximo dele o suficiente p a r a negligenciar
as demais iteraes, d e v e r i a - s e utilizar os trs c rit r io s acima at que os trs
fossem satisfeitos.
7.3.
APLICAO PRTICA DO PROBLEMA DE MN IMOS QUADRADOS

NO-LINEAR
P a r a a a p lic a o p r t i c a dos dois mtodos acima se r utilizado um

exerccio dado por GEMAEL (19 74) e solucio nado pelo p ro cesso iterativo
em DALMOLIN (1976). Com isso, pretende-se com pa rar os resultados com
aqueles l encontrados.
E nunciado:
Foi medido a p a rtir de um ponto P de c o ord e n ad a s desconhecida s as
distnciaB 11 , 1 2 >3 4 at 4 pontos de coordenada s conhecidas P1,P2,P3 e
P4. Tambm foi medido o ngulo P1PP2. Em todas as medidas conhecido 0
desvio padro o i , i = l , . . . , 5 . Os dados seguem abaixo:
Est.
X(m)
Y(m)
d i s t n c ia
Pto P
244,512 m
321,570 m
773,154 m
279,992 m
ngulo
12338'01.4"
0
PI
P2
P3
P4
Est
P
842,281
1337,544
1831,727
840,408
*********
925,523
996,249
723,962
658,345
*********
at
desvio
padro
0 ,0 12 m
0,016 m
0,038 m
0,014 m
2 ,0 "
pede-se as coord enadas de P aju sta das p or mnimos quadrados.
140
Equ aes Residuais
v i = [ ( * r * P)2 + ( y i - y p)2] l/2 - h ;
v2=[<*2-xp)2+(y2-yp ) 2 ] ^ - l 2;
v 3 = [ ( x 3 - x p)2+ ( y 3 - y p ) 2] 1/2- l 3 ;
v 4= [ ( x 4-Xp)2+(y4-yp)2]i/2-l4;
v5 = arctg[
X X
-]-arctg[
y2 - y (
X -X
-]- c >5 ( v 5 deve ter como unidade segundos)

yryP
M a triz Ja cobiano
J(*p) =
(Xp-X^/lic
( y P- y i V h c
(Xp-XjVljc
( yp- yi )/l!c
(X p-X l)/llc
(yp-yi)/lic
(xp*X] )/l i c
(yP- y i ) / l i c
(y.-yp)
(yz-yp^,
o ky
o*)' "
a*)J
Ou)'
onde: p"= l / s e n 1" e o indce c r e p r e s e n ta o v a lo r c alcu lado p a ra as

d istn c ia s num ponto aproximado.
A matriz dos pesos P c o n s i d e r a d a diagonal, tem como elementos:
p l = l / ( 0 . 0 1 2 ) 2 ; p 2 = l / ( 0 . 0 1 6 ) 2 ; p3 = l / ( 0 , 0 3 8 ) 2;
p 4 = l / ( 0 , 014)2; p5 = l /( 2 , 0 ) 2
Os resultados a serem m ostrados a seguir foram obtid os atravs de um

pro g ram a computacional em linguagem " turbo pascal 6.0". Sero utilizados
dois v a lo re s inic iais p a r a testa r os mtodos. Primeiro
o program a ser
executado com os v a lo re s (1065;825) e depois com os v a lo r e s (825;1065) , os

r es ulta d os dos pa rmetros encontrados esto nos quadros abaixo.
141
QUADRO 01 -
COVERGNCIA DOS VALORES AJUSTADOS POR

GAUSS-NEWTON
xn
. xp
-IP-,
x2
Xl
1065,00
1 065,255 4895
1 065,255 402
1 065,255 402
825,00
825,185 719 1
825,185 719 41
825,185 719 1
N a 3 o. i t e r a o o c o r re u a c o n v e r g n c i a u s a n d o o cr i t ri o ||xj+ -Xj||oc< l e - 8 .
QUADRO 02 -

LEVENBERG-MARQUARDT
*0
x?
x?
Xl
xp
1065,00
1 065,255 286 7
1 065,255 402
1 065,255 402
yp
825,00
825,185 431 8
825,185 719 07
825,185 719 1
0,001
0,0001
le-05
le-06
N a 3o. ite ra o ocorreu a convergn cia usando o critrio ||xj+1 -xi|joc< l e - 8 .
QUADRO 03 -
NO-COVERGNCIA DOS VALORES AJUSTADOS POR

GAUSS-NEWTON
Xo
XP
-ZP..
Xt
*7.
Xl ftfi
825,00
314,544 627 25
106,888 819 32
-13 474,495 020
1065,00
1 022,170 538 9
-1 333,524 914 4
-15 897,367 574
No o c o rre u con vergncia com 100 iteraes.
142
QUADRO 04 -

LEVENBERG-MARQUARDT
XR
Xl
xp
825,00
315,590 670 21
242,490 370 03
1 192,122 004 7
IP
1065,00
1 025,627 327
-144,829 613 47
144,334 959 54
0,001
0,0001
0,1
0,1
*in
*11
*12
*n
XP
988,3456
1 193,111 0811
1 085,355 378
1 065,478 926 2
yp
632,4211
846,533 281 64
803,024 112 82
8 25,7 69 004 8
0,1
0,01
JA
iL ._
0,001
x 14
0,0001
x is
*15
xp
1 065,255 767 8
1 065,255 402
1 065,255 402
yp
825,186 108 8
825,185 719 11
825,185 719 1
le-05
JA
Na
16.
i te ra o
le - 0 6
ocorre u
ll*i+l-*illc<le-8 e ||Vf(x)||oc< l e - 0 4 .
le-07
conv ergncia
usando
critrio
143
8.
CONCLUSES E RECOMENDAES
Com base na t e o r i a expoBta e depois compr ov ada a tra v s dos vrios

testes rea liz a d o s no captulo 6 e no final do captulo 7 que chegamos as
concluses e recom en da es a seguir.
8.1
CONCLUSES
Problema de m n im o s q u a d ra d o s lin e a r:
mtodo mais r pido : mtodo de Cholesky;
mtodo mais estvel : mtodo da de com posio de v a lo r singular.
Problema de m n im o s q u a d ra d o s n o - lin e a r:
mtodo mais eficiente : mtodo de L evenberg- Marquardt.
N o b a sta apenas saber Bobre certas c a r a c t e r s t i c a s de determinado

mtodo com re la o a outros mtodos, deve-se tambm ter em mente o
momento de a p lica r um ou outro mtodo. Nas r eco m en d a es a seguir foi
colo cad o
alguns
dos
procedimentos
que
podem
aju dar
na
esco lh a
da
m etodologia a ser adota da na soluo de prob lem as de ajustamento.
8.2
RECOMENDAES
Quando se trata de r e s o l v e r um p ro b lem a de mnimos qu adra dos linear,

e o siBtema bem condicionado , este deve ser re s o lv id o pelo mtodo mais
rp id o , o mtodo de Cholesky.
144
Quando o si stem a tem tendncias de Ber m al-con d ic io n a d o, deve-se

evitar de r e s o l v e - l o atravs das equ aes no rmais, po is estaB podem deix-lo
ainda pior, nesse caso deve-se r e s o l v e r o sistema pelo mtodo QR, pois este
reso lve o p r o b l e m a usando as equaes o rig in ais e o segundo mais rpido.
Quando se d e s e j a r e s o l v e r o
sBtema
de equaes normais com mais de
um ve to r de termoB independentes e o sist ema bem co nd ic io nado , pode -se

utilizar o mtodo de G auss -Jo rdan, pois este permite a en tr ad a com mais de
um v e to r de termos independentes.
Quando fo r n e c e s s r i a a inv erso de uma matriz q u a d ra d a e de seja -se
uma subroutina sim ples p a r a fazer isso, pode ser usa da a subroutina "versol".
E ssa subroutina mostrou atravs dos testes se r mais r p i d a que Gauss -Jo rdan
na soluo do p r o b l e m a de mnimos quadradoB linear e com c a r a c t e r s t i c a s de
e s tab ilid a d e semelhantes.
P a r a a n a l is a r se um sistema ou no m al-condicio nado atravs de
v a ri a e s na matriz dos co eficien tes ou no termo independente d e v e-se tomar
os cuidados de a n alis ar a v a r i a o da soluo e tambm a v a ria o do
resduo, os testes 4 e 5 mostram e sse s resulta dos.
Quando o tempo p a r a obter a soluo no importante, o mtodo mais
indicado o da decom posio de v a lo r singular, pois e s s a alm de manter a
e stab ilid a d e, fornece os v a lo r e s singulares e consequentemente o nmero de
condio d a m atriz dos coefi cientes.
O mais importante que a a n lis e pode
ser feita atravs dos va lo re s singulares. Se esses se encontrarem espa ados

entre si de m an e ira aproximadamente iguais, o sistema tem indicativaB de ser
bem-condicionad o, agora, se houver grandeB disc rep n cias entre os va lo re s
singulares, com c er te z a o siste m a mal-co ndicio nado. Uma a p li c a o p r t i c a
da SVD que
ob
v a lo r e s singulares eBto r ela cio n ad o s com os se m i-eix os
do
elip8ide dos e rr o s n-dimensional e a matriz V fornece as d i r e e s desBes

semi-eixos.
145
Um outro fator importante que a decom posio de v a lo r singular

fornece a p se u d o - i n v e r s a quando
sistem a tem posto defic ie n te e com
sbo
Boluo de comprimento minimo do p r o b le m a de minimos quadra dos linear.

Sobre
o problema
t rabalh ar com o
de
mtodo
mnimos
quadrados
n o -l inea r.
Quando
de G auss-New to n recom endado
for
resolver
p ro b lem a de mnimos q ua dra do s lin e ar em cada ite ra o pelo mtodo QR,

p a ra mais ga rantia de se estar numa di reo de de crescim ento da funo,
eq. (7.1). Se tal mtodo no d i s p o n v e l, recomendamos ento a utilizao
de Cholesky. Quando a se q u n c i a convergir util r e s o l v e r mais uma vez pe la
SVD p a r a uma anlise maiB d e ta lh a d a do problema.
Quando no se tem certez a de um bom v a lo r aproximado p a ra inic iar a
soluo
do
p ro b lem a,
re com end a -se
utilizar
mtodo
de
Levenberg -M arquardt p o r c a u sa de sua convergncia global. Qualquer dos

mtodos
anteriores
podem
se r
usados
na soluo
de
c ad a
iterao,
p r e f e r n c i a f i c a com cholesky e QR.

Para
no
a c e it a r
um
ponto
falso
(PITFALLS)
como
soluo,
recomenda-Be reBolver o p r o b l e m a mais de uma vez com v a l o r e s opostos ao

obtido na prim e ra soluo e tambm com pontos mais afastados. Se a Boluo
p e r s i s t i r a mesma, com c erteza aquele ponto de minimo o ponto de timo
p a r a o problema.
Se o c o r r e r mais de uma soluo
de mnimo deve-se
v e r i f i c a r atravs de algum meio qual soluo satisfaz o p r o b l e m a em questo.

Um outro fator f a v o r v e l p a r a a u tilizao do mtodo de marquardt
que atravs dos pa cotes
de prog ram as matemticos hoje disponveis no
mercado e com linguagem computacional p r p r i a e subroutinas prontas,

pr og ram ar um algoritmo
como
o dado na Beco
(7.2.4)
f i c a bastante
sim plificado.
P a r a um futuro trab a lh o ,
pretend em os
aprofundar
a in d a mais
nos
mtodos que se utilizam de reg i o de confiana, tra b a lh a r com mtodos de
146
mnimiza&o
eBtatstica.
com restri o
o tambm
dar
ao p rob lem a uma abordagem
147
REFERNCIAS
BIBLIOGRFICAS
01
DALMOLIN, Q. Ajustamento de o b se rv a es pelo p ro cesso iterativo .

Curitiba, 1976. D issertao (M e strad o em G e od sia ) - Curso de
P s - G r a d u a o em Cincias G e o d s ic as , UFPr.
02
DENIS, J. E ; SCHNABEL, R. B. N um eri cal methods fo r unconstrained

optim iza tion and nonlinear e q u a tio n s . N e w Jersey: Prentice
H a l l,I n c ..E g l e w o o d Cliffs, 1983. 378p.
03
GASTINEL, N. Linear numerical

P re ss , 1971. 350 p.
04
GEMAEL, C. A p lic a e s do clculo m atric ial em geodsia. 2f parte:

ajustamento de o b s e r v a e s . Curso de P s -G ra d u a o em Cincias
G e o d s ic a s , UFPr, Curitiba. 1974.
05
. Inv ers as g e n e r a liz a d a s. Curso de P s -G ra d u a o em Cincias

G e o d s ic a s , UFPr, Curitiba, 1977. 30 p.
06
GILL, P. E ; MURRAY, W; WRIGHT, M.H. Num erical lin ear algebra

and op tim iza tion , v o l . l . C a liforn ia : A dd ison -W esle y Publishing
Company,. 1991. 426 p.
07
GOLUB, G.H.; REINSCH, C. Singular value decomposition and least

squares solutions. Handbook se r ie s lin e ar algebra. N e w York, 28
Numer Math 14.403, 403-4 2 0,19 7 0.
08
HAMILTON, W.C.
Statistics
in
physical
scienc e
estimation,
hypothesis testing, and least s q u a r e s . N e w York: The Ronald Press
Company, 1964. 225 p.
09
KRAKIWSKY, E.J. A svntesis o f rec ent advances in the^ method o f

lea st s q u a r e s . Canad: Dep. o f Surveying Engineering University
o f N e w B rusw ic k , F red ericto n, 1975. 125 p.
10
LAWSON, C.L ; HANSON,R.J. Solving least squa res p r o b lem s. New

Jersey: P r e n t ic e -H a l l, Inc., E ngle wood Cliffs, N .J ., 1974. 340 p.
analysis. New
York:
Academic
148
11
LUENBERGER.D.G. Introduo to lin e ar and n o n lin e a r programming.

California: A ddiso n-W esle y Publishing company, 1973. 356 p.
12
LUGNANI, J.B. O prob lem a dos Bistemas de e q ua es lineares mal

co n d ic io n a d o s e suas im plicaes em g e o d s i a . Curitiba, 1975.
D i s s e rt a o (M est rado em G e o dsia ) - Curso de Ps-Gradua o
em Cincia s G eodsic as, UFPr.
13
______ . Introduo ao ajustamento. Curso de P s -G ra du a o

Cincias G e o d s ic as , UFPr, C uritiba, 1983. 125 p.
14
MARSDEN, J. E ; TROMB, A. J. Vector c a l c u l u s . San Francisco:

W.H.F reem an and Company, 1976. 449 p.
15
MIKHAIL, E. M; ACKERMAM, F. O bservations and least sq u a res.

Boston : Thomas y Crowell Company, Inc, 1976. 497 p.
16
;GRACIE, G. Analysis and adjustment o f survey

mensurements. N e w York: Van Nostr an d R e in ho ld Company offices,
1981. 340 p.
17
MODRO, N. M tod o s p a ra inverso de matrizes i ap lica es s

c i ncias g e o d s i c a s . Curitiba, 1981. D i s s e r t a o (M estrado em
G e od s ia ) - Curso de P s-G ra du a o em C i n c ia s Geodsicas,
UFPr.
18
NOBLE, B.; DANIEL, J.W. A p p lied lin ear a l g e b r a . P r e n t ic e - H a l l, inc,

1969. 477 p.
19
P R E S S,W.H; FLANNERY ,B.P; TEUKOLSKY,S.A; VETTERLING,W.T.

Nu m erical r e c i p e s the art o f sc ientific computing. Cambrige:
Cambrige University Press, 1986. 818 p.
20
RAO, S. S. Optimization theory and a p p l i c a t i o n s . N e w York: John

W iley & Sons, 1978. 703 p.
21
STEINBRUCH, A; WINTERLE, P.
MC G r a w - H ill, 1987. 583 p.
22
STRANG, G. L in ear alg eb ra and its a p p li c a t io n . 2. ed.. N e w York:

Academic P r e s s , Inc, 1976. 414 p.
23
TROMPSON, E. H. An introduction to the a lg e b r a o f matrices with

some a p p l i c a t i o n s . Canad: The University o f Toronto Press , 1969.
em
lg e b ra l i n e a r . 2. ed.. So Paulo:

D - Silvio Jacks Dos Anjos Garnes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

D - Silvio Jacks Dos Anjos Garnes

Transféré par

Droits d'auteur :

Formats disponibles

SILVIO JACKS DOS ANJOS GARNS

AJUSTAMENTO PARAMTRICO POR MNIMOS

Dissertao apresentada ao Curso de PsGraduao em Cincias Geodsicas da

AJUSTAMENT O PARAMTRICO POR MNIMOS QUADRADOS

SILVIO JACKS DOS AN JOS GARNS

D i s s e r t a o a p r o v a d a como requisito p a r c i a l p a r a a obteno do grau de

Prof. Dr. QUIMT'INO DALMOLIN - MEMBRO

Prof. MsC. ROMUALDO W ANDRESEN - MEMBRO

Curitiba, 03 de A bril de 1996

co m panheris m o e c a r i n h o que mesmo

es ta n d o longe, estamos per to.

D e se jo externar aqui meus sinceros agradecimentos:

1.2 ES T R U T U R A DO TR ABA LHO

2.5 DERIV ADA DE M ATR IZ ES

2.6 FUNES CO NVE XA S

ANL ISE DO C O N D I C I O N A M E N T O D E S IST EM AS DE

C o n d i c i o n a m e n t o qua drado das e q u a e s n o r m a is

4.4 E S T I M A O DO PO STO DE UMA M A T R I Z

M T O D O S NM R IC O S PARA S O L U O DO PRO B LEM A

S u b r o ti n a " mtod o de C h ole s ky"

5.5 D E C O M P O S I O DE VALOR SINGULAR

7.2.4 Mtodo de L e v e n berg-M a rq uard t

7.3 APLICAO PRTICA DO PROBLEM A DE MNIMOS

8. CONCLUSES E RECOM ENDAES

CASOS PARA O PROBLEMA DE MNIMOS

REPRESENT AO GEOM TRICA DA CLASSIFICAO

CONVEXIDADE DOS CONJUNTOS

PROPRIEDADES DOS CONJUNTOS CONVEXOS

FUNES CNCAVAS E CONVEXAS PARA

DEFINIO DE FUNO CONVEXA POR

INTERPRETAO GEOMTRICA DA SOLUO DE

COMPO NE NTES DE UM VETOR EM

BASES PARA OS SUBESPAOS FUNDAMENTAIS A

FO RMA S PREPARATRIAS PARA O PROBLEMA DOS

FORMA BIDIAGONAL SUPERIOR DE UMA MATRIZ

SOLUO DA QUADRTICA NU MA REGIO DE

COMPO RTA MENTO DE S(p.)

CONVERGNCIA DOS VALORES AJUSTADOS POR

CONVERGNCIA DOS VALORES AJUSTADOS POR

QUADRO 03 N O-CONVERGNCIA DOS VALORES AJ USTADOS POR

CONVERGNCIA DOS VALORES AJUSTADOS POR

M a triz A com m-linhas e n-colunas.

D ifere n cia v el continuamente.

Duas vezes diferenciavel continuamente.

Espao vetorial das transfo rm aes lin eares de X em Y.

Conjunto dos nmeros reais.

Espao Vetorial n-dimensional.

M a t r iz A com elementos r e a i s de m-linhas e n-colunas.

Soma dos elementos da diagonal de A.

D e r i v a d a parc ial de Y com r e s p e ito a x.

Gradiente da funo f(x).

Esp ao coluna da matriz A.

Esp ao nulo de AT ou esp ao nulo a esq u erd a de A.

< x,y >

Produto interno dos v e to re s x e y.

Este tra b a lh o tem como

do aju sta men to

p a r a m t r i c o pel o mtodo de m nim os q u a d r a d o s e os p r o b l e m a s que podem

m to d o s p a r a ob ter a s o lu o , um com c a r a c t e r s t i c a s de c o n v e r g n c i a local e

The p urp ose o f this work is to a p llie

least squares methods for

adjustment para m eter problem that a p p ea r from Geodesy.

with global convergence. In the end, it is made aplicatio n to a practic al