Autovalores

e
Autovetores

O sistema linear do tipo:

y Ab
Matriz arbitrria ( N x N )

No iremos resolver
este sistema
de
Estudaremos
propriedades
bsicas
equaes
lineares
deste sistema

Ax
Ax

x Ax

(NxN)
DEFINIO: se

um vetor no nulo

x:

autovalor

uma matriz arbitrria N x N, ento

x em

RN chamado autovetor

(eigenvector) de A se o vetor
do vetor

autovetor

Ax

um escalar mltiplo

Ax x

Ax

x
Ax x
Autovalor (eigenvalue)
Autovetor (eigenvector)

Como achar os autovalores da

matriz A (N x N) ?

Ax x
Ax I x
A I x 0

x0

DET A I 0

Como achar os autovalores da

matriz A (N x N) ?

DET A I 0

EQUAO CARACTERSTICA
DA MATRIZ A

Interpretao Geomtrica de
autovalor e autovetor:

4
A
8

Varivel no.1
Varivel no.2

Observao no. 1
Observao no. 2

Interpretao Geomtrica de
autovalor e autovetor:

4
A
8

Observao no. 1
Observao no. 2

Varivel no.2

Varivel no.1 Varivel no.2

Observao no. 1

8
4

Observao no. 2
4

Varivel no.1

Como achar os
da
4 autovalores
8
A matriz

(N x N) ?
A
8 4
DET A I

4- 8
2
DET
( 4-) 64 0
8 4-
SOLUO DESTA EQUAO :

1 12

e 2 4

Como achar os autovetores da

matriz A (N x N) ?

Ax x
Ax I x
A I x 0

Usamos o autovalor 1 12 para achar o autovetor 1

Usamos o autovalor 2 4 para achar o autovetor 2

 A I x 0

Usando o autovalor 1 12 para achar o autovetor 1

4-1 8

8
4
-
1

x11
0

x
0
12

8 x11 8 x12 0
8x 8x 0

11
12

1
A soluo :
x1
1

 A I x 0

Usando o autovalor 2 4 para achar o autovetor 1

4-2 8

8
4
-
2

x21
0

x
0
22

8 x21 8 x2 2 0
8x 8x 0

21
22

1:
A soluo

x2

Varivel 2

x2

Observao no.1
(4,8)

12

x1

1212
4
1 41112 8
A

x12 8 4
2 11 4
Observao no.2
(8,4)

Varivel 1

A forma elptica indica a

existncia de um autovalor
prximo a zero

Mas o que significa autovalor

prximo a zero ?

Interpretao Geomtrica de
autovalor e autovetor em dois
casos extremos:
caso (1) :
Matriz no singular

4 0
A

0
4

caso (2) :
Matriz singular

4 4
A

4 4

Qual a interpretao Geomtrica

Qual o valor numrico dos autovalores
dos autovalores e autovetores neste
nestes dois caso?
dois casos extremos ?

caso (1) :
Matriz no singular

4 0
A

0
4

caso (2) :
Matriz singular

4 4
A

4 4

Varivel 2

caso (1) :Matriz no singular

Observao no.2 (0,4)

x2

x1

4
4

2
A1 4

0
1 4
010 4
x 12 4
2 01

Observao no.1 (4,0)

Varivel 1

Observaes NO
redundantes

A forma circular indica a

existncia de autovalores
idnticos

Autovalores idnticos indica

INDEPENDNCIA LINEAR do
sistema

Varivel 2

caso (2) :Matriz Singular

1 8
84 4
1
A 11

x
2
411 4

2 1 0

Observao no.1 (4,4) =

Observao no.2 (4,4)

x2

2 0

x1
Varivel 1

Observaes Redundantes

A forma LINEAR indica a

existncia de um autovalor zero
AUTOVALOR ZERO indica
DEPENDNCIA
DET da MATRIZLINEAR
ZEROdo
sistema
NO UNICIDADE DA
SOLUO

A forma elptica fina indica a

existncia de um autovalor muito
prximo a zero
DET da MATRIZ prximo a ZERO

AUTOVALOR PRXIMO A
ZERO indica uma QUASE
SOLUO
UNICIDADE
DEPENDNCIA LINEAR do
porm
sistema
INSTVEL

Como a Anlise dos

Autovalores da matriz
associada com o sistema
linear correspondente
pode caracterizar um
problema MAL-POSTO ?

AUTOVALOR ZERO:
NO H UNICIDADE DA
SOLUO

AUTOVALOR PRXIMO
A ZERO:

H UNICIDADE DA SOLUO
PORM A SOLUO
INSTVEL

Associao entre: Unicidade da

soluo, Determinante e
Autovalor da matriz A (NxN) do
sistema linear
DET A = 0
NO H UNICIDADE DA SOLUO

DET A =

Associao entre: Estabilidade

da soluo, Determinante e
Autovalor da matriz A (NxN) do
sistema linear
DET A 0
H UNICIDADE DA SOLUO porm
a soluo instvel

DET A =

Auto Sistema :

y Ab
1x,...,

A
1 1Nx1

Matriz arbitrria ( N x N )

Se existe N autovalores:

Ento existe um conjunto LI de N autovetores

x1 , x 2 , x3 ..., x N
Ax1 1x1 Ax 2 2 x 2

Ax N N x N

Auto Sistema :

y Ab

A1x,...,
1 1Nx1

Se existe N autovalores:

Ento existe um conjunto LI de N autovetores

x1 , x 2 , x3 ..., x N

Ax , Ax ,..., Ax x , x ,..., x
1
2
N
1
1
2
2
N
N

Auto Sistema :
y

Ab

Ax , Ax ,..., Ax x , x ,..., x
2
N
1 1
2 2
N N
1

A x1 x2 ... x N x1 x2 ... x N

1 0

0 0

0 0

0 0

0 0
0

0 N

Auto Sistema :
y

Ab

Ax , Ax ,..., Ax x , x ,..., x
2
N
1 1
2 2
N N
1

A PP

A x1 x 2 ...

x N x1 x 2 ...

xN

A PP

1 0

0
0

0
0

0 N
0
0

Auto Sistema :
y

Ab

A x1 x2 ... x N x1 x2 ... x N

A PP

1 0 0

0
2

A PP

0 0

0 0 N

Auto Sistema :
y

A1x,...,
1 1Nx1

Se existe N autovalores:

Ab

Ento existe um conjunto LI de N autovetores

x1 , x 2 , x3 ..., x N
Tal que :

A PP

Auto Sistema :
y

Ab

A P P

A PP

P P

A P P

Auto Sistema :
y

Ab

Matriz arbitrria ( N x N )

A existncia de N autovalores:

leva a existncia de um conjunto LI de N

autovetores x1 ,..., x N
que formam os vetores
colunas de uma matriz
que
P R N N
permite fazermos a seguinte decomposio

1 ,..., N

A P P

O Nosso sistema linear na

geofsica:

y Ap
Matriz arbitrria ( N x M )

No iremos resolver
este sistema
de
Estudaremos
propriedades
bsicas
equaes
lineares
deste sistema

Sistema linear principal:

y (N1) A(NM) p(M1)

Sistema linear adjunto:

(MN)

q(N1) x(M1)

Combinando o Sistema linear Principal

y (N1) A (NM) p(M1)
Com o Sistema Linear Adjunto:
T
A (MN) q(N1) x (M1)

Dentro de um novo
Sistema Linear:
T(NMNM) z (NM1) a(NM1)

A(NM) p(M1) y (N1)

Sistema principal:

Sistema adjunto:

(MN)

q(N1) x(M1)

Novo Sistema Linear:

T(NMNM) z (NM1) a(NM1)

N

N
M

A
T

N q

M p
x

N
M

T NM

NM

AT

A nova matriz quadrada, logo podemos

achar os autovalores e autovetores

T w sw

T sI w 0

T w sw
0

AT

w (N + M x 1)

u
u

0 v

A v su

u sv

N
M

T
problema
Pr
x A de
autovalor
deslocado
Pr
x A

A v su

u sv

A A v sA u
T

A A u sA v

A v su

T
T

u sv

T
2

A
A
v

s
v
A
A
v

s
A
u

T
T

2
A
A
A
u

s
u
A
u

s
A
v

Dois problemas autovetores-autovalores:

1)

A vs v

MxM
AUTOVALORES
NxN
2)

AA u s u

Dois problemas autovetores-autovalores:

1)

A vs v

MxM
AUTOVETORES
NxN
2)

AA u s u

Dois problemas autovetores-autovalores:

1)

A vs v

MxM
AUTOVETORES

AUTOVALORES

NxN
2)

AA u s u

Dois problemas autovetores-autovalores:

1)

A vs v

MxM

Existiro no mximo MIN(M,N)

autovalores diferentes de zero
NxN
2)

AA u s u

Se N > M existiro no mximo M

autovalores diferentes de zero

A
A

A v1 s12 v1
2

A v 2 s2 v 2

A v M sM

vM

A
A v s
MxM

Presumindo-se, que N > M existiro no

mximo M autovalores diferentes de zero

A
A

A v1 s12 v1
A v 2 s2

v2

A v M sM

A A v1 v 2 v M

vM

2
2
2
s1 v1 s2 v 2 sM v M

Presumindo-se, que N > M existiro no

mximo M autovalores diferentes de zero
T

A A v1 v 2 v M

2
s1 v1

s2 v 2 s M v M

v11 v12 v1M s12

2
T
v
v

v
s2
21
22
2M

A A V

2
v
v

v
M 1 M 2
sM
MM
v1

v2

vM

Se N > M existiro no mximo M

autovalores diferentes de zero

v11 v12 v1M s12

2
T
v
v

v
s2
21
22
2M

A A V

2
v
v

v
M 1 M 2
sM
MM
v1

v2
T

vM

A A VV S

Se M > N existiro no mximo N

autovalores diferentes de zero
A A

u1

2
s1 u1

A AT u s 2 u
2

2
2

A A

A A
NxN

u N sN u N
T

u s

Se M > N existiro no mximo N

autovalores diferentes de zero
A A

u1

2
s1 u1

A AT u s 2 u
2

2
2

A A

AA

u N sN u N

u 2 u N

s u1 s u 2 s u N

Se M > N existiro no mximo N

autovalores diferentes de zero
AA

u 2 u N

u2

s u1 s u 2 s u N

u11 u12 u1N

u
u

u
21
22
2N
T

AA U

u N1 u N 2 u NN
u1

uN

s12

2
s2

2
s N

Se M > N existiro no mximo N

autovalores diferentes de zero
u11 u12 u1N

u
u

u
21
22
2N
T

AA U

u N1 u N 2 u NN
u1

AA

u2
T

s12

2
s2

uN

UU S

2
sN

Se N > M existiro no mximo M

autovalores diferentes de zero
T

A A VV S
(MxM)

(MxM) (MxM)

Se M > N existiro no mximo N

autovalores diferentes de zero
T
2
AA UU S
(NxN)

(NxN) (NxN)

Generalizao
Sem perda de generalidade, considere N > M. Ento
existiro no mximo M autovalores diferentes de
zero

A v s u
1
1 1

A v su

A v 2 s2 u 2

A v

Generalizao

Caso em que N > M (no mximo M autovalores diferentes de zero)

A v1 s1 u1

A v 2 s2 u 2

v M sM uM

A v1 v 2 v M

s1u1 s2 u 2 sM u M

Generalizao

Caso em que N > M (no mximo M autovalores diferentes de zero)

A v1 v 2 v M
u11 u12

u21 u22

AV

u N 1 u N 2

u1M
u2 M

u NM

uM

u1 u2

s1u1 s2 u 2 sM u M
s1

u1M 1 u1N

u2 M 1 u2 N

u NM 1 u NN

N-M

M
N

uN

s2

sM

uM1

Generalizao
u11 u12

u21 u22

A V

u N1 u N 2

s1

u1M

u2 M
u NM

u1N

u2M 1 u2 N

u NM 1 u NN

u1M 1

s2

sM

(NM) (MM)

(NN) (NM)

Generalizao
A

(NM) (MM)

V v1 v 2 v M

(NN) (NM)

Quem so as matrizes

U u1 u 2 u N

U e

(NN)

V ?

(MM)

T2
T
Autovetores
da
A A U U A AS

T
T
2
Autovetores
da
A SA
A A VV

Generalizao

(NM) (MM)
U

As matrizes

( N N )

As colunas da matriz
As colunas da matriz

U UU U

(NN)

(NN) (NM)
V

( M M )

( N N )

( M M )

so ortogonais

so bases do espao N
(das observaes)
so bases do espao M
(dos parmetros)
T

V VVV

(MM)

Generalizao

(NM) (MM)

(NN) (NM)

Ps multiplicando a equao por

AVV
I

US V

Generalizao

(NM) (MM)

(NN) (NM)

Ps multiplicando a equao por

AUS V

DECOMPOSIO EM VALORES
SINGULARES DA MATRIZ A

Generalizao
A

( N M )

( N N ) ( N M ) ( M M )

Os valores singulares da matriz

s1

( N M )

A A VV S

( NM )

autovalores
2

s2

autovalores

AA

UU S

A importncia da
Decomposio de uma
Matriz em valores
SINGULARES permite
detectar se um problema
MAL-POSTO

Valor singular ZERO:

NO H UNICIDADE DA
SOLUO

Valor singular
PRXIMO A ZERO:
H UNICIDADE DA SOLUO
PORM A SOLUO
INSTVEL

Decomposio de uma Matriz em

valores SINGULARES no caso em que
r valores singulares so NULOS e
r < (M e N)
T

( N N ) ( N M ) ( M M )

S
r
S
0
r

( N M )

N-r

M-r

( N N )

U
r

U N r
N-r

N
M

V M Vr VM r

( M M )
r

M-r

r valores singulares so NULOS

r < (M e N)
T

A USV

A Ur

U N r

Sr

0
0

T
Vr
VT

M r

T
A U r Sr V r

Visualizao do Espao Iluminado e

Espao No Iluminado (Espao nulo)
atravs da interpretao em duas
dimenses Exerccios 2 e 3
O problema consiste em resolver o seguinte sistema linear de
duas equaes e duas incgnitas:
2 p(1) +
p(2)
= y(1)
2 p(1) + 1.000001 p(2)
= y(2)

Ap y

1
2

2 1.000001

p1 y1

p2 y2

O determinante desta matriz quase zero (2 10-6),

caracterizando matematicamente um problema mal-posto devido
a instabilidade da soluo estimada.

Exerccios 2 e 3
1
2

2 1.000001

p1 y1

p2 y2

Se estabeleo que os parmetros verdadeiros so:

5
5
Dados Livres de ruido
y(1) = 15.000000
y(2) = 15.000005

Dados COM de ruido

y(1) = 15.415667732
y(2) = 15.127581767

Exerccios 2 e 3
1
2
p1
15.415

2 1.000001 p2
15.127

A A
T

-1

T o

A y

Os parmetros estimados via MQ

1.44165917968750 1.0e+005
-2.88316414062500 1.0e+005

Exerccios 2 e 3

MIN {Q} MIN

1
2

2 1.000001
Q

y1o

i 1

p2 *
0

2
i

-0.5

p1 15.415

p2 15.127

a11 p1 a12 p2

y 2o

a21 p1 a22 p2

(*) Parmetros verdadeiros :

5
5
(+) Os parmetros estimados via MQ
1.44165917968750 1.0e+005
-2.88316414062500 1.0e+005

x 10

-1
-1.5

2 -2
-2.5
-3
-3.5

p1

-4
0

0.5

1.5

FUNCIONAL DOS DADOS

x 10

Exerccios 2 e 3
1
2
A

2 1.000001

A USV

U=
0.70710671047584 -0.70710685189724
0.70710685189724 0.70710671047584
S=
3.16227797639622

0 0.00000063245547
V=
0.89442710155718 -0.44721377438539
0.44721377438539 0.89442710155718

Exerccios 2 e 3

MIN{Q} MIN

i 1

p2

2
i

x 10

-0.5
-1

S=
3.162
0

0
0.000000632

V=
0.894

-1.5
-2

VM-r

Vr

-2.5
-3

-0.447

-3.5
-4

0.447

0.894

FUNCIONAL DOS DADOS

x 10

PREPARANDO OS
SEUS
CORAESINHOS
PARA O EXERCCIO 3

Exerccio prtico n.2 - parte 2

Exerccio prtico n.3
Para garantir a existncia, ao invs de
resolver o sistema:

Ap y

minimiza-se:

2 To
o
o
T2
o
Q
A
p
)
(
y

A
p
)
y1 a11(py1 a
p

a
p

a
p
12 2
2
21 1
22 2

Exerccio prtico n.2 - parte 2

Exerccio prtico n.3
Para garantir a existncia, ao invs de
resolver o sistema:

a11 p1 a12 p2
a21 p1 a22 p2

0
y1
0
y2

minimiza-se:

o
y1

a11 p1 a12 p2

o
y2

a21 p1 a22 p2

Visualizao da Funo Q para os 3 casos

y1o

a11 p1 a12 p 2

y 2o

a 21 p1 a 22 p 2

6 .0 0

6 .0 0

6 .0 0

6 .0 0

5 .0 0

5 .0 0

5 .0 0

5 .0 0

4 .0 0

4 .0 0

4 .0 0

4 .0 0

3 .0 0

3 .0 0

3 .0 0

3 .0 0

2 .0 0

2 .0 0

2 .0 0

2 .0 0

1 .0 0

1 .0 0

1 .0 0

1 .0 0

p2

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

p1

4 .0 0

5 .0 0

6 .0 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

Det A grande

Det A zero
p2

p1
Soluo no nica

Soluo instvel

Soluo estvel

0.00

1.00

2.00

3.00

4.00

5.00

0.00

min (p)

sujeito a
(yo-Ap)T (yo-Ap)=

Soluo via multiplicadores de Lagrange

min (p)
sujeito a
(yo-Ap)T (yo-Ap) =

min

= (yo-Ap)T (yo-Ap) (p)

(yo-Ap)T (yo-Ap)

|| yo-Ap ||2

(p)

4 .0 0
6 .0 0

6 .0 0
3 .5 0

5 .0 0

5 .0 0
3 .0 0

4 .0 0

p2

3 .0 0

2 .5 0

2 .0 0

1 .5 0

2 .0 0

4 .0 0

3 .0 0

2 .0 0
1 .0 0

1 .0 0

1 .0 0
0 .5 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

p1

5 .0 0

6 .0 0

0 .0 0
0 .0 0

0 .5 0

1 .0 0

1 .5 0

2 .0 0

2 .5 0

3 .0 0

3 .5 0

4 .0 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

RIDGE REGRESSION
4 .0 0
6 .0 0

6 .0 0
3 .5 0

5 .0 0

5 .0 0
3 .0 0

4 .0 0

p2

3 .0 0

2 .5 0

2 .0 0

1 .5 0

4 .0 0

3 .0 0

2 .0 0

2 .0 0
1 .0 0

1 .0 0

1 .0 0
0 .5 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

0 .0 0
0 .0 0

6 .0 0

0 .5 0

1 .0 0

1 .5 0

2 .0 0

2 .5 0

3 .0 0

3 .5 0

0 .0 0
0 .0 0

4 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

p1

SUAVIDADE
6 .0 0

6 .0 0

6 .0 0

5 .0 0

5 .0 0

5 .0 0

4 .0 0

3 .0 0

4 .0 0

3 .0 0

4 .0 0

3 .0 0

2 .0 0

2 .0 0

2 .0 0

1 .0 0

1 .0 0

1 .0 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

0 .0 0
0 .0 0

1 .0 0

2 .0 0

3 .0 0

4 .0 0

5 .0 0

6 .0 0

0 .0 0
0 .0 0