1.

LGEBRA LINEAL
Y VECTORES ALEATORIOS
Vectores
Ortogonalizacin de Gram-Schmidt
Matrices ortogonales
Autovalores y autovectores
Formas cuadrticas
Vectores y matrices aleatorias
Matriz de datos


1
DAGOBERTO SALGADO HORTA
ALGEBRA LINEAL
Vectores
Matriz de datos: p variables observadas en n objetos
2
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x
=
|
|
|
|
|
|
.
|

\
|

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
9 en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x
=
|
|
|
|
|
|
.
|

\
|

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
9 en
Objeto_1
Objeto_n
Variable_1 Variable_p
ALGEBRA LINEAL
Vectores
Dados vectores
|
|
|
.
|

\
|
=
p
x
x
x
1
|
|
|
.
|

\
|
=
p
y
y
y
1
se define:
1. Suma de dos vectores
|
|
|
.
|

\
|
+
+
= +
p p
y x
y x
y x
1 1
3
ALGEBRA LINEAL
Vectores
2. Producto de un escalar por un vector
|
|
|
.
|

\
|

=
p
x c
x c
x c
1
3. Producto escalar de dos vectores
p p
p
i
i i
y x y x y x y x y x y x + + = = = = -

=

1 1
1
' ,
4
ALGEBRA LINEAL
Vectores
4. Norma de un vector
Propiedades

=
= = =
p
i
i
x x x x x x
1
2 2 / 1
) ' ( '
z x b y x a bz ay x , , , + = +
x y y x , , =
0 0 , 0 , = = > x x x y x x

x x x x
5
ALGEBRA LINEAL
Vectores
5. Distancia entre dos vectores
6. ngulo entre dos vectores
y x y x d = ) , (

y
x
y x
y
x
y x
6

00
u
y x
y x,
cos = 0
y x y x = = 0 cos 0 , 0
u
u
ALGEBRA LINEAL
Vectores
7. Ortogonalidad
8. Ortonormalidad
{ }
n
u u u , , ,
2 1

j i u u
j i
,
{ }
n
u u u , , ,
2 1

es ortonormal si es ortogonal
y todos los vectores tienen norma 1, es decir, i e
i
=1
es ortogonal si

7
ALGEBRA LINEAL
Vectores
Ejemplo
8
u cos ) (
) , ( ) (
? ) (
) (
, ) (
3
0
1
2
0
1
v
v u d iv
v u iii
u ii
v u i
v u

> <
|
|
|
.
|

\
|

=
|
|
|
.
|

\
|

=
ALGEBRA LINEAL
Vectores
9. Desigualdad de Cauchy-Schwartz
y x y x s ,
Consecuencia:
9
1 cos 1
1
,
1
,
s s
s s
s s
0
y x
y x
y x y x y x
u
ALGEBRA LINEAL
Vectores

Un conjunto de vectores
{ }
n
u u u , , ,
2 1

es linealmente independiente si
n
n
i
i i
c c c u c = = = =

=

2 1
1
0
(la nica manera de construir una combinacin lineal
igual a 0 es que todos los coeficientes sean 0)
10
ALGEBRA LINEAL
Vectores
Proposicin Todo conjunto ortogonal es
{ }
n
u u u , , ,
2 1

linealmente independiente:
ortogonal

{ }
n
u u u , , ,
2 1

l.i.
:
0 0 ,
0 , ,
0
1 1
1 1
= =
= = + +
= + +
j j j
j j j n n j
n n
c u u
u u c u c u c c u
u c u c

Dem.-
11
ALGEBRA LINEAL
Vectores
Proyeccin de x sobre y
12
y
y
y x
y
y y
y x
x pr
y
2
,
,
,
) (
= =
ALGEBRA LINEAL
Vectores
Ejemplo
13
? ) (
1
1
2
3
0
1
x pr
y x
y
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|

=
ALGEBRA LINEAL
Ortogonalizacin de Gram-Schmidt
V subespacio vectorial de
p
9
si V es espacio vectorial,
; , , 9 e e b a y V v u
es decir, si
V bv au e +
Dado A =
)
`

9 e

=
n
i
i i i
c u c A span
1
:
{ }
n
u u u , , ,
2 1

Propiedades
subespacio un es A span ii
A span A i
) ( ) (
) ( c
14
; c
p
V
ALGEBRA LINEAL
Ortogonalizacin de Gram-Schmidt
Proposicin
{ }
n
i
u u span v
n i u v
, ,
, , 1
1

=
{ }
0 , , ,
, ,
1 1
1
= = =
e

= =
i
n
i
i
n
i
i i
n
u v c u c v v u
u u span u
Dem.-
15
ALGEBRA LINEAL
Ortogonalizacin de Gram-Schmidt
Mtodo de Gram-Schmidt
1
1 1
1
1
1 1
1
2
2 2
2 3
1
1 1
1 3
3 3
1
1 1
1 2
2 2
1 1
,
,
,
,
,
,
,
,
,
,

=
=
=
=
n
n n
n n n
n n
u
u u
u x
u
u u
u x
x u
u
u u
u x
u
u u
u x
x u
u
u u
u x
x u
x u

Sean
Dado un conjunto de vectores l.i., se puede
construir otro conjunto ortogonal que genere el
mismo espacio
linealmente independientes
{ }
n
x x x , , ,
2 1

16
ALGEBRA LINEAL
Ortogonalizacin de Gram-Schmidt
Entonces:
{ } { }
{ } ortogonal es u u ii
u u span x x span i
n
n n
, , ) (
, , , , ) (
1
1 1

=
17
ALGEBRA LINEAL
Matrices ortogonales
Matrices ortogonales
A
nxn
; inversa A
-1
: A A
-1
= A
-1
A = I.
A transpuesta de A.
Q
nxn
es ortogonal si QQ = QQ = I.
(las columnas de una matriz ortogonal son vectores ortonormales)

|
|
|
.
|

\
|
=
mn m m
n
mxn
a a a
a a a
A

2 1
1 12 11
18
ALGEBRA LINEAL
Matrices ortogonales
Propiedades
Qy
Qx
y
x
19
x Qx iii
Qy Qx y x ii
y x Qy Qx i
ortogonal
matriz Q y x
p
=

=
e
) (
) (
, , ) (

; ,

ALGEBRA LINEAL
Autovalores y autovectores
A
nxn
;
x Ax que tal x vector un = = - 0
x

autovalor de A
x es un autovector asociado a
.
0
0 ) ( , 0
0 , 0
0 , 0
=
= = -
= = -
= = -
I A
x I A x
Ix Ax x
x Ax x

Polinomio
caracterstico
Ecuacin
caracterstica
20
ALGEBRA LINEAL
Autovalores y autovectores
Ejemplo

Autovalores y autovectores de
21
|
|
.
|

\
|

=
1 5
5 1
A
ALGEBRA LINEAL
Autovalores y autovectores
Propiedades
2 1
2 1
2 2
1 1
2 1

. .
,
) (
) (

)
`

=
i l son x y x
autovalor con x
autovalor con x
ii
trA i
n

Diagonalizacin de matrices
ji ij nxn
a a A A simtrica A = = '
|
|
|
|
|
.
|

\
|
=
nn n
n
nxn
a a
a
a a a
A

1
12
1 12 11
22
ALGEBRA LINEAL
Autovalores y autovectores:
diagonalizacin
A simtrica
|
|
|
|
|
.
|

\
|
|
|
|
|
|
.
|

\
|
|
|
|
|
|
.
|

\
|
=
n n
n
nxn
e
e
e
e e e
A

2
1
2
1
2 1
0
0

existen autovalores reales

n
, ,
1
con autovectores asociados
n
e e , ,
1

Ortonormales tales que

P
P D
A=PDP, siendo D diagonal y P ortogonal
(Toda matriz simtrica es diagonalizable)
23
ALGEBRA LINEAL
Ejemplo

Diagonalizar
24
|
|
.
|

\
|

=
1 5
5 1
A
Autovalores y autovectores:
diagonalizacin
ALGEBRA LINEAL
Autovalores y autovectores:
representacin espectral

Sea
n
, ,
1

con autovectores ortonormales

n
e e , ,
1

tales que
A es simtrica
existen autovalores reales
' '
2 2 2
'
1 1 1 n n n
e e e e e e A + + + =
|
|
|
|
|
.
|

\
|
=
nn n
n
nxn
a a
a
a a a
A

1
12
1 12 11
25
ALGEBRA LINEAL
Ejemplo

Descomposicin espectral de
26
|
|
.
|

\
|

=
1 5
5 1
A
Autovalores y autovectores:
representacin espectral
ALGEBRA LINEAL
Formas cuadrticas

A
nxn
simtrica;
( )

<
= = = = =

+ = =
= + + + + + + + =
=
|
|
|
|
|
.
|

\
|
|
|
|
|
|
.
|

\
|
=
n
j i
i
n
j
j i ij
n
i
n
j
n
i
i ij j i ij
n n n n j i ij n nn
n nn n
n
n
x x a x a x x a
x x a x x a x x a x a x a
x
x
x
a a
a
a a a
x x x x f
1 1 1 1 1
2
1 1 2 1 12
2 2
1 11
2
1
1
12
1 12 11
2 1
2
) (

n
x 9 e
,
|
|
|
.
|

\
|
=
n
x
x
x
1
f(x)=x A x es una forma cuadrtica
27
ALGEBRA LINEAL
Formas cuadrticas
Ejemplo
Expresar matricialmente la forma cuadrtica



Escribir en forma cuadrtica
28
3 2 3 1 2 1
2
3
2
2
2
1 3 2 1
5 4 6 3 2 5 ) , , ( x x x x x x x x x x x x f + + =
( )
|
|
.
|

\
|
|
|
.
|

\
|

=
2
1
2 1 2 1
1 5
5 1
) , (
x
x
x x x x f
ALGEBRA LINEAL
Formas cuadrticas
Como A
nxn
es simtrica, es diagonalizable,
se puede escribir A = PDP y, por tanto,
queda: f(x) = xPDPx.
Haciendo y = Px:
( ) ,
0
0
' ) (
1
2
1 1
1
=
=
|
|
|
.
|

\
|
|
|
|
.
|

\
|
= =
n
i
i i
n n
n
y
y
y
y y Dy y x f

se tiene
2
1
2
1 1
2
) (
n n
n
i
i i
y y y y f

=
+ + = =
29
Formas cuadrticas
x
1

x
2

y
2
y
1

e
2

e
1

2

c
1

c
ALGEBRA LINEAL
30
y los autovectores
xAx=c
2
representa geomtricamente una elipse
en
2 2
2 2
2
1 1
2
2
' '
'
c y y c x PDP x
c Ax x
= + =
=

; los autovalores son
2 1
>
normalizados son e
1
y e
2

2
9
Formas cuadrticas
ALGEBRA LINEAL
31
Ejemplo

Representar, hallar ejes, hallar expresin reducida
( ) 9
1 5
5 1
2
1
2 1
=
|
|
.
|

\
|
|
|
.
|

\
|

x
x
x x
Formas cuadrticas
Clasificacin de formas cuadrticas
ALGEBRA LINEAL
32
Sea f(x) = x A x
f es definida positiva si
f es semidefinida positiva si
f es semidefinida negativa si
f es definida negativa si
f es indefinida si
0 ) ( , 0 > = x f x
0 ) ( , > e x f x
n
0 ) ( , 0 < = x f x
0 ) ( 0 ) (
2 1 2 1
< > e - e - x f y x f que tal x y x
n n
0 ) ( , s e x f x
n
Formas cuadrticas
Sean los autovalores de A
f es definida positiva
f es semidefinida positiva
f es semidefinida negativa
f es definida negativa
f es indefinida
ALGEBRA LINEAL
0 , , 0
1
< <
n

0 , , 0
1
s s
n

0 , , 0
1
> >
n

0 , , 0
1
> >
n

0 , 0 < - > -
j i

33
n
, ,
1

Formas cuadrticas
B es raz de A si A=BB ;
ALGEBRA LINEAL

=
=
n
i
i i
e e A
1
'
Raz cuadrada de una matriz

A definida positiva;
B=A
1/2
; A=A
1/2
A
1/2

Si A es simtrica y diagonalizable, A=PDP con
descomposicin espectral
34
Formas cuadrticas
ALGEBRA LINEAL
Raz cuadrada de una matriz

' '
0
0
'
0
0
1
1
2 / 1
1
i i
n
i
i
n n
e e P P A P P A Sea

=
=
|
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=

'
1
'
/ 1 0
0 / 1
1
1
1
i i
n
i i
n
e e P P A

=

=
|
|
|
.
|

\
|
=

Nota:
35
Descomposicin singular de una matriz
ALGEBRA LINEAL
i

Dada la matriz A
mxn
, AA es cuadrada y
simtrica; por tanto, diagonalizable.

V U A
k
|
|
|
|
|
.
|

\
|
=
0 0
0
0
0
1

es un valor singular de A, si
2
i

es autovalor de AA.
Descomposicin singular
Sea A una matriz mxn;
k
, ,
1

valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
36
Vectores y matrices aleatorias
2 2
)] ( [ ) (
) (
aleatoria variable
i i i i ii
i i
i
X E X E X V
X E
X
= = =
=
o o

|
|
|
.
|

\
|
= X
|
|
|
.
|

\
|
=
mn m m
n
n
X X X
X X X
X
X
X

2 1
1 12 11 1
;
Vector
aleatorio
Matriz
aleatoria
31
Vectores y matrices aleatorias
) ( ) ( ) ( ) (
) ( ) ( ) (
) ( ) (
) ( ) (
) ( ) ( ) (
1
1 11
Y E X E Y X E Y iii
B X AE AXB E ii
X E X E
X E X E
A X AE AX E i
mxn
mn m
n
+ = +
=
|
|
|
.
|

\
|
= =

Propiedades
Sea X
mxm
y sean A
kxm
y B
nxr
matrices de constantes.
Entonces:
38
Vectores y matrices aleatorias
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
= =
) (
) (
1 1
n n
X E
X E
EX

Se llama vector de medias a:

y covarianza entre dos variables a
Se puede definir la matriz de covarianzas de X como:
)]. )( [( ) , (
j j i i j i ij
EX X EX X E X X Cov = = o
|
|
|
.
|

\
|
= = =
nn n
n
X
VX
o o
o o

1
1 11


39
Vectores y matrices aleatorias
Proposicin
' ) ( ) (
) ( ) ( ) (
constantes de matriz una Sea
C C CX V ii
X CE CX E i
C
mxn
=
=
40
c c X c V ii
c X c E i
VX EX
n i c
c
c
c
X
X
X
i
p
p p
=
=
= =
= 9 e
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
' ) ' ( ) (
' ) ' ( ) (
;
constantes ,..., 1 con y Sea
1 1

)' )( ( = X X E
Proposicin
Proposicin
X
1

X
n

Vectores y matrices aleatorias
ALGEBRA LINEAL
Ejemplo
41
|
|
.
|

\
|

=
|
|
.
|

\
|

=
=
=
|
|
.
|

\
|
=
4 2
2 6
0
1
2
2
1 2 3
2 1 2
1 2 1
2
1

X X Y
X X Y
X X Y
X
X
X
Vectores y matrices aleatorias
,
1
1
1
2 1
2 21
1 12
|
|
|
|
|
.
|

\
|
=

p p
p
p
r r
r r
r r

Matriz de correlaciones
,
2 / 1 2 / 1
= V V
en forma matricial:
donde V es la matriz de varianzas:
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
2
2
1 11
0
0
0
0
p pp
V
o
o
o
o

donde ;
jj ii
ij
ij
r
o o
o
=
42
Vectores y matrices aleatorias
|
|
.
|

\
|
=
|
|
|
|
|
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
+
) 2 (
) 1 (
1
1
1
;
X
X
X
X
X
X
X
X
X
X
p
r
r
p

Particin de un vector aleatorio

|
|
.
|

\
|
=
) 2 (
) 1 (

Vector de medias:
Sea
Matriz de covarianzas:
|
|
.
|

\
|


=
22 21
12 11
) , ( ) , (
) (
) (
) 2 ( ) 1 (
) 2 ( ) 1 ( '
21 12
) 2 (
22
) 1 (
11
j i
X X Cov X X Cov
X V
X V
= = =
=
=
, donde
43
Matriz de datos
44
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x
=
|
|
|
|
|
|
.
|

\
|

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
9 en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x
=
|
|
|
|
|
|
.
|

\
|

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
9 en
Objeto_1
Objeto_n
Variable_1 Variable_p
n
x
x
n
x
x
n
i
ip
p
n
i
i
= =
= =
1 1
1
1

Matriz de datos
45
|
|
|
.
|

\
|
=
p
x
x
x
1
Vector de medias:
Matriz de varianzas y covarianzas:
donde
|
|
|
.
|

\
|
=
pp p
p
n
s s
s s
S

1
1 11
n x x x x s
j kj
n
k
i ki ij
/ ) ( ) (
1
=

=
Matriz de correlaciones:
2 / 1 2 / 1


=
n n n
V S V R
, donde
|
|
|
.
|

\
|
=
pp
n
s
s
V
0
0
11

Matriz de datos
; . . . , , , ;
2 1
1
d i i X X X
X
X
X
n
p

|
|
|
.
|

\
|
=
Proposicin
n
X
X
n
i
i
=
=
1
Dado
46

=
=
=
n
n
S E iii
n X V ii
X E i
n
1
) ( ) (
/ ) ( ) (
) ( ) (
Matriz de datos
47
La matriz de datos se puede representar como:
Diagrama de dispersin, n puntos en el espacio
p
9
x
1

x
2

p=2
x
1

x
2

x
3

p=3
Como para p>3 es imposible representarlo se hacen
diagramas de dispersin mltiple de dos variables:
Matriz de datos
48
Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en
n
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x
=
|
|
|
|
|
|
.
|

\
|

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
9 en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x
=
|
|
|
|
|
|
.
|

\
|

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
9 en
Objeto_1
Objeto_n
Variable_1 Variable_p
Y
1
Y
2
Y
3
Y
p
Para cuatro variables:
|
|
|
.
|

\
|
=
34 33 32 31
24 23 22 21
14 13 12 11
x x x x
x x x x
x x x x
X
Y
1
Y
2
Y
3
Y
4
Y
1
Y
4
Y
3
Y
2
Matriz de datos
49
y forma el mismo ngulo con todos
los ejes.
|
|
|
.
|

\
|
=
1
1
1
1
nx
n = 1
Vector de unos:
n unos
Propiedades:
es el vector unitario que forma el mismo
ngulo en todas las direcciones.

n / 1
Matriz de datos
50
Coordenada en cualquier direccin de la proyeccin
de un vector sobre el vector
|
|
|
.
|

\
|
= = = =

=
i
i
i
n
j
ij
i
i
x
x
x n x
y
y pr 1 / 1 1
1 , 1
1 ,
) (
1
1
1
y
i

1
i
x
Matriz de datos
51
|
|
|
.
|

\
|

|
|
|
.
|

\
|
=
|
|
|
.
|

\
|

=
1
1
1 1

i
ni
i
i ni
i i
i
x
x
x
x x
x x
d
Vector de desviaciones a la media:
Matriz de datos
52
Entonces:
ij
jj ii
ij
jj ii
ij
j i
j i
j i
ij j kj
n
k
i ki j i
ii i i ni i i i
r
s s
s
ns ns
ns
d d
d d
d d
ns x x x x d d
ns d x x x x d
= = = = -
= = -
= + + = -

=
,
) , cos(
) ( ) ( ,
) ( ... ) (
1
2
2 2
1
Matriz de datos
53
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
= =
|
|
|
.
|

\
|
=
pp p
p
p p
X E
X
X
X
o o
o o

1
1 11 1 1
; ) ( ;
Varianza generalizada y varianza total:
Matriz de datos
54
Varianza generalizada de X:

Varianza total de X:

Caso muestral:
Varianza generalizada muestral:

Varianza total muestral:
) det( =
pp
traza o o + + =
11
) (
pp n
s s S traza + + =
11
) (
) det(
n n
S S =
Matriz de datos
55
Interpretacin geomtrica
rea


Varianza generalizada en

p
n
Volumen
S
2
=
) 1 ( cos 1
2
12 22 11
2
22 11 2 1
r s s n ns ns sen d d = = u u
p
Matriz de datos
56
ALGEBRA LINEAL
Ejemplo
3 1
2 1
3
2
1
2 '
3 2 '
0 1 4
0 1 2
0 1 3
1 0 2
X X X b
X X X c
X
X
X
X X
=
=
|
|
|
.
|

\
|
=
|
|
|
|
|
.
|

\
|
=
Matriz de datos
57
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
=
p p pp p
p
n
p p
b
b
b
c
c
c
s s
s s
S
x
x
x
X
X
X

1 1
1
1 11 1 1
; ; ; ;
Combinaciones lineales de las componentes de
una variable
Y las combinaciones lineales:
Media muestral de cX:
Varianza muestral de cX:
Covarianza muestral de cX y bX:

p p
p p
X b X b X b
X c X c X c
+ + =
+ + =

1 1
1 1
'
'
x c'
c S c
n
'
b S c
n
'