algebra

1. ANÁLISIS MULTIVARIANTE
INTRODUCCIÓN
1. Álgebra lineal y vectores aleatorios
2. Distribución normal multivariante
ANÁLISIS DE LA MATRIZ DE COVARIANZAS
3. Componentes principales
4. Análisis factorial
5. Correlaciones canónicas
CLASIFICACIÓN
6. Análisis discriminante
7. Análisis de conglomerados
1

2. 1. ÁLGEBRA LINEAL
Y VECTORES ALEATORIOS
 Vectores
 Ortogonalización de Gram-Schmidt
 Matrices ortogonales
 Autovalores y autovectores
 Formas cuadráticas
 Vectores y matrices aleatorias
 Matriz de datos
2

3. EJEMPLOS
3

4. Vectores
Matriz de datos: p variables observadas en n objetos
Objeto_1
Objeto_n
 x11

 x21
x
 31
 
x
 n1
x12
x22
x32

xn 2
Variable_1
x13
x23
x33

xn 3





x1 p 

x2 p 
x3 p  = X nxp

 
xnp 

en
ℜ
Variable_p
ALGEBRA LINEAL
4
p

5. Vectores
Dados
 x1 
 
x=  
x 
 p
 y1 
 
y=  
y 
 p
se define:
1. Suma
 x1 + y1 


x+ y =  
x + y 
p 
 p
ALGEBRA LINEAL
5

6. Vectores
2. Producto de un escalar por un vector
 c ⋅ x1 


c⋅x =   
c ⋅ x 
p 

3. Producto escalar de dos vectores
p
x • y = x, y = x' y = ∑ xi y i = x1 y1 +  + x p y p
i =1
ALGEBRA LINEAL
6

7. Vectores
Propiedades
x, ay + bz = a x, y + b x, z
x, y = y , x
x, x ≥ 0
y
x
x, x = 0 ⇔ x = 0
4. Norma de un vector
x = x ' x = ( x ' x )1 / 2 =
p
xi2
∑
i =1
ALGEBRA LINEAL
7
x

8. Vectores
5. Distancia entre dos vectores
y
x− y
d ( x, y ) = x − y
x
6. Ángulo entre dos vectores
cosϑ =
θ
x, y
x y
θ
ϑ
x, y = 0 ⇒ cosϑ = 0 ⇒ x ⊥ y
θ
ALGEBRA LINEAL
8

9. Vectores
Desigualdad de Cauchy-Schwarz
x, y ≤ x y
Consecuencia:
− x y ≤ x, y ≤ x y
−1 ≤
x, y
x y
≤1
θ
− 1 ≤ cos ϑ ≤ 1
ALGEBRA LINEAL
9

10. Vectores
7. Ortogonalidad
{u1 , u 2 , , u n }
es ortogonal si u i ⊥ u j
∀ i, j
8. Ortonormalidad
{ 1 , e 2 ,, e n } es ortonormal si es ortogonal
e
y todos los vectores tienen norma 1, es decir, ei = 1 ∀i
ALGEBRA LINEAL
10

11. Vectores
Ejemplo
−1
 
u = 0 
2 
 
 1 


v = 0 
 −3 


(i ) < u , v >
(ii ) u
(iii ) u ⊥ v ?
(iv ) d (u , v )
(v ) cos θ
ALGEBRA LINEAL
11

12. Vectores
Un conjunto de vectores { u1 , u 2 ,  , u n }
es linealmente independiente si
n
∑c u
i =1
i
i
= 0 ⇒ c1 = c 2 =  = c n =0
(la única manera de construir una combinación lineal
igual a 0 es que todos los coeficientes sean 0)
ALGEBRA LINEAL
12

13. Vectores
Proposición. Todo conjunto ortogonal de vectores
no nulos es linealmente independiente.
{ u1 , u 2 ,, u n } ortogonal ⇒ { u1 , u 2 ,, u n }
⇐
l.i.
Demostración
c1u1 +  + cn un = 0
u j , c1u1 +  + cnu n = c j u j , u j = 0
u j ,u j ≠ 0 ⇒ cj = 0
ALGEBRA LINEAL
13

14. Vectores
Proyección de x sobre y
pry ( x ) =
x, y
y, y
y =
x, y
y
2
y
ALGEBRA LINEAL
14

15. Vectores
Ejemplo
 − 1
 
x= 0 
3
 
2
 
y =  − 1
1
 
pry ( x) ?
prx ( y ) ?
ALGEBRA LINEAL
15

16. Ortogonalización de Gram-Schmidt

V⊂
p
; V subespacio vectorial de
ℜ
p
si V es espacio vectorial,
∀
es decir, si u , v ∈ V y ∀a, b ∈ ℜ ; au + bv ∈ V
 Dado A = {u1 , u 2 ,  , u n }
n
span A ≡ ci ui
∑
1
i =

: ci ∈ 
ℜ

Propiedades
(i ) A ⊂ span A
(ii ) span ( A) es un subespacio
ALGEBRA LINEAL
16

17. Ortogonalización de Gram-Schmidt
Proposición
v ⊥ ui
i = 1,  , n ⇒
⇒ v ⊥ span { u1,  , un }
Demostración
u ∈ span { u1 ,  , un }
n
n
i =1
i =1
u , v = v, ∑ ci ui = ∑ ci v, ui = 0
ALGEBRA LINEAL
17

18. Ortogonalización de Gram-Schmidt
Dado un conjunto de vectores l.i., se puede
construir otro conjunto ortogonal que genere el
mismo espacio.
Sean { x1 , x2 ,  , xn } linealmente independientes
u1 =x1
u 2 =x2 −
u3 =x3 −

u n = xn −
x2 , u1
u1 , u1
x3 , u1
u1 , u1
xn , u1
u1 , u1
u1
u1 −
x3 , u 2
u2 , u2
u1 − −

u2
xn , u n −
1
un − , un −
1
1
un−
1
ALGEBRA LINEAL
18

19. Ortogonalización de Gram-Schmidt
Entonces:
(i )
span { x1 ,  , xn } = span { u1 ,  , un }
(ii ) { u1 ,  , un } es ortogonal
ALGEBRA LINEAL
19

20. Matrices ortogonales
Amxn
 a11

= 
a
 m1
a12

am 2
 a1n 

  
 amn 

Matrices ortogonales

Anxn; inversa A-1: A A-1 = A-1A = I.

A’ transpuesta de A.

Qnxn es ortogonal si Q’Q = QQ’ = I.
(las columnas de una matriz ortogonal son vectores ortonormales)
ALGEBRA LINEAL
20

21. Matrices ortogonales
Propiedades
x, y ∈ p; Q matriz
ortogonal
(i )
Qx, Qy = x, y
(ii )
x ⊥ y ⇒ Qx ⊥ Qy
(iii ) Qx = x
y
Qy
Qx
x
ALGEBRA LINEAL
21

22. Autovalores y autovectores
Anxn; λ autovalor de A
⇔ ∃ x ≠ 0 tal que Ax = λ x
x es autovector asociado a λ
x
∃x ≠ 0, Ax − λ x = 0 ⇔
∃x ≠ 0, Ax − λ Ix = 0 ⇔
∃x ≠ 0, ( A − λ I ) x = 0 ⇔
A−λ I = 0
Polinomio
característico
Ecuación
característica
ALGEBRA LINEAL
22

23. Autovalores y autovectores
Ejemplo
Autovalores y autovectores de
 1 − 5
A=
−5 1 



ALGEBRA LINEAL
23

24. Autovalores y autovectores
Propiedades
(i ) λ 1+ λ 2 +  + λn = trA
λ1 ≠ λ2 , x1 con autovalor λ1 
(ii )
 ⇒ x1 y x2 son l.i.
x2 con autovalor λ2 
Diagonalización de matrices
Anxn simétrica ⇔ A = A' ⇔ aij = a ji
Anxn
 a11

 a12
=


a
 1n
 a1n 


 
  

  ann 

a12
ALGEBRA LINEAL
24

25. Autovalores y autovectores:
diagonalización
Si A simétrica entonces existen autovalores reales
λ 1, , λ n con autovectores asociados e1 , , en
ortonormales tales que
Anxn


 e1
=



e2
 λ 1

 en 


 0

λ2
0 





λ n 

P
D
A=PDP’, siendo D diagonal y P ortogonal







e1 '
e2 '

en '
P’
(Toda matriz simétrica es diagonalizable)
ALGEBRA LINEAL
25

26. Autovalores y autovectores:
diagonalización
Ejemplo
Diagonalizar
 3
A=
− 2

− 2


2 
ALGEBRA LINEAL
26

27. Autovalores y autovectores:
representación espectral
Sea Anxn
 a11

 a12
=


a
 1n
 a1n 


 
.
 

  ann 

a12
Si A es simétrica entonces existen autovalores reales
λ 1, , λ n con autovectores ortonormales e1 ,  , en
'
'
'
tales que A = λ 1e1e1 + λ 2 e2 e2 +  + λ n en en .
ALGEBRA LINEAL
27

28. Autovalores y autovectores:
representación espectral
Ejemplo
Descomposición espectral de
 9 − 2
A=
− 2 6 



ALGEBRA LINEAL
28

29. Formas cuadráticas
 x1 
 
n
x=  
x ∈ℜ ,
Anxn simétrica;
f(x)=x’ A x es una forma cuadrática  xn 
 
⇓
a12  a1n  x1 
 

  x2 
f ( x) = ( x1 x2
   =
 
 
  ann  xn 
 
2
= a11 x12 +  + ann xn + a12 x1 x2 +  + aij xi x j +  + an −1n xn −1 xn =
n
n
 a11

 a21
 xn ) 


a
 n1
n
n
n
= ∑∑ aij xi x j = ∑ a x + 2∑∑ aij xi x j
i =1 j =1
i =1
2
ij i
i =1 j =1
i< j
ALGEBRA LINEAL
29

30. Formas cuadráticas
Ejemplo
Expresar matricialmente la forma cuadrática
2
2
f ( x1 , x2 , x3 ) = 5 x12 − 2 x2 + 3x3 − 6 x1 x2 + 4 x1 x3 − 5 x2 x3
Escribir en forma cuadrática
f ( x1 , x2 ) = ( x1
 1 2  x1 
x2 ) 
 2 − 2  x 
 

 2 
ALGEBRA LINEAL
30

31. Formas cuadráticas
Como Anxn es simétrica, es diagonalizable,
se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:
0   y1  n
λ 1

 
f ( y ) = y ' Dy = ( y1  yn ) 

  = ∑ λ i yi2 ,

 0
  y  i =1
λ n  n 

se tiene
n
f ( y ) = ∑ λ i yi2 = λ 1 y12 +  + λ n yn2 .
i =1
ALGEBRA LINEAL
31

32. Formas cuadráticas
x’Ax=c2 representa geométricamente una elipse
ℜ 2 ; los autovalores son λ 1> λ 2 y los autovectores
en
normalizados son e1 y e2.
x' Ax = c 2
x' PDP ' x = c 2 ⇒ λ 1 y12 + λ 2 y22 = c 2
x1
y1
c
λ1
e1
y2
e2
x2
c
λ2
ALGEBRA LINEAL
32

33. Formas cuadráticas
Ejemplo
Representar, hallar los ejes y obtener la expresión
reducida de
( x1
 13 − 5  x1 
x2 ) 
 − 5 13  x  = 9
 

 2 
ALGEBRA LINEAL
33

34. Formas cuadráticas
Clasificación de formas cuadráticas
Sea f(x) = x’ A x
 f es definida positiva si ∀ x ≠ 0,

f ( x) > 0
∀ x ∈ n, f ( x) ≥ 0
f es semidefinida positiva si
n
f es semidefinida negativa si ∀ x ∈ , f ( x) ≤ 0
f es definida negativa si ∀ x ≠ 0, f ( x) < 0

f es indefinida si


∃ x1 ∈
n
y ∃ x2 ∈
n
tal que f ( x1 ) > 0 y f ( x2 ) < 0
ALGEBRA LINEAL
34

35. Formas cuadráticas
Sean λ 1, , λ n los autovalores de A
 f es definida positiva ⇔ λ 1> 0, , λ n > 0
 f es semidefinida positiva ⇔ λ 1≥ 0, , λ n ≥ 0
 f es semidefinida negativa ⇔ λ 1≤ 0, , λ n ≤ 0
 f es definida negativa ⇔ λ 1< 0, , λ n < 0

f es indefinida ⇔ ∃λ i > 0, ∃λ j < 0
ALGEBRA LINEAL
35

36. Raíz cuadrada de una matriz
Raíz cuadrada de una matriz:
A semidefinida positiva;
B es raíz de A si A=BB;
B=A1/2 ; A=A1/2 A1/2
Si A es simétrica y A=PDP’ con
descomposición espectral
entonces:
n
A = ∑ λ i ei e'
i =1
ALGEBRA LINEAL
36

37. Formas cuadráticas
Raíz cuadrada de una matriz:
Nota:
0
 1/ λ 1

A − 1 = P

 0
1/ λ


n

1
 P' = ∑ ei ei '
i=1 λ i

n
0
λ 1


Sea A = P 

 P'
0
λ n


 λ1
0 


 P' =
⇒ A1/ 2 = P 



 0
λ n


n
= ∑ λ i ei ei '
i=1
ALGEBRA LINEAL
37

38. Descomposición singular de una matriz
Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
2
λ i es un valor singular de A, si λ i es autovalor de AA’.
Descomposición singular
Sea A una matriz mxn; λ 1, , λ k valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
0
λ 1




0

A=U 
V
0
λk



0
0


ALGEBRA LINEAL
38

39. Vectores y matrices aleatorias
X i variable aleatoria
µ i= E( X i )
σ ii = σ i2 = V ( X i ) = E[ X i − E ( X i )]2
 X1 
 
X =  
X 
 p
Vector
aleatorio
;
 X 11 X 12  X 1n 


Χ= 
   
X
X m 2  X mn 
 m1

Matriz
aleatoria
31

40. Vectores y matrices aleatorias
Se llama vector de medias a:
 µ 1   E( X1) 

 

EX = µ =    =   
 µ   E( X ) 
p 
 p 
y covarianza entre dos variables a
σ ij = Cov ( X i , X j ) = E[( X i − EX i )( X j − EX j )].
Se define la matriz de covarianzas de X como:
 σ11

VX = ∑ = ∑ X =  
σ
 p1
 σ1 p 


 

 σ pp 
40

41. Vectores y matrices aleatorias
 X1 
 c1 
 
 
X =   , c =    constantes; EX = µ , VX = Σ. Entonces :
X 
c 
 p
 p
(i ) E (c' X ) = c' µ
(ii ) V (c' X ) = c' Σc
Cmxp matriz de constantes. Entonces :
(i ) E (CX ) = CEX .
(ii ) V (CX ) = CΣC '.

42. Vectores y matrices aleatorias
Ejemplo
 X1 
X = 
X 
 2
 − 1
µ = 
0
 
Y1 = 2 X 2 − X 1

 Y2 = X 1 − X 2
Y = X − 2 X
2
1
 3
 6 − 2
∑=
− 2 4 



ALGEBRA LINEAL
42

43. Vectores y matrices aleatorias
Propiedades
Sea Xmxn y sean Akxm y Bnxr matrices de constantes.
Entonces:
 E ( X 11 ) 

(i ) E ( AX ) = AE ( X ) = A


 E( X ) 
m1

(ii ) E ( AXB ) = AE ( X ) B
(iii ) Ymxn ⇒ E ( X + Y ) = E ( X ) + E (Y )
E ( X 1n ) 



E ( X mn ) 

43

44. Vectores y matrices aleatorias
Matriz de correlaciones
1

 r21
ρ =


r
 p1
r12
1

rp 2




r1 p 

r2 p 
,


1 

σij
rij =
;
σii σ jj
donde
ρ = V −1/ 2 ∑V −1/ 2 ,
en forma matricial:
donde V es la matriz de varianzas:
σ11

V =
 0

0  σ12
 

 =
σ pp   0
 
0 



2
σp 

44

45. Vectores y matrices aleatorias
 X1 


  
 X   (1) 
r
 = X 
X =
 X r +1   X ( 2 ) 


  


 X 
 p 
Partición de un vector aleatorio
 X1 


Sea X =    ;
X 
 p
 µ (1) 
 Vector de medias: µ =  ( 2 ) 
µ 


 ∑11 ∑12 
 , donde
∑=
 Matriz de covarianzas:
∑
∑22 
 21

∑11 = V ( X (1) )
∑22 = V ( X ( 2 ) )
(1)
( 2)
∑12 = ∑'21 = Cov ( X (1) , X ( 2 ) ) = Cov ( X i , X j )
45

46. Matriz de datos
Objeto_1
Objeto_n
 x11

 x21
x
 31
 
x
 n1
x12
x22
x32

x13
x23
x33

xn 2
xn 3
n
Variable_11
∑ xi
x1 =
i =1
n
 x1 p 

 x2 p 
 x3 p  = X nxp

  
 xnp 

en
ℜ
p
n

Variable_p
∑ xip
xp =
i =1
n
46

47. Matriz de datos
 x1 
 
 Vector de medias: x =   
x 
 p
 s11

 Matriz de varianzas y covarianzas: S n =  
n
s
donde sij = ∑( xki − xi )( xkj − x j ) / n
 p1
k=
1
 Matriz de correlaciones: R = Vn
 s11

Vn = 
0


−1 / 2
S n Vn
−1 / 2
 s1 p 

  
 s pp 

, donde
0 


s pp 

47

48. EJEMPLOS
48

49. EJEMPLOS
49

50. EJEMPLOS
50

51. EJEMPLOS
51

52. EJEMPLOS
52

53. EJEMPLOS
53

54. EJEMPLOS
54

55. Matriz de datos
Proposición
 X1 


Dado X =    ; X 1 , X 2 ,  , X n
X 
n
 p
X =
(i )
∑X
E( X ) = µ
(ii ) V ( X ) = ∑/ n
n −1
(iii ) E ( S n ) =
∑
n
i =1
i.i.d . ;
i
n
55

56. Matriz de datos
La matriz de datos se puede representar como:
 Diagrama de dispersión, n puntos en el espacio
p=2
p=3
x2
x1
ℜ
p
x3
x2
x1
Como para p>3 no es posible representarlo, se utilizan
diagramas de dispersión múltiple con pares de
variables.
56

57. Matriz de datos
 Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en
Objeto_1
 x11 x12 x13  x1 p 
Objeto_n

 x21
x
 31
 
x
 n1
x22
x32

xn 2
x23
x33

xn 3





x2 p 
x3 p  = X nxp

 
xnp 

Y1 Y2 Y3
Yp
Para cuatro variables:
Variable_1
Variable_p
 x11

X =  x21
x
 31
Y1
x12
x13
x22
x32
x23
x33
Y2
Y3
x14 

x24 
x34 

Y4
Y1
n
en
ℜp
Y4
Y3
Y2
57

58. Matriz de datos
Vector de unos:
Propiedades

1=
1
 
nx1 =    n unos
1
 
1
n y forma el mismo ángulo con todos
los ejes.

1/
n
es el vector unitario que forma el mismo
ángulo en todas las direcciones.
58

59. Matriz de datos
 Proyección de un vector sobre el vector
n
pr1 ( yi ) =
yi ,1
1,1
1=
∑x
j =1
ij
n
1:
 xi 
 
⋅1 = xi 1 =   
x 
 i
yi
1
xi 1
59

60. Matriz de datos
Vector de desviaciones a la media:
 x1i − xi   x1i 
1

  
 
d i =    =    − xi   
x − x  x 
1
 ni i   ni 
 
60

61. Matriz de datos
Entonces:
•
•
d i = ( x1i − xi ) + ... + ( xni − xi ) ⇒ d i
2
2
2
= nsii
n
d i , d j = ∑ ( xki − xi )( xkj − x j ) = nsij
k =1
• cos(d i , d j ) =
di , d j
di d j
=
nsij
nsii ns jj
=
sij
sii s jj
= rij
61

62. Matriz de datos
Varianza generalizada y varianza total:
 X1 
 µ1 
 σ 11  σ 1 p 
 
 


X =    ; µ = E( X ) =    ; ∑ =     
X 
µ 
σ  σ 
pp 
 p
 p
 p1
62

63. Matriz de datos
 Varianza generalizada de X: ∑ = det(∑)
 Varianza total de X:
traza (∑) = σ11 +  + σ pp
 Varianza generalizada muestral:
 Varianza total muestral:
S n = det( S n )
traza ( S n ) = s11 +  + s pp
63

64. Matriz de datos
Interpretación geométrica
 Área =
2
= d1 d 2 senθ = ns11 ns22 1 − cos 2 θ = n s11s22 (1 − r12 ) = n | S n |
p
 Varianza generalizada en
Volumen 2
Sn =
np
64

65. EJEMPLOS
65

66. EJEMPLOS
66

67. EJEMPLOS
67

68. Matriz de datos
Combinaciones lineales de las componentes de
una variable
 X1 
 x1 
 s11  s1 p 
 c1 
 b1 
 
 


 
 
X =   ; x =   ; S n =     ; c =   ; b =   
X 
x 
s  s 
c 
b 
pp 
 p
 p
 p1
 p
 p
c' X = c1 X 1 +  + c p X p
y las combinaciones lineales: b' X = b X +  + b X
1 1
p
p
 Media muestral de c’X: c' x
 Varianza muestral de c’X: c' S n c
 Covarianza muestral de c’X y b’X:
c' S nb
68

69. Matriz de datos
Ejemplo
2

3
X =
2

4

0 1

1 0
1 0

1 0

 X1 
 
X =  X2 
X 
 3
c' X = 2 X 1 − 3 X 2
b' X = X 1 − 2 X 3
ALGEBRA LINEAL
69

70. EJEMPLOS
70

71. EJEMPLOS
71

72. EJEMPLOS
72

73. EJEMPLOS
73

74. EJEMPLOS
74

75. EJEMPLOS
75

76. EJEMPLOS
76